数据采集工程师
北京网智天元科技股份有限公司厦门分公司
- 公司规模:150-500人
- 公司性质:上市公司
- 公司行业:计算机软件
职位信息
- 发布日期:2017-04-09
- 工作地点:厦门
- 招聘人数:1人
- 学历要求:大专
- 职位月薪:0.6-1万/月
- 职位类别:互联网软件开发工程师
职位描述
职位描述:
岗位职责:
1、基础数据爬取或者系统维护升级。
2、研究各种网站、网页、app数据发布流程,开发内容发布程序。
3、负责影视类相关数据采,网络爬虫工具的设计、开发及优化;
4、发布内容数据分析,及发布内容处理。
5、负责相关文档编写。
任职要求:
1、爬虫技术领域的工作经验;
2、精通java有一定编程经验;
3、熟悉多线程、网络编程,精通网页抓取原理及技术,精通正则表达式,能从结构化的和非结构化的数据中获取信息;
4、熟悉爬虫、种子、去重、提取、过滤、分发、DNS cache、异步处理等概念和过程。
5、熟练使用抓包工具,例如fiddler等。
6、熟悉Linux基本操作。
7、了解搜索和爬虫开源软件的一种或多种,以及相关原理;
8、有文本分析、自然语言处理、搜索引擎、数据挖掘等相关开发经验者优先。
9、有jmeter使用经验者优先。
10、工作认真负责。
举报
分享
岗位职责:
1、基础数据爬取或者系统维护升级。
2、研究各种网站、网页、app数据发布流程,开发内容发布程序。
3、负责影视类相关数据采,网络爬虫工具的设计、开发及优化;
4、发布内容数据分析,及发布内容处理。
5、负责相关文档编写。
任职要求:
1、爬虫技术领域的工作经验;
2、精通java有一定编程经验;
3、熟悉多线程、网络编程,精通网页抓取原理及技术,精通正则表达式,能从结构化的和非结构化的数据中获取信息;
4、熟悉爬虫、种子、去重、提取、过滤、分发、DNS cache、异步处理等概念和过程。
5、熟练使用抓包工具,例如fiddler等。
6、熟悉Linux基本操作。
7、了解搜索和爬虫开源软件的一种或多种,以及相关原理;
8、有文本分析、自然语言处理、搜索引擎、数据挖掘等相关开发经验者优先。
9、有jmeter使用经验者优先。
10、工作认真负责。
职能类别: 互联网软件开发工程师
关键字: java 大数据 数据采集 爬虫 spider crawler
公司介绍
北京网智天元科技股份有限公司厦门分公司诚聘
联系方式
- 公司地址:上班地址:集美区集美大道1302号