JAVA高级爬虫/数据采集工程师
义乌市雅锐电子商务有限公司
- 公司规模:150-500人
- 公司性质:民营公司
- 公司行业:互联网/电子商务
职位信息
- 发布日期:2016-09-05
- 工作地点:上海-普陀区
- 招聘人数:1人
- 职位月薪:10000-14999/月
- 职位类别:互联网软件开发工程师
职位描述
职位描述:
岗位职责:
1、 负责设计、开发、维护大数据分析处理相关的软件产品和模块,开发主要使用语言为JAVA
2、 搭建数据采集平台,建立爬虫系统,通过对数据的抓取、解析、调度、存储等模块的拆分与优化,构建和完善统一的抓取服务平台;
3、 负责网页信息抽取等核心算法的研究和优化;
4、 负责重点目标站点的结构与URL特点分析,负责垂直领域与定向网站的数据采集、维护及数据异常的跟踪处理,为品牌提供竞品市场分析等数据支撑;
任职要求:
1、 熟悉Linux开发环境;熟练掌握JAVA等语言;
2、 熟悉网页抓取原理及技术,熟悉基于Cookie的网站登录原理,熟悉基于正则表达式、Xpath、CSS等网页信息抽取技术;
3、 响应抓取需求,能快速高效的完成开发任务,具备良好的沟通能力和管理能力;
4、 具备信息检索、自然语言处理、web挖掘等搜索引擎相关知识,有从事海量网络爬虫、网页去重、网页信息抽取的开发经验
5、 工作态度踏实、认真、积极主动,能承受一定工作压力,有责任心、有团队协作能力。
6、 有一定的架构设计能力,有很强的分析、解决问题的能力。
举报
分享
岗位职责:
1、 负责设计、开发、维护大数据分析处理相关的软件产品和模块,开发主要使用语言为JAVA
2、 搭建数据采集平台,建立爬虫系统,通过对数据的抓取、解析、调度、存储等模块的拆分与优化,构建和完善统一的抓取服务平台;
3、 负责网页信息抽取等核心算法的研究和优化;
4、 负责重点目标站点的结构与URL特点分析,负责垂直领域与定向网站的数据采集、维护及数据异常的跟踪处理,为品牌提供竞品市场分析等数据支撑;
任职要求:
1、 熟悉Linux开发环境;熟练掌握JAVA等语言;
2、 熟悉网页抓取原理及技术,熟悉基于Cookie的网站登录原理,熟悉基于正则表达式、Xpath、CSS等网页信息抽取技术;
3、 响应抓取需求,能快速高效的完成开发任务,具备良好的沟通能力和管理能力;
4、 具备信息检索、自然语言处理、web挖掘等搜索引擎相关知识,有从事海量网络爬虫、网页去重、网页信息抽取的开发经验
5、 工作态度踏实、认真、积极主动,能承受一定工作压力,有责任心、有团队协作能力。
6、 有一定的架构设计能力,有很强的分析、解决问题的能力。
职能类别: 互联网软件开发工程师
公司介绍
义乌市雅锐电子商务有限公司位于义乌市北苑街道景三路11号3F,公司创办于2011年中旬,经过多年的快速发展,取得了骄人的成绩,是“义乌市电子商务示范单位”、“义乌市十佳诚信电商单位”和“义乌跨境电商协会副会长单位”,目前公司拥有员工近300人,有上千平方的办公场地,上万平方的仓储场地;
公司主要从事时尚饰品配件、家居、服装、3C数码等的多品类跨境电子商务销售,是ebay、amazon、aliexpress、wish、joom等平台的大卖家,主要客户群主要是欧美等国家,公司在仓储建设、供应链整合,大数据分析等在业内占有绝对优势。
公司于2015年成立上海分公司(简称上海亦大网络科技),主要开展业务为IT开发,海外推广、自建站推广、跨境平台运营,公司业务范围广泛,在行业内一直保持领先地位,诚邀天下有识之士,共创辉煌。
公司主要从事时尚饰品配件、家居、服装、3C数码等的多品类跨境电子商务销售,是ebay、amazon、aliexpress、wish、joom等平台的大卖家,主要客户群主要是欧美等国家,公司在仓储建设、供应链整合,大数据分析等在业内占有绝对优势。
公司于2015年成立上海分公司(简称上海亦大网络科技),主要开展业务为IT开发,海外推广、自建站推广、跨境平台运营,公司业务范围广泛,在行业内一直保持领先地位,诚邀天下有识之士,共创辉煌。
联系方式
- 公司地址:地址:span大华虎成商务中心239弄6号楼1109室