爬虫开发工程师
北京友谱网络科技有限公司
- 公司规模:少于50人
- 公司性质:民营公司
- 公司行业:计算机软件 互联网/电子商务
职位信息
- 发布日期:2017-06-01
- 工作地点:北京-西城区
- 招聘人数:1人
- 工作经验:1年经验
- 学历要求:本科
- 职位月薪:6-7千/月
- 职位类别:软件工程师
职位描述
职位描述:
举报
分享
岗位职责:
1、负责爬虫系统的架构设计与开发;
2、负责反爬虫的策略和研发,通过使用代理IP等协议达成抓取的目的。
3、负责爬虫核心算法的策略优化研究,提升网页抓取的效率和质量。
职位要求:
1、本科及以上学历,1年以上开发经验;
2、熟悉整个爬虫的设计及实现流程,有从事网络爬虫,网页信息抽取开发经验,熟悉反爬虫技术;
3、掌握Python/Java两种编程语言中的至少一种;
4、掌握HTTP 及 TCP 底层协议,精通正则表达式;
5、掌握模拟点击、模拟浏览轨迹等复杂场景的实现方法;
6、掌握多线程、多进程、网络通信编程相关知识,有反爬,分布式爬虫架构经验者优先;
职能类别: 软件工程师
公司介绍
友谱大数据,定位于成为企业商业数据和征信服务的领先者,致力于为企业提供真正有价值的数据服务,旨在让数据应用更精准更直接。
友谱大数据拥有国内领先的产品和技术团队,创始人和核心团队来自于各大金融机构、政府和阿里、京东等领先企业,在业界有丰富的经验和较高的影响力,并与中央财经大学等知名院校深度合作,共同承担数据应用的前瞻研究。
友谱的数据来自50余个权威数据源,面向招投标、精准营销、金融风控等领域提供企业营销、风险数据服务和企业征信数据服务等,并向各类金融机构提供风控整体解决方案、大数据一体化平台及可视化工具。客户遍布银行、保险、互金以及IT、政府、电网、电商、旅游等行业。友谱一直致力于助力用户直观的了解到商业目标的数据痕迹,解读、预测、指导更多高效的商业行为,满足业务提升和管理需求。公司热忱希望优秀的您能加入我们,为我们创造下一个数据服务行业的自豪而并肩努力!
友谱大数据拥有国内领先的产品和技术团队,创始人和核心团队来自于各大金融机构、政府和阿里、京东等领先企业,在业界有丰富的经验和较高的影响力,并与中央财经大学等知名院校深度合作,共同承担数据应用的前瞻研究。
友谱的数据来自50余个权威数据源,面向招投标、精准营销、金融风控等领域提供企业营销、风险数据服务和企业征信数据服务等,并向各类金融机构提供风控整体解决方案、大数据一体化平台及可视化工具。客户遍布银行、保险、互金以及IT、政府、电网、电商、旅游等行业。友谱一直致力于助力用户直观的了解到商业目标的数据痕迹,解读、预测、指导更多高效的商业行为,满足业务提升和管理需求。公司热忱希望优秀的您能加入我们,为我们创造下一个数据服务行业的自豪而并肩努力!
联系方式
- 公司地址:上班地址:西直门外大街18号金贸大厦A座