北京招聘

岗位职责：

1、 负责分布式爬虫系统的核心架构设计以及系统规划；

2、 负责抓取数据的清洗、落地、分析，确保数据抽取准确、高效；

3、 破解反爬机制，优化爬虫路由调度策略；

     4、负责高性能爬虫系统的后台监控、报警模块的开发。

任职资格：

1、本科及以上学历，计算机或相关专业；

2、五年以上爬虫开发工作经验，具备扎实的计算机专业基础知识；

3、熟悉linux平台开发，精通Java或Python编程语言；

4、熟悉网页抓取原理及技术，了解基于Cookie的登录原理，熟悉基于正则表达式，Xpath等网页信息抽取技术；

5、熟悉开源爬虫Webmagic、Jsoup、HTMLunintHttpclient等；

6、热爱解决爬虫的各种技术问题，勇于挑战。

微信分享