上海招聘

1、完成爬虫系统的设计与开发，搭建数据采集平台，通过对数据的抓取、解析、调度、存储等模块的拆分与优化，构建和完善统一的抓取服务平台；

2、负责设计和开发分布式网络爬虫，进行多平台、多终端信息的抓取和分析；

3、设计爬虫策略和防屏蔽规则，解决封账号、封IP、验证码等难点攻克；

4、系统解决动态网页内容抓取、深度网页内容抓取；

5、实现大规模文本数据的抓取及数据清洗工作。

任职要求：

1、 本科及以上学历，计算机等相关专业， 2年及以上工作经验；

2、 精通Python语言， 有过Python相关的开发经验；

3、 熟悉网页抓取原理及技术，能够总结分析不同网站，网页的结构特点及规律；

4、 熟悉常用的Python爬虫框架以及其分布式爬取开发；

5、 熟悉反爬策略的应对，能够解决封账号、封IP采集等问题；

6、 熟练掌握Django框架下的Web后台业务编程，熟悉MVC框架开发；

7、 熟悉Mysql、redis等数据库，有过数据库调优和海量数据存储经验者优先。

上海祁域网络科技有限公司创立于2017年10月，专注于网站技术的研究和开发，以“网站内容管理系统”为核心产品，形成了针对政府、企业、媒体等不行同业、不同规模、不同应用的五大系列产品和针对性解决方案，是国内有影响力的网站技术提供商。
创新与服务是祁域科技的核心竞争力。凭借对软件和互联网行业的深刻理解，祁域科技将软件技术与互联网应用相结合，将领先业界的产品理念和丰富的产品开发经验相结合，为用户提供简单、方便、安全、实用的协同应用软件产品和解决方案，帮助客户实现低成本、低风险、快起步、高效率的信息化目标。亲切、开放、严谨的公司文化和科学规范的管理，凝聚着大量的优秀人才，祁域科技拥有由优秀的领导层和年轻有干劲的IT人员组成的技术团队，他们在项目开发和维护方面默契合作，深刻理解“以客户为中心”的含义，将“服务”贯穿于公司运作和管理的每一个细节，赢得客户广泛的信任和支持。
祁域科技成长的过程，就是服务客户并和客户一起不断成功的过程!我们用心、努力作好每一件事，满怀信心迎接每一次挑战。