高级数据采集工程师
上海在途网络科技有限公司
- 公司规模:150-500人
- 公司性质:民营公司
- 公司行业:互联网/电子商务
职位信息
- 发布日期:2020-12-19
- 工作地点:上海-普陀区
- 招聘人数:1人
- 工作经验:3-4年经验
- 学历要求:本科
- 职位月薪:1.2-1.8万/月
- 职位类别:数据采集工程师 数据分析师
职位描述
1.负责设计和开发爬虫系统,管理分布式爬虫服务器,开发任务调度引擎;
2.负责爬虫核心算法的策略优化,提升爬虫抓取效率和质量;
3.设计爬虫策略和防屏蔽规则,解决封账号、封IP、验证码等难点攻克;
4、根据开发需求,完成基于PYTHON的模块开发。
任职要求:
1. 本科及以上学历,计算机等相关专业, 3年及以上工作经验;
2. 精通Python语言, 至少2年Python相关的开发经验;
3. 熟悉爬虫原理,熟悉常见的反爬虫技术,有爬虫系统设计开发经验;
4. 有扎实的算法和数据结构能力。
5. 熟悉反爬策略的应对,能够解决封账号、封IP采集等问题;
6. 熟悉linux系统环境;
7. 悉Mysql、redis等数据库。
公司介绍
在途商旅是一家致力于为企业提供智慧商旅解决方案的创新型互联网公司,国家高新技术企业。公司成立于2014年,现有员工300多名,总部位于上海,在北京、广州、杭州、温州、成都等地有多家分子公司和支持中心。基于自主研发的商旅费控SaaS云平台,提供一站式出行产品预订和费用管控服务,助力企业降本增效,赋能企业智慧出行。
联系方式
- 公司地址:地址:span北京市朝阳区东三环南路58号富顿中心A座709