爬虫开发工程师
上海知房网络科技有限公司
- 公司规模:50-150人
- 公司性质:创业公司
- 公司行业:互联网/电子商务
职位信息
- 发布日期:2017-08-14
- 工作地点:上海-杨浦区
- 招聘人数:若干人
- 学历要求:本科
- 职位月薪:1-2万/月
- 职位类别:软件工程师 高级软件工程师
职位描述
职位描述:
岗位职责:
1.负责大规模文本、图像数据的抓取、抽取、去重、分类、过滤、存储等工作;
2.负责爬虫例行数据分析,爬虫日常运行维护;
3.设计、实现并优化后台服务(爬虫等)组件
任职要求:
1.本科或以上学历,1-3年工作经验;
2.熟练掌握Python语言,熟悉linux环境,熟练掌握http/tcp相关实践知识,有过前端或后端(接口)开发经验;
3.熟悉各种消息队列、数据库、服务器如redis, rabbitMQ, mysql, mongodb,熟悉爬虫相关库如requests, lxml, pyquery等;
4.有爬虫、信息抽取、文本分析等相关经验,熟悉爬虫的架构与流程,熟悉第三方爬虫库如scrapy, pyspider等,或者自己实现过;
5.了解爬虫的架构分层和模块化、服务化;
6.对于新模块和新架构有不错的学习能力,并有良好的沟通协作能力。
7.规模分布式爬虫系统经验,开放式爬虫系统经验,有golang语言相关开发经验。
举报
分享
岗位职责:
1.负责大规模文本、图像数据的抓取、抽取、去重、分类、过滤、存储等工作;
2.负责爬虫例行数据分析,爬虫日常运行维护;
3.设计、实现并优化后台服务(爬虫等)组件
任职要求:
1.本科或以上学历,1-3年工作经验;
2.熟练掌握Python语言,熟悉linux环境,熟练掌握http/tcp相关实践知识,有过前端或后端(接口)开发经验;
3.熟悉各种消息队列、数据库、服务器如redis, rabbitMQ, mysql, mongodb,熟悉爬虫相关库如requests, lxml, pyquery等;
4.有爬虫、信息抽取、文本分析等相关经验,熟悉爬虫的架构与流程,熟悉第三方爬虫库如scrapy, pyspider等,或者自己实现过;
5.了解爬虫的架构分层和模块化、服务化;
6.对于新模块和新架构有不错的学习能力,并有良好的沟通协作能力。
7.规模分布式爬虫系统经验,开放式爬虫系统经验,有golang语言相关开发经验。
职能类别: 软件工程师 高级软件工程师
关键字: 爬虫 软件
公司介绍
上海知房网络科技有限公司成立于2016年,成立之初即获2000万元天使轮投资。公司将以创新型的服务满足房东、客户双方的需求,以简单、高效的交易方式为双方创造价值。
这是一家崭新的创业型公司,公司产品将于2017年中上线,立足上海,面向一线、二线城市快速布局。这是一个与公司一起成长的机会,这里的机会充满挑战、回报丰厚;这里的舞台足够与梦想匹配!
我们的愿景:一家简单、高效的房产租售平台
我们在寻找:非常务实的理想主义者!
经验并不重要,如果你不满足于已有、志存高远;如果你依然相信奋斗、脚踏实地,请与我们一起出发,共同见证公司估值和个人价值的飞速成长!
这是一家崭新的创业型公司,公司产品将于2017年中上线,立足上海,面向一线、二线城市快速布局。这是一个与公司一起成长的机会,这里的机会充满挑战、回报丰厚;这里的舞台足够与梦想匹配!
我们的愿景:一家简单、高效的房产租售平台
我们在寻找:非常务实的理想主义者!
经验并不重要,如果你不满足于已有、志存高远;如果你依然相信奋斗、脚踏实地,请与我们一起出发,共同见证公司估值和个人价值的飞速成长!
联系方式
- 公司地址:上海市静安区共和新路1233号