爬虫开发工程师
迪普佰奥生物科技(上海)有限公司
- 公司规模:少于50人
- 公司性质:民营公司
- 公司行业:制药/生物工程
职位信息
- 发布日期:2020-11-11
- 工作地点:上海
- 招聘人数:1人
- 工作经验:2年经验
- 学历要求:本科
- 语言要求:英语良好
- 职位月薪:0.8-1万/月
- 职位类别:数据采集工程师 数据分析师
职位描述
岗位职责:
1. 根据需求开发不同网站平台的爬虫程序,收集指定的信息;
2. 参与爬虫核心算法和策略优化,熟悉采集系统的调度策略;
3. 负责对抓取数据进行结构化、去重、分类、垃圾过滤、质量分析;
4. 研究和分析目标网站,探索和研究高效的数据抓取解决方案;
5. 完成领导交代的其它调研及开发工作;
任职要求:
- 本科及以上学历,2年及以上Python开发工作经验;
- 英文良好,四级以上英语水平。
- 精通一种开源爬虫框架,如scrapy、webmagic、nutch、heritrix等;
- 深入理解网络爬虫原理,有丰富巨量的数据爬取、解析、清洗、存储相关项目经验
5. 熟悉MySQL等关系型数据库以及SQL语言,至少掌握一种NoSQL数据库;
6. 熟练掌握Linux操作系统,熟悉常用命令,熟悉shell;
7. 具备积极的工作态度,良好的团队意识,愿意为团队更多的成果产出做贡献;
8. 自我学习能力强,对新技术充满渴望;
公司介绍
2016年11月,DeepBio Group由生命科学行业与人工智能领域专家团队合作创立,是国内首家基于数据挖掘和人工智能的生命科学领域高精尖分析公司,服务于广大生命科学家、生物公司、各级科研机构以及国内外知名高校。以科学家服务科学家的核心理念, 应用大数据智能分析技术,解译海量生物大数据,针对生命科学行业各阶段痛点构建定制化解决方案,致力于提高行业整体效率。
目前,我们提供智能研发(Smart R&DTM)和智慧公司(Smart CompanyTM)两大板块的多套解决方案,已经与多家科研机构及公司达成合作,服务机构涵盖高校、研究院所、三甲医院,服务企业涵盖生物公司、药企、生化试剂采购平台等。上海交通大学、南开大学、咯斯玛中国,Roche、Merck等均为我们的重要合作伙伴。
针对科研客户,DeepBioGroup提供多模块化科研优化方案---智能产品搜索、智能实验构建、智能引物查询及智能科研项目。智能研发(Smart R&DTM)将传统科研模式中通常花费数周的文献阅览、产品反复验证过程节省至几分钟内完成,协助科学家快速设计引物、构建实验路线,真正意义上加速科研进程并缩减不必要的经费开支; 针对工业客户,DeepBioGroup提供竞品分析、产品引用分析、网页API数据接入、新产品研发分析及客户档案系统权限购买等数据服务。利用智慧公司(SmartCompanyTM)对于客户及产品的数字化分析,生命科学公司能够精准化定位客户,准确开发新产品并且全面掌握市场动态。
目前,我们提供智能研发(Smart R&DTM)和智慧公司(Smart CompanyTM)两大板块的多套解决方案,已经与多家科研机构及公司达成合作,服务机构涵盖高校、研究院所、三甲医院,服务企业涵盖生物公司、药企、生化试剂采购平台等。上海交通大学、南开大学、咯斯玛中国,Roche、Merck等均为我们的重要合作伙伴。
针对科研客户,DeepBioGroup提供多模块化科研优化方案---智能产品搜索、智能实验构建、智能引物查询及智能科研项目。智能研发(Smart R&DTM)将传统科研模式中通常花费数周的文献阅览、产品反复验证过程节省至几分钟内完成,协助科学家快速设计引物、构建实验路线,真正意义上加速科研进程并缩减不必要的经费开支; 针对工业客户,DeepBioGroup提供竞品分析、产品引用分析、网页API数据接入、新产品研发分析及客户档案系统权限购买等数据服务。利用智慧公司(SmartCompanyTM)对于客户及产品的数字化分析,生命科学公司能够精准化定位客户,准确开发新产品并且全面掌握市场动态。
联系方式
- Email:chan.wang@deepbiogroup.com
- 公司地址:地址:span闵行区莘福路388号