爬虫高级开发工程师
上海源企金融信息服务有限公司
- 公司规模:少于50人
- 公司性质:创业公司
- 公司行业:金融/投资/证券 互联网/电子商务
职位信息
- 发布日期:2017-02-19
- 工作地点:上海
- 招聘人数:1人
- 工作经验:3-4年经验
- 学历要求:本科
- 语言要求:英语 良好
- 职位月薪:1.8-2.5万/月
- 职位类别:高级软件工程师 其他
职位描述
职位描述:
爬虫高级开发工程师
岗位职责:
1、负责网络爬虫的核心技术研究和开发,参与各种核心搜索策略、算法、数据聚类、重组的设计与开发;
2、设计策略和算法,提升网页抓取的效率和质量;
3、分析爬虫系统的技术缺陷,对策略架构做出合理地调整和改进。
4、按照数据与业务部门的要求,爬取指定网站数据,并进行本地化存储与初步的清洗。
任职要求:
1、本科以上学历,两年以上爬虫系统开发经验,熟练掌握JAVA编程,熟悉python者优先;
2、熟悉模板和自动页面信息抽取,有网页类型分析者优先;
3、熟悉多线程、高并发;http协议,tcp协议
4、熟悉JS,ajax,网页消重,能够总结分析不同网站,网页的结构特点及规律
5、有分布式爬虫架构,数据挖掘经验者优先;
6、有垂直领域爬虫开发经验者优先。
7、熟悉一种关系型数据库mysql、oracle。
8、熟悉正则表达式、css selector、 xpath。
9、熟悉linux系统
10、熟悉一些基本的网页抽取工具:jsoup
11、熟悉redis、mongodb等
12、熟悉动态代理、反爬策略
举报
分享
爬虫高级开发工程师
岗位职责:
1、负责网络爬虫的核心技术研究和开发,参与各种核心搜索策略、算法、数据聚类、重组的设计与开发;
2、设计策略和算法,提升网页抓取的效率和质量;
3、分析爬虫系统的技术缺陷,对策略架构做出合理地调整和改进。
4、按照数据与业务部门的要求,爬取指定网站数据,并进行本地化存储与初步的清洗。
任职要求:
1、本科以上学历,两年以上爬虫系统开发经验,熟练掌握JAVA编程,熟悉python者优先;
2、熟悉模板和自动页面信息抽取,有网页类型分析者优先;
3、熟悉多线程、高并发;http协议,tcp协议
4、熟悉JS,ajax,网页消重,能够总结分析不同网站,网页的结构特点及规律
5、有分布式爬虫架构,数据挖掘经验者优先;
6、有垂直领域爬虫开发经验者优先。
7、熟悉一种关系型数据库mysql、oracle。
8、熟悉正则表达式、css selector、 xpath。
9、熟悉linux系统
10、熟悉一些基本的网页抽取工具:jsoup
11、熟悉redis、mongodb等
12、熟悉动态代理、反爬策略
职能类别: 高级软件工程师 其他
公司介绍
“企酷金服”是上海源企金融信息服务有限公司旗下专业服务新三板及区域股交挂牌企业,提供行情报价信息及企业金融业务的互联网金融信息服务平台。成立于2014年12月,注册资本1000万元,平台旨在为场外市场挂牌企业、金融服务机构、投资机构提供最专业、最便捷、最高效的B2B企业金融SaaS服务。其线上业务主要包括三大功能:以场外市场行情报价为主的数据、资讯信息服务;以董秘助手和投融互动为主的投资者关系管理工具;以B2B企业金融产品为主的投融交易业务;线下服务主要包括:以公司研报、融资估值为主的第三方研究服务;以企业培训及路演辅导为主的“酷会员”增值服务。
目前,平台已与全国中小企业股份转让中心(NEEQ)、上海股权托管交易中心、天津股权交易所、浙江股权交易中心等多家国内场外市场重要的股交中心建立了战略合作,并获得授权信息服务商资格。企酷自主研发的场外市场信息数据库覆盖20000+挂牌企业(该数据将随着市场的发展持续增长),并成功转化1000余家企业用户为平台会员,累计帮助企业获取融资上亿元。
企酷金服总部设在上海,公司设产品研发、数据研发、市场运营、投融业务等主要部门,核心团队行业从业经历丰富,具备专业的投行、投资、互联网金融及大数据等领域工作经验。
目前,平台已与全国中小企业股份转让中心(NEEQ)、上海股权托管交易中心、天津股权交易所、浙江股权交易中心等多家国内场外市场重要的股交中心建立了战略合作,并获得授权信息服务商资格。企酷自主研发的场外市场信息数据库覆盖20000+挂牌企业(该数据将随着市场的发展持续增长),并成功转化1000余家企业用户为平台会员,累计帮助企业获取融资上亿元。
企酷金服总部设在上海,公司设产品研发、数据研发、市场运营、投融业务等主要部门,核心团队行业从业经历丰富,具备专业的投行、投资、互联网金融及大数据等领域工作经验。
联系方式
- 公司地址:上班地址:上海市长宁区万航渡路2452号DOHO创意园B201室