大数据爬虫工程师 (职位编号:189)
搜股(北京)科技有限公司
- 公司规模:50-150人
- 公司性质:合资
- 公司行业:金融/投资/证券
职位信息
- 发布日期:2018-03-08
- 工作地点:上海-闸北区
- 工作经验:2年经验
- 学历要求:本科
- 职位月薪:1-2万/月
- 职位类别:软件工程师
职位描述
职位描述:
岗位职责
1. 负责设计和开发分布式爬虫和数据采集系统,完成数据采集与爬取、解析处理、入库等数据日常工作;
2. 负责与搜索技术相关的系统模块的设计、开发和维护工作,达到高效稳定的效果;
3. 负责网页信息抽取、数据清洗等研发和优化工作;
4. 设计爬取、调度和抽取算法,优化系统;
5. 负责抓取数据的深刻提取和挖掘;
6. 针对不同网站的反爬虫技术提出有效的应对策略;
岗位要求:
1、 计算机、数学、统计学或相关专业本科以上学历,2年以上工作经验;
2、 精通Python编程语言,精通Javascript,对HTTP协议及HTML有深入的了解;
3、 精通正则表达式,用于从各种网络结构化和非结构化数据中抽取有用的信息;
4、 熟练掌握数据库开发,对数据处理和数据质量有较深认识;精通至少一种主流数据NoSQL、mysql数据库
岗位职责
1. 负责设计和开发分布式爬虫和数据采集系统,完成数据采集与爬取、解析处理、入库等数据日常工作;
2. 负责与搜索技术相关的系统模块的设计、开发和维护工作,达到高效稳定的效果;
3. 负责网页信息抽取、数据清洗等研发和优化工作;
4. 设计爬取、调度和抽取算法,优化系统;
5. 负责抓取数据的深刻提取和挖掘;
6. 针对不同网站的反爬虫技术提出有效的应对策略;
岗位要求:
1、 计算机、数学、统计学或相关专业本科以上学历,2年以上工作经验;
2、 精通Python编程语言,精通Javascript,对HTTP协议及HTML有深入的了解;
3、 精通正则表达式,用于从各种网络结构化和非结构化数据中抽取有用的信息;
4、 熟练掌握数据库开发,对数据处理和数据质量有较深认识;精通至少一种主流数据NoSQL、mysql数据库
职能类别: 软件工程师
关键字: 爬虫 Python
公司介绍
本着“相信科技,追求极致”的初衷与理想,搜股科技于2015年在北京中关村科技园成立,目前公司总部设在上海。经过两年的耕耘与成长,搜股科技逐渐崭露头角,各项业务发展迅猛,现已成为国内证券大数据的领头羊。
依托公司自建的国际领先的证券大数据平台,搜股科技相继开发上线了面向股民的超短线炒股神器--快涨APP,智能舆情系统和智能投顾管理系统;以及面向机构用户的FOF和PE管理系统。
我们的愿景是通过高科技手段赋予广大投资者平等的大数据使用权。
依托公司自建的国际领先的证券大数据平台,搜股科技相继开发上线了面向股民的超短线炒股神器--快涨APP,智能舆情系统和智能投顾管理系统;以及面向机构用户的FOF和PE管理系统。
我们的愿景是通过高科技手段赋予广大投资者平等的大数据使用权。
联系方式
- 公司地址:地址:span静安区汶水路299弄31号401- 402室