信息采集组长
深圳市比一比网络科技有限公司
- 公司规模:50-150人
- 公司性质:民营公司
- 公司行业:互联网/电子商务
职位信息
- 发布日期:2019-11-12
- 工作地点:深圳-南山区
- 招聘人数:若干人
- 工作经验:5-7年经验
- 学历要求:大专
- 职位月薪:1.5-2.5万/月
- 职位类别:软件工程师
职位描述
一. 职位描述
1.负责分布式网络数据采集系统的架构设计与开发;参与系统设计与开发;
2. 手机APP、互联网站、网页、链接的特征挖掘,进行网页抓取、数据提取、清洗、入库;
3.对反爬机制有研究,有逆向能力分析解决接口加密与JS混淆/反机器人验证等层出不穷的高难度反爬技术。
4. 负责核心算法的策略优化研究,充分利用资源,避免限制;
5. 优化搜索、匹配、抓取等关键程序的性能及效率;
6. 信息采集团队日常管理,进行技术分享与培训
二. 职位要求
1.四年以上网页/app信息采集开发相关经验,熟练使用Python或Java进行开发;
2. 熟悉抓包软件,熟悉各种反爬应对技术,包括识别码,滑动块识验码,接口加密与JS混淆等技术。
3.熟练使用正则表达式、css path、xpath等,能够从结构化的和非结构化的数据中获取信息;
4、熟悉Flask、Django、Tornado等至少一种web框架;
5、有单日百万级数据量抓取,复杂验证码破解和自然语言处理等经验者优先;
6.熟练使用MySQL数据库,掌握redis、mongodb、hive等常用nosql技术并具有实战经验;
7. 掌握常见爬虫库和框架,如scrapy、urlib、requests、nutch、urlib、requests等,有开发框架经验优先;
8.具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先;
9.熟悉网页病毒及网页挂马原理分析与防治优先。
1.负责分布式网络数据采集系统的架构设计与开发;参与系统设计与开发;
2. 手机APP、互联网站、网页、链接的特征挖掘,进行网页抓取、数据提取、清洗、入库;
3.对反爬机制有研究,有逆向能力分析解决接口加密与JS混淆/反机器人验证等层出不穷的高难度反爬技术。
4. 负责核心算法的策略优化研究,充分利用资源,避免限制;
5. 优化搜索、匹配、抓取等关键程序的性能及效率;
6. 信息采集团队日常管理,进行技术分享与培训
二. 职位要求
1.四年以上网页/app信息采集开发相关经验,熟练使用Python或Java进行开发;
2. 熟悉抓包软件,熟悉各种反爬应对技术,包括识别码,滑动块识验码,接口加密与JS混淆等技术。
3.熟练使用正则表达式、css path、xpath等,能够从结构化的和非结构化的数据中获取信息;
4、熟悉Flask、Django、Tornado等至少一种web框架;
5、有单日百万级数据量抓取,复杂验证码破解和自然语言处理等经验者优先;
6.熟练使用MySQL数据库,掌握redis、mongodb、hive等常用nosql技术并具有实战经验;
7. 掌握常见爬虫库和框架,如scrapy、urlib、requests、nutch、urlib、requests等,有开发框架经验优先;
8.具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先;
9.熟悉网页病毒及网页挂马原理分析与防治优先。
职能类别:软件工程师
公司介绍
深圳市比一比网络科技有限公司(**************)成立于2009年,是一家国家高新技术企业,致力于人工智能技术和大数据技术服务。
公司拥有人工智能、大数据分析及处理、数据可视化等领域的专业技术人才。拥有一系列人工智能技术,包括:视频分析、人脸识别、图像识别、文本识别等。目前拥有的专利及软著达30多项。现致力于交通行业人工智能应用的开发和服务,为交通行业客户提供全方位的人工智能解决方案。
理念:合法分享利益,和客户共赢
定位:智慧交通安全服务商***
使命:让智慧交通守卫生命安全
愿景:让智慧交通安全创造伟大价值
我们的福利:
1、入职即可享有国家规定的社保及公积金
2、在职员工除可享受法定带薪的公休日外,公司还额外规定了3.8节等休假福利
3、公司定期组织各类专业知识分享
4、组织员工参与丰富多彩的休闲活动
5、公司组织下午茶及生日会
6、提供旅游及中西内外节日福利
7、对于公司员工婚丧、大病、新生儿公司提供相应关怀
公司拥有人工智能、大数据分析及处理、数据可视化等领域的专业技术人才。拥有一系列人工智能技术,包括:视频分析、人脸识别、图像识别、文本识别等。目前拥有的专利及软著达30多项。现致力于交通行业人工智能应用的开发和服务,为交通行业客户提供全方位的人工智能解决方案。
理念:合法分享利益,和客户共赢
定位:智慧交通安全服务商***
使命:让智慧交通守卫生命安全
愿景:让智慧交通安全创造伟大价值
我们的福利:
1、入职即可享有国家规定的社保及公积金
2、在职员工除可享受法定带薪的公休日外,公司还额外规定了3.8节等休假福利
3、公司定期组织各类专业知识分享
4、组织员工参与丰富多彩的休闲活动
5、公司组织下午茶及生日会
6、提供旅游及中西内外节日福利
7、对于公司员工婚丧、大病、新生儿公司提供相应关怀
联系方式
- 公司地址:深圳市南山区粤海街道讯美科技广场1栋 (邮编:518000)
- 电话:15915733108