北京 [切换城市] 北京招聘

中级爬虫

北京友聚四海网络科技有限公司

  • 公司规模:1000-5000人
  • 公司性质:民营公司
  • 公司行业:互联网/电子商务

职位信息

  • 发布日期:2020-10-11
  • 工作地点:北京-朝阳区
  • 招聘人数:1人
  • 工作经验:3-4年经验
  • 学历要求:本科
  • 职位月薪:2.5-3万/月
  • 职位类别:其他

职位描述

岗位职责:

  1. 完成对复杂网站的数据抓取和交互模拟;
  2. 通过各种渠道或方式对相关网站进行抓取;
  3. 不断完善并维护相关网站的抓取,使之稳定运行,核心逻辑必须有单元测试;
  4. 善于灵活运用各种非爬虫技术解决爬虫相关问题;
  5. 随时响应并解决突发问题; 

任职要求:

  1. 五年以上网站抓取经验,有电商网站、舆情相关抓取经验;
  2. 有较强的网站分析能力,熟知各种反爬措施及相关解决办法
  3. 熟练使用eventletgeventrequestsselenium等技术实现高并发稳定抓取;
  4. 熟练使用消息队列(MQ)、celery等异步框架实现分布式任务处理;
  5. 熟知HTTPTCPSocket等底层知识;
  6. 熟练掌握FiddlerHttp debugger等抓捕工具;
  7. 熟悉WebMagicadsl拨号、正则表达式、脱壳技术、加密、图片破解、二维码识别、滑块验证码破解、httpClient、分词、分布式爬虫调度、数据质量监控、代理ip调度算法、配置化爬虫、授权爬虫、舆情、应用市场、反爬;
  8. 熟悉MySQLMongoDB基本使用;
  9. 熟悉python Scapy,熟悉Javascript,有一定的分析能力。

职能类别:其他

公司介绍

"欢迎来到友聚四海!
友聚四海是一家布局物联网、人工智能领域的前沿明星科技公司,始终坚持做“科技改变生活,服务创造价值”的品牌理念,让全球每个人都能享受科技带来的美好生活。我们秉持“做用户心中最酷的公司”的愿景,不断追求极致的产品和效率,坚持用科技改善人类生活的事业,我们的征途是星辰大海,我们始终坚信,美好的事情即将发生。
友聚四海专注于智能家居产品生态体系的打造,将智能云、家居电商平台、用户端与商户端有效的衔接在一起,形成生态闭环,是一家布局全球的移动互联网科技型企业,也是一家专注于高端智能家居生态链建设的民族企业。
随着公司的发展,业务范围逐步扩展到共享充电、在线教育、智能硬件等领域,致力于为用户提供更智能、更便捷、更贴心的服务。
我们拥有一支年轻、高效、专业的高品质团队,团队核心成员均来自阿里巴巴、腾讯、京东、美团、百度等知名大厂,以80后、90后为主;公司高度重视人力资源的培养与挖掘,“以人为本”的用人理念,拥有完善的人才培养体系及晋升机制,力求为有志青年提供开放的奋斗平台。"

联系方式

  • 公司地址:地址:span朝阳区望京soho