上海招聘

1. 完成对复杂网站的数据抓取和交互模拟；
2. 通过各种渠道或方式对相关网站进行抓取；
3. 不断完善并维护相关网站的抓取，使之稳定运行，核心逻辑必须有单元测试；
4. 善于灵活运用各种非爬虫技术解决爬虫相关问题；
5. 随时响应并解决突发问题；
任职要求：
1. 两年以上网站抓取经验，有金融领域、舆情相关抓取经验；
2. 有较强的网站分析能力，熟知各种反爬措施及相关解决办法
3. 熟练使用eventlet、gevent、requests、selenium等技术实现高并发稳定抓取；
4. 熟练使用消息队列（MQ）、celery等异步框架实现分布式任务处理；
5. 熟知HTTP、TCP、Socket等底层知识；
6. 熟练掌握Fiddler、Http debugger等抓捕工具；
7. 熟悉WebMagic、adsl拨号、正则表达式、脱壳技术、加密、图片破解、二维码识别、滑块验证码破解、httpClient、分词、分布式爬虫调度、数据质量监控、代理ip调度算法、配置化爬虫、授权爬虫、舆情、应用市场、反爬；
8. 熟悉MySQL、MongoDB基本使用；
9. 熟悉python Scapy

上海软中信息技术有限公司（以下简称“ 软中信息 ”）成立于 1997 年 3 月， 是一家国有控股高新技术企业，专业从事大数据相关的技术研发、系统开发 和集成服务，并提供数字化转型相关的产品和解决方案。 软中信息是上海市科技系统成果转化的重要载体，具有***的行业地位 和资源优势，主要为金融、国资、政务、交通、医疗、教育、制造业等行业客户， 提供创新可靠的软件平台产品及相应技术服务。
公司自主研发了面向金融科技、大数据和数字化转型的基础平台、数据 平台和应用平台，具有国有资产监管、企业管控、智慧政法、园区运营管理、 数字乡村、工程科技知识服务、金融交易与风控、智慧医疗和智能交通等九大综合解决方案，其中有数十项产品和方案入选行业标准，客户已覆盖政府 及事业单位、金融证券机构和大型集团公司等。
软中信息将继续引领新一代信息技术的发展趋势，聚焦大数据、区块链 和人工智能的技术研发和行业应用，以“ 数字化 · 融合 · 智能化 ”为核心， 致力于政府、行业和企业的数字化转型，营造行业生态、与客户共同成长、 服务“ 数字中国 ”战略。