上海招聘

岗位职责：
1、 能够使用 Python 进行网页、app等数据采集，进行数据的抓取、清洗、结构化、入库等工作；
2、搭建数据采集体系，构建数据结果展示体系，供行业分析师进行报告的撰写支撑；
3、参照数据体系，整理底层各种结构化和非结构化数据源，进行标准化清洗和建模，建立数据标准化。

任职要求：
1.统招专科及以上学历，工作经验3年及以上，2年及以上爬虫、反爬虫研发经验；
2.精通python开发，熟练使用scrapy开源爬虫框架；
3.熟悉多线程、网络编程以及分布式爬虫架构开发场景；
4.熟悉MYSQL/mongodb数据库的常规使用；
5.熟悉Kafka、Hadoop等常见大数据中间件使用；
6.熟练使用模拟登陆、UA池、动态代理、IP池等常规伪装手段；
7.熟悉常规反爬虫手段以及常见的解决方案，有一定的逆向工程能力；
8.具备C++ GUI开发经验优先考虑；

上海鹏越惊虹信息技术发展有限公司
上海交通大学信息安全工程学院
信息内容分析技术国家工程试验室
上海市信息安全综合管理技术研究重点试验室

公司是一家依托上海交通大学信息安全工程学院核心研发团队的专业从事网络及信息安全产品研发、安全系统集成、安全咨询服务以及计算机管理信息系统，特别是对安全管理性需求有较高要求的管理信息系统开发的民营高科技学科型企业。作为上海交通大学信息安全工程学院的产业化应用推广平台，公司拥有《涉及国家秘密的计算机信息系统集成资质》、《上海市高新技术企业认定》、《ISO9001：2000质量管理体系认证》、《国家商用密码产品生产定点单位》、《商用密码产品销售许可证》、《软件企业认定》等多项资质，实行产、学、研的循环发展模式，拥有中、高级研究和开发人员约50名，其中博士8名、硕士以上学历者占60%，本科以上学历者占94%。公司的主要技术和管理骨干均主持或参加过市政网络及信息管理系统、国家信息安全应用示范工程（S219）等重大项目的建设。
立足于发展本国的网络及信息安全产业以及为了建立健全良性循环的产、学、研发展链条，公司每年将税后利润的30%投入新产品、新技术的研发。依托上海交通大学信息安全工程学院的对外合作与交流平台，公司与众多国内知名安全产品厂商或研究机构建立了良好的长期合作关系，并成立了国家863计划网络及信息安全技术实验室、信息攻防及评测技术实验室、电子政务与信息安全工程研究中心、网络媒体信息安全研究实验室等研发基地。
公司视质量为生存的基础，用户***限度的满意为发展的根本动力。公司参照CMM3软件成熟度模型及ISO9001过程管理制定了完善的软件开发质量保证体系、网络安全咨询服务规范以及涉密网系统集成规范涵盖了公司主营业务的各个方面，对公司经营活动的全过程进行全面的质量管理。
公司的宗旨：以人为本，追求卓越，发展民族高新技术产业。

公司部分主要用户：
上海东方网股份有限公司
上海中汇金融外汇咨询有限公司
上海对外劳务经贸合作有限公司
上海人力资源有限公司
等~······


欢迎访问公司网站了解更多公司信息 ******************