北京招聘

职位描述：
岗位职责：
1、 设计和开发分布式爬虫和调度系统，负责爬虫核心算法和调度策略优化；
2、 负责网络信息搜集方向的研究与开发，应用海量网页抓取、信息精准抽取等搜索核心技术，构建高可用性、高可扩展性的网络信息搜集平台；
3、精通爬虫的应用策略和网站的防爬机制，能够解决各类验证码识别和处理，提升网页抓取的效率和质量；
4、管理并负责完成业务网站和APP数据的数据爬取、解析、过滤，清洗、消重、结构化处理等工作，为数据分析提供高质量数据。

任职要求：
1. 大学本科及以上学历，计算机相关专业，基础扎实；
2. JAVA开发工作5年以上经验，Python开发经验2年以上，精通Python常用函数库；
3. 精通常用Python爬虫框架中的一种或多种，熟悉Scrapy、Pyspider框架中的至少一种；熟悉solr，Lucene等全文搜索引擎。
4. 精通机器学习和数据分析，熟练使用NumPy、SciPy，和Pandas ，Matplotlib ，Bokeh ，TensorFlow， NLTK，Statsmodels等资源库。
5. 熟练掌握Linux系统；掌握大数据体系，熟悉hadoop+spark、hive、hbase原理，熟悉大数据生态技术，如Storm、Spark、 Flume、Kafka等，有三年以上大规模集群开发运维经验，熟练使用 CDH5、hortonworks之一。
6. 熟练掌握MySql、Redis、MongoDB等，有丰富的数据库分布式部署和性能优化经验，精通oracle数据库相关经验的优先；
7. 精通网页抓取原理及解析技术和正则表达式、XPath、CSS等网页信息抽取技术；
8. 具有管理团队的经验，具有优秀的沟通和协调能力，善于学习，能承受较大的工作压力。 举报 分享

北京奥德塔数据科技有限公司（英文名：ADT，简称：奥德塔），成立于2017年，是一家专业从事大数据应用和数据管控咨询服务的创新企业。
奥德塔（ADT）的理念是“创新、高效”，以数据管控为核心，挖掘大数据价值是我们一贯坚持的目标，通过行业深入研究+大数据技术实现业务战略和管理模式的深度应用实践。我们致力于为客户提供全业务链的大数据管控解决方案，包括数据治理业务咨询、数据采集、数据清洗和数据标准化、用户画像和数据可视化、大数据运营分析等咨询和解决方案服务，帮助企业快速实现数据化运营管控，运用大数据优势创造企业核心价值！
    奥德塔欢迎年轻有识之士的加入！