上海招聘

职位描述：
岗位职责：
1.负责大规模数据的抓取、解析、分类、去重、存储，以及分析工作；
2.设计爬虫的流程与架构，优化系统，提高抓取系统的稳定性及性能。

任职要求：
1.全日制本科，2年以上爬虫经验；
2.熟练掌握Python语言，熟悉linux环境，熟练掌握http/tcp相关实践知识，有过前端或后端（接口）开发经验；
3.熟悉各种消息队列、数据库、服务器如redis, rabbitMQ, mysql, mongodb，熟悉爬虫相关库如requests, lxml, pyquery等；
4.有爬虫、信息抽取、文本分析等相关经验，熟悉爬虫的架构与流程，熟悉第三方爬虫库如scrapy, pyspider等，或者自己实现过；
5.了解爬虫的架构分层和模块化、服务化；
6.对于新模块和新架构有不错的学习能力，并有良好的沟通协作能力。

加分项
1. 大规模分布式爬虫系统经验，开放式爬虫系统经验；
2. 有golang语言相关开发经验。 举报 分享

华尔街见闻是中国领先的财经新媒体，以互联网思维颠覆传统金融信息行业，帮助中国投资者理解世界。

我们给投资者做决策提供最快最专业的信息，同时也提供交易工具，让用户可以在这里交易全球金融资产。

成立两年以来，华尔街见闻已获得多家机构投资，其中包括一家世界五百强企业，一家国内综合实力最强的证券公司，和一家拥有数亿用户的互联网公司。

我们的手机客户端和网站每月覆盖用户超过千万，在app store财经新闻类别稳居第一，财经微信的影响力位列第一。

我们的团队成员来自腾讯、阿里等互联网公司，惠誉、普华永道等金融机构，21世纪经济报道，第一财经、财新、FT等财经媒体。

团队成员教育背景为清华、北大、复旦、交大等国内名校，芝加哥大学、哥伦比亚大学、伦敦大学学院、伦敦政经学院等世界名校。
我们正在通过华尔街见闻影响和改变未来的中国金融世界。你，还在等什么？

更多职位请见 wallstreetcn.com/joinus