武汉招聘

岗位职责： 

1、负责对目标网站抓取数据进行分析，调优爬取策略； 

2、负责爬虫平台的设计和开发，包括调度策略、分布式的设计与优化； 

3、负责爬虫平台的监控和报警服务设计及优化，保证爬虫平台的稳定运行； 

4、负责可视化采集模板的技术调研、设计及开发；

5、负责公司数据清洗、建模开发，包括：实现数据提取、清洗、结构化、入库等内容；

6、负责运维python与其他系统平台通讯的api服务；

7、精通SQL Server数据库开发，有对复杂Sql语句和存储过程等的开发与优化经验，有大数据量、高并发访问处理经验尤佳；

 

任职要求： 

1、计算机或相关专业本科以上学历，2年以上爬虫工作经验，3年以上的asp.net开发经验； 

2、熟练掌握Python、Linux； 

3、熟练使用http代理工具，如Fidder等； 

4、熟练掌握使用正则表达式、XPath、CSS等方式抽取网页元数据； 

5、熟练掌握使用模拟方式，如Selenium+PhantomJS获取网站数据； 

6、掌握android ADB等APP调试工具的使用； 

7、掌握redis、rabbitMQ、mysql的使用；

8、有Scrapy、Portia等开源爬虫项目二次开发经验者优化；

9. 能独立解决实际开发过程碰到的各类疑难杂症；熟悉分布式开发； 

10、熟悉针对LinkedIn 、Facebook、Twitter、Instagram、YouTube等数据内容获取项目经验者优先。

武汉国贸通大数据有限公司，中文简称国贸通公司，英文简称GTDT，英文全称为Global Trade Data Technology Ltd。2004年7月在中国北京创立，总部位于北京，国贸通公司是一家提供全球国际贸易数据智能查询分析系统（简称国贸通）的DT（IT）公司，是全球***家将DT（DataTechnology， 数据技术）引入应用到国际贸易领域的先行者。