杭州招聘

我们的项目是一个基于淘宝的数据分析平台
欢迎从事过淘宝相关的各种技术人员或者对Java技术有一定经验、主导负责过相关功能模块的Java开发人员加入，
我们需要的人，
要么是从事过大量数据抓取的技术人员，最好能够管理一整套扩展性强、具有反扒措施的爬虫系统
要么是对NoSql数据库Cassandra、ElasticSearch（也可以说ES）或相关轻便的NoSQL数据库有还不错经验的人
要么是搞Java的，对某些框架比较熟悉，有一定理解的人，最好主导负责过相关功能模块的开发

岗位职责：

1、参与爬虫系统的架构设计与开发；

2、负责设计和开发多平台信息的抓取和分析；

3、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；

4、负责数据检索系统的开发和维护；

5、用脚本或程序对大规模数据进行处理和分析；

6、能独立解决实际开发过程碰到的各类问题。

技术要求：

1、熟悉linux平台操作，有2年以上Java开发经验；

2、能熟练使用springMVC、Mybatis、tomcat等框架；

3、熟悉信息抓取和整合技术，从结构化的和非结构化的数据中获取信息；

4、熟悉Mysql，redis，三者至少之一，有过数据库调优和海量数据存储经验优先；

5、有自然语言处理、分布式爬虫架构或数据挖掘相关经验的优先；

6、熟悉hbase、Cassandra等nosql数据库优先。