上海招聘

职位描述：
岗位职责：
1、负责基于Spark技术的海量数据的处理、分析、统计、挖掘工作；
2、基于Spark框架的数据仓库的设计，开发，维护；
3、根据需求使用Spark Streaming和Spark SQL进行数据处理、查询、统计等工作。

岗位要求：
1、本科及以上学历，软件工程、计算机等相关专业，优秀硕士研究生优先考虑；
2、熟悉RDD/DataFrame编程，对Spark体系结构、运行机制有深入研究，熟悉源码；
3、熟悉Spark相关技术；
4、熟悉linux、shell脚本或python脚本编程；
5、熟悉Spark Streaming和Spark SQL，有过程序开发经验；
6、具有良好的Trouble Shooting能力；
7、能够用python开发数据算法，熟悉python算法库的优先；
7、具有海量数据系统开发经验，且在开源社群活跃并有积极贡献者优先考虑。 举报 分享

以智能硬件为载体，以大数据服务为核心。
有意视，才有意思。