上海招聘

岗位描述：

1、参与平台的整体数据架构设计，完成从业务模型到数据模型的设计工作 ；

2、对数据挖掘及业务开发团队提供技术支持，协助方案规划；

3、负责技术攻关和创新技术引用，开发具有数据分析、数据挖掘能力的创新型产品；

4、负责公司的大数据平台的研发工作（包扩日志采集，离线计算，数据仓库存储和处理等）；

5、负责提升基于Hbase、kudu数据存储集群的高可用性、高性能、高扩展特性；

6、负责设计和建立基于Storm或Spark或flink的实时数据处理框架；

7、研究Hadoop/Spark/Hbase/Hive/flink等开源项目，对线上任务进行调优，并开发通用组件；

8、维持线上服务高效稳定，支撑业务和数据量的快速扩张。

岗位要求：

1、扎实的Java、Scala语言基础，对JVM运行机制有深入了解；

2、熟悉Hadoop、Spark并有丰富的开发经验；

3、熟练使用java语言，并掌握spring、mybatis等开源J2EE框架。使用java、scala、python等开发语言中的一种，有python和scala实际使用经验更佳；

4、有hadoop和spark实际开发经验。了解大数据组件的使用限制和应用场景，如hdfs,yarn,hbase,hive,flume,kafka,zk,impala,kylin,kudu,ES,Storm、MongoDB等。读过spark源码更佳；

5、熟悉mysql、ElasticSearch、Redis等关系型或NoSQL数据库，了解应用场景和使用限制。有实际调优经验者更佳。

6、熟悉linux常用命令，有实际CDH或HDP或apache版本的hadoop部署经验者优先；

7、熟悉并行计算或者分布式计算，熟悉Spark框架,熟练掌握RDD，SQL, Streaming, MLLIB，SparkR编程；

8、英文文档阅读无障碍、熟练掌握常用设计模式、熟练使用maven、git；

9、有深入研究过Hadoop/Spark源码者优先；

10、深入理解MapReduce工作原理，HDFS分布式文件系统架构；熟练掌握Hadoop/Hive/HBASE的运维和调优方法；

11、掌握或使用过Storm、Spark、flume、kafka等工具；

上海科勤息技术有限公司成立于2001年。公司现有员工百余人。目前业务涉及：软件人员外包，软件开发，软件测试、电子商务、电子政务、ERP系统开发、金融行业、公用事业、海外软件（日本、北美）市场软件开发、企业技术服务和企业培训。近两年来尤其致力于新能源电动汽车行业。得到用户的一致认可和好评，2018年被上海国际汽车城环球车享评为优秀合作伙伴。

公司下设软件开发、IT技术支持等部门。依靠精深的计算机技术、涵盖各个领域的专业知识、极其丰富的项目实施经验，在各个领域已树立起质量、服务一流的形象。与国内外知名IT企业建立紧密的合作关系。公司提供富于挑战性的事业发展空间，鼓励每一位员工创造性地工作，充分发挥个人的***价值，从而创造出***的工作效果。