大数据开发工程师
重庆气盖世网络科技有限公司
- 公司规模:少于50人
- 公司性质:民营公司
- 公司行业:计算机软件
职位信息
- 发布日期:2019-05-06
- 工作地点:广州-天河区
- 招聘人数:2人
- 工作经验:3-4年经验
- 学历要求:本科
- 职位月薪:1.5-2万/月
- 职位类别:高级软件工程师 数据库工程师/管理员
职位描述
1、参与平台的整体数据架构设计,完成从业务模型到数据模型的设计工作 ;
2、对数据挖掘及业务开发团队提供技术支持,协助方案规划;
3、负责技术攻关和创新技术引用,开发具有数据分析、数据挖掘能力的创新型产品;
4、负责公司的大数据平台的研发工作(包扩日志采集,离线计算,数据仓库存储和处理等);
5、负责提升基于Hbase、kudu数据存储集群的高可用性、高性能、高扩展特性;
6、负责设计和建立基于Storm或Spark或flink的实时数据处理框架;
7、研究Hadoop/Spark/Hbase/Hive/flink等开源项目,对线上任务进行调优,并开发通用组件;
8、维持线上服务高效稳定,支撑业务和数据量的快速扩张。
任职资格:
1、扎实的Java、Scala语言基础,对JVM运行机制有深入了解;
2、熟悉Hadoop、Spark并有丰富的开发经验;
3、熟练使用java语言,并掌握spring、mybatis等开源J2EE框架。使用java、scala、python等开发语言中的一种,有python和scala实际使用经验更佳;
4、有hadoop和spark实际开发经验。了解大数据组件的使用限制和应用场景,如hdfs,yarn,hbase,hive,flume,kafka,zk,impala,kylin,kudu,ES,Storm、MongoDB等。读过spark源码更佳;
5、熟悉mysql、ElasticSearch、Redis等关系型或NoSQL数据库,了解应用场景和使用限制。有实际调优经验者更佳。
6、熟悉linux常用命令,有实际CDH或HDP或apache版本的hadoop部署经验者优先;
7、熟悉并行计算或者分布式计算,熟悉Spark框架,熟练掌握RDD,SQL, Streaming, MLLIB,SparkR编程;
8、英文文档阅读无障碍、熟练掌握常用设计模式、熟练使用maven、git;
9、有深入研究过Hadoop/Spark源码者优先;
10、深入理解MapReduce工作原理,HDFS分布式文件系统架构;熟练掌握Hadoop/Hive/HBASE的运维和调优方法;
11、掌握或使用过Storm、Spark、flume、kafka等工具;
12、两年以上大数据相关工作经验,最好参与并成功部署过1个日均TB级的集群项目。
13、此岗位需要出差,不能接受请勿扰。
职能类别: 高级软件工程师 数据库工程师/管理员
公司介绍
联系方式
- 公司地址:地址:span华明路9号华普广场