广州 [切换城市] 广州招聘广州计算机软件招聘广州高级软件工程师招聘

大数据开发工程师

重庆气盖世网络科技有限公司

  • 公司规模:少于50人
  • 公司性质:民营公司
  • 公司行业:计算机软件

职位信息

  • 发布日期:2019-05-06
  • 工作地点:广州-天河区
  • 招聘人数:2人
  • 工作经验:3-4年经验
  • 学历要求:本科
  • 职位月薪:1.5-2万/月
  • 职位类别:高级软件工程师  数据库工程师/管理员

职位描述

1、参与平台的整体数据架构设计,完成从业务模型到数据模型的设计工作 ;

2、对数据挖掘及业务开发团队提供技术支持,协助方案规划;

3、负责技术攻关和创新技术引用,开发具有数据分析、数据挖掘能力的创新型产品;

4、负责公司的大数据平台的研发工作(包扩日志采集,离线计算,数据仓库存储和处理等);

5、负责提升基于Hbasekudu数据存储集群的高可用性、高性能、高扩展特性;

6、负责设计和建立基于StormSparkflink的实时数据处理框架;

7、研究Hadoop/Spark/Hbase/Hive/flink等开源项目,对线上任务进行调优,并开发通用组件;

8、维持线上服务高效稳定,支撑业务和数据量的快速扩张。

任职资格:

1、扎实的JavaScala语言基础,对JVM运行机制有深入了解;

2、熟悉HadoopSpark并有丰富的开发经验;

3、熟练使用java语言,并掌握springmybatis等开源J2EE框架。使用javascalapython等开发语言中的一种,有pythonscala实际使用经验更佳;

4、有hadoopspark实际开发经验。了解大数据组件的使用限制和应用场景,如hdfs,yarn,hbase,hive,flume,kafka,zk,impala,kylin,kudu,ES,StormMongoDB等。读过spark源码更佳;

5、熟悉mysqlElasticSearchRedis等关系型或NoSQL数据库,了解应用场景和使用限制。有实际调优经验者更佳。

6、熟悉linux常用命令,有实际CDHHDPapache版本的hadoop部署经验者优先;

7、熟悉并行计算或者分布式计算,熟悉Spark框架,熟练掌握RDDSQL, Streaming, MLLIBSparkR编程;

8、英文文档阅读无障碍、熟练掌握常用设计模式、熟练使用mavengit

9、有深入研究过Hadoop/Spark源码者优先;

10、深入理解MapReduce工作原理,HDFS分布式文件系统架构;熟练掌握Hadoop/Hive/HBASE的运维和调优方法;

11、掌握或使用过StormSparkflumekafka等工具;

12、两年以上大数据相关工作经验,最好参与并成功部署过1个日均TB级的集群项目。

13、此岗位需要出差,不能接受请勿扰。


公司介绍

重庆气盖世网络科技有限公司于2016年03月18日在重庆市工商行政管理局黔江区分局注册成立,注册资本为1000(万元),在公司发展壮大的3年里,我们始终为客户提供好的产品和技术支持、健全的售后服务,我公司主要经营软件开发及服务;广告设计、制作、代理、发布;计算机技术咨询及推广;互联网信息咨询;动画设计;图文设计及制作;企业形象策划;市场营销策划及推广;销售:音响制品、通讯产品、电子产品、金刚石、宝石、翡翠、手镯、胸针、链、项链、珍珠、珠宝首饰。(依法须经批准的项目,经相关部门批准后方可开展经营活动),我们有好的产品和专业的销售和技术团队,我公司属于重庆计算机网络设备厂黄页行业。

联系方式

  • 公司地址:地址:span华明路9号华普广场