长沙 [切换城市] 长沙招聘长沙计算机软件招聘长沙系统架构设计师招聘

高级大数据平台开发

湖南玛塔科技有限公司

  • 公司规模:少于50人
  • 公司性质:民营公司
  • 公司行业:新能源

职位信息

  • 发布日期:2020-11-16
  • 工作地点:长沙-岳麓区
  • 招聘人数:2人
  • 工作经验:3-4年经验
  • 学历要求:本科
  • 职位月薪:1.4-2.3万/月
  • 职位类别:系统架构设计师

职位描述

工作职责: 
 1、负责大数据的日常开发包括架构和日常的业务; 
 2、与业务方沟通日常的需求梳理需求文档产出技术方案。 
 任职要求:
 1、深刻理解HDFS分布式文件系统存储结构和高可用原理; 
 2、能运用Scala进行SparkRDD,Spark Streaming编程;
 3、熟练掌握Hadoop Mapreduce计算框架编程,对Yarn的资源调度,作业监控了解;
 4、深刻了解Spark运行机制掌握Spark Streaming编程,对定时批量任务处理;
 5、熟悉Flume,Kafka等日志收集以及Kafka connect实时多系统导入导出工具等分发框架的使用,能够将他们和Spark进行整合进行数据的实时处理; 
 6、能够熟练运用hive数据仓库工具,对日志数据进行查询,统计等数据操作,并且有一定的数据优化经验;
 7、能将Hive和Spark-sql进行整合,进行数据查询等相关操作; 
 8、熟悉HBase数据库的使用及其编程;
 9、熟悉ELK技术栈,了解ElasticSearch,Logstash的整合使用;

10、掌握Sqoop数据迁移工具的使用,能熟练的将数据从不同的存储介质进行迁移。


公司福利:五险一金、周末双休、年终奖、弹性工作、团建拓展活动、下午茶、每年健康体检、交通补贴、通讯补贴、电脑补贴、餐补、节日福利、生日福利、项目奖金、每年员工旅游、不定期CEO午餐会。

公司介绍

湖南玛塔科技有限公司(以下简称“玛塔科技”)是新能源领域软硬件研发及生产的高科技技术企业,致力于成为行业领先的新能源综合管理解决方案服务商。玛塔科技专注于新能源领域“互联网+智慧运维”,为客户提供新能源全生命周期一体化软硬件解决方案和服务,业务覆盖:新能源大数据平台、新能源电站运维、综合能源管理、智能化电力运行监测、智慧用能、智慧能效等,通过全方位挖掘能源数据价值,逐步实现新能源的智能管控、互联共享、高度智慧,打造“智慧能源”管理标杆。玛塔科技,智慧点亮未来!

联系方式

  • 公司地址:地址:span银杉路31号绿地时代广场5栋2305室