高级大数据平台开发
湖南玛塔科技有限公司
- 公司规模:少于50人
- 公司性质:民营公司
- 公司行业:新能源
职位信息
- 发布日期:2020-11-16
- 工作地点:长沙-岳麓区
- 招聘人数:2人
- 工作经验:3-4年经验
- 学历要求:本科
- 职位月薪:1.4-2.3万/月
- 职位类别:系统架构设计师
职位描述
工作职责:
1、负责大数据的日常开发包括架构和日常的业务;
2、与业务方沟通日常的需求梳理需求文档产出技术方案。
任职要求:
1、深刻理解HDFS分布式文件系统存储结构和高可用原理;
2、能运用Scala进行SparkRDD,Spark Streaming编程;
3、熟练掌握Hadoop Mapreduce计算框架编程,对Yarn的资源调度,作业监控了解;
4、深刻了解Spark运行机制掌握Spark Streaming编程,对定时批量任务处理;
5、熟悉Flume,Kafka等日志收集以及Kafka connect实时多系统导入导出工具等分发框架的使用,能够将他们和Spark进行整合进行数据的实时处理;
6、能够熟练运用hive数据仓库工具,对日志数据进行查询,统计等数据操作,并且有一定的数据优化经验;
7、能将Hive和Spark-sql进行整合,进行数据查询等相关操作;
8、熟悉HBase数据库的使用及其编程;
9、熟悉ELK技术栈,了解ElasticSearch,Logstash的整合使用;
10、掌握Sqoop数据迁移工具的使用,能熟练的将数据从不同的存储介质进行迁移。
公司福利:五险一金、周末双休、年终奖、弹性工作、团建拓展活动、下午茶、每年健康体检、交通补贴、通讯补贴、电脑补贴、餐补、节日福利、生日福利、项目奖金、每年员工旅游、不定期CEO午餐会。
公司介绍
湖南玛塔科技有限公司(以下简称“玛塔科技”)是新能源领域软硬件研发及生产的高科技技术企业,致力于成为行业领先的新能源综合管理解决方案服务商。玛塔科技专注于新能源领域“互联网+智慧运维”,为客户提供新能源全生命周期一体化软硬件解决方案和服务,业务覆盖:新能源大数据平台、新能源电站运维、综合能源管理、智能化电力运行监测、智慧用能、智慧能效等,通过全方位挖掘能源数据价值,逐步实现新能源的智能管控、互联共享、高度智慧,打造“智慧能源”管理标杆。玛塔科技,智慧点亮未来!
联系方式
- 公司地址:地址:span银杉路31号绿地时代广场5栋2305室