大数据运维工程师
山东伏羲智库互联网研究院
- 公司规模:50-150人
- 公司性质:民营公司
- 公司行业:学术/科研
职位信息
- 发布日期:2019-11-22
- 工作地点:菏泽
- 招聘人数:1人
- 工作经验:3-4年经验
- 学历要求:本科
- 职位月薪:6-8千/月
- 职位类别:大数据开发/分析 技术支持/维护工程师
职位描述
岗位职责:
1、负责公司大数据平台的部署、管理、优化、监控报警,保障平台服务7*24稳定可靠高效运行;
2、深入理解公司大数据平台架构,发现并解决性能瓶颈,支撑业务和数据量的快速增长;
3、开发大数据自动化运维、监控报警、故障处理相关脚本和工具;
4、负责Hadoop/spark/Kafka/Redis/Hbase/ES等集群服务、业务监控、持续交付、应急响应、容量规划等。
5、保障大数据相关业务平台的数据安全,网络完全以及存储安全。
任职要求:
1、3年以上互联网运维相关工作经验,2年以上大数据平台运维相关工作经验;
2、具备一定的故障排查能力,有良好的技术敏感度和风险识别能力,精通一门以上脚本语言(shell/python等),熟悉Http/Https、TCP/IP、SMTP等协议;
3、熟悉Linux(redhat/centos)软硬件环境、系统管理和优化,熟练部署、优化各种常用服务。熟练使用Linux 命令和常用的ssh、ftp、git、maven等开发工具;
4、熟悉Hadoop大数据生态圈,包括但不限于CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flume/Impala/Hue/Sqoop/Elasticsearch/kibana/MySQL/Oracle等;
5、熟悉Hadoop各组件的原理和实现,有实际部署维护、管理( 包括元数据管理)及优化经验。并拥有持续调优能力,运维管理过大规模数据平台;
6、熟悉掌握常用的安全协议和组件服务,对hadoop各组件的权限、安全、kerberos进行配置管理。熟悉SSL、ACL、kerberos等在大数据环境场景的使用;
7、熟悉常用运维监控工具(nagios/ganglia/zabbix/grafan/openfalcon等)和相关插件的开发。比如邮件、短信、微信报警插件等;
8、熟悉常用nginx/haproxy/varnish/netscaler/tomcat等工具的使用和优化;
9、具备良好的服务意识,善于主动思考,自我驱动力强。有良好的沟通、协调能力,富有团队精神,有较强的文档编写能力;
10、有大数据开发经验和阅读源码能力者优先。
11、有区块链Hyperledger Fabric以及DOCKER、K8S实际运维经验者优先。
1、负责公司大数据平台的部署、管理、优化、监控报警,保障平台服务7*24稳定可靠高效运行;
2、深入理解公司大数据平台架构,发现并解决性能瓶颈,支撑业务和数据量的快速增长;
3、开发大数据自动化运维、监控报警、故障处理相关脚本和工具;
4、负责Hadoop/spark/Kafka/Redis/Hbase/ES等集群服务、业务监控、持续交付、应急响应、容量规划等。
5、保障大数据相关业务平台的数据安全,网络完全以及存储安全。
任职要求:
1、3年以上互联网运维相关工作经验,2年以上大数据平台运维相关工作经验;
2、具备一定的故障排查能力,有良好的技术敏感度和风险识别能力,精通一门以上脚本语言(shell/python等),熟悉Http/Https、TCP/IP、SMTP等协议;
3、熟悉Linux(redhat/centos)软硬件环境、系统管理和优化,熟练部署、优化各种常用服务。熟练使用Linux 命令和常用的ssh、ftp、git、maven等开发工具;
4、熟悉Hadoop大数据生态圈,包括但不限于CDH/HDFS/YARN/Hive/Hbase/Kafka/zookeeper/Spark/Flume/Impala/Hue/Sqoop/Elasticsearch/kibana/MySQL/Oracle等;
5、熟悉Hadoop各组件的原理和实现,有实际部署维护、管理( 包括元数据管理)及优化经验。并拥有持续调优能力,运维管理过大规模数据平台;
6、熟悉掌握常用的安全协议和组件服务,对hadoop各组件的权限、安全、kerberos进行配置管理。熟悉SSL、ACL、kerberos等在大数据环境场景的使用;
7、熟悉常用运维监控工具(nagios/ganglia/zabbix/grafan/openfalcon等)和相关插件的开发。比如邮件、短信、微信报警插件等;
8、熟悉常用nginx/haproxy/varnish/netscaler/tomcat等工具的使用和优化;
9、具备良好的服务意识,善于主动思考,自我驱动力强。有良好的沟通、协调能力,富有团队精神,有较强的文档编写能力;
10、有大数据开发经验和阅读源码能力者优先。
11、有区块链Hyperledger Fabric以及DOCKER、K8S实际运维经验者优先。
职能类别:大数据开发/分析技术支持/维护工程师
公司介绍
伏羲智库是由全球中青年学者共同发起成立的非营利性特色互联网研究机构,以缩小数字鸿沟和促进互联互通为使命,旨在助力第四次工业革命和互联网发展新阶段的经济和社会发展数字化转型,打造全球性学术研究共同体和立体化交流合作平台。伏羲智库研究和探索数字经济发展和治理的新范式,研发和打造互联网核心关键技术和基础设施平台,倡导和推广数字文明时代的开放包容协同新文化。伏羲智库以“联合研究创新、协同促进发展”的多方群智理念和“产、学、研、金、服”五位一体的模式联合学术界和产业界机构共同发展,在全球设有合作中心。
联系方式
- 公司地址:地址:span中关村南二条九章大厦B座1层