上海招聘

岗位职责：

1、 从事Hadoop、Spark、Hbase、hive、kafka等分布式大数据平台产品的设计和开发；

2、 针对部门大数据业务进行大数据分析、挖掘等产品应用的开发；

3、 大数据平台各类数据业务抽象及模型化；

4、 参与大数据管理平台的开发及维护；

5、 负责大数据平台数据实时计算算法和流处理；

6、 负责大数据平台数据及相关的应用开发，调优及维护；

7、 为项目相关开发人员提供大数据技术指导及解决大数据平台应用中遇到的技术难题;

8、 有Spark Streaming、Structured Streaming、Flink的实时计算经验优先.

任职要求：

1、3年以上大数据应用开发经验，本科及以上学历；

2、掌握Java、Scala、Python语言开发经验优先；

3、有以下大数据平台子系统开发经验优先（元数据管理平台、取数即席查询平台、OLAP平台、实时计算）

4、熟悉Hadoop大数据生态圈技术，对分布式存储Hdfs,Hive,Hbase等 资源调度Yarn,Kubernetes,Azkaban等，计算框架 Spark,Prosto,Hive,Impala等 有相关源码研究优先。

5、熟悉并掌握离线和实时数据处理流程，熟练使用Spark，Flink处理TB级数据优先。

6、熟悉阿里DataWorks，并能通过阿里EMR+OSS搭建数据湖泊优先。

7、熟悉Linux环境，熟悉Mysql、Postgre、MongoDB等常用关系数据库，熟练编写SQL语句；

8、对大数据技术有强烈兴趣，有志于往大数据处理方向发展；工作认真踏实，动手和学习新技术能力强。

上海黑瞳信息技术有限公司专注科技反欺诈领域，旗下拥有实人认证、公安服务、互联网应用、供应链管理等业务的多家子公司，与公安、司法、通讯、银联等权威机构及头部互联网企业建立长期深度战略合作，当前已多家股份制银行、城商行、BATJ类各行业领军企业等近千余家客户提供科技服务。
黑瞳科技聚焦研发智能反欺诈产品，与中国科学院联合建立智能反欺诈大数据实验室，与 MIT 麻省理工共建智能反欺诈实验室，与覆盖全球 2 万多家银行的 GBG在中国联合推出黑瞳 x GBG Instinct 产品；致力于科技反欺诈领域科技技术基础算法的前瞻性研究。鉴于涉网诈骗案件高发的社会现状，在政府指导下，黑瞳与之携手共同规划、建设、运营“全民反诈”APP、国家反诈APP，黑瞳科技围绕预知、预警、预防、协助侦办的核心目标，通过自身科技能力赋能反欺诈事业，保障人民群众财产安全；并牵头成立互联网及金融反诈联盟，为成员单位提供更加健康有序的行业安全经营环境，为社会公众营造安全规范的互联网及金融服务环境。