大数据开发工程师

岗位职责： 1、负责异构数据系统和大数据平台的集成与融合; 2、负责分布式数据仓库平台、海量数据批处理平台、实时数据处理平台等系统核心开发; 3、负责海量数据处理，业务数据体系的设计、数据统计、分析及数据建模; 4、负责大数据分析需求设计和开发，承担数据抽取、清洗、转化等数据处理程序开发。 5、参与数据平台各系统的性能分析与系统优化，不断提高系统运行效率; 岗位要求： 1、计算机、统计学等相关专业本科及以上学历，具有深厚的数学、统计学和计算机相关知识，精通数据仓库和数据挖掘的相关技术，3年以上大数据开发相关经验; 2、具有非常扎实的Java基础，熟悉Shell、Python、R、Scala等一种以上语言; 3、算法基础扎实，熟悉常见的数据结构，了解分布式算法和分布式系统的技术原理; 4、对NoSQL，Hadoop、Hbase、Spak、Hive、Flink等主流云计算，大数据相关软件有充分的了解，并且有实践经验，能解决应用中的复杂问题; 5、熟悉大数据处理相关技术，包括但不限于Hadoop、Hive、Hbase、Impala、Spak，Kafaka、Flume、Sqoop、Stom、Redis、FLink等; 6、研读过Hadoop、Hbase、Hive、flink、datax源代码者，能够在特定业务中进行定制改造者优先; 7、具有海量数据处理、数据挖掘、数据分析相关项目的工作经验者优先。