大数据平台运维

岗位职责 ? 负责设计和构建大数据平台的各类组件，包括但不限于数据采集，计算，对外服务及治理平台的设计和开发搭建，降低数据的使用门槛，实现数据的***价值； ? 基于开源解决方案，构建完整的数据开发、治理框架，以满足实时、近实时以及批量计算的需求。 ? 持续升级和解决开源产品中的问题，包括Spak、Hive、HDFS、pesto中的bug修复，基于源码的新功能开发和集成。 ? 探索和实践新技术和现有平台的集成。 技能和要求 ? 计算机相关专业，本科及以上学历。4年以上大数据相关工作经验。 ? 精通一种或多种大数据相关组件技术，包括但不限于 Hadoop、Spak、Hive、Flink、Debezium、Canal、ELK、Clickhouse、Pesto、调度系统、权限系统、元数据管理系统、搜索引擎技术等，理解其内部原理和适用场景，了解核心源码及调优方法。 ? 熟悉数据湖delta原理，熟悉Spak内核，优化过Spak内核组件,或参与过准实时数据处理系统的开发; ? 精通Java，基础扎实 ，对于多线程、网络、IO方面有实际的应用经验，了解Java 内存模型，垃圾回收机制，对于Java的内存监控、调优、线上Debug有丰富经验。 ? 熟悉分布式系统的设计和应用，熟悉分布式、缓存、消息等机制；能对分布式常用技术进行合理应用，解决问题； ? 有大数据中台建设经验、数据治理经验者优先。 ? 熟悉Yan、Kubenetes等调度和资源管理系统，参与过大型集群的搭建或维护优先; ? 需要熟练的英文读写能力，口语能力好的优先考虑。