岗位职责
1.核心数据处理与开发：
负责基于 Hadoop、Spark、Flink 等大数据处理框架，设计、开发和维护高性能、高可靠的海量数据批处理和流处理管道。
参与构建和优化企业级实时数据仓库和离线数仓，确保数据处理的时效性和准确性。
2.数据平台建设与优化：
参与数据湖架构的设计、实现与治理，管理海量结构化、半结构化和非结构化数据。
负责 Doris 等 OLAP 引擎或类似 MPP 数据库的建模、开发、性能调优及日常运维支持。
维护和管理 MySQL 或其他关系型数据库在大数据生态中的集成与应用。
3.数据仓库架构设计：
深入理解业务需求，设计并实现符合业务目标的数据仓库分层架构（如 ODS, DWD, DWS, ADS/APP层）。
针对 TB/PB 级数据规模，持续优化数据处理任务的性能、资源利用率和稳定性。
解决大数据场景下的技术瓶颈和挑战。

任职资格
1.***本科及以上学历， 5 年以上大数据开发相关工作经验，具备复杂大数据系统的实际设计和开发经验。
2.精通： Apache Spark (Core, SQL, Streaming) 和 Apache Flink 的核心原理、API 及调优技巧，有大规模生产环境应用经验。
3.深入理解： 数据湖概念、架构（如 Iceberg/Hudi/Delta Lake）及其核心价值。
4.熟练掌握： 至少一种主流编程语言：Java 或 Scala（必须项），具备扎实的编码能力和工程化素养。
数据库与存储：
5.熟悉 Doris 或类似高性能 OLAP 引擎（如 ClickHouse, StarRocks）的使用和优化。
6.熟悉 MySQL 等关系型数据库的原理、SQL 优化及常见应用场景，熟悉 HDFS、Hive、HBase 等 Hadoop 生态组件。
7.数据治理与架构：
深刻理解并具备实践经验： 数据治理的核心领域（元数据、数据质量、数据安全、数据标准等）。
8.熟练掌握： 数据仓库经典分层架构设计理念（如 Kimball/Inmon 维度建模），并有实际项目落地经验。