岗位描述：
1、深度参与公司数据集成产品的架构设计与持续优化，涵盖批处理与流式计算技术，不断提升产品数据处理效率。
2、主导大数据生态组件的运维、部署与管理工作，包括但不限于 Hadoop、Spark、Flink、Kafka 等，对组件性能进行调优，保障数据平台系统稳定、高效运行，持续提升系统数据处理能力。
3、全面负责 ETL 流程的设计、开发及实施。
4、深入理解客户需求，与运营、产品、算法等团队紧密协作，将业务需求抽象为可复用的数据模型，为客户提供精准、高效的数据解决方案，深度挖掘数据价值，助力业务决策与发展。
5、持续关注行业前沿技术发展，研究并引入新的数据工程技术与工具，推动公司数据平台的技术升级与创新，提升公司在数据领域的竞争力。
任职资格：
1、本科及以上学历，计算机科学、统计学、数学、数据科学等相关专业，拥有 2 - 5 年数据开发或相关领域工作经验。
2、熟练掌握至少一种编程语言，如 Python、Java、Scala 等，具备良好的编程习惯与代码质量意识。
3、深入理解大数据生态框架，对 Hadoop、Spark、Flink、Paimon、Doris、ClickHouse 等有丰富的安装部署、运维及调优经验。
4、精通数据仓库模型设计，熟练掌握 SQL 编程，具备强大的 SQL 调优能力，能够编写复杂查询语句，高效处理海量数据。
5、拥有 Airflow、DolphinScheduler 等数据调度工具使用经验，能够构建稳定、可靠的数据流，保障数据处理流程的自动化与按时执行。
6、具备良好的沟通协作能力和团队合作精神，能够与不同部门进行有效沟通，理解业务需求并转化为技术方案；对业务有敏锐洞察力，具备优秀的技术与业务融合能力。
7、加分项：有教育、工业、能源等特定行业大数据应用开发经验；熟悉数据湖技术（如 Delta Lake、Apache Iceberg）；具备机器学习、人工智能基础知识，能够将相关技术应用于数据处理与分析。