岗位职责: 1.负责CDH大数据平台的安装和部署； 2.负责CDH大数据平台各组件的性能优化； 3.负责CDH大数据平台各组件的运行维护和状态监控； 4.负责新技术调研，并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理，精通Hadoop/Spark体系，了解大数据平台运营基本思路； 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件，具有两年以上hadoop/Spark技术的运维经验； 3.理解MapReduce计算框架的思想，熟悉分布式计算模型； 4.至少精通一种大数据开发语言，如JAVA、scala等； 5.至少熟练使用一种脚本语言，如Shell、Python等； 6.热爱技术，工作认真、严谨，有团队精神。

职位描述 1、加入高德地图的商业智能BI团队，深入理解高德核心业务，为决策层评估业务价值、进行业务决策等提供数据支撑； 2、数据研发：参与高德地图打车、搜索等核心业务的数据仓库、数据产品建设，参与数据治理并沉淀业务数据资产； 3、数据挖掘：基于高德地图的海量日志，通过算法模型挖掘有价值的业务信息，指导高德地图的产品迭代。 职位要求 1、计算机、数学、统计或者相关专业本科以上学历； 2、熟悉Java/Python，精通SQL，具有5年以上数据研发经验； 3、熟悉HADOOP大数据平台架构：HDFS/HBase/Hive/MapReduce，熟练掌握MapReduce程序开发，了解实时计算，有使用过Flink、Spark Streaming等开源实时流引擎的优先； 4、对数据仓库系统架构具有良好的认知，理解数据分层、数据倾斜、错峰调度等理念，并具有相关实战经验。

岗位职责 ： 1、数据仓库和数据处理‌：负责大数据平台的数据仓库、数据治理和数据模型的设计与开发工作。进行日常数据报表开发，理解业务需求，发挥数据价值‌。 2‌、数据服务开发‌：负责离线和实时数据服务的设计、开发、性能调优和效果优化。构建和维护数据管道，处理ETL过程，确保数据质量和准确性‌。 3、技术研究和应用‌：参与相关项目的数据需求的实现，设计和编码工作。参与开发过程中相关技术的研究和验证‌。 ‌4、平台运维和质量管理‌：负责大数据平台的数据及相关的应用开发、调优及维护。完成日常数据质量的监控，参与大数据平台的日常运维工作‌。 5、针对数据一致性、准确性、及时性，制定数据管理与治理机制，提升数据易用性、可用性及稳定性； 任职要求 ： 1、本科及以上学历，计算机相关专业，3-5年以上数据开发经验； 2、具备至少一个完整的大数据平台和BI系统实施经验，熟知平台建设各环节工作，包括数据采集、数据落地、仓库建设、数据平台搭建、数据应用产品开发 3、熟悉基于推荐系统的数据仓库建设方法论,有数仓模型设计及ETL开发经验；有数据仓库分层架构设定经验者优先; 4、熟悉Hadoop生态相关技术,如Hive、HDFS、Impala、Spark、Presto、Flink、Hudi、Elasticsearch、HBase、Druid、Kylin等,有基于分布式数据存储与计算平台应用开发经验,有较为系统的海量数据性能处理经验； 5、熟悉java、scala、python等语言，熟悉微服务，分布式架构，熟悉springcloud,springboot等技术开发； 6、熟悉数据仓库原理，有离线数仓、实时计算、数据挖掘、ETL、用户画像、数据可视化等设计与开发经验； 7、熟悉MySQL、PostgreSQL、NoSQL等数据库中至少一种数据中心建设方案，可以进行产品的独立部署、高可用架构和性能优化，熟悉开源社区解决方案； 8、熟悉阿里云大数据组件E-MapReduce、Dataworks、MaxCompute和国际AWS的EMR相关数据产品等，市场常见BI产品（superset、FineBI、神策数据）等相关组件者优先； 9、较强的学习能力和技术钻研能力、有自我驱动意识，对数据采集、数据治理、数据开发、数据分析、数据建模、算法等有深刻认识和实战经验。 期待您的加入哟，我们为您准备丰厚福利待遇： 【法定福利】：公司按国家规定购买五险一金+商业保险（员工本人及子女商业保险）+带薪年假； 【节日关怀】：节日福利礼品，以及节日礼金； 【公司福利】： 机场及高铁的贵宾服务（龙腾卡权益）+年度员工健康体检+平安360服务（在线问诊、VIP挂号及重疾紧急入院服务）+年度2次免费洁牙服务 公司提供咖啡、零食、下午茶 员工活动、旅游及团建，不定期举办聚餐、唱K、电竞赛、篮球赛、拓展、旅游、生日Party等 【学习与培训】：助力职业发展与提升，内外训双引擎发力助你高速发展 【晋升机会】：公司设立良好的晋升机制和广阔的发展空间。

入职后将服务公司合作客户快手项目，劳动合同与赛福科技签订，工作时间、工作地点、工作内容需遵守快手项目规定~！ Java 开发工程师 职位描述 1、负责面向用户的控制台设计与开发，与公有云的控制台类似，服务于对象存储与大数据 HDFS 存储 2、负责面向内部的运维平台设计与开发，覆盖日常运维、资源管理、健康检查、数据均衡、流量调度等，持续推进运维白屏化 3、负责控制面的能力开发，比如权限控制、配额管理、审计日志等 任职要求 1、精通 Java 语言，熟悉相关框架与生态，包括 SpringBoot、MyBatis、分布式缓存、消息队列等 2、5 年及以上大型应用的开发经验，具备应对大数据、分布式、高并发、高负载、高可用等系统的设计能力 3、具备良好的抽象设计能力，思路清晰，善于思考，能独立分析和解决问题，责任心强，具备良好的协作精神和承压能力 4、有控制台或运维平台的建设经验者优先

岗位职责： 1、参与搜索推荐数据体系及数据质量建设，包括但不限于数据采集及处理、数仓建设、数据治理等工作； 2、开发和维护用户和商品画像系统，生产高质量的用户和商品特征； 3、理解运营和产品的数据需求，通过数据分析和相关报表的设计开发，支持业务问题的提升和改善。 任职要求： 1、计算机科学、软件工程或相关专业本科及以上学历； 2、3-8年大数据开发经验，熟悉数据仓库的设计和实现,有数据治理经验； 3、精通SQL、FlinkSQL、HiveSQL等数据处理技术，熟悉python，有数据治理相关经验者优先； 4、熟练掌握各种大数据技术组件，包括hdfs、hbase、kafka等； 5、有较强的数据分析思维，有良好的沟通能力和团队合作精神； 6、熟悉搜索推荐业务，有相关数据建设经验的优先。

工作职责: 1.负责数字底座现场部署支持 2.运维方案的制定、设计和实施以及现场问题解决、自动化运维能力的持续提升 任职资格: 1.计算机、软件、数学、自动化、信息技术等相关专业，硕士及以上学历； 2.熟悉K8S，具备K8S集群的部署、扩缩容、监控报警及故障排查经验，熟悉基于K8S的服务部署最佳实践； 3.熟悉Cilium、OpenEBS等云原生网络和存储插件，了解其工作原理，能够构建监控报警能力并快速处理故障； 4.熟悉KubeSphere K8S集群管理套件，能够熟练使用其功能管理和运维K8S集群； 5.熟悉MySQL、Redis、Kafka、Doris、IoTDB、HDFS、HBase、MinIO等存储组件的运维，包括部署、扩缩容、监控、数据备份与恢复； 6.熟悉Flink、Spark等计算引擎的运维，能够基于K8S环境完成部署、扩缩容及监控报警能力构建； 7.具备网络和存储方向的基础知识，知识面广泛； 8.3年及以上云计算、运维或相关领域的工作经验； 9.积极主动，工作细心踏实，责任心强；具有较好的团队协作能力，具有较强的创新精神、组织协调和沟通能力。 10.具备撰写中英技术文档的能力，有良好的英语读写水平，英语通过国家四级;

工作职责 1、负责存储设备的选型工作，基于业务需求（如数据容量、性能、可靠性、扩展性等）评估不同厂商（如华为、EMC、HDS等）、不同类型（如SAN、NAS、分布式存储）存储产品的技术特点与适配性，确保采购设备符合业务发展要求。 2、采购计划与流程参与：参与订立存储设备采购计划，协同采购部门完成供应商筛选、成本核算及合同谈判，保障采购流程的合规性与经济性。 3、技术支持与落地保障：配合运维团队完成存储设备的部署、调试与维护，解决选型后落地过程中的技术问题（如存储性能优化、数据迁移等），确保存储系统稳定运行。 4、文档编写与知识沉淀：编写存储选型报告、技术方案及运维手册，记录选型过程中的关键决策与技术细节，为后续存储系统升级或扩展提供参考。 任职要求 1.本科及以上学历，计算机、软件工程、网络等相关专业，3年以上存储系统开发、运维或选型经验，熟悉企业级存储产品的应用场景； 2、深入理解存储系统、文件系统（如EXT4、XFS）原理，熟悉分布式存储（如HDFS、HBase、Ceph、Minio）、SAN/NAS等存储技术，了解常见存储格式（如ORC、Parquet）的算法特点； 3、；熟悉存储性能测试工具（如FIO），能独立完成存储性能评估； 4、熟悉主流存储厂商（如华为、EMC、IBM、HP、浪潮）的产品路线（如华为OceanStor、EMC VMAX），具备存储设备调试、维护经验； 5、具备良好的沟通能力，能有效对接业务部门（如研发、运维）与供应商，准确理解业务需求并转化为技术方案； 6、具有强烈的求知欲与学习能力，；具备较强的问题解决能力，能独立分分析并解决存储选型过程中的技术难题； 7、抗压能力和责任心强，具备团队精神，主动承担选型过程中的关键任务。

1、负责车联网大数据标准化接入、整车产品体验洞察、整车健康监测平台等数据应用平台的设计、开发及优化，保障数据应用服务的稳定性与可用性 2、负责车联网大数据的离线、实时数据仓库建设，负责数据的生产、建模、应用及质量体系建设 3、搭建面向数据驱动整车产品闭环的数据指标体系和BI平台 4、负责车联网数据质量、数据资产、数据治理相关的开发工作，提升数据质量及易用性 5、积极探索大数据及人工智能技术的深度应用，并落地到智能网联产品业务 1.工作经验：5年以上数据仓库经验，具备优秀的数据架构和业务抽象能力，参与过中、大型数据仓库从0到1建设的优先，具有智能网联汽车、数据治理、埋点相关经验优先 2.其他： ①、掌握大数据生态技术栈，深入了解数据平台、BI、画像、分析等方向中的一项或多项 ②、熟练使用Hadoop生态相关技术并有相关实践经验，包括Hdfs、Mapreduce、Hive、Hbase、Spark、Kafka、Flink、StarRocks等，具备海量数据加工处理（ETL）相关经验 ③、深入了解常用的数据建模理论，具有丰富的实际模型设计及ETL开发经验，可独立把控数据仓库各层级的设计，有数据治理相关经验者优先 ④、对数据敏感，有较强的逻辑分析能力，有丰富的数据处理和分析经验，有复杂业务和算法的数据平台建设经验优先 ⑤、工作认真、负责、仔细，有良好的团队合作精神，良好的分析及沟通能力

职位职责： 1、参与面向企业服务的大数据存储服务产品的设计和开发，打造世界先进的标准化产品； 2、持续优化系统稳定性、性能、成本、可扩展性、可维护性、可观测性等； 3、参与构建稳定高效的Devops运维系统，构建高性能的数据管理和数据洞察体系； 4、深入理解业务场景的存储需求，针对性的为不同业务场景提供最合适的存储方案。 职位要求： 1、熟悉Go/Python/Java中至少一种，有全栈开发经验，熟悉各种中间件的使用，对工程质量有很高的自我要求； 2、熟悉分布式存储系统的实现原理，理解典型的分布式存储架构，包括GFS、HDFS、Ceph等，具有相关工作经验有加分； 3、具备较强的问题分析能力和团队合作能力，有较强的自我驱动能力和产品意识，能够端到端驱动方案落地。 具备以下条件者优先： 1、熟悉C/C++； 2、熟悉文件存储、块存储、对象存储中的一种或多种者优先； 3、参与过PB级别数据量分布式存储系统研发，有过大规模数据集群运维、故障排查及调优等实战经验。

工作职责: 1.数据同步与ETL开发： 负责设计、开发、测试和维护数据同步、抽取、转换和加载（ETL）流程，确保数据高效、准确、稳定地从源系统流向目标系统。 2.数据同步通道部署与运维： 负责使用OGG、DSG等数据同步工具进行通道的部署、配置、监控、调优和故障处理，保障数据同步通道的稳定运行。 3.日常数据开发与运维： 使用Python、Java等编程语言进行日常数据开发任务（如脚本编写、自动化任务开发）和数据运维工作（如数据质量检查、任务监控、问题排查）。 4.数据库开发与操作： 熟练编写和优化SQL脚本，基于Greenplum、Oracle、MySQL、PostgreSQL等主流数据库进行数据查询、分析、转换和存储过程开发等。 5.数据运维程序开发：根据业务需求，开发数据清洗、转换、入库等相关的运维程序和工具，提升数据处理效率和自动化水平。 6.数据质量保障：参与数据清洗规则的制定与实施，确保入库数据的准确性、完整性和一致性。 任职资格: 1.工作经验： - 3年以上数据开发相关工作经验。 - 具备以下经验优先： 1）有使用 OGG (Oracle GoldenGate) 或 DSG 等数据同步工具的实际部署、配置或运维经验。 2）了解ETL工具（如 Informatica, DataStage, Kettle 等）或调度工具（如 Airflow, DolphinScheduler 等）。 2.技术能力： - 熟练掌握 Python 和 Shell 脚本编程，能够独立完成开发任务。 - 精通 SQL 语言，具备复杂查询、性能调优、存储过程编写等能力。 - 熟练使用至少两种主流数据库（Greenplum, Oracle, MySQL, PostgreSQL）进行开发、管理和优化，理解其核心架构与特性。 - 了解至少一种国产或新兴数据库（如 OceanBase, TiDB, 人大金仓(KingbaseES)）的基本原理和使用方式。 - 熟悉 Linux 操作系统（如 CentOS, RedHat, Ubuntu 等），掌握常用命令、系统管理、环境配置和脚本执行。 - 加分项 (非必需，但优先考虑)： 1）具备一定的 Java 开发能力。 2）熟悉数据仓库建模理论（如维度建模）。 3）有大数据生态组件（如 Hive, Spark, HDFS 等）的使用经验。 4）了解容器化技术（Docker, Kubernetes）。 3.其他要求： - 具备良好的学习能力、分析问题和解决问题的能力。 - 工作认真负责，有较强的责任心和团队协作精神，能承受一定的工作压力。 - 具备良好的沟通能力，能够清晰表达技术方案和问题。

【岗位职责】 1、负责基于hive、spark、flink技术的大数据平台需求分析、设计及开发工作； 2、负责基于datax、HQL、传统ETL 或基于spark、flink的大数据平台数据抽取、清洗、转换、加工等入仓的开发，优化大数据平台跑批作业； 3、负责使用Dolphinscheduler（海豚调度）批量配置跑批调度任务及调度优化工作； 4、负责使用flink采集并加工kafka、binlog等数据源。 【岗位要求】 1、能熟练使用大数据基础组件，不限于hdfs/kudu、hive、impala、yarn、Tez/spark、flink、hbase、sqoop、flume、datax、elasticsearch、kafka等，熟悉相关架构和原理，有一定的组件性能调优能力； 2、有CDH/CDP平台使用经验，熟悉基于Cloudera Manager的平台使用管理； 3、具有airflow/azkaban/xxl-job/Dolphinscheduler等一种基几种调度工具的开发使用经验，有Dolphinscheduler使用经验优先； 4、具备海量数据采集、加工、分析处理、高并发查询等数据平台的开发设计能力，并有具体的构建海量数据存储、离线/实时数仓等项目实施经验； 5、具有金融行业大数据平台实施项目经验； 6、了解常见的大数据产品和技术路线，如：ClickHouse、Doris、GBase、Kylin、Linkis、Flink CDC、Hudi/Iceberg等更优； 7、学习能力强，适应能力好，有强烈的责任心，主动关注数据发现问题并提出解决方案，具备良好的沟通能力及团队合作精神。

任职要求： 熟练掌握 Java + Spring Boot，熟悉 MySQL/PostgreSQL、MongoDB、Redis 等常用组件，了解 RabbitMQ、MinIO/HDFS、WebSocket 等后端基础设施。至少精通一种前端框架 React 或 Vue.js，具备前后端联调能力。具备数据库设计能力。 1、有扎实的 Java 基础，熟悉 JVM、Java 多线程与并发编程，具备一定高并发 Web 系统开发经验。 2、熟悉 Spring Boot 微服务开发，能基于 Java + Spring Boot 完成业务接口设计、实现及基础性能优化。 3、熟悉 MySQL / PostgreSQL / MongoDB 中的至少两种数据库，了解索引、事务与查询优化，有实际项目经验。 4、熟练使用 Redis 做缓存，了解常见缓存使用场景及基础的缓存设计思路。 5、了解或使用过 RabbitMQ 等消息队列，对异步处理、削峰填谷等有一定理解。 6、了解 MinIO 或 HDFS 等分布式文件/对象存储，能够配合实现文件上传、存储、预览等功能。 7、熟悉 WebSocket 或其他长连接通信技术，有在项目中实现聊天消息、通知提醒或任务进度实时刷新的经验。 8、能根据技术文档对接外部服务/工作流（如 LangGraph），完成 API 调用、数据交互与联调，对 HTTP/REST 调用有一定经验。 9、有 1 年及以上前端开发经验，参与过中大型项目，精通至少一种前端框架 React 或 Vue.js，熟悉 Redux / Vuex 等状态管理方案及 Webpack 等前端构建工具

岗位职责 1.核心数据处理与开发： 负责基于 Hadoop、Spark、Flink 等大数据处理框架，设计、开发和维护高性能、高可靠的海量数据批处理和流处理管道。 参与构建和优化企业级实时数据仓库和离线数仓，确保数据处理的时效性和准确性。 2.数据平台建设与优化： 参与数据湖架构的设计、实现与治理，管理海量结构化、半结构化和非结构化数据。 负责 Doris 等 OLAP 引擎或类似 MPP 数据库的建模、开发、性能调优及日常运维支持。 维护和管理 MySQL 或其他关系型数据库在大数据生态中的集成与应用。 3.数据仓库架构设计： 深入理解业务需求，设计并实现符合业务目标的数据仓库分层架构（如 ODS, DWD, DWS, ADS/APP层）。 针对 TB/PB 级数据规模，持续优化数据处理任务的性能、资源利用率和稳定性。 解决大数据场景下的技术瓶颈和挑战。 任职资格 1.***本科及以上学历， 5 年以上大数据开发相关工作经验，具备复杂大数据系统的实际设计和开发经验。 2.精通： Apache Spark (Core, SQL, Streaming) 和 Apache Flink 的核心原理、API 及调优技巧，有大规模生产环境应用经验。 3.深入理解： 数据湖概念、架构（如 Iceberg/Hudi/Delta Lake）及其核心价值。 4.熟练掌握： 至少一种主流编程语言：Java 或 Scala（必须项），具备扎实的编码能力和工程化素养。 数据库与存储： 5.熟悉 Doris 或类似高性能 OLAP 引擎（如 ClickHouse, StarRocks）的使用和优化。 6.熟悉 MySQL 等关系型数据库的原理、SQL 优化及常见应用场景，熟悉 HDFS、Hive、HBase 等 Hadoop 生态组件。 7.数据治理与架构： 深刻理解并具备实践经验： 数据治理的核心领域（元数据、数据质量、数据安全、数据标准等）。 8.熟练掌握： 数据仓库经典分层架构设计理念（如 Kimball/Inmon 维度建模），并有实际项目落地经验。

岗位职责： 1.支持Hadoop集群底座的运维故障分析、解决、性能优化；大数据集相关组件主要包括：Yarn、HDFS、ZooKeeper、Storm、Kafka、Hbase、Hive、Spark、Kerberos、Spark、Flink、Flume、MySQL等组件运维； 2.开发数据采集、清洗、分析、挖掘及可视化功能，需熟悉ES、milvus、pgsql等。 3.熟悉国产数据库，包括doris等； 4.配合开展HDFS存储、Hive元数据治理优化，建立并完善存储治理方案； 5.配合开展Hive、Spark作业优化，对业务侧提出优化建议。如：作业小文件问题、数据倾斜治理方案等； 6.提出集群优化建设方案，配合建设和优化大规模分布式集群的自动化运维、监控等工具和管理平台。 任职要求： 1.***本科及以上学历，通信/计算机等相关专业，具有良好的学习能力、沟通能力、团队合作能力及一定的抗压能力； 2.熟悉Hadoop、Hive、Hbase、Spark等开源项目，理解组件架构及原理； 3.对大数据运维开发有浓厚兴趣，熟悉Apache Hadoop部署、性能调优； 4.能阅读/理解Hadoop等相关开源组件源码； 5.对HQL、SparkSQL等有较深入的研究，能解决实际业务性能问题； 6.熟练掌握LDAP、Kerberos等安全认证体系； 7.熟练掌握Linux命令与工具进行问题定位，熟悉常规的互联网技术架构； 8.具备一定的Java开发能力； 9.有信控平台开发经验者优先录取。

岗位职责： 1、负责公司大数据平台及应用平台的设计、开发、环境搭建、调优及故障诊断； 2、负责公司大数据计算组件平台级支持服务，以及大数据计算组件的研发和性能优化工作； 3、跟进相关计算组件社区最新动态，在确保平台稳定运行的同时升级新特性； 能力要求： 本科及以上学历，计算机相关专业，3年及以上大数据平台研发经验； 熟悉操作系统、计算机网络、分布式系统原理、Java后端程序设计； 熟悉大数据技术栈,熟悉HDFS、Kafka、Hive、HBase、Flink、Yarn等多种组件和技术,有一定的系统性能优化及故障排除能力； 有Owner精神，善于沟通，主动性和责任心强，对数据敏感，逻辑性强，有良好的抗压能力，有良好的团队合作精神； 具备Spark，Flink，Presto至少一种源码分析经验或者开源社区有代码贡献者优先；