【岗位职责】 1、负责基于hive、spark、flink技术的大数据平台需求分析、设计及开发工作； 2、负责基于datax、HQL、传统ETL 或基于spark、flink的大数据平台数据抽取、清洗、转换、加工等入仓的开发，优化大数据平台跑批作业； 3、负责使用Dolphinscheduler（海豚调度）批量配置跑批调度任务及调度优化工作； 4、负责使用flink采集并加工kafka、binlog等数据源。 【岗位要求】 1、能熟练使用大数据基础组件，不限于hdfs/kudu、hive、impala、yarn、Tez/spark、flink、hbase、sqoop、flume、datax、elasticsearch、kafka等，熟悉相关架构和原理，有一定的组件性能调优能力； 2、有CDH/CDP平台使用经验，熟悉基于Cloudera Manager的平台使用管理； 3、具有airflow/azkaban/xxl-job/Dolphinscheduler等一种基几种调度工具的开发使用经验，有Dolphinscheduler使用经验优先； 4、具备海量数据采集、加工、分析处理、高并发查询等数据平台的开发设计能力，并有具体的构建海量数据存储、离线/实时数仓等项目实施经验； 5、具有金融行业大数据平台实施项目经验； 6、了解常见的大数据产品和技术路线，如：ClickHouse、Doris、GBase、Kylin、Linkis、Flink CDC、Hudi/Iceberg等更优； 7、学习能力强，适应能力好，有强烈的责任心，主动关注数据发现问题并提出解决方案，具备良好的沟通能力及团队合作精神。

职位职责： 1、为大规模推荐系统设计和实现合理的离线/实时数据架构； 2、设计和实现灵活可扩展、稳定、高性能的存储系统和计算模型； 3、生产系统的Trouble-shoting，设计和实现必要的机制和工具保障生产系统整体运行的稳定性； 4、打造业界领先的离在线存储、批式流式计算框架等分布式系统，为海量数据和大规模业务系统提供可靠的基础设施。 职位要求： 1、熟悉一个大数据领域的开源框架，Hadoop/Hive/Flink/FlinkSQL/Spark/Kafka/Hbase/Redis rocksdb/Elasticsearch/Parquet； 2、熟悉Java、C++等编程语言; 3、出色的编码和Trouble-shoting能力； 4、乐于挑战没有明显答案的问题，对新技术有强烈的学习热情; 5、有PB级别数据处理经验加分; 6、对某一大数据框架有原理/源码级别理解的加分。

岗位职责： 1.负责ETL相关开发工作，深度参与数据仓库的建设与优化，保障数据存储的高效性与稳定性，支撑公司战略级数据项目的落地。 2.主导复杂数据处理流程的开发与优化，基于 Python 编写高性能的数据处理脚本，结合 spark、pandas、duckdb等进行大规模数据清洗、转换与分析，实现数据挖掘与机器学习模型开发，推动数据价值的深度挖掘。 3.设计和维护基于 Airflow 的工作流调度系统，实现数据处理任务的自动化调度与监控，确保数据处理任务按时、准确执行，提升数据开发与运维效率。 4.与业务部门紧密协作，深入理解业务需求，将业务逻辑转化为数据解决方案，通过数据驱动业务决策，助力业务增长。 5.研究大数据领域的前沿技术，持续优化数据开发技术栈与流程。 任职资格： 1.具备 3 年及以上大数据开发相关工作经验，拥有丰富的大数据项目实战经验，能够独立承担复杂数据开发任务。 2.熟练掌握 Python 编程，具备基于 Python 的大数据开发工作经验，能够运用 Python 进行高效的数据处理与算法实现。 3.熟悉数仓建设方法论   1)熟悉etl分层建设方法   2）熟悉主题建设方法，能独立抽象主题，建设主题，并且物理化和性能调优   3）熟悉常用的BI系统建设方法，理解实现原理，理解各个工具使用场景 4.精通大数据开发相关技术栈，包括但不限于 Hadoop、Spark、Hive 等，能够熟练运用这些技术进行数据处理与分析。 5.熟练掌握 Airflow，能够基于 Airflow 进行工作流设计、调度与监控；熟练使用相关技术进行数据处理与分析并能够运用其实现常见的数据挖掘与机器学习算法。 6.熟练掌握sql和调优。 7.熟练掌握python。 加分项 1.具备统计学、数学建模等相关知识，能够运用统计方法进行数据分析与模型构建。 2.有分布式系统开发、数据可视化开发经验者优先。 薪资待遇 ****，我们提供具有竞争力的薪酬体系与广阔的职业发展空间，期待优秀的你加入！

岗位职责 作为大数据研发工程师，你将深度参与搜推业务链路的实时与离线数据处理体系建设，核心工作包括但不限于： •基于Flink/Spark 构建用户行为数据的实时(或近实时)采集、清洗、聚合与特征计算链路，实现用户兴趣标签、行为序列、实时偏好等画像特征的更新与存储； •设计高并发、低延迟的实时数据管道，对接搜索/推荐业务的实时请求，支撑个性化排序、精准召回等策略的实时反馈优化； •通过Redis/Elasticsearch/OpenSearch实现画像特征的实时存储与高效检索，保障下游业务（如前端展示、策略调用）的低延迟访问。 •负责离线数据仓库的开发与维护（使用Spark/MaxCompute），完成海量用户行为数据的ETL、数仓分层建模与指标计算； •基于阿里云Lindorm/MaxCompute/DataWorks等工具，优化数据存储成本与计算效率（如冷热数据分层、任务调度调优），支撑业务方的高效取数与分析需求； •针对搜推业务中的复杂场景（如跨域数据关联、实时+离线特征一致性、大规模稀疏特征处理），设计可扩展的技术方案并推动落地； 任职要求 •**本科及以上学历，计算机相关专业，大数据开发相关经验； •​​熟练掌握并使用​​（Flink，Spark Spark SQL/DataFrame、DataWorks调度等），有海量数据（TB级以上）的ETL与数仓开发经验； •熟悉消息队列（Kafka必备）、搜索引擎（Elasticsearch/OpenSearch加分）、缓存（Redis等）及云原生大数据组件（阿里云Lindorm/MaxCompute/DataWorks优先）的原理与应用； •具备扎实的编码能力（Java/SQL至少一种），熟悉Linux环境与常用脚本工具，有分布式系统调优经验（如JVM调优、任务并行度优化等）。 •具有良好的沟通能力和组织协调能 ​​加分项：​​ •有实时画像/风控平台建设经验，熟悉用户行为特征工程、规则引擎或模型推理链路集成； •理解搜索/推荐业务逻辑，了解排序策略、召回链路与数据特征的关联性； •对数据敏感，具备较强的业务抽象能力与问题排查能力（如通过日志/指标定位数据延迟、丢失或不一致问题）。

岗位职责： 1. 大数据平台组件运维及优化，进行必要的二次开发； 2. 数据湖、数据仓库技术研究及落地； 3. 实时、离线数据产品设计及开发。 任职要求： 1. 本科及以上学历，计算机及相关专业； 2. 3-5年Java/Scala开发经验，熟悉多线程编程； 3. 熟悉大数据生态相关技术，有二次开发经验者优先； 4. 熟悉实时及离线数仓架构及开发流程，有Phoenix/StarRocks使用经验优先； 5. 熟悉常见设计模式，熟悉如Spring/SpringMVC/Mybatis等主流框架； 6. 有较强的学习能力与逻辑思维能力，良好的团队合作精神。

工作职责 1、负责大数据相关系统的开发、测试、部署及上线工作，参与代码评审，确保开发质量； 2、参与业务部门临时数据分析需求，合作开展专项数据分析工作； 3、协助运营人员处理生产问题并提供技术支持，解答业务部门反馈的数据问题及各类咨询； 4、参与公司数据分析需求调研、评估、系统分析及架构设计工作。 任职要求 1、本科及以上学历，计算机、数学、统计学、管理信息类相关专业； 2、熟悉关系型数据库如Oracle、Postgresql等的使用、可熟练编写SQL实现业务逻辑，了解SQL性能调优； 3、熟悉Hadoop生态圈组件，包括但不限于Hive、Spark、HBase、Kylin、Flink、ES、Kafka等； 4、具备良好数据分析及处理能力，熟悉常见的数据处理工具，如ETL、BI工具、Python等； 5、具有较强的责任心和服务意识，良好问题分析及处理能力。

职位职责： 1、负责字节跳动网络成本和质量数据产出，进行海量后台数据计算，对数据准确性和实时性负责； 2、负责构建字节跳动网络产品成本和质量的模型，负责模型的建立、开发、更新、维护； 3、负责字节跳动网络产品成本和质量内部管理动作的自动化、平台化，不断提升业务的效率。 职位要求： 1、本科及以上学历，网络、计算机等相关专业优先； 2、有一定的网络方面的技术背景； 3、具备良好的后台开发能力，良好的抽象思维和逻辑思维能力； 4、熟悉常用的数据分析方法，较强的数据敏感性，细心细致； 5、具有较强的项目管理与跨团队沟通能力。

岗位职责 ： 1、数据仓库和数据处理‌：负责大数据平台的数据仓库、数据治理和数据模型的设计与开发工作。进行日常数据报表开发，理解业务需求，发挥数据价值‌。 2‌、数据服务开发‌：负责离线和实时数据服务的设计、开发、性能调优和效果优化。构建和维护数据管道，处理ETL过程，确保数据质量和准确性‌。 3、技术研究和应用‌：参与相关项目的数据需求的实现，设计和编码工作。参与开发过程中相关技术的研究和验证‌。 ‌4、平台运维和质量管理‌：负责大数据平台的数据及相关的应用开发、调优及维护。完成日常数据质量的监控，参与大数据平台的日常运维工作‌。 5、针对数据一致性、准确性、及时性，制定数据管理与治理机制，提升数据易用性、可用性及稳定性； 任职要求 ： 1、本科及以上学历，计算机相关专业，3-5年以上数据开发经验； 2、具备至少一个完整的大数据平台和BI系统实施经验，熟知平台建设各环节工作，包括数据采集、数据落地、仓库建设、数据平台搭建、数据应用产品开发 3、熟悉基于推荐系统的数据仓库建设方法论,有数仓模型设计及ETL开发经验；有数据仓库分层架构设定经验者优先; 4、熟悉Hadoop生态相关技术,如Hive、HDFS、Impala、Spark、Presto、Flink、Hudi、Elasticsearch、HBase、Druid、Kylin等,有基于分布式数据存储与计算平台应用开发经验,有较为系统的海量数据性能处理经验； 5、熟悉java、scala、python等语言，熟悉微服务，分布式架构，熟悉springcloud,springboot等技术开发； 6、熟悉数据仓库原理，有离线数仓、实时计算、数据挖掘、ETL、用户画像、数据可视化等设计与开发经验； 7、熟悉MySQL、PostgreSQL、NoSQL等数据库中至少一种数据中心建设方案，可以进行产品的独立部署、高可用架构和性能优化，熟悉开源社区解决方案； 8、熟悉阿里云大数据组件E-MapReduce、Dataworks、MaxCompute和国际AWS的EMR相关数据产品等，市场常见BI产品（superset、FineBI、神策数据）等相关组件者优先； 9、较强的学习能力和技术钻研能力、有自我驱动意识，对数据采集、数据治理、数据开发、数据分析、数据建模、算法等有深刻认识和实战经验。 期待您的加入哟，我们为您准备丰厚福利待遇： 【法定福利】：公司按国家规定购买五险一金+商业保险（员工本人及子女商业保险）+带薪年假； 【节日关怀】：节日福利礼品，以及节日礼金； 【公司福利】： 机场及高铁的贵宾服务（龙腾卡权益）+年度员工健康体检+平安360服务（在线问诊、VIP挂号及重疾紧急入院服务）+年度2次免费洁牙服务 公司提供咖啡、零食、下午茶 员工活动、旅游及团建，不定期举办聚餐、唱K、电竞赛、篮球赛、拓展、旅游、生日Party等 【学习与培训】：助力职业发展与提升，内外训双引擎发力助你高速发展 【晋升机会】：公司设立良好的晋升机制和广阔的发展空间。

岗位职责： 1、负责电商财务域数据模型调研、设计、开发工作，与业务部门紧密配合，提供数据支持 2、负责电商财务域数据运营&治理工作，保障数据质量 3、参与电商财务域数据体系化建设，提升数据服务稳定性 任职要求： 1、计算机相关专业，大学本科及以上学历，5年以上大数据开发相关工作经验 2、熟悉大数据相关组件(如Hive、Spark、Flink、Kafka等)，具备编写、优化复杂SQL的能力 3、有扎实的数据仓库理论功底和丰富的数据治理实战经验，能够围绕业务和产品特性建模并解决实际问题 4、熟悉Python/Java/Scala/Shell其中一种语言 5、具备电商领域业务开发经验优先；具备财务领域业务开发经验优先 6、负责过数据平台或数据仓库设计优先；有带团队经验优先。

团队背景 隶属于6767搜推工程策略组6767，是公司搜索与推荐业务的核心技术支撑团队。团队技术氛围开放，鼓励创新实践，团队成员具备丰富的分布式系统与海量数据处理经验。 岗位职责 作为大数据研发工程师，你将深度参与搜推业务链路的实时与离线数据处理体系建设，核心工作包括但不限于： 61基于Flink/Spark 构建用户行为数据的实时(或近实时)采集、清洗、聚合与特征计算链路，实现用户兴趣标签、行为序列、实时偏好等画像特征的更新与存储； 61设计高并发、低延迟的实时数据管道，对接搜索/推荐业务的实时请求，支撑个性化排序、精准召回等策略的实时反馈优化； 61通过Redis/Elasticsearch/OpenSearch实现画像特征的实时存储与高效检索，保障下游业务（如前端展示、策略调用）的低延迟访问。 61负责离线数据仓库的开发与维护（使用Spark/MaxCompute），完成海量用户行为数据的ETL、数仓分层建模与指标计算； 61基于阿里云Lindorm/MaxCompute/DataWorks等工具，优化数据存储成本与计算效率（如冷热数据分层、任务调度调优），支撑业务方的高效取数与分析需求； 61针对搜推业务中的复杂场景（如跨域数据关联、实时+离线特征一致性、大规模稀疏特征处理），设计可扩展的技术方案并推动落地； 任职要求 61**本科及以上学历，计算机相关专业，大数据开发相关经验； 616767熟练掌握并使用6767（Flink，Spark Spark SQL/DataFrame、DataWorks调度等），有海量数据（TB级以上）的ETL与数仓开发经验； 61熟悉消息队列（Kafka必备）、搜索引擎（Elasticsearch/OpenSearch加分）、缓存（Redis等）及云原生大数据组件（阿里云Lindorm/MaxCompute/DataWorks优先）的原理与应用； 61具备扎实的编码能力（Java/SQL至少一种），熟悉Linux环境与常用脚本工具，有分布式系统调优经验（如JVM调优、任务并行度优化等）。 61具有良好的沟通能力和组织协调能 6767加分项：6767 61有实时画像/风控平台建设经验，熟悉用户行为特征工程、规则引擎或模型推理链路集成； 61理解搜索/推荐业务逻辑，了解排序策略、召回链路与数据特征的关联性； 61对数据敏感，具备较强的业务抽象能力与问题排查能力（如通过日志/指标定位数据延迟、丢失或不一致问题）。

岗位概述：正在寻找一名Python数据开发工程师加入我们的开发团队，您将与我们优秀的工程师和研究人员一起，负责开发和维护我们的高性能数据科学研究系统的相应组件。 岗位职责： 1、熟悉使用Python来开发数据应用，熟悉数据ETL； 2、高质量完成数据开发需求，充分测试，保证数据的准确些、一致性、及时性、完整性； 3、参与开发量化交易研究的回测系统组件，包括但不限于Tick数据采样、特征构造、特征选择、以及拟合等 4、开发可重用的代码和库；完成高质量的、可维护的代码； 5、可参与开发深度学习策略、自动化实盘交易系统等其他内部系统。 任职要求： 1、本科以上理工科类学历，学习过计算机体系结构、数据结构等计算机类专业课； 2、有2年以上Python开发经验，其中至少半年以上为数据处理类工作如爬虫、ETL等； 3、熟悉Linux环境下开发，熟悉常用的Bash指令； 4、熟悉Pandas/Polars等时序数据类库以及Numpy等科学计算库； 5、熟悉MongoDB等NoSQL数据库； 6、熟悉Python中基本的数据结构的使用方法，了解其计算复杂度； 7、自驱、认真负责、技术沟通和技术协作能力强。 加分项： - 有金融行业数据处理经验。 - 有容器化(Docker)开发部署经验。 - 有使用serverless系统开发的经验，例如阿里云FC，亚马逊Lambda。

岗位职责： 1、负责业务数仓建设和主题指标体系的开发，支持各业务线的数据需求； 2、负责离线数据应用服务（如数据同步、离线ETL等）的技术架构设计和落地实现，优化数据链路性能； 3、负责数据治理的相关工作，实现业务数据资产化管理。 任职要求： 1、精通维度建模理论，具备数据仓库模型设计相关经验，深入了解数据仓库体系，并支撑过实际业务场景； 2、具备较强的coding和sql能力，熟悉hadoop生态中的常用组件和基本原理，了解数据倾斜等分布式场景常见问题的解决方案； 3、善于沟通，对业务敏感，能快速理解业务背景，具备优秀的技术与业务结合能力； 4、有大数据实时系统/实时数仓相关研发经验优先； 5、熟悉AWS 技术生态体系，有用户画像，风控系统，指标系统等数据中台建设经验优先。 6、具备较好的数据分析能力，结合业务做对应的数据分析。 7、机动性强，积极参与紧急事项。

1、负责车联网大数据标准化接入、整车产品体验洞察、整车健康监测平台等数据应用平台的设计、开发及优化，保障数据应用服务的稳定性与可用性 2、负责车联网大数据的离线、实时数据仓库建设，负责数据的生产、建模、应用及质量体系建设 3、搭建面向数据驱动整车产品闭环的数据指标体系和BI平台 4、负责车联网数据质量、数据资产、数据治理相关的开发工作，提升数据质量及易用性 5、积极探索大数据及人工智能技术的深度应用，并落地到智能网联产品业务 1.工作经验：5年以上数据仓库经验，具备优秀的数据架构和业务抽象能力，参与过中、大型数据仓库从0到1建设的优先，具有智能网联汽车、数据治理、埋点相关经验优先 2.其他： ①、掌握大数据生态技术栈，深入了解数据平台、BI、画像、分析等方向中的一项或多项 ②、熟练使用Hadoop生态相关技术并有相关实践经验，包括Hdfs、Mapreduce、Hive、Hbase、Spark、Kafka、Flink、StarRocks等，具备海量数据加工处理（ETL）相关经验 ③、深入了解常用的数据建模理论，具有丰富的实际模型设计及ETL开发经验，可独立把控数据仓库各层级的设计，有数据治理相关经验者优先 ④、对数据敏感，有较强的逻辑分析能力，有丰富的数据处理和分析经验，有复杂业务和算法的数据平台建设经验优先 ⑤、工作认真、负责、仔细，有良好的团队合作精神，良好的分析及沟通能力

岗位职责 1、负责流量数据模型调研、设计、开发工作，与业务部门紧密配合，提供数据支持； 2、负责流量域数据运营和治理工作，保障数据质量； 3、参与流量域数据服务化与产品化的建设。 岗位要求 1、计算机相关专业，大学本科及以上学历，3 年以上大数据开发相关工作经验； 2、熟悉大数据相关组件(如Hive、MapReduce、Flink、Kafka等)，具备编写、优化复杂 SQL 的能力； 3、有扎实的数据仓库理论功底和丰富的数据治理实战经验，能够围绕业务和产品特性建模并解决实际问题； 4、熟悉 Python/Java 其中一种语言, 具备基本的服务端开发经验； 5、具备 B 端商业模式经验, 广告投放经验。 加分项 1、熟练的英文读写以及沟通能力； 2、有云原生数据仓库的工作经验, 如 Redshift, Snowflake, BigQuery 等； 3、熟悉埋点治理, 埋点管理, 埋点流程建设经验。 为什么加入我们 1、朝阳行业：国际电商 SaaS 服务赛道，国际一线投资机构加持； 2、稳健发展：团队稳健扩张，业务规模及营收每年持续稳健增长； 3、多元文化：团队来自全球 20 多个不同城市，国际化视角、扁平化管理； 4、极客氛围：拥抱开源技术，实践敏捷开发，崇尚通过工具和自动化来解决问题； 5、特色福利：AI 学习基金、 一对一帮带、内部商城、提供 MacBook 及可升降办公桌。

1、分析业务对整车数据埋点采集、边缘智能车控算法的需求场景，负责整车数据埋点采集组件、边缘计算平台及智能算法的功能设计开发及优化 2、负责车载边缘端软件（边缘数据库、边缘计算引擎等）的数据接入、端云协同交互等扩展功能的方案设计、开发及测试 3、负责产品系统方案设计、技术选型及关键模块的验证 4、负责车载边缘端软件的自动化测试开发 5、跟踪整车埋点数据采集、边缘计算引擎等技术发展趋势，推动技术落地应用 1.工作经验：5年以上C++开发经验，有智能网联汽车埋点相关经验优先 2.其他： ①、熟悉常用数据结构、算法，具备Linux系统编程经验 ②、熟练掌握多线程、网络通讯协议（如TCP/IP、CAN、MQTT等）的基础实现 ③、熟悉Boost开发框架，能够熟练使用makefile、cmake、gdb等工具链 ④、工作认真、负责、仔细，有良好的团队合作精神，良好的分析及沟通能力