-
职位职责: 团队介绍:集团信息系统部(Corporate Information System)负责字节跳动信息系统建设。通过构建领先的信息系统,助力公司业务和组织的长期高效经营与发展。与此同时,在安全、隐私、合规层面持续治理,为公司的稳健发展保驾护航。字节跳动的员工分布在全球超过120个城市,业务模式复杂,用户规模大。到现在,集团信息系统部已经覆盖人事、财务、法务、采购、审批、职场等多个领域,隐私安全工作同步开展,AIGC创新孵化也在逐步落地实现。 1、负责公司统一数据引擎大数据方向的架构设计和技术研发工作; 2、负责设计安全高效的大数据架构,推动数仓、BI团队搭建高效的数据流程与服务栈; 3、深入了解字节跳动各业务线的数据业务,发现并总结数据研发、数据质量、数据安全等方面数据问题,合理抽象方案,推动相关业务实施落地。 职位要求: 1、计算机基础知识扎实,具备良好的工程和算法能力; 2、有大数据体系工作经验,对数仓或BI体系的建设流程和分工有清晰的认识; 3、熟悉大数据相关工具/框架经验者优先,如Hadoop、Hive、Spark、Kafka、Flink、Clickhouse等; 4、有分布式、高性能系统研发经验者优先;对系统稳定性建设有实践经验者优先;熟悉多种存储系统者优先; 5、对技术有热情,具备良好的问题分析和解决能力,喜欢思考问题深层次的原因,并善于归纳和总结。
-
职位职责: 1、负责即时零售业务的离线与实时数据仓库的构建; 2、负责数据模型的设计,ETL实施,ETL性能优化,ETL数据监控以及相关技术问题的解决; 3、负责指标体系建设与维护; 4、深入业务,理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作; 5、参与大数据应用规划,为数据产品、挖掘团队提供应用指导; 6、参与数据治理工作,提升数据易用性及数据质量。 职位要求: 1、熟悉数据仓库实施方法论、深入了解数据仓库体系,并支撑过实际业务场景; 2、熟练使用Hadoop及Hive,熟悉SQL、Java、Python等编程语言; 3、善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力。
-
岗位职责: 1. 大数据平台组件运维及优化,进行必要的二次开发; 2. 数据湖、数据仓库技术研究及落地; 3. 实时、离线数据产品设计及开发。 任职要求: 1. 本科及以上学历,计算机及相关专业; 2. 3-5年Java/Scala开发经验,熟悉多线程编程; 3. 熟悉大数据生态相关技术,有二次开发经验者优先; 4. 熟悉实时及离线数仓架构及开发流程,有Phoenix/StarRocks使用经验优先; 5. 熟悉常见设计模式,熟悉如Spring/SpringMVC/Mybatis等主流框架; 6. 有较强的学习能力与逻辑思维能力,良好的团队合作精神。
-
40k-60k·15薪 经验5-10年 / 本科电商平台 / C轮 / 2000人以上(此岗位需要在南京或者深圳办公) 岗位职责: 1.大数据新技术规划、调研、选型及推广落地。 2.负责大数据组件内核开发优化,推进组件容器化,进行组件二次开发与适配等工作。 3.日常负责大数据框架组件的性能优化,稳定性保障,异常监控及线上问题对接解决。 4.参与平台功能研发,提供业务系统化的解决方案。 任职标准: 1.至少6年以上相关经验,有扎实的计算机编程基础,精通java/scala,熟悉jvm的原理和调优。 2.精通spark/hive/flink组件原理和内核优化,有超大规模数据计算的架构设计和优化经验。 3.掌握大数据行业趋势,熟悉Kubernetes/Docker,有组件容器化相关经验。 4.具备较强的问题解决能力,能独立分析和攻坚复杂的技术难题。 5.有公有云使用经验者优先。 6.有良好的服务意识、沟通能力和团队协作精神。
-
40k-60k·15薪 经验5-10年 / 本科电商平台 / C轮 / 2000人以上(此岗位需要在南京或者深圳办公) 岗位职责: 1.大数据新技术规划、调研、选型及推广落地。 2.负责大数据组件内核开发优化,推进组件容器化,进行组件二次开发与适配等工作。 3.日常负责大数据框架组件的性能优化,稳定性保障,异常监控及线上问题对接解决。 4.参与平台功能研发,提供业务系统化的解决方案。 任职标准: 1.至少6年以上相关经验,有扎实的计算机编程基础,精通java/scala,熟悉jvm的原理和调优。 2.精通spark/hive/flink组件原理和内核优化,有超大规模数据计算的架构设计和优化经验。 3.掌握大数据行业趋势,熟悉Kubernetes/Docker,有组件容器化相关经验。 4.具备较强的问题解决能力,能独立分析和攻坚复杂的技术难题。 5.有公有云使用经验者优先。 6.有良好的服务意识、沟通能力和团队协作精神。
-
【岗位职责】 1、负责基于hive、spark、flink技术的大数据平台需求分析、设计及开发工作; 2、负责基于datax、HQL、传统ETL 或基于spark、flink的大数据平台数据抽取、清洗、转换、加工等入仓的开发,优化大数据平台跑批作业; 3、负责使用Dolphinscheduler(海豚调度)批量配置跑批调度任务及调度优化工作; 4、负责使用flink采集并加工kafka、binlog等数据源。 【岗位要求】 1、能熟练使用大数据基础组件,不限于hdfs/kudu、hive、impala、yarn、Tez/spark、flink、hbase、sqoop、flume、datax、elasticsearch、kafka等,熟悉相关架构和原理,有一定的组件性能调优能力; 2、有CDH/CDP平台使用经验,熟悉基于Cloudera Manager的平台使用管理; 3、具有airflow/azkaban/xxl-job/Dolphinscheduler等一种基几种调度工具的开发使用经验,有Dolphinscheduler使用经验优先; 4、具备海量数据采集、加工、分析处理、高并发查询等数据平台的开发设计能力,并有具体的构建海量数据存储、离线/实时数仓等项目实施经验; 5、具有金融行业大数据平台实施项目经验; 6、了解常见的大数据产品和技术路线,如:ClickHouse、Doris、GBase、Kylin、Linkis、Flink CDC、Hudi/Iceberg等更优; 7、学习能力强,适应能力好,有强烈的责任心,主动关注数据发现问题并提出解决方案,具备良好的沟通能力及团队合作精神。
-
岗位描述: 1.负责大数据平台调度作业的日常监控、维护及协助优化; 2.负责建立大数据开发规范并持续完善,能够对技术风险、技术交付质量进行管控; 3.负责常规需求中底层数据开发及数据服务封装开发; 4.深入理解数据平台架构,发现并协助解决性能屏障; 5.新技术研究和应用,并推动适合的技术应用于生产。 任职要求: 1.本科及以上学历,计算机及软件工程相关专业; 2.2年以上大数据系统开发或运维经验,熟悉hadoop生态圈、CDH大数据平台; 3.熟悉数据规范流程及数据维度模型,精通sql、shell,了解spark、python、scala、flink; 4.具有较强的计算机网络、系统运维专业基础,熟悉掌握常用linux命令; 5.有体系化大数据平台运维工作经验优先考虑。
-
岗位职责: 1.承担建设基于Hadoop/Spark生态的大数据离线/实时处理平台; 2.参与业务数据.生产日志的抽取.转储.检索等相关工作; 3.跟进大数据前沿技术的发展,将合适的技术方案适时引入业务场景。 任职要求: 1.3年以上计算机.统计.数学等相关本科或以上学历; 2.掌握Hadoop.HBae.Hive.Kafka.Flume.Spark等大数据技术; 3.掌握数据挖掘,python,机器学习经验者优先; 4.有较强的学习能力,勤奋踏实,责任心强,有较强的沟通协调能力,有一定创新能力;
-
岗位职责: 1.负责ETL相关开发工作,深度参与数据仓库的建设与优化,保障数据存储的高效性与稳定性,支撑公司战略级数据项目的落地。 2.主导复杂数据处理流程的开发与优化,基于 Python 编写高性能的数据处理脚本,结合 spark、pandas、duckdb等进行大规模数据清洗、转换与分析,实现数据挖掘与机器学习模型开发,推动数据价值的深度挖掘。 3.设计和维护基于 Airflow 的工作流调度系统,实现数据处理任务的自动化调度与监控,确保数据处理任务按时、准确执行,提升数据开发与运维效率。 4.与业务部门紧密协作,深入理解业务需求,将业务逻辑转化为数据解决方案,通过数据驱动业务决策,助力业务增长。 5.研究大数据领域的前沿技术,持续优化数据开发技术栈与流程。 任职资格: 1.具备 3 年及以上大数据开发相关工作经验,拥有丰富的大数据项目实战经验,能够独立承担复杂数据开发任务。 2.熟练掌握 Python 编程,具备基于 Python 的大数据开发工作经验,能够运用 Python 进行高效的数据处理与算法实现。 3.熟悉数仓建设方法论 1)熟悉etl分层建设方法 2)熟悉主题建设方法,能独立抽象主题,建设主题,并且物理化和性能调优 3)熟悉常用的BI系统建设方法,理解实现原理,理解各个工具使用场景 4.精通大数据开发相关技术栈,包括但不限于 Hadoop、Spark、Hive 等,能够熟练运用这些技术进行数据处理与分析。 5.熟练掌握 Airflow,能够基于 Airflow 进行工作流设计、调度与监控;熟练使用相关技术进行数据处理与分析并能够运用其实现常见的数据挖掘与机器学习算法。 6.熟练掌握sql和调优。 7.熟练掌握python。 加分项 1.具备统计学、数学建模等相关知识,能够运用统计方法进行数据分析与模型构建。 2.有分布式系统开发、数据可视化开发经验者优先。 薪资待遇 ****,我们提供具有竞争力的薪酬体系与广阔的职业发展空间,期待优秀的你加入!
-
工作职责 1、负责大数据相关系统的开发、测试、部署及上线工作,参与代码评审,确保开发质量; 2、参与业务部门临时数据分析需求,合作开展专项数据分析工作; 3、协助运营人员处理生产问题并提供技术支持,解答业务部门反馈的数据问题及各类咨询; 4、参与公司数据分析需求调研、评估、系统分析及架构设计工作。 任职要求 1、本科及以上学历,计算机、数学、统计学、管理信息类相关专业; 2、熟悉关系型数据库如Oracle、Postgresql等的使用、可熟练编写SQL实现业务逻辑,了解SQL性能调优; 3、熟悉Hadoop生态圈组件,包括但不限于Hive、Spark、HBase、Kylin、Flink、ES、Kafka等; 4、具备良好数据分析及处理能力,熟悉常见的数据处理工具,如ETL、BI工具、Python等; 5、具有较强的责任心和服务意识,良好问题分析及处理能力。
-
1、负责车联网大数据标准化接入、整车产品体验洞察、整车健康监测平台等数据应用平台的设计、开发及优化,保障数据应用服务的稳定性与可用性 2、负责车联网大数据的离线、实时数据仓库建设,负责数据的生产、建模、应用及质量体系建设 3、搭建面向数据驱动整车产品闭环的数据指标体系和BI平台 4、负责车联网数据质量、数据资产、数据治理相关的开发工作,提升数据质量及易用性 5、积极探索大数据及人工智能技术的深度应用,并落地到智能网联产品业务 1.工作经验:5年以上数据仓库经验,具备优秀的数据架构和业务抽象能力,参与过中、大型数据仓库从0到1建设的优先,具有智能网联汽车、数据治理、埋点相关经验优先 2.其他: ①、掌握大数据生态技术栈,深入了解数据平台、BI、画像、分析等方向中的一项或多项 ②、熟练使用Hadoop生态相关技术并有相关实践经验,包括Hdfs、Mapreduce、Hive、Hbase、Spark、Kafka、Flink、StarRocks等,具备海量数据加工处理(ETL)相关经验 ③、深入了解常用的数据建模理论,具有丰富的实际模型设计及ETL开发经验,可独立把控数据仓库各层级的设计,有数据治理相关经验者优先 ④、对数据敏感,有较强的逻辑分析能力,有丰富的数据处理和分析经验,有复杂业务和算法的数据平台建设经验优先 ⑤、工作认真、负责、仔细,有良好的团队合作精神,良好的分析及沟通能力
-
团队背景 隶属于6767搜推工程策略组6767,是公司搜索与推荐业务的核心技术支撑团队。团队技术氛围开放,鼓励创新实践,团队成员具备丰富的分布式系统与海量数据处理经验。 岗位职责 作为大数据研发工程师,你将深度参与搜推业务链路的实时与离线数据处理体系建设,核心工作包括但不限于: 61基于Flink/Spark 构建用户行为数据的实时(或近实时)采集、清洗、聚合与特征计算链路,实现用户兴趣标签、行为序列、实时偏好等画像特征的更新与存储; 61设计高并发、低延迟的实时数据管道,对接搜索/推荐业务的实时请求,支撑个性化排序、精准召回等策略的实时反馈优化; 61通过Redis/Elasticsearch/OpenSearch实现画像特征的实时存储与高效检索,保障下游业务(如前端展示、策略调用)的低延迟访问。 61负责离线数据仓库的开发与维护(使用Spark/MaxCompute),完成海量用户行为数据的ETL、数仓分层建模与指标计算; 61基于阿里云Lindorm/MaxCompute/DataWorks等工具,优化数据存储成本与计算效率(如冷热数据分层、任务调度调优),支撑业务方的高效取数与分析需求; 61针对搜推业务中的复杂场景(如跨域数据关联、实时+离线特征一致性、大规模稀疏特征处理),设计可扩展的技术方案并推动落地; 任职要求 61**本科及以上学历,计算机相关专业,大数据开发相关经验; 616767熟练掌握并使用6767(Flink,Spark Spark SQL/DataFrame、DataWorks调度等),有海量数据(TB级以上)的ETL与数仓开发经验; 61熟悉消息队列(Kafka必备)、搜索引擎(Elasticsearch/OpenSearch加分)、缓存(Redis等)及云原生大数据组件(阿里云Lindorm/MaxCompute/DataWorks优先)的原理与应用; 61具备扎实的编码能力(Java/SQL至少一种),熟悉Linux环境与常用脚本工具,有分布式系统调优经验(如JVM调优、任务并行度优化等)。 61具有良好的沟通能力和组织协调能 6767加分项:6767 61有实时画像/风控平台建设经验,熟悉用户行为特征工程、规则引擎或模型推理链路集成; 61理解搜索/推荐业务逻辑,了解排序策略、召回链路与数据特征的关联性; 61对数据敏感,具备较强的业务抽象能力与问题排查能力(如通过日志/指标定位数据延迟、丢失或不一致问题)。
-
岗位职责 作为大数据研发工程师,你将深度参与搜推业务链路的实时与离线数据处理体系建设,核心工作包括但不限于: •基于Flink/Spark 构建用户行为数据的实时(或近实时)采集、清洗、聚合与特征计算链路,实现用户兴趣标签、行为序列、实时偏好等画像特征的更新与存储; •设计高并发、低延迟的实时数据管道,对接搜索/推荐业务的实时请求,支撑个性化排序、精准召回等策略的实时反馈优化; •通过Redis/Elasticsearch/OpenSearch实现画像特征的实时存储与高效检索,保障下游业务(如前端展示、策略调用)的低延迟访问。 •负责离线数据仓库的开发与维护(使用Spark/MaxCompute),完成海量用户行为数据的ETL、数仓分层建模与指标计算; •基于阿里云Lindorm/MaxCompute/DataWorks等工具,优化数据存储成本与计算效率(如冷热数据分层、任务调度调优),支撑业务方的高效取数与分析需求; •针对搜推业务中的复杂场景(如跨域数据关联、实时+离线特征一致性、大规模稀疏特征处理),设计可扩展的技术方案并推动落地; 任职要求 •**本科及以上学历,计算机相关专业,大数据开发相关经验; •熟练掌握并使用(Flink,Spark Spark SQL/DataFrame、DataWorks调度等),有海量数据(TB级以上)的ETL与数仓开发经验; •熟悉消息队列(Kafka必备)、搜索引擎(Elasticsearch/OpenSearch加分)、缓存(Redis等)及云原生大数据组件(阿里云Lindorm/MaxCompute/DataWorks优先)的原理与应用; •具备扎实的编码能力(Java/SQL至少一种),熟悉Linux环境与常用脚本工具,有分布式系统调优经验(如JVM调优、任务并行度优化等)。 •具有良好的沟通能力和组织协调能 加分项: •有实时画像/风控平台建设经验,熟悉用户行为特征工程、规则引擎或模型推理链路集成; •理解搜索/推荐业务逻辑,了解排序策略、召回链路与数据特征的关联性; •对数据敏感,具备较强的业务抽象能力与问题排查能力(如通过日志/指标定位数据延迟、丢失或不一致问题)。
-
"职位描述: 1、负责保险业务风险管理,包含但不限于保险产品赔付率分析、逆选择及欺诈风险特征和模式梳理 2、基于大数据与机器学习、数据挖掘等方法构建风险识别模型,支撑保险业务全流程生命周期的风险管理与风险洞察; 3、建设公司内外的数据合作流程和规范,探索、建设及接入保险相关的风险画像及风险模型; 4、深入理解业务,探索业务经营和业务创新的需求洞察,并进行技术预研; 职位要求: 1.本科及以上学历;计算机、数学、统计精算等相关专业背景,至少熟悉一门编程语言(python,SAS,R等); 2.有2年以上金融风控数据分析与建模经验、对金融业务的风险有比较深刻的理解,熟悉大数据建模方法和风控策略体系构建方法; 3.熟悉常用的特征工程、机器学习和数据挖掘相关算法,熟悉spark,hadoop等大数据平台优先; 4.有保险定价、核保、核赔、医疗健康业务的从业经验者优先;有对外大数据合作及联合建模经验者优先; 5.沟通协调能力强,性格开朗客观,积极主动,有较强的业务理解能力、抗压能力及主动性; 6.有一定的产品经理意识、与技术方向的独立思考及规划能力。"
-
1、负责车联网大数据平台技术选型、数据仓库及数据产品架构规划和设计,制定大数据整体技术栈、业务应用架构和系统技术架构; 2、负责数据驱动研发平台的数据仓库架构设计,包括分层设计、模型规范、元数据管理、ETL调度、数据集成、OLAP等子系统的设计; 3、负责数据仓库建设,模型设计,包括业务模型、物理模型、概念模型、逻辑模型等; 4、通过技术和架构升级,提升数据质量、交付效率、计算性能和系统稳定性 5、负责制定数据采集、数仓建设、数据治理、数据共享技术标准规范,制定和维护数据相关标准规范; 6、探索数据架构领域前沿技术及最佳实践,推动落地并产生业务价值 1.工作经验:8年以上数据开发工作经验,其中3年以上大数据架构设计经验,主导过大型企业数据仓库、数据平台或数据产品的构建经验优先,有车行业经验的优先 2.其他: ①、对大数据生态有深入认识,精通Hadoop、hive、hbase、Kafka、spark、flink、时序数据库生态体系及相关技术框架,具备源码级问题解决和集群优化改造能力者优先 ②、熟悉业界常见的数据平台、产品和工具:阿里云/百度云/华为云,有丰富的分布式计算、大数据处理、数据平台和数据仓库建设经验 ③、具备全面架构思维与组织沟通能力,具备在高压环境下推进工作的能力,善于诊断技术问题,洞察技术风险并驱动问题解决 ④、有车联网大数据系统开发经验者优先,有海量数据性能优化开发经验者优先


