-
职位职责: 1、为大规模推荐系统设计和实现合理的数据系统; 2、生产系统的Trouble-shooting,设计和实现必要的机制和工具保障生产系统整体运行的稳定性; 3、打造业界领先的流式计算框架等分布式系统,为海量数据和大规模业务系统提供可靠的基础设施。 职位要求: 1、对大数据系统有深入的了解,在生产环境有TB级别Flink实时计算系统开发经验,深入掌握Flink DataStream、FlinkSQL、Flink Checkpoint、Flink State等模块,有Flink源码阅读经验优先; 2、熟悉常见消息队列原理和应用调优,有Kafka、Plusar、RocketMQ等项目源码阅读经验优先; 3、熟悉Java、C++、Scala、Python等编程语言,有出色的编码和Trouble-shooting能力; 4、乐于挑战没有明显答案的问题,对新技术有强烈的学习热情,有PB级别数据处理经验加分; 5、有数据湖开发经验,熟悉Hudi、Iceberg、DeltaLake等至少一项数据湖技术,有源码阅读经验优先; 6、熟悉其他大数据系统经验者优先,YARN、K8S、Spark、SparkSQL、Kudu等;有存储系统经验加分,HBase、Casscandra、RocksDB等。
-
职位职责: 1、负责字节商业化数据仓库&集市的建设与维护,包括但不限于数据建模、数据开发、数据质量等 2、负责字节商业化业务数据BP,包括需求对接,抽象需求沉淀数据建模,结合产品矩阵灵活的把控技术方案,高质量交付需求 3、参与商业化数据治理工作,提升数据稳定性、易用性及数据质量 4、参与商业化大数据平台规划、为商业数据平台整体提供内容建设侧的应建议指导 职位要求: 1、本科以上学历,2年以上互联网业务数据仓库模型设计、开发经验; 2、熟练使用Hadoop及Hive、spark,熟悉HQL调优。具备一定的Java、Python等语言开发能力 3、具有Clickhouse、Druid、presto等OLAP引擎使用经验者优先 4、具有丰富的指标体系设计,指标管理经验优先 5、沟通能力强,业务sense好,良好的团队协作,以解决业务问题为导向,认同技术解决业务问题的价值理念,对处理海量大数据有较强的兴趣度和持续的热情
-
团队背景 隶属于6767搜推工程策略组6767,是公司搜索与推荐业务的核心技术支撑团队。团队技术氛围开放,鼓励创新实践,团队成员具备丰富的分布式系统与海量数据处理经验。 岗位职责 作为大数据研发工程师,你将深度参与搜推业务链路的实时与离线数据处理体系建设,核心工作包括但不限于: 61基于Flink/Spark 构建用户行为数据的实时(或近实时)采集、清洗、聚合与特征计算链路,实现用户兴趣标签、行为序列、实时偏好等画像特征的更新与存储; 61设计高并发、低延迟的实时数据管道,对接搜索/推荐业务的实时请求,支撑个性化排序、精准召回等策略的实时反馈优化; 61通过Redis/Elasticsearch/OpenSearch实现画像特征的实时存储与高效检索,保障下游业务(如前端展示、策略调用)的低延迟访问。 61负责离线数据仓库的开发与维护(使用Spark/MaxCompute),完成海量用户行为数据的ETL、数仓分层建模与指标计算; 61基于阿里云Lindorm/MaxCompute/DataWorks等工具,优化数据存储成本与计算效率(如冷热数据分层、任务调度调优),支撑业务方的高效取数与分析需求; 61针对搜推业务中的复杂场景(如跨域数据关联、实时+离线特征一致性、大规模稀疏特征处理),设计可扩展的技术方案并推动落地; 任职要求 61**本科及以上学历,计算机相关专业,大数据开发相关经验; 616767熟练掌握并使用6767(Flink,Spark Spark SQL/DataFrame、DataWorks调度等),有海量数据(TB级以上)的ETL与数仓开发经验; 61熟悉消息队列(Kafka必备)、搜索引擎(Elasticsearch/OpenSearch加分)、缓存(Redis等)及云原生大数据组件(阿里云Lindorm/MaxCompute/DataWorks优先)的原理与应用; 61具备扎实的编码能力(Java/SQL至少一种),熟悉Linux环境与常用脚本工具,有分布式系统调优经验(如JVM调优、任务并行度优化等)。 61具有良好的沟通能力和组织协调能 6767加分项:6767 61有实时画像/风控平台建设经验,熟悉用户行为特征工程、规则引擎或模型推理链路集成; 61理解搜索/推荐业务逻辑,了解排序策略、召回链路与数据特征的关联性; 61对数据敏感,具备较强的业务抽象能力与问题排查能力(如通过日志/指标定位数据延迟、丢失或不一致问题)。
-
职位职责: 1、负责商业化实时数据流(百万级QPS)及实时数仓系统的开发与迭代; 2、负责商业化内部数据应用产品的开发与迭代,如BI、埋点平台、实验平台等; 3、负责巨量引擎各平台数据产品的数据链路及查询服务开发与迭代,为客户提供有价值高质量的数据能力。 职位要求: 1、具备良好的沟通能力和自我学习能力,具备较强的责任心和主人翁意识,积极推动问题解决和项目进展; 2、具备扎实的Java语言基础,具有良好的编码和文档习惯,对代码美感的追求孜孜不倦; 3、熟悉并行计算或者分布式计算原理,熟悉高并发、高稳定性、可线性扩展、海量数据的系统特点和技术方案; 4、对性能调优,算法效率和分布式计算的资源管理策略有较深的理解; 5、熟悉ZooKeeper/Kafka/Paimon/Hudi等平台者优先。
-
职位职责: 1、综合收入和支出,预测用户生命价值,打造渠道投放和内容采买评估体系; 2、基于用户表现,建立用户衰减模型,打造DAU预测和多产品互导平台; 3、整合业务、财务、人力数据,提供一站式查询平台。 职位要求: 1、强悍的编码、系统设计和troubleshooting能力; 2、熟悉至少一个分布式框架,如Hadoop、Hive、Spark、Storm、Kafka、Flink等; 3、有扎实的数据结构和算法功底,熟悉统计学习、机器学习、深度学习中一项或多项; 4、有数据挖掘、指导业务策略的经验(如渠道投放、内容采买和产品互导等)优先。
-
职位职责: 1、广告各类在线业务的离线数据加工与在线数据服务开发与维护; 2、数据服务接口及产品需求研发迭代,代码review、bug修复及日常服务运维; 3、针对海量数据处理和查询需求,设计适应业务变化的合理的多维数据分析系统架构,满足多样性的需求; 4、海量日志清洗加工,并抽象出可以多业务复用的数据模型; 5、指导初级数据开发工程师进行日常开发。 职位要求: 1、熟悉Hadoop架构和工作原理,精通MapReduce编程;精通Hive,有HQL优化经验; 2、有web服务开发经验,具备独立完成模块开发能力,具备大规模分布式服务设计能力和经验; 3、理解基本的设计模式,能将业务需求快速理解成技术需求; 4、熟练使用Mysql,熟练使用ElasticSearch、Druid者优先;熟悉其原理者优先; 5、善于沟通,工作积极主动,责任心强,具备良好的团队协作能力; 6、具备良好的问题分析与解决能力,有较强学习能力和逻辑思维能力。
-
职位职责: 1、参与面向企业服务的大数据存储服务产品的设计和开发,打造世界先进的标准化产品; 2、持续优化系统稳定性、性能、成本、可扩展性、可维护性、可观测性等; 3、参与构建稳定高效的Devops运维系统,构建高性能的数据管理和数据洞察体系; 4、深入理解业务场景的存储需求,针对性的为不同业务场景提供最合适的存储方案。 职位要求: 1、熟悉Go/Python/Java中至少一种,有全栈开发经验,熟悉各种中间件的使用,对工程质量有很高的自我要求; 2、熟悉分布式存储系统的实现原理,理解典型的分布式存储架构,包括GFS、HDFS、Ceph等,具有相关工作经验有加分; 3、具备较强的问题分析能力和团队合作能力,有较强的自我驱动能力和产品意识,能够端到端驱动方案落地。 具备以下条件者优先: 1、熟悉C/C++; 2、熟悉文件存储、块存储、对象存储中的一种或多种者优先; 3、参与过PB级别数据量分布式存储系统研发,有过大规模数据集群运维、故障排查及调优等实战经验。
-
职位职责: 1、负责主机网络vSwitch转发面架构设计,包括网络虚拟化、DPU软硬件结合、云上高性能RDMA网络等技术; 2、负责业界主机网络vSwitch方向前沿技术趋势洞察分析,完成云网络创新技术研究和学术合作,制定技术发展路线,并协同产品推进新技术落地。 职位要求: 1、有VPC高性能网络(如RDMA、NCCL、MPI等)开发经验,了解主流的LLM训练推理框架以及GPU大规模RDMA组网方案,对LLM业务的网络需求有深入理解和实践经验; 2、熟悉TCP/IP等常用网络协议,了解GRE/VxLAN/BGP/OpenFlow等协议;了解Linux内核常见的网络相关组件,Linux Bridge/Open vSwitch/IPTABLES/TC等; 3、有技术专研精神,有良好的团队合作能力,善于沟通,执行和落地能力强; 4、具备OVS、DPDK、DPU网络卸载等项目经验,对云网络VPC、LB、NAT、NFV、边缘网络等有深入理解。
-
职位职责: 1、负责主机网络vSwitch转发面架构设计,包括网络虚拟化、DPU软硬件结合、云上高性能RDMA网络等技术; 2、负责业界主机网络vSwitch方向前沿技术趋势洞察分析,完成云网络创新技术研究和学术合作,制定技术发展路线,并协同产品推进新技术落地。 职位要求: 1、有VPC高性能网络(如RDMA、NCCL、MPI等)开发经验,了解主流的LLM训练推理框架以及GPU大规模RDMA组网方案,对LLM业务的网络需求有深入理解和实践经验; 2、熟悉TCP/IP等常用网络协议,了解GRE/VxLAN/BGP/OpenFlow等协议;了解Linux内核常见的网络相关组件,Linux bridge/Open vSwitch/IPTABLES/TC等; 3、有技术专研精神,有良好的团队合作能力,善于沟通,执行和落地能力强; 4、具备OVS、DPDK、DPU网络卸载等项目经验,对云网络VPC、LB、NAT、NFV、边缘网络等有深入理解。
-
我们是淘天集团内覆盖从生产制造到消费者购物的全场景、全链路,并深度重塑各业务环节的电商技术团队;我们支持天猫超市、天猫国际等全部淘天自营业务,他们都是淘宝APP亿级流量入口的核心购物场景。 岗位职责: 1、支持的业务场景:支持淘天集团下的天猫超市、天猫国际、淘宝买菜等自营业务场景; 2、负责业务数据资产体系的建设,抽象提炼面向零售业务的从供应链到消费者端的全链路通用数据模型并实现BC联动,同时建立统一的数据标准; 3、负责业务的数据应用能力体系建设,让数据更好的赋能业务并基于业务的痛点、挑战来沉淀抽象通用的数据应用解决方案,让数据驱动业务的精细化运营并带来增量的价值; 4、探索AI大模型在数据技术能力和工具平台的建设,通过深度集成自营业务场景的核心需求,全面提升研发效能与经营智能化水平,为多元化业务场景打造高效、精准的智能化解决方案,驱动业务价值持续增长。 5、良好的业务前景和自身的全面发展,你将具备供应链领域的系统知识,同时具备互联网 + 供应链的综合型人才,成为全社会数据领域中的稀缺人才。团队氛围轻松愉快,技术氛围浓厚,团队组织、目标、成员稳定,欢迎小伙伴一起来造梦。 任职要求: 1、有从事分布式数据存储与计算平台应用开发经验,熟悉Hadoop生态相关技术并有相关开发经验,有Spark/Flink/java/python/机器学习算法的开发经验尤佳; 2、良好的思维逻辑性、语言表达能力及沟通协同能力,对技术由热情,愿意接受新的技术,有较强的自我驱动学习的能力。
-
岗位职责: 1.主导过企业级数据仓库、数据中台的架构设计,负责数据集市设计、模型设计与程序开发; 2.负责数据治理及数据分析研发类工作,包括治理及分析产品的功能设计和数仓的开发设计,以及分析门户等。 3.孵化并持续迭代优化数据治理产品、数据分析产品,以系统化、智能化能力高效支撑产品研发落地和迭代提升。 熟练使用开发工具,负责数据治理、数据分析相关的数据建模、数据开发等研发类工作。 任职要求: 1.本科及以上学历, 8-10年以上大数据相关工作经验,有数据科学、机器学习等方面应用经验者优先; 2.熟悉ETL技术架构,熟练使用SQL、Python、Java等工具进行大型数据分析及建模; 3.熟练使用Hadoop、Hive、Spark、Flink等组件进行大数据场景数据开发; 有较强的逻辑分析、沟通及工作推进能力,具备优秀的技术与业务结合能力。
-
任职要求: 1.熟悉数据治理体系架构,对元数据管理、数据质量管理、数据血缘、数据标准管理和指标管理有深入研究; 2.熟悉数据中台体系架构,对数据中台建设的方法论有一定的了解; 3.熟悉数据仓库常用建模理论,了解数据分层结构以及设计模型; 4.熟练掌握SQL语言,熟悉MySQL、Oralce、Greenplum、PostgreSQL、虚谷等至少一种数据库; 5.熟悉大数据开发框架,熟悉Hive、Spark、Flink、Hbase、Impala、Kylin、Kafka中两种以上大数据主流工具和技术; 6.具有三年以上大数据平台、数据仓库相关领域项目开发实施经验,有丰富的数据建模、ETL架构和开发经验;
-
岗位职责 1)负责大数据相关系统架构设计与优化,推动项目和平台产品落地; 2)负责数据建模,基于人工智能算法进行数据挖掘,支持面向应用的数据统计、展示、评估、预测; 3)瞄准大数据相关项目、产品中的关键问题,开展重、难点技术攻关,提供有先进性的技术解决方案; 4)深度参与大数据存储平台的研发、测试、优化,进行大数据存储计算平台等基础设施的搭建、维护、优化与改造,提高系统可用性,扩展性和性能。 任职要求 1)3年及以上大数据、人工智能算法(如NLP、知识图谱等)相关研究或工作经验; 2)熟悉分布式系统、数据库管理优化及大数据技术,具备大数据智能分析、机器学习、智能推演博弈等领域技术理解者优先; 3)具备总体论证和设计能力,逻辑思维清晰,文档能力强者优先;
-
工作职责: -负责构建大数据分析平台以及数据分析和挖掘工作 -跟进相关产品线的数据梳理,各数据指标的计算和分析 -参与海量数据的存储、查询和运营数据分析体系搭建 -运用hadoop、hive、spark、ES等分布式计算和存储平台 职责要求: -计算机相关专业,3年及以上相关工作经验,有扎实的计算机理论基础 -研究过Hadoop或者Spark源代码的优先 -熟悉Java/Python等编程语言,熟练使用SQL,有良好的编码习惯 -技术视野开阔,有强烈的上进心和求知欲,善于学习和运用新知识 -善于沟通和逻辑表达,良好的团队合作精神和积极主动的沟通意识 -具备大数据云平台、计算存储平台、可视化开发平台经验优先 百度地图
-
职位描述 1、负责快手电商数据仓库的建设,构建各垂直应用的数据集市; 2、负责快手电商新产品数据统计、报表产出、效果监测、归因分析和商务支持; 3、定义并开发业务核心指标数据,负责垂直业务数据建模; 4、根据业务需求,提供大数据计算应用服务,并持续优化改进; 5、参与埋点设计、数据生产全流程等技术体系建设和保障工作; 任职要求 1、本科以上学历,两年以上大数据相关开发经验; 2、熟悉Linux平台,熟练使用Java、Python编程语言,编码基本功扎实; 3、有Hive、Kafka、Spark、Flink、HBase等两种以上两年以上使用经验; 4、熟悉数据仓库理论方法,并有实际模型设计及ETL开发经验,对于数据的架构和设计有一定的思考,具备良好的数学思维和建模思维; 5、熟悉分布式计算框架,掌握分布式计算的设计与优化能力,对Hadoop生态其他组件有一定了解,比如 HBase,Hadoop, Hive, Druid等 6、了解流式计算,熟悉至少一种实时计算引擎:Storm, Spark, Flink; 7、有很强的学习、分析和解决问题的能力,良好的团队合作意识,较强的沟通能力。 加分项: 有电商数据开发经验优先。


