-
职位描述 1、为快手百亿级广告变现平台提供通用的基础设施、研发框架、运维工具等; 2、保障广告系统的可用性及稳定性; 3、参与设计与实现百TB级别容量的通用存储平台,包括单机过百万的高性能存储引擎、可扩展的数据存储服务、元数据管理服务等; 4、业界前沿架构与技术的探索与落地。 任职要求 1、至少精通一门主流服务端开发语言,如:C++、Java、Golang;熟悉一门脚本语言,Shell、Python等; 2、有分布式系统开发经验,包括分布式存储服务,计算平台,高并发实时服务等;了解分布式系统理论; 3、较强的问题分析与解决能力,能够归纳抽象问题并能给出系统的解决方案; 4、具有良好的团队合作意识和沟通能力,责任心强。 加分项: 1、有主流存储引擎、数据处理框架(Rocksdb、MySQL、HBase、Flink、Storm等)使用或开发经验; 2、有基于Docker、Kubernetes的容器化运维经验; 3、开源社区活跃贡献者。
-
岗位职责: 1、负责基于hadoop大数据技术数仓建设,包括数仓整体架构设计、数据治理,数据标准建设及维护模型的设计等;完成设计类技术文档。 2、根据业务部门提出的需求进行数据仓库模型设计并进行大数据作业的开发。 3、完成数据批处理、数据调度、异常处理(作业优先级、依赖度、日志追踪)等问题的解决。 任职要求: 1、本科及以上学历,统计学、数学、计算机相关专业; 2、3年以上数仓实施经验,对数据仓库各类建模理论有深入的理解,具备大型数据仓库架构设计、模型设计和处理性能调优等相关经验; 3、具有丰富的基于Hadoop/Flink/Hive/Spark等分布式系统的大数据开发经验,具备海量数据加工处理(ETL)相关经验; 4、熟悉airflow,Kettle、DataStage、Informatica等至少一种ETL工具,以及至少一种任务调度工具。 5、具备数据治理开发经验者优先。 6、有较强的性能优化及问题排查、解决能力;对开源技术非常感兴趣并具有一定的研究能力。 7、有强烈的责任心、良好的沟通协调能力、团队合作精神、优秀的执行能力。 8、良好的语言沟通与表达能力和自我驱动动力,具备较强的逻辑思维能力,能承受工作压力。
-
职位描述 1、负责百亿级流量的广告匹配召回引擎、商品召回引擎、商品广告排序引擎研发; 2、优化商品广告的创意框架引擎,实现千人千面的商品广告推荐; 3、设计合理的策略调度框架,提升迭代效率;设计高性能框架,降低资源成本。 任职要求 1、扎实的编程基础,熟练掌握C/C++,具备独立设计编码落地能力; 2、拥有大规模分布式系统的设计和研发经验,掌握复杂系统下的调优经验; 3、具备完备的独立思考和文献阅读能力,能独立完成解决方案; 4、团队协作意识,兼容并蓄,使命驱动。 加分项: 1、熟悉高性能编程,对体系结构和编译原理有深入理解,有良好的代码调优经验; 2、具备大规模(广告、推荐、搜索)引擎的架构设计和研发经验; 3、高迭代效率下的策略调度框架设计经验。
-
大数据开发工程师(浏览器 岗位职责: 1、制定数据仓库设计与开发规范,推动落地; 2、设计并实现链上全域业务(地址信息,defi业务信息,标签)的数据仓库模型; 3、重点建设链上标签体系和特征工程; 4、数据治理相关的规划和建设,提高数仓数据质量; 5、与合作部门共同建设实时数仓和落地应用; 6、日常告警监控运维。 任职要求: 1、大学本科及以上学历,计算机、软件、信息等相关专业; 2、相对丰富的数据开发或数据仓库经验; 3、精通Hive Sql; 4、熟悉数据仓库建模、ETL过程、ETL和BI工具、技术和开发流程,一定的调优经验; 5、熟悉常用的shell命令,掌握java语言,能够开发udf/udtf等简单程序者优先; 6、熟悉阿里云大数据产品MaxCompute、DataWorks、Flink等经验优先; 7、熟悉AWS大数据产品经验优先; 8,了解机器学习(决策树、随机森林、聚类、逻辑回归)者优先
-
岗位职责: 1、在数仓负责人带领下,针对BI,算法,数据产品的需求,负责公司多业务数据仓库建设与模型设计,制定和落实数据仓库规范以及数据治理工作; 2、进行ETL设计,数据集市建设,落地及后续的运维; 3、负责各条业务线的数据整合方案设计及日志规范,数据分析指标体系建设及元数据管理; 4、稽查和监控数据质量,数据报表系统及相关数据产品的研发和数据需求的沟通及数据开发项目管理。 岗位要求: 1、掌握数据仓库(DW)商业智能(BI)理论知识,具备2年以上数据仓库建设经验,有数据中台、数据治理呼吁等相关经验优先; 2、精通SQL,熟悉mapreduce原理,有hive调优经验,具备一定的python和java开发能力,有Hadoop, Spark, Flink等大数据开发相关经验优先 3、具有高度的责任感,思路清晰,有良好的沟通能力; 4、本科以上学历,计算机、信息管理等相关专业
-
职位职责: 我们致力于打造业界领先的分布式数据库系统/云原生架构,该岗位包括且不限于: 1、参与分布式数据库/云原生架构的系统设计和工程实现; 2、跟踪数据库前沿技术,挖掘/落地新技术的机会,包括新硬件,智能优化器,湖仓一体等; 职位要求: 1、深刻理解计算机原理,有良好的数据结构和算法基础,扎实的编程能力; 2、熟练使用C/C++/JAVA等语言的其中一项,有高质量、高效率代码开发经验者优先; 3、熟悉分布式算法和系统、有数据库内核研发经验或致力于向此方向发展者优先。
-
岗位职责: 1、负责导航地图算路开发; 2、负责公司高精度地图产品应用领域的设计及开发; 3、路线规划核心技术算法的研究和优化; 4、使用路况、政策限行、出行大数据优化算路质量; 5、维护和优化算路服务器。降低资源消耗,提高服务器性能; 6、提高路况预测的质量。 任职资格: 1、计算机科学、数学、GIS相关专业本科以上学历,具有地图相关行业背景; 2、5年及以上地图算路开发经验; 3、5年及以上C/C++开发经验,具备良好的代码书写规范; 4、精通地图算路A*、crp等算法,熟悉算路数据结构; 5、具有良好的数据结构及算法功底,熟悉多线程编程,计算机方面知识广泛。
-
岗位职责: 1、负责导航地图算路开发; 2、负责公司高精度地图产品应用领域的设计及开发; 3、路线规划核心技术算法的研究和优化; 4、使用路况、政策限行、出行大数据优化算路质量; 5、维护和优化算路服务器。降低资源消耗,提高服务器性能; 6、提高路况预测的质量。 任职资格: 1、计算机科学、数学、GIS相关专业本科以上学历,具有地图相关行业背景; 2、5年及以上地图算路开发经验; 3、5年及以上C/C++开发经验,具备良好的代码书写规范; 4、精通地图算路A*、crp等算法,熟悉算路数据结构; 5、具有良好的数据结构及算法功底,熟悉多线程编程,计算机方面知识广泛。
-
岗位职责: 1. 负责数据平台架构设计、相关应用型数据产品的规划与研制; 2. 建设数据指标体系和分析模型,实现数据价值; 3. 负责与业务及开发团队协同规划数据采集、加工、应用、治理全过程,推动客户业务场景应用建设; 4. 负责整合与集成其他内部技术人员、外协技术人员开发的软件功能模块; 5. 参与撰写需求分析说明书、概要设计、详细设计等相关技术文档,参与或主导软件质量相关的工作。 任职要求: 1. 本科及以上学历,数学、计算机、统计相关专业; 2. 理解云化、数据仓库,熟悉海量数据的处理,良好的数据建模能力; 3. 熟悉主流大数据和数据库管理系统技术(如Oracle/PostgreSQL/MySql、HDFS/HBase/Hive/MapReduce/Spark/Storm/Redis / Memcached/ MongoDB以及Kafka、Zookeeper、Flume、Hadoop、Flink、Yarn等技术)的工作原理及应用; 4. 了解主流体系架构各组件的优缺点,熟悉与架构设计相关的数据存储、性能调优等相关领域知识,有直接的产品设计与开发、部署、调优的经验; 5. 了解kafka、hive、hadoop等大数据集群高可靠、高效和经济运维技术,了解系统监控、容灾、自动化、智能化运维体系; 6. 能够完成大型数据平台设计,丰富的OLAP系统经验,精通数仓架构及实施过程;深刻理解数据治理及落地方法论,有实战经验优先; 7. 精通至少一门编程语言,如C++、Java、Python等,了解设计模式,熟悉UML和ER设计方法,具有良好的设计习惯和代码架构规范,具有良好的沟通能力、协作和执行能力; 8. 熟悉数据挖掘、机器学习算法、数据可视化者优先考虑; 9. 熟悉业界常用的数据采集、集成、数据存储、计算、数据模型、数据分析的技术方案,能够基于Flink引擎开发构建流式和批式⼀体化的数据融合处理产品,可以负责Flink各类处理算⼦的设计与开发。具有数据分析或数据挖掘相关经验者优先; 10. 熟悉数据治理相关流程,包括数据接入、数据处理、数据治理、数据组织、数据服务等; 11. 具备数据治理的知识与体系方案,包含政策、组织、角色、流程、规范等,以及规划相应的支撑方案。了解业界的数据管理方法论; 12. 工作积极主动,责任心强,抗压能力强,有较强的学习能力,善于交流,有良好的团队合作精神、沟通协调能力和工作推进能力,有与业务、产品、开发等多方密切配合的经验和意识; 13. 具备很好的业务敏感度,能够深入业务,实施数据驱动业务发展。
-
岗位职责: 1、基于业界常用的大数据开源组件,设计和构建云原生的大数据处理平台。 2、 提供统一的异构数据源接入集成,数据离线、实时计算,元数据管理和数据服务等全链路智能数据构建与管理的大数据能力,为公司现有和未来业务赋能。 3、基于大数据技术,配合产品经理优化现有业务中对数据处理、存储和查询等需求的流程及性能优化。 4、 持续对大数据系统技术架构进行优化,降低成本,提升系统的性能和用户体验,打造面向未来的批流一体的计算和存储。 岗位要求: 1、计算机、通信、数学等相关专业,具备良好的计算机技术基础。 2、熟悉java/c++/python/go等至少一种编程语言,具备扎实的数据结构和算法基础。 3、熟悉主流数据库,熟练运用SQL,并熟练运用Python进行ETL开发; 4、了解数据仓库OLAP,熟悉多维分析优先,及了解数据分析、数据挖掘常用算法; 5、熟悉多个大数据领域内的开源框架,如Flink/Spark/HDFS/Hive/Kafka/ElasticSearch/ClickHouse/RocksDB等; 6、具备良好的沟通表达和自我学习能力,崇尚数据说话; 7、有PB级数据处理经验加分。
-
岗位职责 1、维护和优化现有搜索引擎,保障系统稳定; 2、负责下一代搜索引擎的核心设计和技术攻; 3、和产品和业务紧密联系,不断迭代和优化搜索体验; 4、保持对前沿技术的关注如大数据、索引和排序,结合业务更好的落地; 5、指导与培养新同学,不断提高团队战斗; 任职要求 1、熟练运用C++,有较丰富的性能优化,疑难问题调试经验; 2、具有大型分布式搜索研发经验,熟悉索引存储及常用优化手段; 3、工作负责,善于沟通,好奇心强,团队合作意识好; 4、有搜索引擎,推荐系统,广告系统,大数据处理等方面经验者优先;
-
职位职责: 数据引擎团队,解决EB级数据体量下的大数据架构问题,打造业界领先的大数据基础设施及架构;在字节跳动内部支撑大量业务线,包括但不限于今日头条、抖音、西瓜视频;同时基于内部最佳实践,打造了一款云原生实时湖仓一体分析的 toB 产品,将字节内的实践输出至公司外部客户。 职位描述: 1、保障字节跳动EB级大数据系统的稳定性、可靠性与高效性,设计解决方案并参与方案开发及落地; 2、系统性梳理系统监控与容灾技术方案,实现关键系统的故障处理、监控、日志采集、日志分析等功能; 3、负责湖仓一体大数据 toB 产品通用SRE体系的构建与完善,如安装、部署、升级、扩容、缩容、配置管理、容量规划、自动诊断等功能; 4、引导 SRE 工作朝着自动化、平台化、智能化方向演进,提升数据类系统架构管理效率; 5、维护线上系统服务稳定性,排查分析公司内外客户使用时遇到的各种问题,为业务保驾护航。 职位要求: 1、本科及以上学历,计算机或相关专业; 2、熟悉 Linux 环境,具备一定的编程能力,熟练掌握 Java/Python/Go/C++ 中至少一门开发语言; 3、具备较强的问题分析与解决能力,能够解决复杂的系统问题;具备较好的产品和服务意识,愿意将产品效果作为工作最重要的驱动因素。 具备以下条件之一者优先: 1、有大型系统的运维管理平台/工具开发经验者优先; 2、有海量分布式系统构建经验者优先; 3、熟悉 K8S 等云原生相关生态者优先; 4、熟悉大数据相关组件,如 HDFS/Yarn/Flink/Spark/Kafka/Presto/Impala。
-
产品架构师 岗位职责: 1、协助产品负责人制定大数据产品或系统的技术架构方案和实施路线,对整体软件方案、内部系统优化方案建议及决策,参与系统设计方案评审 2、子系统或模块的设计与开发,包括接口、业务逻辑定义、数据模型的设计与开发等 3、负责组织研发数据质量、数据分析整体方案,根据要求进行文档与代码的设计、编写、评审、维护工作 4、组织编写相关技术文档,协调和培训开发人员,辅助完成产品或系统开发 技能要求: 1、有5年以上IT行业技术研发类从业经验,独立系统设计、架构设计和研发经验 2、熟悉大数据系统技术架构及关键技术、软件研发过程,熟练掌握设计模式、开发语言、算法基础、数据结构等基本知识 3、熟悉领域设计理论,熟悉UML建模语言。 4、熟悉JAVA/Go/C++等开发语言及相关技术,熟悉各种数据分析框架架构原理。 5、熟练掌握Mysql、Oracle、Hdfs、Hive等主流数据库,较强的数据库及SQL能力,熟练使用Linux系统。 6、具有较强的技术风险把握能力和识别能力、应用系统架构及从技术角度分析业务的能力 7、沟通能力优秀,具备良好的逻辑思维,思路清晰,善于思考,能独立分析和解决问题,善于在强压下推进项目
-
岗位职责: 1、综合运用数据分析、人工智能/机器学习等技术,分析挖掘业务中的问题,并给出优化方向; 2、负责大数据挖掘、大数据分析、数据可视化在业务上的应用研发落地; 3、用系统化的方法分析业务变化趋势,为管理层决策和产品完善提供数据支持; 4、建立与之匹配的数据模型,运用SQL或算法等技术手段做数据分析,用数据驱动产品改进、业务发展。 任职要求: 1、统计、应用数学、运筹、计算机相关专业硕士及以上学历,博士优先考虑; 2、大数据分析与挖掘、运筹规划或机器学习领域3年以上工作经验.,有知名咨询公司3年及以上经验优先,具有成功的商业分析案例; 3、优秀的商业分析能力,能对复杂业务数据进行梳理分析、抽象概括、建立数学模型,发现并解决问题; 4、对主流优化模型和算法的原理、具体实现以及应用有深刻理解; 5、具有良好的领导力和跨团队协作能力,能够承担项目规划、资源协调、人才培养的任务; 6、熟悉C/C++/Java/python/go中至少一种编程语言; 7、在有影响力的国际期刊上发表过物流相关领域的论文优先考虑。
-
工作职责: 1、负责安全数据的清洗、关联、打标等大数据研发工作; 2、负责安全日志接入、报警对接工单的研发工作; 3、参与风控模型的性能优化。 岗位要求: 1、本科及以上学历,三年以上大数据领域工作经验; 2、掌握C/C++、Java、Objective-C语言之中一个或多个; 3、熟悉hadopp组件,如:datax、hive,flink,hbase、es等; 4、熟悉数仓建设方法论,熟悉数仓分层架构及模型设计; 5、熟练掌握hive sql使用及sql优化,精通ETL开发; 6、具备责任心强,良好的沟通,及良好的抗压能力; 7、有大型互联网数据中台项目者优先。
热门职位