-
if (your_passions.includes('BigData')) { switch(your_stacks) { case 'Java': case 'Scala': case 'Python': console.log('Join AfterShip'); break; } } 岗位职责 1、负责公司级通用语义层 Semantic Layer 的整体架构设计、技术选型与核心模型构建,从源头解决数据孤岛和口径不一的问题,确保指标和业务口径在全公司的统一性与权威性; 2、与数据仓库团队、BI 团队建立并推行公司的数据建模与指标管理规范与流程,推动数据治理策略的执行,推广语义层的价值和使用方法,提升全公司的数据消费效率与体验; 3、持续监控和优化语义层的查询性能、数据时效性和系统稳定性,保障服务质量。同时,跟踪业界前沿(如 Headless BI、Data Fabric),结合业务发展,持续推动数据架构的演进与创新。 岗位要求 1、**本科及以上学历,3 年及以上数据平台或数据架构相关经验,拥有参与或者主导构建企业级数据建模体系或指标平台的成功经验; 2、 精通数据仓库建模理论(如 Kimball 的维度建模、Inmon 的范式建模)和范式理论,具备将复杂业务场景抽象和范式化为可复用数据模型的能力,拥有丰富的 SQL 调优经验; 3、熟悉主流的大数据技术栈(如 Spark、 Flink、 Iceberg),对至少一种主流 OLAP 引擎(如 ClickHouse、StarRocks、Apache Doris)有深入的实践经验; 4、熟悉 Apache Calcite、Antlr4 等 SQL 解析与优化框架,对 dbt、Cube、LookML、 AtScale 等至少一种语义层/指标平台框架或工具有深入理解或实际应用经验; 5、具备出色的业务理解和沟通协调能力,能够与数据参考、数据分析师和产品经理等不同角色进行高效协作,准确地将业务需求转化为可落地的技术方案。 加分项 1、熟悉至少一种主流云平台(AWS、GCP)的数据产品生态(如 Redshift、 BigQuery等),有云上数据架构设计经验者优先; 2、对 Headless BI、 Data Fabric 等现代数据架构理念有深入研究和独到见解者优先。 为什么加入我们 1、朝阳行业:国际电商 SaaS 服务赛道,国际一线投资机构加持; 2、稳健发展:团队稳健扩张,业务规模及营收每年持续稳健增长; 3、多元文化:团队来自全球 20 多个不同城市,国际化视角、扁平化管理; 4、极客氛围:拥抱开源技术,实践敏捷开发,崇尚通过工具和自动化来解决问题; 5、特色福利:AI 学习基金、 一对一帮带、内部商城、提供 MacBook 及可升降办公桌。
-
职位职责: 1、为大规模推荐系统设计和实现合理的数据系统; 2、生产系统的Trouble-shooting,设计和实现必要的机制和工具保障生产系统整体运行的稳定性; 3、打造业界领先的流式计算框架等分布式系统,为海量数据和大规模业务系统提供可靠的基础设施。 职位要求: 1、对大数据系统有深入的了解,在生产环境有TB级别Flink实时计算系统开发经验,深入掌握Flink DataStream、FlinkSQL、Flink Checkpoint、Flink State等模块,有Flink源码阅读经验优先; 2、熟悉常见消息队列原理和应用调优,有Kafka、Plusar、RocketMQ等项目源码阅读经验优先; 3、熟悉Java、C++、Scala、Python等编程语言,有出色的编码和Trouble-shooting能力; 4、乐于挑战没有明显答案的问题,对新技术有强烈的学习热情,有PB级别数据处理经验加分; 5、有数据湖开发经验,熟悉Hudi、Iceberg、DeltaLake等至少一项数据湖技术,有源码阅读经验优先; 6、熟悉其他大数据系统经验者优先,YARN、K8S、Spark、SparkSQL、Kudu等;有存储系统经验加分,HBase、Casscandra、RocksDB等。
-
工作地点:深圳 岗位职责: 1、负责京东站外广告离线和实时数据的规划和建设,包括:数据接入、数据处理、olap分析等,结合数据和技术与应用等多方特性,构建高可用和易扩展的数仓体系,高效满足业务用数诉求。 2、负责建立数仓与数据质量标准和规范,针对海量的数据,确定数据治理方案,并与内外部团队协作,推动落地实施,不断提升数据质量,确保数据及时、准确与稳定性。 3、深入业务,理解并抽象出业务需求,不断优化数仓模型,抽象总结并沉淀通用方案与平台工具能力,提升研发数据质量与用户用数效率。 任职要求: 1、具有1年以上大数据研发经验,包括实时/离线数据处理、数据建模、ETL开发与设计、数据治理等,有数据分析和指标体系构建工作经验优先; 2、编程能力扎实,熟悉至少一门常用的后台开发语言,如Python、Java和Scala等; 3、掌握大数据相关技术,比如iceberg、Spark、Flink、Hadoop和Hive等的原理了解,要求有实战经验; 4、熟悉一门ClickHouse或doris等OLAP分析引擎,了解系统原理,要求有实战经验; 5、熟练掌握SQL语言,能使用SQL进行复杂的数据分析和调优工作; 6、对数据敏感,工作细致负责,具备良好的问题分析与解决能力; 7、具备较强的自我驱动力,有良好的团队合作精神和沟通能力;
-
岗位职责 1. 参与数据仓库/数据集市的逻辑与物理数据模型设计。 2. 负责数据仓库/数据集市的提数需求,按需要完成一定复杂程度的统计分析与数据探索。 3. 根据分析方案设计数据支撑需求,获取、整理、清洗和转换数据,以满足分析建模的输入要求。 4. 按时完成指定的数据生产任务。 5. 根据需要为客户提供数据挖掘与专题分析相关的专业培训服务。 6. 负责数据治理项目的需求、设计、实施工作。 任职资格 1、 计算机相关专业及项目管理专业,本科及以上学历,5年以上大数据平台使用和数据治理项目开发经验; 2、 具备SQL编程能力,并对SQL语句具有一定的调优功能,掌握Oracle、mysql等数据库,有数据库开发和设计经验; 3、 熟练掌握基于hadoop生态的大数据开发工具,包括HIVE、HDFS、Zookeeper、Yarn、Spark、HBase、Sqoop、ES、Impala、Flink、Storm等,有实时系统开发经验优先; 4、 熟悉数据ETL相关工具及架构体系,熟悉Kettle等; 5、 对数据有敏感性,具备数据库物理模式设计和数据建模设计实施经验; 6、 精通批处理计算框架和实时计算框架,如MapReduce、Spark、Flink、Flume; 7、 有较强的业务理解能力,能快速将业务问题转化成具体的技术解决方案; 8、 有丰富的数据仓库实施相关工作经验;
-
工作内容 1、理解系统的业务需求,主导重大项目的架构设计和核心模块设计; 2、负责大数据相关数据架构规划、数据建模、数据库设计以及大数据产品研发工作,并为应用开发团队提供技术支持、模型分析; 3、识别关键能力与角色,构建集成交付流程并指导大数据系统集成交付团队的组建; 4、主导技术难题攻关,保证项目按期高质量交付; 5、负责核心功能的架构与代码模板编写,开发与维护系统公用核心模块; 6、进行系统技术平台的选型和评估新技术的可行性; 7、识别出技术方向、产品组件、技术培训等需求,并组织实施; 8、根据业界实践、项目实施经验等优化系统集成交付流程与方法论; 9、组织并负责大数据相关方案评审; 10、为开发人员提供技术指导及帮助; 职位要求 1、6年以上行业软件设计开发经验,具有丰富的行业解决方案经验; 2、熟悉云计算开发框架,Hadoop、Hive、HBase、Storm、Kafka等大数据主流工具和技术,有海量数据或海量并发的大型项目架构设计经验; 3、扎实的Java(或.NET、PHP)和数据库技术基础,精通Web应用相关技术,熟悉分布式、多线程、异步处理、消息处理、搜索等中间件产品和工作机制; 4、丰富的软件开发经验,深入理解各种框架工作原理,有框架开发/定制开发经验者优先考虑; 5、具有出色的抽象设计能力,思路清晰,善于思考,能独立分析和解决问题。 6、熟悉行业标准,如:TMF eTOM, ITIL,TMF SID等,并有实践经验; 7、技术视野开阔,学习能力好。 8、性格开朗,系统思维能力好,善于沟通,具备良好的项目管理能力。
-
高级大数据工程师
[北京·东城区] 2023-02-2520k-35k 经验3-5年 / 本科电商平台,内容社区,数据服务|咨询 / 不需要融资 / 50-150人岗位职责: 1、参与基于Hadoop的大数据平台的研发工作与持续优化工作; 2、参与大数据平台的容量规划、持续交付、业务监控、应急响应,保证平台正常运行; 3、利用大数据相关技术实现对数据的分析、挖掘、处理、及数据可视化等相关工作; 4、学习和研究新技术以满足系统需求。 岗位要求: 1、2年以上大数据从业经验,对编程和技术充满激情,了解互联网广告业务者优先考虑; 2、熟练hadoop、spark, hive、hbase, storm, flink有环境搭建和优化经验; 3、熟练使用mapreduce、hive sql处理数据; 4、熟练使用linux shell; 5、 211、985***本科。 -
岗位职责: 1. 负责分布式大数据平台架构建设、数据建模和数据应用后端开发; 2. 负责大数据相关组件OLAP引擎、实时计算,文件存储等相关研究和开发; 3. 负责大数据系统及组件的性能、效率、稳定性分析与优化。 岗位要求: 1. 熟悉Hadoop/Kafka/Presto/Kudu等大数据技术和组件,有3年以上大数据组件的使用和二次开发经验; 2. 具备扎实的计算机基础,熟悉分布式系统开发,熟悉云原生技术; 3. 精通Java开发语言,具有良好的编程开发能力; 4. 对新技术敏感,有一定独立分析,技术研究能力,具有良好的团队合作精神; 5. 能够深刻理解业务,善于利用技术实现相关业务价值; 6. 具备一定云原生技术经验(kubernetes ,Docker)者优先。
-
职责描述: 1. 负责分布式大数据平台架构建设、数据建模和数据应用后端开发。 2. 负责大数据相关组件OLAP引擎、实时计算,文件存储等相关研究和开发。 3. 负责大数据系统及组件的性能、效率、稳定性分析与优化。 任职要求: 1. 熟悉Hadoop/Kafka/Presto/Kudu等大数据技术和组件,有5-7年大数据组件的使用和二次开发经验。 2. 具备扎实的计算机基础,熟悉分布式系统开发,熟悉云原生技术。 3. 精通Java开发语言,具有良好的编程开发能力。 4. 对新技术敏感,有一定独立分析,技术研究能力,具有良好的团队合作精神。 5. 能够深刻理解业务,善于利用技术实现相关业务价值。 6. 具备一定云原生技术经验(kubernetes ,Docker)者优先
-
岗位职责 1.参加大数据流批处理的研发,如实时计算通用组件研发、元数据、血缘分析、指标管理平台、质量管理平台等; 2.支持业务数据报告需求; 3.大数据资源的调度和优化; 4.协助运维做好集群的维护工作; 5.积极主动研究大数据时代的各种前沿技术,并能在产品中得以运用实施; 任职要求: 1.本科及以上学历,3年以上大数据开发经验,精通数据结构和算法,优秀的故障排查和架构设计能力; 2.有从事分布式数据存储与计算平台应用开发经验。熟悉 hadoop/spark,有海量数据外理能力: 3.熟练掌握kafka,有实时流计算项目经验( storm/spark-streaming/flink,熟练掌握其中一种流式计算框架); 4.掌握Linux系统下编程经验,熟练掌握一门脚本予言(shell,python等); 5.熟悉MPP数据库的建模、使用和性能调优(如 HBase,ElasticSearch); 6.注重代码规范,具有良好的学习能力、文档能力、沟通能力、团队合作意识; 7.强烈的责任心与主动性,对所负责工作有主人翁意识,并能自我驱动成长。
-
岗位描述: 1. 负责大数据的采集、清洗、加工; 2. 负责数据仓库ETL流程的优化及解决ETL相关技术问题; 3. 负责大数据平台数据仓库建模、数据预处理子系统的设计和开发; 4. 负责带领数据治理团队,完成数据集成、数据治理和数据开发。 职位要求: 1. 熟练数据仓库的ETL的开发和医疗领域数据建模,5年以上数据仓库实施经验; 2. 熟练使用Haddop、Hive、Spark等分布式开源软件,具备系统优化与性能调优能力; 3. 精通JAVA/Python等面向对象编程语音,有长期实际项目开发经验; 4. 有DBA经验或分布式计算平台经验者优先,有医疗信息化背景优先; 5. 有医疗全民健康平台、大数据疾控经验优先。 此岗位为科大讯飞集团统一招聘岗位,人员通过简历筛选、笔试、初试、复试、终审等环节后录用。
-
岗位职责: 1、数字政府城市大数据平台规划设计; 2、城市大数据平台规划验证及落地实现,包括大数据框架选型、评测、配置、调优; 3、数据存储模型设计、工具产品及应用设计; 4、工具产品及应用开发; 5、数据接入、预处理、清洗、转换、校验、存储等过程脚本开发; 6、城市大数据平台日常运行监控、管理与维护。 任职要求: 1、计算机、数学相关专业本科及以上学历; 2、3年以上架构师、高级研发工程师、运维工作经验; 3、有大数据平台、数据中台、大数据工具产品规划、研发或运维经验; 4、熟练使用HBase、Hive、Spark、Flink、Kafka等主流大数据相关工具、框架,DolphinScheduler等调度系统,有海量数据处理经验; 5、熟练使用mysql、PostgreSQL、Doris、ClickHouse、达梦等数据库; 6、SQL调优经验丰富; 7、精通Python、Java、C++中至少一种编程语言; 8、熟练使用linux、Power designer,Axure,具备较强的文档能力; 9、责任心强、良好的逻辑能力和良好的团队意识。
-
岗位职责 1.核心数据处理与开发: 负责基于 Hadoop、Spark、Flink 等大数据处理框架,设计、开发和维护高性能、高可靠的海量数据批处理和流处理管道。 参与构建和优化企业级实时数据仓库和离线数仓,确保数据处理的时效性和准确性。 2.数据平台建设与优化: 参与数据湖架构的设计、实现与治理,管理海量结构化、半结构化和非结构化数据。 负责 Doris 等 OLAP 引擎或类似 MPP 数据库的建模、开发、性能调优及日常运维支持。 维护和管理 MySQL 或其他关系型数据库在大数据生态中的集成与应用。 3.数据仓库架构设计: 深入理解业务需求,设计并实现符合业务目标的数据仓库分层架构(如 ODS, DWD, DWS, ADS/APP层)。 针对 TB/PB 级数据规模,持续优化数据处理任务的性能、资源利用率和稳定性。 解决大数据场景下的技术瓶颈和挑战。 任职资格 1.***本科及以上学历, 5 年以上大数据开发相关工作经验,具备复杂大数据系统的实际设计和开发经验。 2.精通: Apache Spark (Core, SQL, Streaming) 和 Apache Flink 的核心原理、API 及调优技巧,有大规模生产环境应用经验。 3.深入理解: 数据湖概念、架构(如 Iceberg/Hudi/Delta Lake)及其核心价值。 4.熟练掌握: 至少一种主流编程语言:Java 或 Scala(必须项),具备扎实的编码能力和工程化素养。 数据库与存储: 5.熟悉 Doris 或类似高性能 OLAP 引擎(如 ClickHouse, StarRocks)的使用和优化。 6.熟悉 MySQL 等关系型数据库的原理、SQL 优化及常见应用场景,熟悉 HDFS、Hive、HBase 等 Hadoop 生态组件。 7.数据治理与架构: 深刻理解并具备实践经验: 数据治理的核心领域(元数据、数据质量、数据安全、数据标准等)。 8.熟练掌握: 数据仓库经典分层架构设计理念(如 Kimball/Inmon 维度建模),并有实际项目落地经验。
-
岗位职责: 1.负责数据平台架构,需求分析,技术选型 2.参与平台大数据采集、清洗、传输、存储、实时计算、离线计算、调度、服务化等设计与落地 3.根据业务需求,提供面向业务的OLAP、报表、数据服务等,支撑业务快速发展 4.深入理解数据安全相关法规及标准,结合云平台业务制定合理的安全规范; 5.编写相关技术文档 任职资格: 1.本科及以上学历,扎实的Java基础,5年以上大数据工作经验 2.熟悉HBase、Redis等NoSQL数据库,熟悉PostgreSQL、Mysql等RDBMS,了解时序数据库更佳 3.持续优化ETL流程及性能,保证数据及时有效产出 4.精通常用大数据处理相关系统,如Hadoop、hive、spark、flink、kafka等,有实时离线数仓的模型设计与落地经验; 5.熟悉大数据体系,对数据采集、消息转发(Kafka等)、数据存储、批流计算等相关组件及技术有较深刻理解; 6.有算法开发、算法建模经验的优先
-
岗位职责: 1. 负责海运相关主数据和参考数据的接入、整合存储和计算; 2. 研发和维护离线和实时数据处理链路,确保业务功能的稳定可用; 3. 维护基础数据质量,包括数据规范制定和数据监控; 4. 支撑业务运营团队和算法团队的数据统计和分析需求。 岗位要求: 1. 本科及以上学历,计算机、软件工程相关专业毕业; 2. 具有5年以上软件研发相关经验,3年以上数据项目经验,掌握Java或Python语言及其核心库使用,熟悉关系型数据库(MySQL、PostgreSQL等)和NoSQL(MongoDB、Redis等),掌握复杂SQL查询及其优化; 3. 了解Hadoop生态圈组件(Hive、HBase等),能深入研发Spark或Flink计算任务; 4. 有1年及以上用户画像相关企业级项目经历,理解数据仓库原理; 5. 业务学习能力强,对领域新技术有探索精神,可正常阅读英文技术文档和邮件。
-
岗位职责: 1.负责数据类应用产品需求的分析、开发和维护等工作,实现数据价值最大化 2.负责业务线数仓的规划、设计以及建设,构建强大的OLAP系统,提供实时、离线的分析数据 3.参与系统架构设计工作,完成产品的迭代升级以及底层架构的升级研发 关键词:大数据、OLAP、BI、实时分析、流式计算、数据治理 任职要求: 1、有扎实的编程语言基础,熟练掌握SQL、Java、Python等 2、优秀的业务理解能力、逻辑性和沟通能力 3、熟悉大数据生态体系,有flink开发、sql查询优化相关经验者优先 4、具有数据湖,湖仓一体,流批一体的数据平台建设经验者优先 5、能接受省内短期出差


