• 15k-20k·14薪 经验1-3年 / 本科
    旅游|出行 / 不需要融资 / 500-2000人
    岗位职责 (1)负责数据仓库模型设计、调度开发、ETL开发。 (2)负责数据应用开发,包括报表、标签、用户画像等。 任职要求 (1)***本科及以上学历,2年或以上互联网大数据开发工作经验。 (2)精通SQL,掌握SQL优化原理。 (3)掌握数据仓库原理,掌握维度建模理论,有大型数据仓库从0到1搭建经验。 (4)至少掌握MPP、MR、Spark、Flink其一原理,有实际的项目应用经验。 (5)掌握最少一种报表开发工具,例如帆软、Superset、Quick BI、apex等; (6)数据逻辑思维严谨;
  • 30k-50k 经验不限 / 本科
    区块链 / 上市公司 / 2000人以上
    大数据开发工程师(浏览器  岗位职责:  1、制定数据仓库设计与开发规范,推动落地;  2、设计并实现链上全域业务(地址信息,defi业务信息,标签)的数据仓库模型;  3、重点建设链上标签体系和特征工程;  4、数据治理相关的规划和建设,提高数仓数据质量;  5、与合作部门共同建设实时数仓和落地应用;  6、日常告警监控运维。  任职要求:  1、大学本科及以上学历,计算机、软件、信息等相关专业;  2、相对丰富的数据开发或数据仓库经验;  3、精通Hive Sql;  4、熟悉数据仓库建模、ETL过程、ETL和BI工具、技术和开发流程,一定的调优经验;  5、熟悉常用的shell命令,掌握java语言,能够开发udf/udtf等简单程序者优先;  6、熟悉阿里云大数据产品MaxCompute、DataWorks、Flink等经验优先;  7、熟悉AWS大数据产品经验优先;  8,了解机器学习(决策树、随机森林、聚类、逻辑回归)者优先
  • 20k-30k·13薪 经验3-5年 / 本科
    文娱|内容 / 不需要融资 / 150-500人
    岗位职责: 1、负责数据仓库规划、设计、开发,各业务线日志采集、清洗、整合、调度、优化等工作; 2、负责内部数据应用的设计、开发、维护工作; 3、负责解决大数据集群和数据服务线上实际问题,保障大数据集群及应用安全、高效、稳定运行; 4、深度挖掘业务数据,通过用户行为分析、关联分析,扩展和优化现有个性化推荐系统; 5、搭建数据平台,建立数据分析/数据挖掘模型,指导产品日常运营; 6、关注大数据前沿技术,规划大数据平台类产品架构,将大数据能力服务化输出,推动相应数据产品的研发和落地; 岗位要求 1、本科以上学历,计算机相关专业,有操作系统、数据库等专业知识基础; 2、3年以上分布式系统、大数据相关工作经验,至少2年服务器开发经验; 3、熟悉整个大数据的完整处理流程,包括实时和离线日志采集、清洗、预处理、存储、任务调度、分析挖掘和数据可视化。有超10TB大数据处理实战经验优先; 4、精通Java,熟悉IO、多线程,spring boot,spring data等基础技术; 5、熟悉Hadoop生态圈组件,精通Hadoop、Spark、Hive、HBase、Flink、Kafka、ElasticSearch等主流的大数据技术,具有Java 和 Scala语言项目开发经验,熟悉python者优先; 6、熟悉掌握Mysql、redis、MongoDB、Hive、Hbase 等数据库调优手段; 7、需要有较强的学习能力和思考问题能力,责任心强,有良好的沟通适应能力,能及时关注和学习业界最新的大数据和后端技术,以技术反哺驱动业务; 加分项: 1、有个性化推荐引擎的设计开发实践经验; 2、有搜索引擎、rank模块设计开发的实践经验; 3、熟悉逻辑回归、文本算法、排序、分类等机器学习的算法与运用。
  • 30k-60k 经验不限 / 本科
    文娱丨内容 / D轮及以上 / 2000人以上
    职位职责: 1、负责字节跳动各个业务的数据仓库架构设计、建模和ETL开发; 2、参与数据治理工作,提升数据易用性及数据质量,与数据工具团队紧密合作; 3、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作; 4、总结抽象适用于业务的科学的数据研究方法论,并推进方法论在业务场景的实践。 职位要求: 1、精通数据仓库实施方法论、深入了解数据仓库体系,并支撑过实际业务场景; 2、具备较强的编码能力,熟悉sql,python,hive,spark,kafka,flink中的多项,有至少TB以上级大数据处理经验; 3、熟练掌握批计算相关技术栈,了解流计算相关技术,有HTAP/HSAP相关实践经验优先; 4、善于沟通,具备优秀的技术与业务结合能力; 5、有较好的业务和数据sense。
  • 40k-80k 经验3-5年 / 本科
    文娱丨内容 / D轮及以上 / 2000人以上
    职位职责: 1、负责字节跳动商业化资金相关应用及数据服务的设计和开发工作(涉及:资金风控、企业金融产品、业绩核算等方向); 2、参与解决平台所面临的复杂业务支持,系统可扩展性、容灾等稳定性问题; 3、能持续优化系统,使之能够随着业务需求快速演化,支撑业务发展。 职位要求: 1、深入理解计算机原理,有扎实的数据结构和算法基础; 2、深入理解 Linux 系统及其原理,熟悉 TCP/IP、HTTP 协议以及网络编程; 3、良好的编码和文档习惯,对代码美感的追求孜孜不倦; 4、精通 Java/Go/C/C++/Python 等至少一门语言; 5、熟练使用 MySQL/Redis 等常用存储技术,并熟悉其部署方案和实现原理。 6、有大数据研发 HIVE/Spark/Flink 等经验优先
  • 12k-24k 经验3-5年 / 本科
    数据服务 / 上市公司 / 500-2000人
    岗位职责: 1.负责大数据公共组件、中间件的开发工作;平台规划、运维工作; 2.参与大数据架构设计,以及核心技术实现,推动数据汇集,数据质量,数仓建设,数据模型及相关标准建设和实现; 3.作为项目人员,理清业务方向,对初级开发人员的开发工作进行指导; 4.参与项目相关的技术方案的输出,作为技术专家,参与向客户的方案汇报沟通; 5.支撑数据中台建设,支撑业务结合需求设计高扩展、高性能、高可用的大数据业务系统; 任职要求: 1.计算或相关专业本科及以上学历,3年以上实际大数据开发经验; 2.具备扎实的计算机理论基础, 对数据结构及算法有较强的功底; 3.精通Java语言编程; 4.熟悉常见的面向对象设计模式,具备优秀的系统架构设计能力; 5.熟悉Hadoop生态系统和数仓理论,离线计算、实时计算、数据治理、数据服务等方面有丰富开发经验; 6.熟悉常见大数据平台的开发工作及周边相关技术、组件; 7.对新型智慧城市,数字化中国有较深了解,熟悉政务信息优先。
  • 20k-40k·20薪 经验5-10年 / 本科
    硬件 / 不需要融资 / 2000人以上
    岗位职责: 1、承接业务团队离线计算、实时计算需求,对外提供稳定、高效的数据服务; 2、负责实时流服务平台、实时数仓的规划、设计、研发和落地; 3、保持技术前瞻性,持续推动实时系统架构的行业先进性; 4、针对具体的业务场景问题,快速设计和实现解决方案; 5、负责工程架构相关新技术方向研究、开发和应用。 任职要求: 1、本科及以上学历,计算机相关专业,6年以上的spark、Flink等相关研发经验; 2、熟悉spark、Flink原理、深入研究底层技术,具有很强的实际问题解决能力; 3、掌握MapReduce系列大数据系统原理,熟练使用HDFS、Hive,Spark,Flink,HBase,Kafka等分布式计算系统,并对于使用场景,优化方式有着深入理解; 4、有数据中台或应用中台设计开发经验者优先; 5、具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于解决问题和分析问题。
  • 15k-22k 经验3-5年 / 大专
    数据服务|咨询 / 未融资 / 50-150人
    岗位职责: 1、负责海量数据离线、实时处理系统的开发建设;  2. 负责大数据平台资源规划、权限控制、运维架构设计,为各产品业务提供稳定、高效、安全的运行环境;  3. 负责大数据数据底层技术研究及开发,技术能力输出、技术引导、技术风险识别;  4. 负责大数据平台建设工作,实践平台战略,包括:平台建设、数据架构实施、数据开发等;  5. 跟踪大数据前沿技术和产品,与业界先进技术保持同步;  6. 跨团队项目协调。 任职要求: 1.大专及以上学历,计算机相关专业,3年及以上大数据架构工作经验,参与实施过1个以上大数据平台项目;  2. 熟练使用Flink,并且对Flink的底层原理有很深的理解,包括Runtime、SQL&Connectors、State、CK等,有结合 Iceberg 应用优先;  3. 熟悉大数据领域生态,如:Spark、Hive、HDFS、ClickHouse、Kylin、ES、Presto、Iceberg;  4. 熟练使用java、python、scala等编程语言,熟练操作linux系统,具备上述工具在linux下的部署实施经验;  5. 具有良好文档编写能力,能输出标准、准确的手册供部门实施人员参考;  6. 良好的团队协作与沟通能力。 备注:有基于CDH平台研发背景者优先
  • 15k-20k 经验3-5年 / 大专
    数据服务|咨询 / 未融资 / 50-150人
    大数据开发工程师(数据中台)(JAVA方向) 岗位职责: 1、参加大数据分析平台的设计与开发,解决海量数据面临的挑战;  2、负责在大数据平台源数据层基础上,基于模型运用大数据技术,进行数据清洗、计算,提供稳定可靠的数据。 岗位要求: '1、熟悉Hadoop/Kafka/Hdfs/Hbase/Kudu/Hive/Spark/Impala/Flink等大数据技术以及数据挖掘策略与算法;  2、熟练使用python进行复杂业务逻辑的数据处理工作,具备海量数据处理以及性能优化的能力;  3、熟练使用MySQL、Redis、HBase;   4、思路清晰,具备良好的沟通能力和理解能力,较强的学习能力以及快速解决问题的能力;  5、计算机相关专业,3年以上大数据开发相关经验。
  • 25k-35k 经验5-10年 / 本科
    IT技术服务|咨询,专业服务|咨询,软件服务|咨询 / 未融资 / 15-50人
    工作职责: 1、负责数据分析平台的搭建和管理; 2、负责公司数据架构规范制定; 3、负责企业级数据仓库建模、设计和实现; 4、负责公司大数据基础架构平台的建设,维护和优化,保证平台的高效稳定运行; 职位要求: 1、***大学本科及以上学历,计算机科学与技术、计算机应用技术、软件工程、信息管理与信息系统等相关专业优先; 2、五年以上相关大数据相关工作经验; 3、精通至少一种主流编程语言,如Java、golang或python,熟悉常用设计模式、具有代码重构意识; 4、熟悉数据仓库模型设计与ETL开发经验,掌握维度建模设计方法; 5、精通使用Hadoop、Hbase、Kafka、Hive、Spark、Flink等离线计算和实时计算相关技术,熟悉底层框架和实现原理; 6、有数据挖掘、数据分析、机器学习相关实践经验者优先; 7、具备数据治理工作经验、有过大型金融、银行类大数据项目实施经验优先; 8、较强的沟通能力,团队合作能力,跨部门推动能力;
  • 20k-25k 经验1-3年 / 本科
    生活服务 / D轮及以上 / 500-2000人
    职责: 1. 参与数据仓库的长期架构规划与数据开发,建设大数据平台 ; 2. 负责数据平台相关数据管理工作,元数据管理、研发规范、质量规范、保障规范的制定与推动实施落地 ; 3. 对数据ETL任务进行性能调优及性能瓶颈分析 ; 4. 负责业务功能数据开发,包括(数据统计实现、数据测试,发布上线等); 5. 学习新技术,提高整个平台的计算能力和效率 ; 任职要求: 1、本科及以上学历,2年以上数据开发经验; 2、精通 Hadoop/Hive/Spark 等开源组件,熟练掌握其架构原理、应用、参数调优、能够进行源码级的问题分析和优化; 2、熟练使用Linux系统,熟悉Shell,熟练使用 python、scala、java 等开发语言; 3、熟悉掌握 Azkaban、DolphinScheduler 调度; 4、精通sql,熟悉常用的关系型、非关系型数据库和数据仓库,具有sql性能优化经验; 5、具备良好的需求分析和抽象概括能力,逻辑思维优秀,能够独立的分析和解决问题,责任心强; 6、具备良好的沟通表达、团队协作和抗压能力,能够主动学习、钻研探索问题和新技术;
  • 28k-40k 经验5-10年 / 本科
    移动互联网 / C轮 / 500-2000人
    ● 岗位职责 ○ 负责优化数据平台,提供高质量的数据服务能力支撑产品迭代; ○ 对接数据运营需求,抽象运营日常需求,开发数据指标支撑数据运营业务; ○ 支撑算法团队,参与构建数据分析、挖掘、建模等数据算法应用; ○ 持续优化数据分层模型,构建实时及离线数仓,提供可扩展的数仓和分析解决方案; ○ 负责数据平台,包括数据存储、数据集成、数据开发、数据资产、数据治理等; ○ 参与数据相关项目的架构设计、需求评审、技术攻坚及优化; ○ 负责建立数据领域:代码开发、业务流程、质量安全相关标准规范,并落地实施; ○ 深入理解业务,围绕数据分析搭建完善的数据服务,驱动业务的发展。 ● 岗位要求 ○ 本科学历及以上,计算机相关专业,5年以上大数据开发经验; ○ 熟悉shell,熟悉Linux操作系统,至少熟悉Java、Scala、Python等1~2种语言进行大数据开发; ○ 熟悉整个大数据的完整处理流程(数据采集、清洗、预处理、存储、分析挖掘、机器学习和数据可视化等); ○ 熟悉Hadoop、Spark、Flink、Hive等框架,能够主导搭建离线、实时大数据平台; ○ 精通 SQL 开发,有较丰富的 Hive SQL、spark SQL性能调优经验,能进行自定义函数的开发; ○ 熟悉主流的数仓架构设计,熟悉Hbase、Hive、Doris、PostgreSQL等,理解HOLAP,可以进行海量数据模型的设计及开发; ○ 有敏锐的技术洞察力和较强的问题分析能力,有宽泛的技术视野和对大数据技术的热情,并具备较强的创新能力; ○ 责任心强,有担当,有良好的编码习惯,遵守团队开发规范和代码规范,具有很强团队协作能力和沟通能力。 ● 符合以下条件,优先考虑: ○ 有华为云、阿里云等云服务使用经验者优先; ○ 熟悉数仓生命周期、数据建模理论及数据集市理论,具备海量数据加工处理相关经验,主导过PB级数仓架构或模型设计经验者优先; ○ 对数据分析、挖掘、建模及数据质量监控有实际的项目经验者优先。
  • 移动互联网,数据服务 / 上市公司 / 2000人以上
    软件开发工程师-分布式系统/大数据-All level Microsoft 是一家充满激情的创新者来协作、设想可能发生的事情并将他们的职业生涯提升到其他任何地方都无法达到的水平的公司。这是一个拥有更多可能性、更多创新、更开放的世界,而天空是云计算世界的极限。 Microsoft 的智能平台工程团队正在通过 Power BI、Synapse Analytics、Azure Data Factory、Azure Data Explorer.等产品引领数据世界的分析转型。我们将把全世界的数据带到微软云上,为新一类的数据优先应用程序提供动力,并让地球上的每个人都能利用数据做出更好的决策。 我们不只是重视差异或不同的观点。我们寻找并邀请他们加入,这样我们就可以利用公司中每个人的集体力量。结果,我们的想法更好,我们的产品更好,我们的客户得到更好的服务。 Data Integration。Data Integration团队的目标是在微软云上构建数据引力。大量数据被生成——不仅来自交易记录系统,还来自我们周围的世界。大量客户数据通过 Microsoft 产品和服务(包括云和本地)进行管理。我们的数据集成产品——Azure Data Factory和Power Query将使客户能够轻松地引入、清理、塑造和加入数据,以提取信息。 我们是 C+AI Azure 组织的 Azure 数据团队的一部分。 Azure 数据团队在大数据、云、存储和开源等技术方面提出了有趣的挑战。我们为 Azure 上的数据分析构建可靠、高度可扩展和高性能的分布式系统。我们使用各种开源技术,如 Hadoop、Yarn 等,并为这些技术做出贡献。我们正在创建一个行星级存储系统,它可以扩展到 EB 级的数据(是的,超过 18 位!)。 Azure 服务正在构建下一代全球分布式、弹性规模、多模型的云数据库服务。它旨在使开发人员能够构建全球规模的应用程序。这是一个千载难逢的机会,可以成为一个非常敏捷的团队的一员,解决分布式系统难题,并以快速的速度发布高影响力的功能。作为一名工程师,您有机会研究计算和容器托管方面的最新技术,以构建可大规模扩展的统一云服务框架,开始研究异构传输协议,应用创新算法大规模解决放置和负载平衡问题。我们需要具有远见卓识、应对重大挑战并在此过程中改变世界的协作开发人员。我们正在寻找工程师从头开始构建它们。 Azure 数据工厂中国团队有从入门到高级的职位空缺。我们正在寻找对大数据、数据转换、性能和可扩展性充满热情的**人才。您需要学习各种工业数据存储,例如mongodb、salesforce 等,并构建一个高性能连接器,以可扩展的方式从这些商店读取/写入数据。您将学习尖端的大数据服务,例如 Databricks、Spark 和 ADLA。您将有机会接触客户以了解/解决真正的客户痛点。 责任 想用数据和大规模分布式系统改变世界吗?您是否想解决您甚至不知道存在的挑战,直到您获得大尺寸?快来加入我们的 Azure 数据团队! 我们正在招聘工程师,他们热衷于通过大规模设计和开发解决方案来提高软件工程的效率。出色的设计、编码、测试、解决问题和调试技能。优秀的沟通和协作能力。在中国和雷德蒙德跨学科、团队、团队和队友工作的经验 资格 基本资格: 计算机科学或工程或 IT 相关技术学科的学士学位 1年以上行业软件工程经验 对软件开发概念、项目管理和良好的沟通有明显的理解 具有架构和交付分布式云服务的经验,Azure 优先。 有使用 C#/JAVA/C++/面向对象语言开发、调试和维护代码的经验 表现出的组织能力、解决问题的能力和确定优先级的能力 **资格: 极大的好奇心和提问的意愿 在快节奏的竞争环境中,高度的热情、正直、独创性、以结果为导向、自我激励和足智多谋。 爱下一个问题,下一个实验,下一个伙伴 对棘手的技术问题的挑战感到兴奋 始终以对客户的热情和同理心来解决问题 具有以下任何领域的经验将是一个加分项, 如例如 SSIS、ETL、数据集成、hadoop、spark、关系数据库、非结构化数据、各类工业数据服务。
  • 25k-45k·15薪 经验5-10年 / 本科
    硬件 / 上市公司 / 2000人以上
    岗位描述: 1 、负责中台技术架构、系统设计和核心代码开发,发现和解决存在的性能瓶颈等技术难题。 2 、协助产品梳理业务需求,产出业务系统架构设计方案。 3 、独立完成项目的系统分析、设计,并主导完成详细设计和编码的任务,确保项目的进度和质量。 4 、主动关注并学习新技术,并能够在实践中应用,帮助建设团队技术氛围。 5 、对未来技术架构具有前瞻性和规划能力。 任职要求: 1.三年以上 Java 开发经验,编程基础扎实。 2.精通 Java 开发语言,精通 jvm 、缓存、分布式架构、消息中间件等核心技术。 3.深入了解 Java 相关的主流框架,并熟知它的原理及机制,如 Springboot、dubbo 、SpringCloud 等。 4.熟悉常用的开源分布式中间件、消息队列、缓存 实时计算引擎等。 5.具备良好的面向对象的设计能力,熟悉面向对象设计原则,掌握设计模式及应用场景。 6.对于有过高并发、高可用、高性能、稳定性保障、以及大数据处理实际项目经验者优先。 加分项: 1. 熟悉 Docker/Kubernetes 等容器相关技术者优先。 2. 熟悉流式计算相关生态技术,包括但不限于 Flink/Spark/Kafka/Hadoop 等,有实时计算经验优先。 3. 熟悉 CI/CD 优先。
  • 15k-25k 经验3-5年 / 本科
    科技金融,软件服务|咨询,营销服务|咨询 / 未融资 / 15-50人
    职位职责: 1.结合业务情况进行大数据平台的开发和设计,数据产品的落地。包括但不限于:数据采集、调度引擎、开发平台、数据治理、数据服务等; 2.参与离线、实时的数据存储和加工处理,保证数据质量,保障集群高效稳定运行,保障数据平台稳定高效; 3.参与数据分析平台的大数据架构、方案和核心代码研发,系统优化; 4.参与大数据组件的选型,新技术的预研,包括但不限于:存储、流/批计算引擎,协助团队解决开发过程中的技术难题; 5.参与数据服务项目开发,为其他部门提供数据支持。 岗位要求: 1.***大学本科及以上学历,三年以上工作经验,计算机、通信、数学等专业优先; 2.精通Java或Scala, 熟悉Python,热爱技术钻研探索,精读hadoop生态内开源组件源码者优先; 3.基于Hadoop的大数据体系有深入认识,具备相关组件(Hadoop、Hive、HBase、Spark、Flink、Flume、Kafka、ES等)项目应用研发经验,参与过spark或Flink实时数据分析项目,有性能优化经验优先; 4.熟练使用Spring Boot、Spring Cloud进行项目开发; 5.有数据平台开发、海量数据处理经验者优先。