• 20k-40k 经验3-5年 / 本科
    文娱丨内容 / D轮及以上 / 2000人以上
    职位职责:1、负责大数据三维图形产品的数据开发相关工作;2、参与大数据时空数据库的构建工作;3、配合后端工程师,参与数据服务产品的研发工作;4、配合产品经理或者项目完成其他相关任务目标。职位要求:1、GIS或者计算机专业毕业,3年以上的数据产品研发及项目工作经验;2、精通C++/Java/Go/NodeJS等开发语言的一种;3、熟悉ArcGIS/SuperMap GIS,有过空间数据库PostGIS项目开发经验者优先;4、熟悉云计算技术,有过互联网大数据产品开发经验者优先。
  • 25k-50k 经验不限 / 本科
    文娱丨内容 / D轮及以上 / 2000人以上
    职位职责: 1、负责国际化电商业务的离线与实时数据仓库的构建; 2、负责数据模型的设计,ETL实施,ETL性能优化,ETL数据监控以及相关技术问题的解决; 3、负责指标体系建设与维护; 4、深入业务,理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作; 5、参与大数据应用规划,为数据产品、挖掘团队提供应用指导; 6、参与数据治理工作,提升数据易用性及数据质量。 职位要求: 1、熟悉数据仓库实施方法论、深入了解数据仓库体系,并支撑过实际业务场景; 2、熟练使用Hadoop及Hive,熟悉SQL、Java、Python等编程语言; 3、善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力。
  • 20k-35k 经验5-10年 / 本科
    软件开发 / 不需要融资 / 50-150人
    耐克采用大数据技术和云解决方案来实现数据驱动的决策。我们希望扩大数据工程团队,以跟上数字化转型的步伐。作为一名高级数据工程师,您将与各种有才华的耐克队友一起工作,并成为为耐克技术及其业务合作伙伴构建一流解决方案(AWS EMR/S3 + Apache气流(基于K8S) + Apache Spark + Apache Ranger + Others)的驱动力,致力于与消费者、供应链、商业和网络分析等相关的开发项目。 角色职责: 通过在数据湖/仓库中实现数据管道,与产品负责人/BSA、数据分析师和业务伙伴合作,设计数据模型并建立数据基础 为处理大规模数据的整体架构、框架和模式做出贡献 构建实用程序、用户定义的函数、库和框架,以更好地支持数据流模式 配置和分析数据,以设计可扩展的解决方案 为给定的技术场景定义和应用适当的数据获取和消费策略 使用大数据生态系统中流行的工具和语言,设计和实现分布式数据处理管道 使用工作流编制工具实现复杂的自动化例程 与架构、工程领导和其他团队合作,确保高质量的解决方案得到实施,并定义和遵守工程最佳实践 预测、识别和解决与数据管理有关的问题,以提高数据质量 构建并合并自动化单元测试,并参与集成测试工作 利用并推进持续集成和部署框架 排除数据问题并进行根本原因分析 跨团队合作,解决运营和性能问题 以下资格和技术技能将使你适合这个职位: 计算机科学或相关技术学科硕士或学士学位 5-8年数据仓库、数据湖等工程领域的大数据经验,具有良好的数据抽象意识。 从概念到物理的数据建模经验 有丰富的编程经验,Python优先 对Hadoop及相关处理框架如Spark, Hive等有丰富的使用经验。 有使用RDBMS系统、SQL和SQL分析函数的经验 有使用Apache气流等工作流编排工具的经验 有使用Github等源代码控制工具的经验 具有性能和可伸缩性调优经验 与团队成员和业务利益相关者进行有效的口头和书面沟通的能力 有兴趣并有能力快速学习新的语言、技术和框架 有敏捷/Scrum应用开发经验 以下技能和经验也与我们的整体环境相关,拥有它们是件好事: Java / Scala的经验 Kubernetes, Docker的经验 有在公共云环境工作的经验,特别是AWS 使用像雪花这样的云仓库工具的经验 有消息/流/复杂事件处理工具和框架的经验,如Kinesis, Kafka, Spark streaming, Flink, Nifi等。 有使用NoSQL数据存储的经验,如HBase, DynamoDB等。 体验构建RESTful API来支持数据消费 有使用构建工具如terrform或CloudFormation和自动化工具如Jenkins或Circle CI的经验 具有持续开发、持续集成和自动化测试等实践经验 这些都是我们在自己的工作中努力追求的特点。我们希望能听到这样的候选人: 渴望与你的队友合作,提出一个问题的最佳解决方案 具有在快节奏、敏捷的环境下在多个项目中交付结果的经验和能力 优秀的解决问题和人际沟通能力 有强烈的学习和分享知识的愿望
  • 25k-39k 经验3-5年 / 本科
    金融 / 未融资 / 500-2000人
    工作职责 1、负责架构选型和技术预研,参与完成大数据平台相关产品开发和项目交付; 2、指导并参与核心代码的书写,组织解决开发过程中遇到的重大技术问题; 3、把控开发进度,按时完成提测和系统上线; 4、为团队提供技术指导,负责大数据平台的持续迭代优化; 5、负责大数据分析挖掘平台的技术选型和架构设计,以及大数据平台工具、数据服务和数据可视化能力的规划建设。 任职要求 1、本科及以上学历优先,4年及以上大数据相关系统研发经验; 2、熟练掌握一种或以上开发语言,如Python、Java、Go等; 3、熟练掌握大数据分布式存储技术(如HDFS/HBASE/cassandra/Kafka等),熟悉Hadoop生态圈,熟悉主流的数据仓库建模理论、流式处理技术以及海量数据采集与处理技术; 4、熟悉大数据的完整处理流程者优先,包括数据的采集、清洗、预处理、存储、分析挖据和数据可视化; 5、有云计算相关大数据平台化、数据仓库开发经验者优先; 6、具备较强的工作责任心和团队合作意识,抗压能力强,具备良好的协调沟通能力。
  • 20k-40k 经验3-5年 / 本科
    移动互联网 / 不需要融资 / 2000人以上
    工作职责 1、负责数据需求调研、数据采集分析、商业分析及数据建模等工作,探索数据价值和行业机会; 2、负责结合客户业务场景和数据现状, 规划大数据分析模型解决具体业务问题及推动落地实施; 3、负责与客户沟通,收集、拆解需求,输出产品需求文档,推进项目进度; 4、有数据类产品工作经验,产品形态包括但不限于业务标签梳理、基于bi工具的报表报告、风险预警模型、可视化大屏; 5、理解数据仓库分层设计架构与维度建模理论; 6、有较强的业务分析、总结能力,熟悉工商、市场监管领域业务和数据建设经验优先 。 任职要求 1、本科及以上学历,3-5年产品工作经验,有责任心; 2、3年以上数据产品经验,具备优秀的需求分析、业务学习、独立思考能力; 3、对数据敏感,了解从业务模型到数据模型的设计及开发工作,有数据分析、AI人工智能、知识图谱相关经验佳; 4、具备良好的沟通表达能力、逻辑思维能力个应变能力,良好的团队协作精神,积极主动做好内外沟通,组织推动问题解决; 5、会SQL,Python,Excel等编程语言能力优先。
  • 20k-40k·20薪 经验5-10年 / 本科
    硬件 / 不需要融资 / 2000人以上
    岗位职责: 1、承接业务团队离线计算、实时计算需求,对外提供稳定、高效的数据服务; 2、负责实时流服务平台、实时数仓的规划、设计、研发和落地; 3、保持技术前瞻性,持续推动实时系统架构的行业先进性; 4、针对具体的业务场景问题,快速设计和实现解决方案; 5、负责工程架构相关新技术方向研究、开发和应用。 任职要求: 1、本科及以上学历,计算机相关专业,6年以上的spark、Flink等相关研发经验; 2、熟悉spark、Flink原理、深入研究底层技术,具有很强的实际问题解决能力; 3、掌握MapReduce系列大数据系统原理,熟练使用HDFS、Hive,Spark,Flink,HBase,Kafka等分布式计算系统,并对于使用场景,优化方式有着深入理解; 4、有数据中台或应用中台设计开发经验者优先; 5、具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于解决问题和分析问题。
  • 金融 / 不需要融资 / 2000人以上
    工作职责: 1、负责数据模型需求和数据应用需求的调研分析,进行数据模型和数据应用的设计、开发、测试、上线等工作; 2、负责建立规范化、稳定可靠的数据体系; 3、负责大数据生命周期管理系统的架构评估和设计 4、负责大数据平台日常监控与维护。 任职资格: 1、本科以上学历,5年以上大数据相关工作经验; 2、拥有基于大数据平台的数据应用和数据仓库设计实施经历,具有优秀的业务分析和洞察能力以及丰富的业务数据应用经验; 3、熟悉Hadoop体系结构、对Hadoop生态系统有较全面了解,熟悉Spark、Hive、Impala、Flink、HDFS、YARN、Kafka等,熟悉部分框架底层源码者优先; 4、精通SQL,能够快速使用SQL实现业务逻辑,熟悉数据库系统,包括Oracle、MySQL、Elasticsearch、HBase等。
  • 金融 / 不需要融资 / 2000人以上
    工作职责: 1、负责数据模型需求和数据应用需求的调研分析,进行数据模型和数据应用的设计、开发、测试、上线等工作; 2、负责建立规范化、稳定可靠的数据体系; 3、负责大数据生命周期管理系统的架构评估和设计 4、负责大数据平台日常监控与维护。 任职资格: 1、本科以上学历,5年以上大数据相关工作经验; 2、拥有基于大数据平台的数据应用和数据仓库设计实施经历,具有优秀的业务分析和洞察能力以及丰富的业务数据应用经验; 3、熟悉Hadoop体系结构、对Hadoop生态系统有较全面了解,熟悉Spark、Hive、Impala、Flink、HDFS、YARN、Kafka等,熟悉部分框架底层源码者优先; 4、精通SQL,能够快速使用SQL实现业务逻辑,熟悉数据库系统,包括Oracle、MySQL、Elasticsearch、HBase等。
  • 14k-25k·15薪 经验3-5年 / 本科
    IT技术服务|咨询 / 不需要融资 / 50-150人
    【2002年成立,运营商软件厂商,有自己的产品,非外包岗位,专业从事DNS相关领域、网络安全领域、大数据领域软件产品和服务的高新技术企业】 岗位职责: 1、负责公司大数据相关项目研发工作;(数据量非常大,集群PB级别,日增数据几十T,业务需要熟练使用spark) 2、参与系统架构设计、数据库设计等架构工作; 3、完成团队安排的其他任务。 任职要求: 1、**本科及以上学历<学信网可查>,计算机相关专业,2年左右工作经验;【学历或经验丰富者薪资、经验不受限,可谈】 2、掌握Hadoop、Hbase、Spark、Spark Streaming(精通)、Spark SQL、Sparkcore、Scala等大数据相关知识,熟练使用spark相关组件;有分布式应用软件(hadoop/kafka/redis等)经验; 3、熟练使用svn、git等版本控制工具,熟练使用maven等项目管理工具; 4、深入理解面向对象编程思想,具备扎实的Java编程基础,良好的编码习惯; 5、良好沟通能力和团队协作能力,具有较强的工作责任心,快速学习能力,乐观积极进取。 6、学历或技术方面特别优秀者,薪资、工作年限可议。 【五险一金、13薪+额外年终奖(最高可达16薪)、额外补贴、带薪年假】 上班时间:早9:00-晚6:00,周末双休 公司地址:北京市海淀区静芯园L座楼南三层301室
  • 15k-25k·15薪 经验1-3年 / 本科
    IT技术服务|咨询 / 不需要融资 / 50-150人
    岗位职责: 负责公司大数据相关项目研发工作; 任职要求:(数据量非常大,集群PB级别,日增数据几十T,业务需要熟练使用spark) 1、**本科及以上学历,计算机相关专业,3年左右工作经验; 2、掌握hadoop、hbase、spark、MR等大数据相关知识,熟练使用spark相关组件; 3、熟练使用svn、git等版本控制工具,熟练使用maven等项目管理工具; 4、深入理解面向对象编程思想,具备扎实的Java编程基础,良好的编码习惯; 5、良好沟通能力和团队协作能力,具有较强的工作责任心,快速学习能力,乐观积极进取。
  • 移动互联网,数据服务 / 上市公司 / 2000人以上
    软件开发工程师-分布式系统/大数据-All level Microsoft 是一家充满激情的创新者来协作、设想可能发生的事情并将他们的职业生涯提升到其他任何地方都无法达到的水平的公司。这是一个拥有更多可能性、更多创新、更开放的世界,而天空是云计算世界的极限。 Microsoft 的智能平台工程团队正在通过 Power BI、Synapse Analytics、Azure Data Factory、Azure Data Explorer.等产品引领数据世界的分析转型。我们将把全世界的数据带到微软云上,为新一类的数据优先应用程序提供动力,并让地球上的每个人都能利用数据做出更好的决策。 我们不只是重视差异或不同的观点。我们寻找并邀请他们加入,这样我们就可以利用公司中每个人的集体力量。结果,我们的想法更好,我们的产品更好,我们的客户得到更好的服务。 Data Integration。Data Integration团队的目标是在微软云上构建数据引力。大量数据被生成——不仅来自交易记录系统,还来自我们周围的世界。大量客户数据通过 Microsoft 产品和服务(包括云和本地)进行管理。我们的数据集成产品——Azure Data Factory和Power Query将使客户能够轻松地引入、清理、塑造和加入数据,以提取信息。 我们是 C+AI Azure 组织的 Azure 数据团队的一部分。 Azure 数据团队在大数据、云、存储和开源等技术方面提出了有趣的挑战。我们为 Azure 上的数据分析构建可靠、高度可扩展和高性能的分布式系统。我们使用各种开源技术,如 Hadoop、Yarn 等,并为这些技术做出贡献。我们正在创建一个行星级存储系统,它可以扩展到 EB 级的数据(是的,超过 18 位!)。 Azure 服务正在构建下一代全球分布式、弹性规模、多模型的云数据库服务。它旨在使开发人员能够构建全球规模的应用程序。这是一个千载难逢的机会,可以成为一个非常敏捷的团队的一员,解决分布式系统难题,并以快速的速度发布高影响力的功能。作为一名工程师,您有机会研究计算和容器托管方面的最新技术,以构建可大规模扩展的统一云服务框架,开始研究异构传输协议,应用创新算法大规模解决放置和负载平衡问题。我们需要具有远见卓识、应对重大挑战并在此过程中改变世界的协作开发人员。我们正在寻找工程师从头开始构建它们。 Azure 数据工厂中国团队有从入门到高级的职位空缺。我们正在寻找对大数据、数据转换、性能和可扩展性充满热情的**人才。您需要学习各种工业数据存储,例如mongodb、salesforce 等,并构建一个高性能连接器,以可扩展的方式从这些商店读取/写入数据。您将学习尖端的大数据服务,例如 Databricks、Spark 和 ADLA。您将有机会接触客户以了解/解决真正的客户痛点。 责任 想用数据和大规模分布式系统改变世界吗?您是否想解决您甚至不知道存在的挑战,直到您获得大尺寸?快来加入我们的 Azure 数据团队! 我们正在招聘工程师,他们热衷于通过大规模设计和开发解决方案来提高软件工程的效率。出色的设计、编码、测试、解决问题和调试技能。优秀的沟通和协作能力。在中国和雷德蒙德跨学科、团队、团队和队友工作的经验 资格 基本资格: 计算机科学或工程或 IT 相关技术学科的学士学位 1年以上行业软件工程经验 对软件开发概念、项目管理和良好的沟通有明显的理解 具有架构和交付分布式云服务的经验,Azure 优先。 有使用 C#/JAVA/C++/面向对象语言开发、调试和维护代码的经验 表现出的组织能力、解决问题的能力和确定优先级的能力 **资格: 极大的好奇心和提问的意愿 在快节奏的竞争环境中,高度的热情、正直、独创性、以结果为导向、自我激励和足智多谋。 爱下一个问题,下一个实验,下一个伙伴 对棘手的技术问题的挑战感到兴奋 始终以对客户的热情和同理心来解决问题 具有以下任何领域的经验将是一个加分项, 如例如 SSIS、ETL、数据集成、hadoop、spark、关系数据库、非结构化数据、各类工业数据服务。
  • 12k-17k 经验3-5年 / 本科
    硬件 / 未融资 / 50-150人
    工作职责 1. 负责大数据分析需求设计和开发,承担数据抽取、清洗、实时统计及离线数据处理等程序开发; 2. 开发数据统计系统,完成项目数据统计与分析任务,为业务运营提供数据支持服务; 3. 根据项目需求预研并引入新的大数据分析技术 任职要求 1、本科及以上学历,计算机、数学相关专业,5年以上相关工作经验; 2、精通Java或者scala、基础扎实,有良好的编码习惯; 3、精通主流的大数据开源框架(如Hadoop/Spark/Flink等),并有丰富的应用开发经验; 4、熟练使用kafka/elasticsearch/redis/mongodb/Hbase/druid/kylin等大数据组件; 5、熟练使用主流关系型数据库(如Oracle/Mysql/PostgresQL), 熟练掌握SQL语言; 6. 热爱开发,有较强的学习能力和快速解决问题的能力,具备较强的责任心和良好的沟通能力
  • IT技术服务|咨询,软件服务|咨询 / B轮 / 2000人以上
    ***大专以上学历 入职购买一档六险一金,双休不加班,央企,氛围很好,很稳定,海龟 外企经验优先,口语加分, 1.3年以上数据仓库开发经验,对数据仓库架构有良好的认识,计算机相关专业优先; 2.具备较好的数据仓库建模设计,etl设计能力,数据质量管控经验,熟悉sqoop kettle等抽取工具 3.掌握hive sql,spark sql,mysql,熟练使用java,scala,python,shell 4.熟练使用kylin,进行立方体开发,熟练使用dolphinscheduler进行调度开发 :DataStage,Informatica,数据迁移,数据仓库开发 ,有Java 开发经验,有3个必须具备的技能:1. Informatica或者Talend或者DataStage 目前有3个可选的职位: 1.职位大数据库开发要会(Java) 2.大数据职位需要:(English or Cantonese language skills, he/she will 3.require to communicate with source systems IT team) 数据职位需要Spark+SQL
  • 20k-40k 经验5-10年 / 本科
    数据服务|咨询 / C轮 / 150-500人
    工作职责: 1、负责大数据平台(数据中台)后端框架设计与开发,包括数据采集、传输、存储、计算、分析、数据治理等产品开发; 2、构建批量分析、交互式分析、实时分析、数仓等数据开发方案; 3、探索大数据、智慧运维领域技术发展趋势以及新的产品形态。 任职资格: 1、本科及以上学历,计算机、通信及相关专业,5年以上研发工作经验; 2、精通 Java编程,精通主流开发框架,熟悉多线程编程技术,熟悉分布式平台开发,熟悉高并发机制,熟悉常见的数据结构和算法; 3、熟悉 linux 平台,熟悉至少一种脚本语言( shell / python ); 4、熟悉一种或多种主流开源大数据平台组件,如 Flume 、 Kafka 、 Hadoop 、 Hive 、 Spark 、 Flink 等; 5、熟悉SQL语句编程,熟悉Mysql、Oracle等数据库的应用开发; 6、深刻理解大数据相关业务场景,优秀的产品研发能力; 7、有大数据平台或数据中台产品研发经验优先; 8、良好的团队合作、沟通能力和学习能力。
  • 20k-38k 经验5-10年 / 本科
    软件开发 / 不需要融资 / 50-150人
    工作职责: •与项目成员和资源合作,为数据项目交付和数据相关计划制定详细的计划,支持协作和动员本地和远程跨团队成员。. •参与了沃尔沃数据平台的架构设计、优化、平台集成开发,建立了湖、仓库集成的数据平台 •负责建设和完善数据仓库和数据市场,包括批量和实时数据访问,并根据数据仓库施工方法完成ODS、CDW和ADS •负责数据平台组件的选择、规划、部署、容量扩展、日常故障排除和性能调优,能够快速定位和排除问题 •支持业务需求下的数据平台、数据管道和数据服务,并能够更大规模地优化可用性、可伸缩性和效率 工作要求: •熟悉大数据技术原理,如Hadoop/火花/蜂巢/Hbase/Flink等,具有以下使用经验的公共云平台,包括AWSEMR、EMR/红移/EC2/S3、辅助计算机、ADB/OSS/电话/水壶等 •熟悉PowerBI/OlikSense等报告工具 •了解数据治理方法和知识,了解企业级数据建模、主数据管理、数据质量管理等方法 •3年以上Hadoop或相关大数据平台开发和操作经验 •熟悉Java/Scala/Python/Shell及其他开发语言,了解JVM和容器的原理,能够开发相关的数据脚本和数据服务 •具有良好的团队精神和良好的沟通能力,思维敏捷,能主动发现和解决问题 •有汽车工作背景者优先 •计算机、软件、电子信息工程、统计学、数学等专业,本科学士学位。