• 15k-25k·15薪 经验1-3年 / 本科
    IT技术服务|咨询 / 不需要融资 / 50-150人
    岗位职责: 负责公司大数据相关项目研发工作; 任职要求:(数据量非常大,集群PB级别,日增数据几十T,业务需要熟练使用spark) 1、**本科及以上学历,计算机相关专业,3年左右工作经验; 2、掌握hadoop、hbase、spark、MR等大数据相关知识,熟练使用spark相关组件; 3、熟练使用svn、git等版本控制工具,熟练使用maven等项目管理工具; 4、深入理解面向对象编程思想,具备扎实的Java编程基础,良好的编码习惯; 5、良好沟通能力和团队协作能力,具有较强的工作责任心,快速学习能力,乐观积极进取。
  • 文娱丨内容 / D轮及以上 / 2000人以上
    职位职责:1、打造业界领先的流批一体SQL查询服务,支撑字节跳动相关产品线(如抖音、今日头条);2、工作范围包括但不限于查询服务,任务调度系统,大数据元数据服务和权限服务的设计和研发,高并发和大流量请求应用场景;3、负责对接Spark SQL,Presto, Hudi和Flink等计算引擎和组件,提供简单易用的OLAP查询服务;4、参与需求对接,技术调研和方案设计,善于理解并抽象业务需求,形成高效的技术方案并推动落地。职位要求:1、精通Java/Scala语言,包括JVM、类装载、线程、并发、IO资源管理、网络;2、熟悉至少一种主流大数据系统,包括SparkSQL/Hive/Presto/Flink等;3、扎实的计算机基础,对技术有热情,愿意不断尝试新技术和业务挑战;4、具备大规模系统的故障诊断与性能优化能力,具备快速定位线上问题和快速Debug的能力;5、具备较强的项目推动能力,能推动技术项目在业务侧的落地;6、具备一定的业务理解与架构设计能力。
  • 文娱丨内容 / D轮及以上 / 2000人以上
    职位职责: 1、广告各类在线业务的离线数据加工与在线数据服务开发与维护; 2、数据服务接口及产品需求研发迭代,代码review、bug修复及日常服务运维; 3、针对海量数据处理和查询需求,设计适应业务变化的合理的多维数据分析系统架构,满足多样性的需求; 4、海量日志清洗加工,并抽象出可以多业务复用的数据模型; 5、指导初级数据开发工程师进行日常开发。 职位要求: 1、熟悉Hadoop架构和工作原理,精通MapReduce编程;精通Hive,有HQL优化经验; 2、有web服务开发经验,具备独立完成模块开发能力,具备大规模分布式服务设计能力和经验; 3、理解基本的设计模式,能将业务需求快速理解成技术需求; 4、熟练使用Mysql,熟练使用ElasticSearch、Druid者优先;熟悉其原理者优先; 5、善于沟通,工作积极主动,责任心强,具备良好的团队协作能力; 6、具备良好的问题分析与解决能力,有较强学习能力和逻辑思维能力。
  • 人工智能 / 上市公司 / 2000人以上
    岗位职责: 1.负责业务的数仓设计和开发,优化数据模型和ETL性能,参与数据治理,确保数据质量; 2.配合产品经理完成数据应用相关需求,为运营决策优化提供数据支持; 3.负责与产品、运营、商业分析等团队协同作战,提升分析效率。 岗位要求: 1.掌握大数据生态技术栈,具备较丰富的Hadoop、Hive、HBase、Spark、Kyln、Flink、Kafka等大数据工具应用和开发经验; 2.掌握数据仓库、ETL开发相关技术,掌握数据仓库的经典建模方法,熟悉不同建模方法的优劣; 3.扎实的SQL功底,了解不同框架下SQL执行的原理,有过性能优化的实际经验; 4.很强的学习、分析和解决问题能力,良好的团队意识和协作精神,有较强的内外沟通能力。 具备以下者优先 1.了解或有一定系统开发经验,能够使用java、python等语言进行编程; 2.有数据敏感度、能够从数据分析的视角看待问题或有一定数据分析经验。 此岗位为科大讯飞集团统一招聘岗位,人员通过简历筛选、笔试、初试、复试、终审等环节后录用。
  • 20k-40k·14薪 经验5-10年 / 本科
    科技金融 / A轮 / 50-150人
    技能要求: 1、 负责金融机构银行数据IT开发的项目管理工作,从项目前期规划到后期收尾完整的项目生命周期管理,用专业化的项目过程管理来保证项目目标的达成; 2、 熟悉银行对公客户业务流程和数据需求,能快速理解银行业务人员的需求想法; 3、 熟悉需求调研方法,较强的业务流程及业务模型分析设计能力;善于控制需求,进行版本范围及项目范围管理;丰富的客户(及内部)沟通经验,能快速把握需求的核心要点; 4、 有较强的文档编写能力;熟悉CMM文档规范者优先; 5、 需有较强的团队协作精神,有效的沟通技巧,在团队协作中具有精炼思维和解决复杂问题的能力,具备良好的学习能力,责任心强,能够承受较大的工作压力。 岗位职责: 1. 定期与银行等金融机构客户沟通,收集并分析业务需求,输出初步需求实现方案,与客户确认方案; 2. 进行需求拆分和细分,编写详细需求说明书,对团队成员进行需求解说; 3. 需求开发完成后,进行验收测试和UAT演示,并参与系统功能验收工作及用户手册、新增产品功能培训资料的编写; 4. 参与整个产品开发流程,与开发测试团队一起保证最终产品发版; 5. 进行有效的团队管理,监督项目计划实施,推进项目进度,负责项目交付。 任职条件: 1、本科以上;计算机或金融、经济相关专业; 2、五年以上相关工作经验; 3、有银行IT数据咨询或开发项目管理经验; 4、有一定的数据技术知识积累; 5、有银行对公客户业务经验的优先考虑; 6、可出差者优先考虑。
  • 15k-30k·20薪 经验1-3年 / 本科
    数据服务|咨询,人工智能服务 / B轮 / 50-150人
    岗位职责: 1、负责海量数据离线、实时处理系统的开发建设; 2、参与数仓基础设施建设,负责数据采集、清洗、存储、查询等环节的代码开发、维护与优化; 3、参与大数据生态相关技术的前瞻性研究和调研落地,持续扩充大数据能力,优化大数据服务的性能和效率; 4、负责构建存储计算监控平台,保证作业执行稳定性; 岗位要求: 1、计算机相关专业本科及以上学历,有大型分布式系统架构实战运维优化经验,实际解决过分布式系统的线上问题; 2、掌握常用大数据处理框架基础维护及常见使用技术,包括但不限于:hadoop、hive、hbase、clickhouse、es、doris等; 3、熟悉java技术,熟悉JVM、分布式、多线程、高并发等原理和应用; 4、熟练使用 SQL、Python等数据分析处理语言; 5、有良好的沟通表达能力和小组领导协作能力,勤奋好学;
  • 40k-65k·15薪 经验5-10年 / 本科
    软件服务|咨询,数据服务|咨询,IT技术服务|咨询 / 未融资 / 150-500人
    1. 持续改进公司大数据平台架构,满足不断增长的业务需求; 2. 负责基于海量数据采集、存储、治理及服务方案的技术选型及架构设计; 3. 从整体技术架构角度协助并推动战略落地,开发大数据平台的核心代码; 4. 负责根据实际业务场景,实现对开源大数据组件的产品化工作; 5. 负责产品研发过程中的技术架构设计、数据处理逻辑等方面文档的沉淀与积累; 6. 参与研发团队的日常技术交流与分享,为其他同事提供技术指导与帮助; 7. 深入研究大数据前沿技术和产品,与业界先进技术保持同步。 任职要求: 1. 本科及以上学历,5年以上大数据开发经验; 2. 精通Hadoop生态圈的部分产品,包括但不限于Spark、Impala、Hive、Kudu、HBase,理解其内部原理和适用场景,了解核心源码及调优方法; 3. 能够根据实际业务需求,通过封装或二次开发实现对开源大数据组件的产品化; 4. 善于容量规划、架构设计和性能优化并有丰富实战经验; 5. 熟悉大数据应用和技术,在ETL开发和流程优化、数据集成、数据开发、数据分析等领域有实战经验; 6. 精通JavaEE,数据库,前端,SOA,微服务框架。比如SpringCloud,SpringBoot,Vue,iBatis,MySQLOracle等; 7. 有强烈的主人翁意识,能适应一定工作压力、并有较强沟通能力和理解能力; 8. 有大数据中台建设经验、数据治理经验或工业互联网大数据从业经验者优先。
  • 40k-80k·16薪 经验5-10年 / 本科
    电商 / 不需要融资 / 150-500人
    大数据leader 工作职责: 1.构建从数据采集、数据接入、数据处理到数据统计和服务的完整数据解决方案,实现数据闭环,提升数据价值 2.搭建处理海量数据的大数据平台,能够持续优化并改进现有的技术框架,保证高可用、稳定、低延迟的优质服务体验 3.推动数据治理,规范化和标准化数据的开发、访问和使用 任职要求: 1.本科以上学历,5年以上大数据项目开发经验 2.熟悉大数据平台体系架构,精通离线(Hive,Spark)和实时(Flink,Spark Streaming)数据开发,熟悉Hadoop,Flume,Sqoop,Kafka,ES,Redis等大数据组件和技术 3.有搭建数据开发框架和性能调优经验,能够设计和构建业务复杂、高并发、大数据量的数据处理系统 4.有丰富的数据仓库设计和数据建模经验,有完整指标体系搭建经验的优先 5.有一定的数据治理经验,包括元数据管理,数据标准,数据安全,数据质量等 6.熟练掌握Java,有Scala或Python语言开发经验优先 7. 擅于沟通和解决问题,对于业务可以进行抽象总结,推动并优化业务发展 具备以下这些优先考虑: Hadoop、Spark、Hive、Flink、Kafka、数据中台、数据开发、数据治理、训练平台 数据仓库leader 岗位职责 1. 以数据为依托,结合业务场景,构建数据分析体系,洞察业务机会,驱动业务增长。 2. 负责用户流量方向数据技术体系建设,包括但不限于流量埋点、数据仓库建模、实时数仓开发、数据分析和应用、数据管理和运维。 3. 能够深入业务挖掘应用场景,数据化驱动用户增长、活动运营等,发挥数据的业务价值。 4. 建设学习型数仓团队,完善人才梯队建设,带动团队成长。 5. 关注数据领域的技术变革,积极推动数据技术更新迭代。 任职要求: 岗位基本需求 1. 熟练掌握数据仓库体系架构、数据建模方法、数据治理等知识,有流量方向工作经验者优先。 2. 对数据价值探索充满热情,业务理解和抽象能力佳,能快速分析和理解问题。 3. 拥有积极主动的业务服务工作意识,数据体系规划落地行动力佳。 4. 掌握大数据技术栈,包括Hadoop/Hive/Spark/OLAP引擎等,理工科本科以上学历,七年以上数据领域经验。 5. 思维逻辑清晰,强烈的自驱力和责任感,良好的沟通与协作能力,面对复杂业务问题,可以从业务和技术多角度推进,以终为始。
  • 15k-25k·14薪 经验3-5年 / 大专
    金融,数据服务 / A轮 / 50-150人
    【岗位职责】 1. 负责大数据自动化运维平台的研发及运维; 2. 管理和优化Hadoop、Spark、Flink等大数据集群,保证集群和平台的高效和稳定; 3. 负责Hadoop、Spark、Flink的功能、性能和扩展,给出并落地达到业务需求目标的解决方案; 4. 负责自研产品、面向客户交付产品的部署实施和运维; 5. 调研和把握当前的最新技术,将其中的先进技术引入到自己的平台中,改善产品,提升竞争力。 【任职要求】 1、计算机或相关专业***大专及以上学历,3年及以上实际大数据系统运维经验; 2、熟悉Linux系统软硬件环境配置、管理及优化;熟悉IT系统基础架构及网络原理;熟练使用Python、Shell语言;有阿里云、腾讯云、华为云、京东云等公有云运维经验者优先; 3、熟悉Hadoop生态圈,包含但不限于Hbase/Hadoop/Zookeeper/Spark/Kafka/Flink/ClickHouse等,能够独立部署、运维;有开发经验,能协助在大数据环境下的性能问题定位和优化者优先; 4、熟悉Prometheus等监控平台监控大数据组件和相关服务;具有自动化运维经验者优先; 5、了解DevOps相关理论、常用工具链、应用级产品实践;有Kubernetes/Docker项目经验者优先; 6、客户为先,具有强烈的责任心、自驱力、执行力及学习意愿,能够为实现长远目标而承受短期压力。
  • 30k-60k 经验5-10年 / 本科
    电商 / 不需要融资 / 150-500人
    大数据开发工程师 工作职责: 1. 负责公司大数据平台的规划与技术架构,并推进大数据项目的系统落地实施; 2. 与产品、业务团队深入合作,形成具有前瞻性的大数据能力并对业务形成强支撑; 3. 搭建数据中台,助力企业数字化转型; 4. 搭建分布式的海量数据处理平台,通过数据平台不断创造价值; 5. 主导开展大数据分析模型的建立、应用及监控,制定大数据领域的技术规范和推广使用; 6. 指导和培养大数据工程师来完成数据清洗、数据建模等大数据平台相关开发工作; 任职要求: 1. 学历要求:本科 2. 经验要求:5年以上 3. 技能要求:熟练掌握Hadoop生态体系,深入了解各组件原理及优化技巧,有排错、调优经验,研究过相关组件源代码 数据仓库开发工程师 岗位职责 1. 以数据为依托,结合业务场景,构建数据分析体系,洞察业务机会,驱动业务增长。 2. 负责用户流量方向数据技术体系建设,包括但不限于流量埋点、数据仓库建模、实时数仓开发、数据分析和应用、数据管理和运维。 3. 能够深入业务挖掘应用场景,数据化驱动用户增长、活动运营等,发挥数据的业务价值。 4. 建设学习型数仓团队,完善人才梯队建设,带动团队成长。 5. 关注数据领域的技术变革,积极推动数据技术更新迭代。 任职要求: 岗位基本需求 1. 熟练掌握数据仓库体系架构、数据建模方法、数据治理等知识,有流量方向工作经验者优先。 2. 对数据价值探索充满热情,业务理解和抽象能力佳,能快速分析和理解问题。 3. 拥有积极主动的业务服务工作意识,数据体系规划落地行动力佳。 4. 掌握大数据技术栈,包括Hadoop/Hive/Spark/OLAP引擎等,理工科本科以上学历,七年以上数据领域经验。 5. 思维逻辑清晰,强烈的自驱力和责任感,良好的沟通与协作能力,面对复杂业务问题,可以从业务和技术多角度推进,以终为始。
  • 移动互联网,数据服务 / 上市公司 / 2000人以上
    软件开发工程师-分布式系统/大数据-All level Microsoft 是一家充满激情的创新者来协作、设想可能发生的事情并将他们的职业生涯提升到其他任何地方都无法达到的水平的公司。这是一个拥有更多可能性、更多创新、更开放的世界,而天空是云计算世界的极限。 Microsoft 的智能平台工程团队正在通过 Power BI、Synapse Analytics、Azure Data Factory、Azure Data Explorer.等产品引领数据世界的分析转型。我们将把全世界的数据带到微软云上,为新一类的数据优先应用程序提供动力,并让地球上的每个人都能利用数据做出更好的决策。 我们不只是重视差异或不同的观点。我们寻找并邀请他们加入,这样我们就可以利用公司中每个人的集体力量。结果,我们的想法更好,我们的产品更好,我们的客户得到更好的服务。 Data Integration。Data Integration团队的目标是在微软云上构建数据引力。大量数据被生成——不仅来自交易记录系统,还来自我们周围的世界。大量客户数据通过 Microsoft 产品和服务(包括云和本地)进行管理。我们的数据集成产品——Azure Data Factory和Power Query将使客户能够轻松地引入、清理、塑造和加入数据,以提取信息。 我们是 C+AI Azure 组织的 Azure 数据团队的一部分。 Azure 数据团队在大数据、云、存储和开源等技术方面提出了有趣的挑战。我们为 Azure 上的数据分析构建可靠、高度可扩展和高性能的分布式系统。我们使用各种开源技术,如 Hadoop、Yarn 等,并为这些技术做出贡献。我们正在创建一个行星级存储系统,它可以扩展到 EB 级的数据(是的,超过 18 位!)。 Azure 服务正在构建下一代全球分布式、弹性规模、多模型的云数据库服务。它旨在使开发人员能够构建全球规模的应用程序。这是一个千载难逢的机会,可以成为一个非常敏捷的团队的一员,解决分布式系统难题,并以快速的速度发布高影响力的功能。作为一名工程师,您有机会研究计算和容器托管方面的最新技术,以构建可大规模扩展的统一云服务框架,开始研究异构传输协议,应用创新算法大规模解决放置和负载平衡问题。我们需要具有远见卓识、应对重大挑战并在此过程中改变世界的协作开发人员。我们正在寻找工程师从头开始构建它们。 Azure 数据工厂中国团队有从入门到高级的职位空缺。我们正在寻找对大数据、数据转换、性能和可扩展性充满热情的**人才。您需要学习各种工业数据存储,例如mongodb、salesforce 等,并构建一个高性能连接器,以可扩展的方式从这些商店读取/写入数据。您将学习尖端的大数据服务,例如 Databricks、Spark 和 ADLA。您将有机会接触客户以了解/解决真正的客户痛点。 责任 想用数据和大规模分布式系统改变世界吗?您是否想解决您甚至不知道存在的挑战,直到您获得大尺寸?快来加入我们的 Azure 数据团队! 我们正在招聘工程师,他们热衷于通过大规模设计和开发解决方案来提高软件工程的效率。出色的设计、编码、测试、解决问题和调试技能。优秀的沟通和协作能力。在中国和雷德蒙德跨学科、团队、团队和队友工作的经验 资格 基本资格: 计算机科学或工程或 IT 相关技术学科的学士学位 1年以上行业软件工程经验 对软件开发概念、项目管理和良好的沟通有明显的理解 具有架构和交付分布式云服务的经验,Azure 优先。 有使用 C#/JAVA/C++/面向对象语言开发、调试和维护代码的经验 表现出的组织能力、解决问题的能力和确定优先级的能力 **资格: 极大的好奇心和提问的意愿 在快节奏的竞争环境中,高度的热情、正直、独创性、以结果为导向、自我激励和足智多谋。 爱下一个问题,下一个实验,下一个伙伴 对棘手的技术问题的挑战感到兴奋 始终以对客户的热情和同理心来解决问题 具有以下任何领域的经验将是一个加分项, 如例如 SSIS、ETL、数据集成、hadoop、spark、关系数据库、非结构化数据、各类工业数据服务。
  • 55k-70k·15薪 经验10年以上 / 本科
    软件服务|咨询,数据服务|咨询,IT技术服务|咨询 / 未融资 / 150-500人
    1、负责数据平台团队建设,包括数据方案设计、团队搭建和人员培养等; 2、负责前瞻性的规划未来数据平台的发展,高效赋能业务; 3、深度理解各个业务方向数据诉求,负责大数据体系建设,构建行业先进的数据基础设施和数据应用体系; 4、负责在数据方向遇到的技术问题攻坚,开放性的解决元数据处理、数据治理、数据存储、数据传输、数据展示、数据分析等多维度的数据问题; 5、立足公司现有产品技术基础,负责面向未来的智能大数据产品、技术创新突破。 任职要求: 1、***大学本科及以上学历,不少于8年以上大数据开发工作经验,5年以上技术管理经验; 2、精通Hadoop、Flink、Kafka、Spark、Redis、Hive、Zookeeper等大数据相关技术,并能结合业务场景进行架构设计和模型建设,参与或主导过大数据平台建设, 有TOB大数据项目经验者优先; 3、精通Java,多线程编程、消息系统、数据库、分布式系统,对微服务架构有较深的理解,常规框架能够了解其原理并熟练使用; 4、熟悉高可用、高并发、高性能的分布式系统的设计及应用,有丰富的线上调优经验; 5、了解机器学习、深度学习、图数据库、时序数据库等相关技术; 6、喜欢尝试新技术,关注新的技术方向,能够平衡好业务的需求和技术团队成长之间的关系,并能从技术趋势和设计思路上辅助产品工作。
  • 职责描述: 1、负责数据中台建设的整体规划,包括大数据平台的技术选型、架构设计和实施工作; 2、制定数据治理、数据模型、数据安全等大数据领域相关标准; 3、搭建数据平台技术框架,负责指导工程师进行技术验证与实现,核心技术问题的攻关,解决项目开发过程中的技术难题 4、负责大数据应用规划,为数据治理、业务团队提供指导; 5、根据公司项目和业务发展特点,负责研究相关大数据前沿技术。 任职要求: 1、计算机相关专业本科以上学历,3年以上数据仓库开发和管理经验,熟悉数据仓库理论、具备大型数据仓架构设计、模型设计等能力; 2、熟悉海量数据的处理,掌握Hadoop、HBase、Spark、Flink、Kafka、HDFS、Hive、Kylin等主流大数据存储、检索引擎的工作原理、特点及应用场景; 3、对数据采集、数据开发、数据分析、数据建模、算法等有深刻认识和实战经验,具备大规模系统的故障诊断与性能优化能力; 4、具备 Scala/Java/Python其中一种或多种语言的开发能力,掌握java web开发优先; 5、有用户画像体系、个性化推荐、数据中台建设相关经验者优先。
  • 35k-45k·13薪 经验10年以上 / 本科
    人工智能服务 / D轮及以上 / 150-500人
    工作职责: 1、深入客户,了解需求,结合客户需求和深演云平台(包括不限于Hadoop、Spark、Hbase、Kafka、Flink、Druid、AKKA等框架)完成客户大数据平台的架构设计、研发和优化工作; 2、大数据新技术栈选型,和创新技术的引入,技术难点攻关; 3、负责大数据项目落地实施相关的技术方案设计,参与团队项目代码评审; 4、管理项目团队整体研发,根据业务需求搭建项目框架和实施方案; 5、指导团队成员,负责项目团队成员的建设和管理。 任职资格: 1、教育背景: - 计算机相关专业,***本科及以上学历; 2、经验背景: - 6年以上研发工作经验,3年以上大数据研发实战经验,有To B数据产品相关经验更佳; - 丰富的大中型大数据平台或者应用项目的架构,系统设计和开发经验,或者具有数仓类项目的总体规划、方案设计、实施等相关经验; 3、岗位能力: - 熟悉Hadoop生态的技术栈(如:Hadoop、Spark、Hbase、Kafka、Flink、AKKA等),熟悉各组件的特性特点;对某些组件有深刻理解并有性能调优经验; - 熟悉和了解业界常用大数据平台产品,熟悉基于常见公有云大数据PaaS,SaaS服务开发数据产品者优先; - 具有基于大数据集群的产品开发,部署,运维经验; 4、软性能力: - 清晰的逻辑思维能力, 优秀的沟通协调组织能力; - 优秀的学习能力,对技术前沿的发展有很大的好奇心和洞察。
  • 25k-45k·16薪 经验5-10年 / 本科
    消费生活 / D轮及以上 / 2000人以上
    工作职责: 负责大数据相关产品的质量保障工作,按照产品架构和业务要求,制定合理的测试计划和方案,完成需求涉及的数据测试、功能测试和性能测试工作,积极推进和实施接口自动化测试、性能测试等工具落地,对项目中发现的问题和缺陷进行跟踪、分析及总结,及时合理地推动问题的解决,并进一步完善风险预防措施,保障产品从全生命周期高效和稳定地运行。 能力要求: 1. **本科及以上毕业,计算机及相关专业,有5年以上测试开发经验。 2. 熟悉hive, flink,mysql等大数据技术, 精通复杂sql的编写。 3. 熟悉java,python等语言,有较强的代码走读能力(可以识别各类编码缺陷)和测试脚本编写能力。 4. 业务理解能力强。 5. 在某一测试领域比如性能、安全、自动化、金融、大数据测试等具备很强的专业技能者优先。