• 文娱丨内容 / D轮及以上 / 2000人以上
    职位职责: 1、打造业界领先的 PB 级 OLAP 引擎,并支撑字节跳动相关产品线; 2、负责以 Spark SQL、Presto 为代表的开源大数据引擎的内核**优化; 3、负责字节跳动内部数据仓库方向数据架构设计。 职位要求: 1、熟悉 Spark、Presto、Druid、Kylin、Hive、Impala、Flink 等主流大数据系统原理及源码(不要求熟悉所有技术栈); 2、熟悉主流的 OLAP 引擎的优化原理,包括但不限于向量化执行、列式存储、late materialization、代码生成; 3、具备大规模系统的故障诊断与性能优化能力; 4、具有较强的项目推动能力,能推动技术项目在业务侧的落地;
  • 15k-21k·13薪 经验1-3年 / 本科
    IT技术服务|咨询,专业服务|咨询,软件服务|咨询 / 未融资 / 2000人以上
    工作职责:1、负责平台产品的功能开发,基于大数据平台完成数据统计、分析、报表生成任务;2、负责各类大数据组件的持续性能优化与改进。岗位要求:1、本科及以上学历;2、1-2年及以上大数据开发经验,熟练掌握java及scala语言;3、具备Hadoop/Spark等大数据开源工具的使用经验,熟悉分布式系统的工作机制;4、熟练掌握SQL及数据库相关知识;5、学习能力强,责任心强,抗压力强,具有较强的思考和解决问题的能力,具有较强的团队沟通和协作能力。
  • 12k-24k 经验3-5年 / 硕士
    企业服务,数据服务 / 不需要融资 / 15-50人
    Java/Spark工程师 岗位职责: • 负责系统后台的设计、研发与维护 • 参与系统需求分析、核心代码编写、接口规范制定、服务性能优化 任职要求: • 计算机、地信、或其他相关专业,硕士学历 • 2年以上相关工作经历 • 精通Java Enterprise、Spark、ElasticSearch • 有分布式系统的设计与实现经验,优先考虑 • 熟悉常用数据结构及算法 • 熟悉Linux操作系统 • 有GIS开发经验 • 优秀的分析和解决问题能力 • 良好的沟通能力和团队合作精神
  • 15k-30k 经验不限 / 本科
    数据服务|咨询 / D轮及以上 / 500-2000人
    工作职责: 1. 负责品牌广告监测产品,亿级别数据的收集、处理、统计等工作; 2. 负责监测数据仪表盘及数据报告中实时指标和离线指标的计算工作; 3. 参与广告监测数据的流式处理模块的设计和开发工作; 任职资格: 1. 计算机相关专业,本科及以上学历; 2. 精通java语言,熟练使用spring cloud微服务套件,mysql,redis,kafka等进行功能开发; 3. 掌握Hadoop/Spark生态系统组件的使用,至少有1年的Spark(Core/SQL)开发经验; 4. 熟悉Linux/Unix开发环境,具有一定shell脚本编写能力; 5. 有优良的Trouble Shooting能力,对新技术有孜孜不倦的热情,具有良好的学习能力; 6. 有Druid,Flink,ES等系统应用开发经验优先 7. 有过海量数据处理系统开发经验者优先; 8. 熟悉scala,python语言优先
  • 20k-40k 经验不限 / 本科
    数据服务|咨询 / D轮及以上 / 500-2000人
    工作职责: 1. 负责TalkingData企业相关大数据产品和服务的开发; 2. 参与大数据相关产品和服务的架构、设计; 3. 从事应用产品和前瞻技术的研究和开发。 任职资格: 1. 精通Java,熟练使用多线程编程技术,了解Scala语言,能使用Scala编写一般Spark程序,熟悉Python/Go等其它编程语言更佳; 2. 基本功扎实,对编写程序代码很考究,有良好编码风格,有实际参与编码或主导研发的系统或项目; 3. 熟悉Hadoop/Spark/HBase/Hive/Storm/Flink/Kafka等大数据开源技术框架中至少2种,读过相应开源项目源码更佳; 4. 熟悉数据仓库建模原理,可独立进行数据模型和数据架构设计; 5. 熟悉MySQL数据库,能够使用SQL编程;熟悉Linux,能够使用shell脚本编写任务脚本; 6. 良好团合作意识,能独立分析数据需求,并转化成系统模块或接口,能独立进行代码实现。
  • 35k-65k 经验5-10年 / 本科
    企业服务 / 不需要融资 / 2000人以上
    岗位要求 ***本科及以上学历,计算机,软件等相关专业; 计算机本科及以上相关专业学历,5年以上Java或Scala软件开发工作经验,Spark或相关大规模计算类开发2年+; 1. 精通基于Java/Scala开发 spark RDD/DataFrame/DataSet/SQL高性能分布式数据处理、熟练掌握Spark ML 机器学习API开发 2. 熟悉Spark集群性能调优,精通Spark 集群环境下的代码性能优化,掌握Hadoop、Hive相关知识 OOP设计和函数式开发理念,数据结构、算法使用娴熟;代码优雅高效,有探索技术创新追求**的态度 岗位职责 1.基于Spark框架进行高性能计算、海量数据处理的JAVA/Scala代码设计、开发、调优实施; 2.独立承担子系统、模块级别的系统设计、落地;并提供规范化的体系文档 3.对Spark集群进行性能调优。解决代码运行瓶颈。承担创新技术压力,对开源框架代码深入研究;
  • 30k-60k·14薪 经验5-10年 / 本科
    企业服务 / 不需要融资 / 50-150人
    工作职责: 1、负责大数据组件Spark/Hive的组件二次开发和维护工作。 2、负责处理大数据平台稳定性等问题,为大数据开发者提供可靠的技术支持。 3、确保ETL关键作业及时完成,从系统侧对核心ETL作业优化,保持作业稳定运行。 职位要求: 1、**本科以上学历,计算机软件相关专业,Java3年以上开发经验。 2、对技术有追求,能够刨根问底的搞定技术问题。 3、精通Spark/Hive等开源项目的内核优化,有patch源码经验者优先。 4、有丰富的海量数据ETL作业优化的经验。 5、熟悉主流的大数据技术,包括但不局限于yarn、hdfs、orc、parquet。
  • 25k-35k 经验3-5年 / 本科
    企业服务 / 不需要融资 / 2000人以上
    1.基于Spark框架进行高性能计算、海量数据处理的JAVA/Scala代码设计、开发、调优实施; 2.独立承担子系统、模块级别的系统设计、落地;并提供规范化的体系文档 3.对Spark集群进行性能调优。解决代码运行瓶颈。承担创新技术压力,对开源框架代码深入研究; 4.精通基于Java/Scala开发sparkRDD/DataFrame/DataSet/SQL高性能分布式数据处理、熟练掌握SparkML机器学习API开发 5.熟悉Spark集群性能调优,精通Spark集群环境下的代码性能优化,掌握Hadoop、Hive相关知识 6.OOP设计和函数式开发理念,数据结构、算法使用娴熟
  • 25k-40k·13薪 经验不限 / 本科
    企业服务 / 不需要融资 / 15-50人
    工作职责: 负责大数据组件Spark/Hive的组件二次开发和维护工作。 负责处理大数据平台稳定性等问题,为大数据开发者提供可靠的技术支持。 确保ETL关键作业及时完成,从系统侧对核心ETL作业优化,保持作业稳定运行。 任职要求: 计算机软件相关专业,Java3年以上开发经验。 对技术有追求,能够刨根问底的搞定技术问题。 精通Spark/Hive等开源项目的内核优化,有patch源码经验者优先。 有丰富的海量数据ETL作业优化的经验 熟悉主流的大数据技术,包括但不局限于yarn、hdfs、orc、parquet
  • 35k-50k·14薪 经验3-5年 / 本科
    营销服务|咨询,数据服务|咨询 / 上市公司 / 500-2000人
    1. 设计和建设FreeWheel广告投放数据处理及分析平台,降低数据的使用门槛,实现数据价值的最大化 2. 参与数据仓库开发、数据集市开发、数据分析和治理等工作,来实现数据精细化运营,提升核心业务指标 3. 参与各类数据处理系统的架构设计工作,完成产品的迭代升级以及底层架构的演进与研发工作 任职要求: 1. 扎实的编程语言基础,熟练掌握Java、Scala、Python、Shell、Golang等 2. 3年以上大数据领域开发经验,熟悉如Hadoop/Spark/HBase/Presto/Kafka等主流大数据开源生态组件,了解底层实现机制 3. 熟悉主流的工作流调度引擎, 如Azkaban、Airflow等 4. 强烈的责任心和自我驱动意识 5. 良好的团队合作精神和沟通能力 6. 英语口语交流无障碍 加分项: 1. 有对Hadoop、Hbase、Hive、Spark等相关组件的性能优化和补丁跟踪等实践经验 2. 有使用阿里云、AWS等云平台的实践经验 3. 有广告行业数据处理的相关经验
  • 25k-40k·15薪 经验5-10年 / 本科
    消费生活,工具 / 未融资 / 500-2000人
    工作职责 1. 构建分布式大数据服务平台,参与构建公司海量数据存储、离线/实时计算系统; 2. 负责Hadoop集群稳定和推广,为业务应用提供平台级支持和服务; 3. 深入Hadoop源码内核改进优化开源项目,解决各种Hadoop线上问题,参与到开源社区建设和代码贡献 任职资格 1. 计算机或相关专业本科以上学历,具备5年以上大数据相关工作经验; 2. 熟悉Java/Scala程序开发,熟悉Linux/Unix开发环境; 4、熟练Python、Shell脚本开发; 2. 熟悉linux操作系统,具备一定的操作系统问题定位解决能力。 3、熟悉docker容器技术,对K8S有一定的了解和使用 6. 熟悉Hadoop\Yarn\Spark\Hive\Hbase\Flink\kerberos 等开源生态技术的体系结构和运行原理; 4. 有大规模分布式系统开发、维护经验,有故障处理能力; 5. 具有良好的沟通协作能力,具有较强的分享精神;
  • 35k-65k·16薪 经验3-5年 / 本科
    科技金融 / 未融资 / 2000人以上
    职位描述 1. 基于金融级业务场景,打造高效、实时的分布式计算引擎; 2. 从稳定性、性能和功能等多方面对计算引擎进行完善和优化; 3. 深入理解业务,帮助业务解决问题并从中提炼出通用需求,指导引擎开发; 4. 与开源社区保持良性互动,调研/吸收开源经验并回馈社区; 职位要求 1. 精通Java/Scala/Python等一种编程语言,具备大规模系统的研发和优化能力; 2. 精通Hadoop/Spark/Flink/Kubernetes等一种主流开源技术; 3. 对分布式计算领域有丰富的理论和实践经验; 4. 具备强烈的进取心,良好的沟通能力和团队合作精神。
  • 移动互联网,金融 / 上市公司 / 2000人以上
    数据挖掘岗(Spark/机器学习)    岗位职责: 1. 统筹规划中信优享+统一标签指标体系及制定相关标准/规范;构建联盟共享大数据平台用户画像标签体系; 2.负责搭建中信优享+平台分析监控指标体系,开展运营分析、用户行为分析等,例如通过构建漏斗模型分析找出转化率及流失指标关键原因; 3.负责中信优享+数据挖掘模型的建立、应用、监控优化,包括开展客户获取、产品服务推荐、精准营销、交叉引流、客户体验优化、流失预警和市场运营活动等数据挖掘模型的建立,并不断完善优享+客户全生命周期的智能化CRM体系; 4. 协助联盟成员及运营团队结合数据结果制定应用策略; 5.统筹规划优享+大数据报表体系,满足联盟及成员日常运营管理需要; 6. 负责优享+大数据产品体系的规划建设以提升联盟各成员公司运用数据的能力。   岗位要求: 1.本科及以上学历,计算机、数学等相关专业。 2.熟悉数据挖掘/机器学习相关理论知识,有一定数据挖掘/机器学习项目经验;     3.熟练掌握Hive/SQL,至少掌握Python或Scala等一种以上常用数据挖掘编程语言; 4.较强的逻辑思维能力、优秀的独立思考和问题解决能力、有很高的综合分析能力;   5.具备良好的学习和文字表达能力,有较高的外文资料阅读和翻译能力。 6.精通Hadoop数据库,有丰富的hadoop大数据分析与挖掘经验者优先;   优先考虑: 1、数据共享平台建及应用经验优先考虑; 2、大型互联网公司数据挖掘项目经验优先考虑;
  • 广告营销 / C轮 / 150-500人
    岗位描述:1、负责大数据处理平台、数据仓库及BI系统的架构设计和研发工作;2、处理超过百亿次广告请求和投放数据;3、支持实时数据报表、离线数据报表、交互式数据分析等多种数据应用;岗位要求:1、计算机相关专业,本科及以上学历,5年以上Hadoop相关开发经验,3年以上Spark相关开发经验;2、精通Hadoop/HBase/Spark生态的原理和使用方法;3、掌握数据开发的所有流程,擅长数据采集、清洗、分析等环节;4、具有较强的业务理解能力;5、善于发现系统的性能瓶颈、设计缺陷,提出改进方案并进行实施;6、思路敏捷清晰,良好的表达和理解能力,良好的学习能力,强烈的创新意识;7、有互联网广告行业工作经历者优先考虑;
  • 广告营销 / C轮 / 150-500人
    岗位描述:1、负责大数据处理平台、数据仓库及BI系统的架构设计和研发工作;2、处理超过百亿次广告请求和投放数据;3、支持实时数据报表、离线数据报表、交互式数据分析等多种数据应用;岗位要求:1、计算机相关专业,本科及以上学历,3年以上Hadoop相关开发经验,2年以上Spark相关开发经验;2、熟悉Hadoop/HBase/Spark生态的原理和使用方法;3、掌握数据开发的各项流程,擅长数据采集、清洗等环节;4、具有较强的业务理解能力;5、思路敏捷清晰,良好的表达和理解能力,良好的学习能力,强烈的创新意识;6、有互联网广告行业工作经历者优先考虑;