• 20k-40k·15薪 经验5-10年 / 本科
    社交媒体 / 上市公司 / 2000人以上
    职位描述: 1、负责⼤数据平台维护,⽀撑各类数据⽣产、挖掘分析业务⾼效稳定开展; 2、负责⼤数据平台相关的关键技术攻坚,解决平台的疑难杂症; 3、负责⼤数据平台技术的选型,新技术的预研,主流前沿技术的引⼊和落地; 4、负责大数据基础设施和平台的改进,解决大规模生产环境集群可用性和性能优化问题; 职位要求: 1、重点院校计算机或相关专业本科及以上学历,5年以上⼤数据平台相关⼯作经验; 2、熟练掌握Java/Scala开发,熟悉java的IO/并发/容器/内存模型; 3、具备较丰富的⼤数据平台相关建设,维护及调优经验,善于容量规划、架构设计和性能优化; 4、熟悉hadoop⽣态环境技术组件:HDFS/YARN/HBase/Kafka/Hive/Spark/Flink/Kylin/Druid等; 5、深⼊理解上述组件中的两个以上(包括功能和原理),阅读过源码,有过⼆次开发经验者优先; 6、具有良好的逻辑思维和快速解决问题能⼒; 素质要求: 1、良好的沟通能力及团队合作精神,具备高度的责任心; 2、具备极强的技术悟性与学习能力,较强的文档撰写能力; 3、开放的心态和良好的学习能力; 4、踏实靠谱,有良好的自驱力,执行力,具备良好的时间管理及流程管理的意识和能力; 5、基础技术扎实,有较强的数据敏感性;
  • 15k-30k 经验3-5年 / 本科
    企业服务,数据服务 / 上市公司 / 500-2000人
    职位描述: 1、基础组件、基础设施的二次开发、L2支撑、交付; 2、围绕大数据组件服务平台开发,围绕组件进行串联部署、功能组合/抽象,给上层数据开发人员提供组件级平台服务 3、对Hadoop、Hbase、Hive、Flink等组件/系统进行持续研究、开发和交付,满足部署、集成、扩展、监控、高可用等生产需求; 4、根据理论与技术研究、产品对标和相关需求,持续产品规划与迭代; 5、根据现场信息搜集,分析、定位和解决现场问题,承担L3支撑 职位要求: 1、计算机相关专业,本科及以上学历; 2、3年及以上hadoop生态的基础设施开发经验,熟悉国内主流大数据平台; 3、熟练掌握Java,熟悉Linux开发环境及常用工具; 4、以下优先: (1)985/211(必备条件,不符合请勿投递,谢谢) (2)深入阅读过相关组件内核源代码 (3)深入理解分布式资源调度系统技术及原理 (4)深入理解linux系统能够独立排查及解决操作系统层问题 (5)有数据仓库经验者 (6)有运维经历者 (7)有C/C++开发经验 (8)有论文阅读、理论研究爱好与能力
  • 13k-16k 经验3-5年 / 本科
    IT技术服务|咨询 / 上市公司 / 2000人以上
    1.熟悉Hadoop,有过大数据开发经验 2.熟悉大数据开源技术,对Spark,flink,Hive, Hdfs等分布式计算存储引擎有实战经验 3.**本科,双证齐全
  • IT技术服务|咨询 / 上市公司 / 2000人以上
    岗位职责: 1.负责反欺诈系统大数据相关架构的搭建 2.参与集群的部署及搭建,监控与优化 3.参与新技术的调研及预研工作 4.参与当前大数据架构的业务功能开发及优化 技能要求: 1.精通hadoop部署框架及原理,并有落地的部署场景经验 2.熟练掌握flink或者spark之一的应用,并有落地的部署及开发场景经验 3.熟练掌握java开发语言,python脚本或者shell脚本 4.熟练掌握linux的基本知识 5.掌握elasticsearch以及实时数据湖技术的优先
  • 10k-20k·14薪 经验1-3年 / 本科
    移动互联网 / 不需要融资 / 50-150人
    岗位职责: 1、负责公司各产品线服务可靠、稳定、高效运行,提供K8S,Hadoop技术支持。 2、负责运维平台建设 通过技术手段提升工作效率; 3、负责公司各类基础设施监控、自动化、监控体系的持续建设与完善; 4、参与公司各类产品自动化实现,满足严格的质量与效率要求; 岗位要求: 1、***大学本科(计算机专业,获得***书、***书) 2、能熟练编写 Shell或Python脚本,有go/python/shell编程能力者优先 熟悉devops理念 3、熟悉自动化运维工具(saltstack/ansible/Jenkins)的原理及使用,有二次开发经验优先 4、具备kubernetes、docker、HDFS、spark、Hive运维经验者优先。 5、具备一定JAVA/GO开发经验优先。 6、具备良好的学习能力,能够快速掌握一门新的技术。
  • 12k-24k 经验1-3年 / 本科
    其他 / 未融资 / 15-50人
    岗位职责: 1.支持Hadoop集群底座的运维故障分析、解决、性能优化;大数据集相关组件主要包括:Yarn、HDFS、ZooKeeper、Storm、Kafka、Hbase、Hive、Spark、Kerberos、Spark、Flink、Flume、MySQL等组件运维; 2.开展Yarn性能优化,提升集群资源利用率和任务响应速度;队列优化和维护;优化调度器性能; 3.及时关注Apache官方网站、论坛,针对Patch提出升级建议、方案,并组织实施; 4.配合开展HDFS存储、Hive元数据治理优化,建立并完善存储治理方案; 5.配合开展Hive、Spark作业优化,对业务侧提出优化建议。如:作业小文件问题、数据倾斜治理方案等; 6.提出集群优化建设方案,配合建设和优化大规模分布式集群的自动化运维、监控等工具和管理平台。 任职要求: 1.本科及以上学历,通信/计算机等相关专业,具有良好的学习能力、沟通能力、团队合作能力及一定的抗压能力; 2.熟悉Hadoop、Hive、Hbase、Spark等开源项目,理解组件架构及原理; 3.对大数据运维开发有浓厚兴趣,熟悉Apache Hadoop部署、性能调优; 4.能阅读/理解Hadoop等相关开源组件源码; 5.对HQL、SparkSQL等有较深入的研究,能解决实际业务性能问题; 6.熟练掌握LDAP、Kerberos等安全认证体系; 7.熟练掌握Linux命令与工具进行问题定位,熟悉常规的互联网技术架构; 8.具备一定的Java开发能力; 9.擅长Linux Shell、Python脚本编写,有DevOPS/自动化运维经验工作者优先考虑。
  • 8k-10k 经验1-3年 / 本科
    移动互联网,金融 / 不需要融资 / 150-500人
    工作内容: 1.负责hadoop基础技术规划,编制相关规范文档; 2.负责Hadoop数据应用相关的数据存储、查询、计算、元数据管理的架构设计与实现; 3.负责hadoop的实际规划建设,包括环境与框架的规划搭建及部分核心编码工作; 4.负责hadoop相关技术发展方向的预研; 5.独立负责具体功能开发与实现、性能优化,保证系统健壮稳定及临时性数据处理工作的支持; 6.负责数据应用相关的数据存储、查询、计算、元数据管理等方面的架构设计。 岗位要求: 1.1年以上大数据开发经验,熟悉分布式的设计与应用。 2.熟悉hadoop大数据平台框架,包括不限于hadoop、hive、hbase等大数据生态平台组件的部署升级与调优。 3.熟悉hadoop、spark、flink、hbease、es等相关计算机存储框架的底层理论,并能应用至实际开发当中。 4.熟悉至少一款ETL工具,例如kettle、logstash等。 5.熟悉关系型及非关系型数据库的使用及优化,包括但不限于Oracle、PG、hive、clickhouse等。 6.熟悉各类大数据处理组件,sqoop、flume、kafka、azkaban等。 7.根据计划完成模块的编码开发工作,保证开发质量。 8.有良好的沟通能力,积极为项目建设提供建设性意见。 9.本科及以上学历,计算机相关专业,有银行工作、财务会计、管理会计业务经验优先。
  • 11k-15k 经验3-5年 / 大专
    企业服务,软件开发 / 上市公司 / 2000人以上
    1. 熟悉大数据云平台经验,再加Java开发 Java基础扎实,熟练掌握多线程编程,熟悉JVM,以及常规性能优化。 2. 熟悉spring,springboot,springcloud,nacos,mybatis,mybatis-plus等常⻅开源框架。 3. 熟悉redis,RocketMQ等常见中间件。 4. 熟练使用MySQL数据库,良好的数据库设计,SQL编写,索引性能分析能力。 5. 熟练掌握linux系统的使用。 6. 熟练掌握EKL系统的使用。 7. 有良好的逻辑思维能力,沟通能力,有责任心能独立完成需求。 1、本3专4,计算机/互联网/通信相关专业 2.熟悉java开发常用框架组件,能熟练运用到具体项目中 3.配合项目完成研发计划,有独立完成需求的能力
  • 25k-40k 经验3-5年 / 本科
    工具类产品 / 上市公司 / 2000人以上
    岗位描述: 1.负责公司大数据平台研发和系统设计,负责核心代码编写,实现平台和业务场景落地; 2.负责大数据平台相关规范编制,作为团队核心成员进行项目设计,产品集成及技术难点攻克等; 3.参与数据治理业务分析,持续迭代优化平台功能制定建设方案,推进项目的落地与实施; 4.参与到代码评审,知识传递,架构设计; 5.跟踪行业动态,引入新技术栈,推广新技术应用。 职位要求: 1.具备大数据相关项目的架构设计开发经验; 2.熟悉常用开源分布式系统,包括Hadoop/hive/HBase/Spark/Flink/Clickhouse/StarRocks/ElasticSearch/Kafka等; 3.开发语言java,python,shell 有实际开发经验,能独立解决实际问题; 4.熟悉Mysgl,Redis,MongoDB 等常用的存储技术,具备优秀的SQL优化能力,数据库有比较深入了解经验; 5.具备较大规模集群规划实施,监控与运维工作经验; 熟悉数据管理流程,掌握数据治理的相关方法; 6.具有对最新大数据相关技术趋势的敏锐洞察力,具有与时俱进的学习研究能力。 对湖仓一体,大数据云原生,储算分离,数据编织,知识计算,分布式协同计算,高性能跨源查询等方面有一定的了解和研究基础; 7.思维敏捷,逻辑清晰,对系统架构有自己的理解对技术发展有明确观点,具有大型技术项目承担主要职责的经验。 8.对数仓架构设计有清洗理解实际开发经验,对数据安全加解密有实际开发经验,用户画像模型设计开发实际落地项目经验; 9.使用过数据云相关产品;
  • 30k-60k 经验3-5年 / 本科
    内容资讯,短视频 / D轮及以上 / 2000人以上
    职位职责: 1、参与今日头条、番茄小说和番茄畅听等产品的用户增长个性化激励算法策略研发,支持多个业务场景的的个性化数值策略; 2、使用因果推断、强化学习、运筹优化等技术提供个性化数值策略,以优化留存、总成本、净利润等核心指标; 3、参与基础模型的实现和优化研究,包括不限于多场景的因果模型和长期价值模型等。 职位要求: 1、具备优秀的编码能力和扎实的数据结构和算法功底 ; 2、熟悉常用机器学习工具和深度学习工具(Scikit-learn、XGBoost、Tensorflow、PyTorch等); 3、熟悉因果推断或强化学习理论基础,掌握常用算法者优先; 4、熟悉常用大数据开发工具(Spark、Hive、Hadoop等); 5、有个性化优惠券、智能补贴、智能定价等领域经验者优先。
  • 40k-50k 经验10年以上 / 本科
    人工智能服务,IT技术服务|咨询,数据服务|咨询 / B轮 / 50-150人
    1.整合公司TOC&B所有业务系统技术架构,建立数据、技术、产品体系标准,实现数据、产品、业务的一体互通; 2.实现面向场景的产品功能设计及研发,打造公司产品服务能力及服务体系,持续提升平台整体技术开发能力; 3.负责组建公司搜索、画像、数据、存储等技术团队,进行公司技术后台、数据中台、产品前台的规划、设计、建设; 4.负责技术团队梯队建设及日常管理,包括制定工作计划、目标分工、技术指导、职业化培养、考核评估和激励,全面提升团队的效率水平; 5.带领并指导开发团队,进行系统的架构设计、模块拆分、功能实现,技术难题的解决。 职位要求: 1、计算机相关专业硕士及以上学历,35岁以上; 2、具有较强的技术敏感性和行业前瞻性。具有十年以上大数据相关软件产品及项目管理开发经验; 3、深厚的技术背景,具有多个中大型项目实际操作经验; 4、精通互联网技术系统的架构设计、系统分析、编码实现、性能优化及系统安全;精通常用设计模式和主流设计工具,能进行系统建模、总体设计; 5、有大型搜索系统、知识图谱实践经验者优先,熟悉机器学习工具及框架,如Tenserflow、Pytorch、Sklearn等; 6、熟悉掌握Hadoop、Spark、Hive、Kafka、Flink,HBase、ES、TensorFlow、PAI等大数据与人工智能技术体系。具备海量数据、大批量、高并发、高性能分析及处理的成熟经验; 7、有系统分析设计能力,能独自解决整体规划方案,制定技术规范; 8、良好的团队合作精神、较强的沟通能力和管理能力,责任心强、工作敬业。
  • 25k-50k 经验不限 / 本科
    内容资讯,短视频 / D轮及以上 / 2000人以上
    职位职责: 1、负责大数据方向相关数据内容,数据产品的测试和质量保障; 2、根据需求文档、设计文档分析测试点、确定测试范围、制定测试方案和策略、编写测试计划及用例; 3、根据业务逻辑编写测试SQL脚本,独立完成项目中数据指标,服务的测试,保证数据质量和稳定性; 4、负责规划、设计、实施监控每日数据产品的质量情况,提前检测发现数据的异常; 5、编写自动化测试脚本提升测试效率。 职位要求: 1、计算机及软件相关专业本科以上学历; 2、3年以上大数据相关平台、产品、应用测试经验, 有Hadoop、hbsae、Oracle等大规模数据监控,处理测试经验者优先; 3、精通一门脚本语言,Python 或 shell,解决复杂问题和编写自动测试工具和系统的能力; 4、熟悉常见软件测试流程、方法、系统,有敏捷团队经验者尤佳; 5、参与测试效果评估和软件质量核查,通过测试相关流程、策略、方法和工具等创新,提升测试的质量和效率; 6、对互联网质量保证领域有强烈的兴趣,有互联网或数据测试开发经验优先; 7、有性能、安全、白盒测试等专业测试领域经验者优先,能主动进行技术钻研; 8、性格开朗乐观,积极主动,善于沟通,具有很强团队协作能力。
  • 20k-35k 经验3-5年 / 本科
    移动互联网,金融 / 上市公司 / 2000人以上
    岗位职责: 1、负责Hadoop、Hive、Hbase、Spark等大数据平台的规划、部署、监控、优化; 2、负责大数据平台的运营管理、方案评审、组件优化; 3、负责大数据平台的异常与故障处理,应急响应,保障平台持续稳定运行; 4、持续跟踪业界技术发展动态,并结合业务发展需要,研究引入新兴技术。 任职要求: 1、熟悉Hadoop大数据生态圈,熟悉Hive、Hbase、Yarn、Spark、kafka等组件的工作原理,并且有实际部署运维经验; 2、深入理解Linux系统,熟悉运维体系架构; 3、熟悉shell脚本及Python编程; 4、具备良好的团队协作意识与主动意识。 优先考虑: 有自动化运维平台构建经验或Hadoop组件源码阅读与分析能力者。
  • 20k-40k 经验3-5年 / 本科
    企业服务,金融 / 未融资 / 50-150人
    岗位职责 1、打造业界领先的PB级OLAP商业引擎,并支撑滴灌通相关产品线; 2、负责以Hadoop、Spark、Flink 为代表的开源大数据引擎的数据开发; 3、负责滴灌通内部数据应用开发及工程化落地。 4、预研隐私计算、联邦学习新技术,推动适合的技术落地驱动满足业务发展。 岗位要求 1、计算机、软件工程等相关专业,**985/211本科及以上学历 2、具有3年及以上Linux环境下Java、Scala、Python开发经验;1年及以上互联网或大数据分析工作经验优先; 3、熟悉Hadoop/Spark/Flink/Hive/HBase等大数据组件,对数据处理、数据建模、数据分析等有深刻认识和实战经验,具备大型数据平台建设者优先。 4、精通SQL,熟悉常用的关系型数据库、非关系性数据库和数据仓库,具有SQL性能优化经验。 5、具有BI系统的开发实施经验,能够独立开发设计数据仓库、ETL设计、报表开发等;一定的应用系统分析与设计能力,有良好、规范的编程习惯和文档编写习惯; 6、具有很强的分析复杂问题和解决复杂问题的能力,有强烈的责任心和使命感,良好的沟通表达能力和团队协作
  • 25k-40k·16薪 经验3-5年 / 本科
    旅游 / 不需要融资 / 2000人以上
    岗位职责: 1.参与数仓建设与规划 2.参与数据中台建设,打造智能化构建产品; 3.对接数据需求,高质量的为业务赋能; 任职资格: 1.本科及以上学历,有5年以上数据仓库工作经验; 2.熟练掌握 java、python、shell 等任意一门编程语言 3.熟练掌握 sql , 能够编写复杂语句查询,具备sql 调优能力 4.熟练掌握 数据仓库ETL过程,对维度建模有深刻的理解 5.熟悉掌握 Hadoop/Hive/Hbase/Kylin/Es/Kafka 大数据处理框架,有源码经优先; 6.熟悉数据分析、统计学基本概念; 7.有owner 意识、自驱力强。 8.有较强的沟通能力;