• 13k-16k 经验1-3年 / 本科
    其他 / 未融资 / 15-50人
    岗位职责: 1.支持Hadoop集群底座的运维故障分析、解决、性能优化;大数据集相关组件主要包括:Yarn、HDFS、ZooKeeper、Storm、Kafka、Hbase、Hive、Spark、Kerberos、Spark、Flink、Flume、MySQL等组件运维; 2.开发数据采集、清洗、分析、挖掘及可视化功能,需熟悉ES、milvus、pgsql等。 3.熟悉国产数据库,包括doris等; 4.配合开展HDFS存储、Hive元数据治理优化,建立并完善存储治理方案; 5.配合开展Hive、Spark作业优化,对业务侧提出优化建议。如:作业小文件问题、数据倾斜治理方案等; 6.提出集群优化建设方案,配合建设和优化大规模分布式集群的自动化运维、监控等工具和管理平台。 任职要求: 1.***本科及以上学历,通信/计算机等相关专业,具有良好的学习能力、沟通能力、团队合作能力及一定的抗压能力; 2.熟悉Hadoop、Hive、Hbase、Spark等开源项目,理解组件架构及原理; 3.对大数据运维开发有浓厚兴趣,熟悉Apache Hadoop部署、性能调优; 4.能阅读/理解Hadoop等相关开源组件源码; 5.对HQL、SparkSQL等有较深入的研究,能解决实际业务性能问题; 6.熟练掌握LDAP、Kerberos等安全认证体系; 7.熟练掌握Linux命令与工具进行问题定位,熟悉常规的互联网技术架构; 8.具备一定的Java开发能力; 9.有信控平台开发经验者优先录取。
  • 13k-16k 经验3-5年 / 本科
    其他 / 未融资 / 15-50人
    岗位职责: 1.支持Hadoop集群底座的运维故障分析、解决、性能优化;大数据集相关组件主要包括:Yarn、HDFS、ZooKeeper、Storm、Kafka、Hbase、Hive、Spark、Kerberos、Spark、Flink、Flume、MySQL等组件运维; 2.开发数据采集、清洗、分析、挖掘及可视化功能,需熟悉ES、milvus、pgsql等。 3.熟悉国产数据库,包括doris等; 4.配合开展HDFS存储、Hive元数据治理优化,建立并完善存储治理方案; 5.配合开展Hive、Spark作业优化,对业务侧提出优化建议。如:作业小文件问题、数据倾斜治理方案等; 6.提出集群优化建设方案,配合建设和优化大规模分布式集群的自动化运维、监控等工具和管理平台。 任职要求: 1.本科及以上学历,通信/计算机等相关专业,具有良好的学习能力、沟通能力、团队合作能力及一定的抗压能力; 2.熟悉Hadoop、Hive、Hbase、Spark等开源项目,理解组件架构及原理; 3.对大数据运维开发有浓厚兴趣,熟悉Apache Hadoop部署、性能调优; 4.能阅读/理解Hadoop等相关开源组件源码; 5.对HQL、SparkSQL等有较深入的研究,能解决实际业务性能问题; 6.熟练掌握LDAP、Kerberos等安全认证体系; 7.熟练掌握Linux命令与工具进行问题定位,熟悉常规的互联网技术架构; 8.具备一定的Java开发能力; 9.有信控平台开发经验者优先录取。
  • 15k-30k 经验3-5年 / 本科
    企业服务,数据服务 / 上市公司 / 500-2000人
    职位描述: 1、基础组件、基础设施的二次开发、L2支撑、交付; 2、围绕大数据组件服务平台开发,围绕组件进行串联部署、功能组合/抽象,给上层数据开发人员提供组件级平台服务 3、对Hadoop、Hbase、Hive、Flink等组件/系统进行持续研究、开发和交付,满足部署、集成、扩展、监控、高可用等生产需求; 4、根据理论与技术研究、产品对标和相关需求,持续产品规划与迭代; 5、根据现场信息搜集,分析、定位和解决现场问题,承担L3支撑 职位要求: 1、计算机相关专业,本科及以上学历; 2、3年及以上hadoop生态的基础设施开发经验,熟悉国内主流大数据平台; 3、熟练掌握Java,熟悉Linux开发环境及常用工具; 4、以下优先: (1)985/211(必备条件,不符合请勿投递,谢谢) (2)深入阅读过相关组件内核源代码 (3)深入理解分布式资源调度系统技术及原理 (4)深入理解linux系统能够独立排查及解决操作系统层问题 (5)有数据仓库经验者 (6)有运维经历者 (7)有C/C++开发经验 (8)有论文阅读、理论研究爱好与能力
  • 13k-16k 经验3-5年 / 本科
    IT技术服务|咨询 / 上市公司 / 2000人以上
    1.熟悉Hadoop,有过大数据开发经验 2.熟悉大数据开源技术,对Spark,flink,Hive, Hdfs等分布式计算存储引擎有实战经验 3.**本科,双证齐全
  • 10k-20k·14薪 经验1-3年 / 本科
    移动互联网 / 不需要融资 / 50-150人
    岗位职责: 1、负责公司各产品线服务可靠、稳定、高效运行,提供K8S,Hadoop技术支持。 2、负责运维平台建设 通过技术手段提升工作效率; 3、负责公司各类基础设施监控、自动化、监控体系的持续建设与完善; 4、参与公司各类产品自动化实现,满足严格的质量与效率要求; 岗位要求: 1、***大学本科(计算机专业,获得***书、***书) 2、能熟练编写 Shell或Python脚本,有go/python/shell编程能力者优先 熟悉devops理念 3、熟悉自动化运维工具(saltstack/ansible/Jenkins)的原理及使用,有二次开发经验优先 4、具备kubernetes、docker、HDFS、spark、Hive运维经验者优先。 5、具备一定JAVA/GO开发经验优先。 6、具备良好的学习能力,能够快速掌握一门新的技术。
  • 8k-10k 经验1-3年 / 本科
    移动互联网,金融 / 不需要融资 / 150-500人
    工作内容: 1.负责hadoop基础技术规划,编制相关规范文档; 2.负责Hadoop数据应用相关的数据存储、查询、计算、元数据管理的架构设计与实现; 3.负责hadoop的实际规划建设,包括环境与框架的规划搭建及部分核心编码工作; 4.负责hadoop相关技术发展方向的预研; 5.独立负责具体功能开发与实现、性能优化,保证系统健壮稳定及临时性数据处理工作的支持; 6.负责数据应用相关的数据存储、查询、计算、元数据管理等方面的架构设计。 岗位要求: 1.1年以上大数据开发经验,熟悉分布式的设计与应用。 2.熟悉hadoop大数据平台框架,包括不限于hadoop、hive、hbase等大数据生态平台组件的部署升级与调优。 3.熟悉hadoop、spark、flink、hbease、es等相关计算机存储框架的底层理论,并能应用至实际开发当中。 4.熟悉至少一款ETL工具,例如kettle、logstash等。 5.熟悉关系型及非关系型数据库的使用及优化,包括但不限于Oracle、PG、hive、clickhouse等。 6.熟悉各类大数据处理组件,sqoop、flume、kafka、azkaban等。 7.根据计划完成模块的编码开发工作,保证开发质量。 8.有良好的沟通能力,积极为项目建设提供建设性意见。 9.本科及以上学历,计算机相关专业,有银行工作、财务会计、管理会计业务经验优先。
  • 11k-15k 经验3-5年 / 大专
    企业服务,软件开发 / 上市公司 / 2000人以上
    1. 熟悉大数据云平台经验,再加Java开发 Java基础扎实,熟练掌握多线程编程,熟悉JVM,以及常规性能优化。 2. 熟悉spring,springboot,springcloud,nacos,mybatis,mybatis-plus等常⻅开源框架。 3. 熟悉redis,RocketMQ等常见中间件。 4. 熟练使用MySQL数据库,良好的数据库设计,SQL编写,索引性能分析能力。 5. 熟练掌握linux系统的使用。 6. 熟练掌握EKL系统的使用。 7. 有良好的逻辑思维能力,沟通能力,有责任心能独立完成需求。 1、本3专4,计算机/互联网/通信相关专业 2.熟悉java开发常用框架组件,能熟练运用到具体项目中 3.配合项目完成研发计划,有独立完成需求的能力
  • 15k-28k·15薪 经验1-3年 / 本科
    金融 / 上市公司 / 2000人以上
    工作内容 职位描述: 1.参与大数据平台数据仓库规划、架构及研发,包括离线、实时的数据模型规划,建设PB级的数据集市和数据平台。 2.参与数据仓库模型的ETL实施,ETL性能优化、技术攻关等。 3.参与平台数据治理相关工作,负责数据质量、数据一致性及稳定性保障等建设。 4.参与平台标签体系、数据产品与应用的数据研发,发掘数据价值,以数据驱动业务不断发展。 岗位要求 任职要求: 1. 本科及以上学历,计算机、软件工程、数据分析或相关专业出身,2-3年工作经验,具备极强的问题解决能力。 2. 精通数据仓库理论体系,对分层设计、维度建模等有深刻的认识和实战经验,熟悉不同建模方法的优劣。 3. 积极主动贴近业务,有良好的沟通协调能力,数据敏感度高,能够快速理解业务模型及数据模型;熟练掌握SQL/HQL/Spark SQL开发及优化技能,快速ETL实施能力,对SLA有较深刻的认识及强烈的责任心。 4. 熟悉大数据生态技术栈,具备较丰富的Hadoop,Hive,Spark,Flink,DataWorks等大数据工具应用和开发经验。 5. 掌握Java, Python等至少一门语言,有MapReduce项目开发经验,熟悉Azkaban等任务调度工具。 6. 熟练使用git,有多人项目合作开发经验。 7. 有数据中台建设经验优先。有数据分析能力、指标体系搭建或BI相关经验优先。有互联网工作经验优先。
  • 20k-35k·15薪 经验3-5年 / 本科
    金融 / 上市公司 / 2000人以上
    工作内容 职位描述: 1. 参与数据仓库规划、架构及研发,包括离线、实时的数据模型规划,建设PB级的数据集市和数据平台。 2. 负责数据模型的规划、架构、开发以及海量数据下的性能调优,复杂业务场景下的需求交付。 3. 参与平台数据治理相关工作,负责数据质量、数据一致性及稳定性保障等建设。 4. 深入业务,与业务团队紧密合作,理解并合理抽象业务需求,发掘数据价值,以数据驱动业务不断发展。 5. 关注行业技术趋势,引入新技术和工具,持续优化大数据处理流程与性能,提升业务的数据处理效率和价值产出。 岗位要求 任职要求: 1. 本科及以上学历,计算机、软件工程、数据分析或相关专业出身,2-5年大数据开发经验。 2. 掌握Java, Python等至少一门语言,熟悉常用数据结构与算法。 3. 熟悉大数据生态技术栈,具备较丰富的Hadoop,Hive,Spark,Flink等开发经验。 4. 精通数据仓库理论体系,对分层设计、维度建模等有深刻的认识和实战经验,熟悉不同建模方法的优劣。 5. 积极主动贴近业务,有良好的沟通协调能力,数据敏感度高,能够快速理解业务模型及数据模型,从业务角度出发分析和解决数据问题。 6. 具备优秀的问题解决能力和团队协作精神,对大数据技术充满兴趣,学习能力和自我驱动力强 7. 有数据中台建设经验优先。有数据分析能力、指标体系搭建或BI相关经验优先。有互联网工作经验优先。 8. 加分项:英文沟通表达、云平台(如阿里云、AWS、Google Cloud)经验。
  • 20k-35k 经验不限 / 本科
    移动互联网,广告营销 / 上市公司 / 2000人以上
    岗位职责:1.参与大数据中心大数据相关(不限)的软件项目需求分析、架构设计、功能研发等;2.负责各主要模块的功能设计和编码实现。 任职资格:1.**本科以上学历,1-5年工作经验,校招不受限;2.熟悉java/jvm, 熟悉java应用开发软件栈;3.熟悉java web服务常见框架,有丰富的web service开发项目经验;4.熟悉linux,有良好的算法和数据结构基础;5.关注性能、有分布式系统或者高并发开发经验者优先;6.熟悉关系型数据库技术,有性能调优的加分;加分项:7.有分布式应用软件(hadoop/kafka/redis等)经验加分。
  • 内容资讯,短视频 / D轮及以上 / 2000人以上
    职位职责: 1、负责抖音电商数据治理工作,包括不限于成本、质量、效率,提升数据易用性、安全性及稳定性; 2、深入理解数据业务,发现并总结数据研发、数据成本、数据质量、数据安全等方面数据问题,提炼数据治理方法论,推动数据治理方法实施; 3、孵化并持续迭代优化数据治理产品,以系统化、智能化能力高效支撑数据业务快速发展。 职位要求: 1、熟练使用SQL、Python、Java等工具进行大型数据分析及建模; 2、熟练使用Hadoop、Hive、Spark、Flink等组件进行大数据场景数据开发; 3、有较强的逻辑分析、沟通及工作推进能力,具备优秀的技术与业务结合能力; 4、对数据治理有一定的实践经验,有良好业务意识,对数据业务场景敏感,能够横向协同、跨团队整合资源,形成完整的方案解决业务/产品的问题; 5、有良好数据治理产品经验者、有实时数据研发经验者优先。
  • 25k-40k·14薪 经验3-5年 / 本科
    移动互联网,广告营销 / 上市公司 / 2000人以上
    岗位职责: 1.负责广告流量反作弊系统的规划&建设,包括但不限于相关数据收集、风控规则&算法挖掘与落地、风险等级建设与报警等; 2.基于业务需求以及日常问题识别,制定业务场景反作弊策略和解决方案,确保各业务场景反作弊效果; 3.探索反作弊场景的算法模式,例如半监督/无监督/自监督/小样本学习/强化学习/对比学习等,并且将之应用到反作弊业务场景中; 4.在流量质量评估的基础上,反哺广告投放、用户增长等业务场景; 任职资格: 1. 熟练使用python、sql、java等语言,工程落地能力强; 2. 有良好的业务sense,熟悉数据分析、数据挖掘,能够自主挖掘有效的反作弊规则; 3. 熟悉反作弊相关机器学习算法,有实际业务落地经验者优先; 4. 熟悉大数据工具Hadoop、Spark、kafka、flink等的使用; 5. 具备良好的理解能力和沟通能力,数据敏感度高,善于将业务问题转化为技术问题。
  • 25k-50k 经验10年以上 / 硕士
    工具类产品,内容社区,音频|视频媒体 / 上市公司 / 2000人以上
    岗位职责: 1.负责腾讯音乐集团相关产品推荐算法的设计实现与优化; 2.负责完善现有推荐系统的基础算法及并行计算框架; 3.负责音乐平台业务的基于用户/音乐特性的数据挖掘及推荐策略设计实现; 4.负责能够根据业务数据变化不断设计并调整算法策略来提升算法质量,并最终提升用户体验。 岗位要求: 1.硕士及以上学历; 2.计算机,统计,信息,数学等相关专业毕业优先; 3.扎实可靠的编程能力,精通C/C++/GO至少一门编程语言; 4.熟悉业内推荐算法及数据挖掘领域的技术热点和进展,对互联网在线音乐的推荐系统架构设计有深入了解; 5.了解Hadoop/Spark生态相关技术优先; 6.具备规模分布式数据存储与计算开发经验者优先; 7.沟通能力佳,表达能力出众者,音乐爱好者优先。
  • 35k-50k 经验不限 / 本科
    内容资讯,短视频 / D轮及以上 / 2000人以上
    职位职责: 1、以生态建设、数据增长及用户体验为导向,协同构建合理的个性化内容电商场景分发策略、优化内容推荐全链路,其中包括内容质量控制、作者管理等; 2、负责使用数据驱动的方法,来规范创作者的短视频和直播电子商务内容生态系统,以及相关整体活动; 3、根据平台特性,规划作者教育方向,制定分阶段的发展重点及运营策略; 4、根据品类、作者等级和成长周期,制定作者管理策略和机制,对作者的行为和成长负责;制定梳理作者激励和惩罚体系规则,为平台生态负责; 5、关注上线产品的运营效果,收集、分析业务侧对产品的反馈建议,共同优化产品逻辑及形态,推动产品持续更新迭代及精细化运营; 6、综合公司内部和外部的舆情资源,确保关于公司、政策、行业等相关重大舆情无遗漏。 职位要求: 1、本科及以上学历,分析、统计、数学、工程等定量领域优先; 2、8年以上工作经验,在在线风险、内容健康与安全、内容运营、信任与安全、互联网安全、生态系统健康或相关领域拥有4年以上实际分析经验; 3、在在线风险、内容健康与安全、内容运营、信任与安全、互联网安全、生态系统健康或相关领域拥有2年以上领导和管理分析团队的经验; 4、在利用数据驱动方法制定、实施和执行在线风险、内容健康与安全政策和战略方面的端到端经验将被优先考虑; 5、积极进取、以行动为导向、以结果为导向,具有强大的批判性思维能力——能够在快节奏、矩阵化和动态的环境中茁壮成长; 6、出色的协调和沟通技巧(口头和书面)——与包括高级领导在内的跨职能利益相关者有效协作; 7、强大的业务、产品和数据解释敏锐度,熟练使用查询和数据分析工具(如SQL、Python);使用最新工具(例如 MapReduce、Hadoop)分析大型数据集的经验将被优先考虑; 8、熟悉电子商务内容生态系统; 9、要求英语流利。
  • 20k-40k·15薪 经验1-3年 / 本科
    社交媒体 / 上市公司 / 2000人以上
    职位描述: 1、构建热点的数据库管理系统,设计方便业务使用的关键状态管理,以及各类属性的实时存储,以及查询服务功能。 2、围绕海量微博UGC文本数据,通过聚合选优,挖掘大众讨论热点。 3、围绕热点,通过数据分析,建设热点内容评估的各项重要特征,包括热度、内容价值、类别,关系特征等 任职要求: 1、扎实的编码能力与算法基础,熟练使用Linux下的python/shell/c++/php中2门以上的语言开发。 2、具有良好的沟通能力和良好的团队合作精神,学习能力强 3、熟悉hadoop、hbase、hive的使用,并了解基本原理。 4、参与过大模型,个性推荐的项目方向,优先选用。 5、工作以业务发展为导向,积极负责。