• 20k-40k·15薪 经验5-10年 / 本科
    社交媒体 / 上市公司 / 2000人以上
    职位描述: 1、负责⼤数据平台维护,⽀撑各类数据⽣产、挖掘分析业务⾼效稳定开展; 2、负责⼤数据平台相关的关键技术攻坚,解决平台的疑难杂症; 3、负责⼤数据平台技术的选型,新技术的预研,主流前沿技术的引⼊和落地; 4、负责大数据基础设施和平台的改进,解决大规模生产环境集群可用性和性能优化问题; 职位要求: 1、重点院校计算机或相关专业本科及以上学历,5年以上⼤数据平台相关⼯作经验; 2、熟练掌握Java/Scala开发,熟悉java的IO/并发/容器/内存模型; 3、具备较丰富的⼤数据平台相关建设,维护及调优经验,善于容量规划、架构设计和性能优化; 4、熟悉hadoop⽣态环境技术组件:HDFS/YARN/HBase/Kafka/Hive/Spark/Flink/Kylin/Druid等; 5、深⼊理解上述组件中的两个以上(包括功能和原理),阅读过源码,有过⼆次开发经验者优先; 6、具有良好的逻辑思维和快速解决问题能⼒; 素质要求: 1、良好的沟通能力及团队合作精神,具备高度的责任心; 2、具备极强的技术悟性与学习能力,较强的文档撰写能力; 3、开放的心态和良好的学习能力; 4、踏实靠谱,有良好的自驱力,执行力,具备良好的时间管理及流程管理的意识和能力; 5、基础技术扎实,有较强的数据敏感性;
  • 15k-30k 经验3-5年 / 本科
    企业服务,数据服务 / 上市公司 / 500-2000人
    职位描述: 1、基础组件、基础设施的二次开发、L2支撑、交付; 2、围绕大数据组件服务平台开发,围绕组件进行串联部署、功能组合/抽象,给上层数据开发人员提供组件级平台服务 3、对Hadoop、Hbase、Hive、Flink等组件/系统进行持续研究、开发和交付,满足部署、集成、扩展、监控、高可用等生产需求; 4、根据理论与技术研究、产品对标和相关需求,持续产品规划与迭代; 5、根据现场信息搜集,分析、定位和解决现场问题,承担L3支撑 职位要求: 1、计算机相关专业,本科及以上学历; 2、3年及以上hadoop生态的基础设施开发经验,熟悉国内主流大数据平台; 3、熟练掌握Java,熟悉Linux开发环境及常用工具; 4、以下优先: (1)985/211(必备条件,不符合请勿投递,谢谢) (2)深入阅读过相关组件内核源代码 (3)深入理解分布式资源调度系统技术及原理 (4)深入理解linux系统能够独立排查及解决操作系统层问题 (5)有数据仓库经验者 (6)有运维经历者 (7)有C/C++开发经验 (8)有论文阅读、理论研究爱好与能力
  • 13k-16k 经验3-5年 / 本科
    IT技术服务|咨询 / 上市公司 / 2000人以上
    1.熟悉Hadoop,有过大数据开发经验 2.熟悉大数据开源技术,对Spark,flink,Hive, Hdfs等分布式计算存储引擎有实战经验 3.**本科,双证齐全
  • IT技术服务|咨询 / 上市公司 / 2000人以上
    岗位职责: 1.负责反欺诈系统大数据相关架构的搭建 2.参与集群的部署及搭建,监控与优化 3.参与新技术的调研及预研工作 4.参与当前大数据架构的业务功能开发及优化 技能要求: 1.精通hadoop部署框架及原理,并有落地的部署场景经验 2.熟练掌握flink或者spark之一的应用,并有落地的部署及开发场景经验 3.熟练掌握java开发语言,python脚本或者shell脚本 4.熟练掌握linux的基本知识 5.掌握elasticsearch以及实时数据湖技术的优先
  • 10k-20k·14薪 经验1-3年 / 本科
    移动互联网 / 不需要融资 / 50-150人
    岗位职责: 1、负责公司各产品线服务可靠、稳定、高效运行,提供K8S,Hadoop技术支持。 2、负责运维平台建设 通过技术手段提升工作效率; 3、负责公司各类基础设施监控、自动化、监控体系的持续建设与完善; 4、参与公司各类产品自动化实现,满足严格的质量与效率要求; 岗位要求: 1、***大学本科(计算机专业,获得***书、***书) 2、能熟练编写 Shell或Python脚本,有go/python/shell编程能力者优先 熟悉devops理念 3、熟悉自动化运维工具(saltstack/ansible/Jenkins)的原理及使用,有二次开发经验优先 4、具备kubernetes、docker、HDFS、spark、Hive运维经验者优先。 5、具备一定JAVA/GO开发经验优先。 6、具备良好的学习能力,能够快速掌握一门新的技术。
  • 12k-24k 经验1-3年 / 本科
    其他 / 未融资 / 15-50人
    岗位职责: 1.支持Hadoop集群底座的运维故障分析、解决、性能优化;大数据集相关组件主要包括:Yarn、HDFS、ZooKeeper、Storm、Kafka、Hbase、Hive、Spark、Kerberos、Spark、Flink、Flume、MySQL等组件运维; 2.开展Yarn性能优化,提升集群资源利用率和任务响应速度;队列优化和维护;优化调度器性能; 3.及时关注Apache官方网站、论坛,针对Patch提出升级建议、方案,并组织实施; 4.配合开展HDFS存储、Hive元数据治理优化,建立并完善存储治理方案; 5.配合开展Hive、Spark作业优化,对业务侧提出优化建议。如:作业小文件问题、数据倾斜治理方案等; 6.提出集群优化建设方案,配合建设和优化大规模分布式集群的自动化运维、监控等工具和管理平台。 任职要求: 1.本科及以上学历,通信/计算机等相关专业,具有良好的学习能力、沟通能力、团队合作能力及一定的抗压能力; 2.熟悉Hadoop、Hive、Hbase、Spark等开源项目,理解组件架构及原理; 3.对大数据运维开发有浓厚兴趣,熟悉Apache Hadoop部署、性能调优; 4.能阅读/理解Hadoop等相关开源组件源码; 5.对HQL、SparkSQL等有较深入的研究,能解决实际业务性能问题; 6.熟练掌握LDAP、Kerberos等安全认证体系; 7.熟练掌握Linux命令与工具进行问题定位,熟悉常规的互联网技术架构; 8.具备一定的Java开发能力; 9.擅长Linux Shell、Python脚本编写,有DevOPS/自动化运维经验工作者优先考虑。
  • 8k-10k 经验1-3年 / 本科
    移动互联网,金融 / 不需要融资 / 150-500人
    工作内容: 1.负责hadoop基础技术规划,编制相关规范文档; 2.负责Hadoop数据应用相关的数据存储、查询、计算、元数据管理的架构设计与实现; 3.负责hadoop的实际规划建设,包括环境与框架的规划搭建及部分核心编码工作; 4.负责hadoop相关技术发展方向的预研; 5.独立负责具体功能开发与实现、性能优化,保证系统健壮稳定及临时性数据处理工作的支持; 6.负责数据应用相关的数据存储、查询、计算、元数据管理等方面的架构设计。 岗位要求: 1.1年以上大数据开发经验,熟悉分布式的设计与应用。 2.熟悉hadoop大数据平台框架,包括不限于hadoop、hive、hbase等大数据生态平台组件的部署升级与调优。 3.熟悉hadoop、spark、flink、hbease、es等相关计算机存储框架的底层理论,并能应用至实际开发当中。 4.熟悉至少一款ETL工具,例如kettle、logstash等。 5.熟悉关系型及非关系型数据库的使用及优化,包括但不限于Oracle、PG、hive、clickhouse等。 6.熟悉各类大数据处理组件,sqoop、flume、kafka、azkaban等。 7.根据计划完成模块的编码开发工作,保证开发质量。 8.有良好的沟通能力,积极为项目建设提供建设性意见。 9.本科及以上学历,计算机相关专业,有银行工作、财务会计、管理会计业务经验优先。
  • 11k-15k 经验3-5年 / 大专
    企业服务,软件开发 / 上市公司 / 2000人以上
    1. 熟悉大数据云平台经验,再加Java开发 Java基础扎实,熟练掌握多线程编程,熟悉JVM,以及常规性能优化。 2. 熟悉spring,springboot,springcloud,nacos,mybatis,mybatis-plus等常⻅开源框架。 3. 熟悉redis,RocketMQ等常见中间件。 4. 熟练使用MySQL数据库,良好的数据库设计,SQL编写,索引性能分析能力。 5. 熟练掌握linux系统的使用。 6. 熟练掌握EKL系统的使用。 7. 有良好的逻辑思维能力,沟通能力,有责任心能独立完成需求。 1、本3专4,计算机/互联网/通信相关专业 2.熟悉java开发常用框架组件,能熟练运用到具体项目中 3.配合项目完成研发计划,有独立完成需求的能力
  • 7k-9k 经验不限 / 硕士
    人工智能服务,IT技术服务|咨询,数据服务|咨询 / B轮 / 50-150人
    【岗位职责】 1.协助进行国家重点项目中的ETL、指标计算、数据治理等的研发工作; 2.协助进行数据中台设计和研发,为知识图谱、人物建模、搜索推荐等提供高质量数据,开发灵活可扩展的处理流程以及直观易用的数据界面; 3.协助进行全球多语言技术数据的抓取/补全; 4.协助进行数据正确性/完整性自动化检查; 5.协助进行自动抓取入库流程框架开发; 6.数据统计框架开发; 7.相关数据文档的撰写。 【岗位要求】 1.硕士,计算机/数学相关方向专业,可确保每周3天实习; 2.熟练掌握python编程,了解常用的数据处理库如pandas等; 3.熟悉mysql数据库,能够熟练编写sql语句并优化; 4.有数据清洗、数据处理、数据自动化监测经历者优先; 5.熟悉一种或多种主流开源大数据平台组件者优先,如Flume、Kafka、Hadoop、Hive、Spark、Flink; 6.了解数据分析/挖掘常用方法者优先,如序列分析、关联分析、异常点挖掘、分类、聚类等; 7.有编程竞赛获奖经历者优先,如 ACM、中国大学生程序设计大赛、蓝桥杯、CCF 相关竞赛或 CCF 等级考试相关、PAT 等级考试; 8.良好的团队合作,较强的沟通能力、学习能力,对解决具有挑战性问题充满激情。
  • 18k-30k 经验3-5年 / 本科
    人工智能服务,科技金融 / 不需要融资 / 500-2000人
    岗位职责: (1)负责兴业银行大数据应用服务的研发工作,进行数据服务方案设计、开发及上线后运营维护; (2)根据应用情况和研究情况进行提炼优化,形成稳定可复用的数据服务产品。 岗位要求: (1)精通Python/Scala/Java等至少一种编程语言,能够针对大数据环境进行高效编程; (2)熟练使用Hadoop生态体系中的核心组件,能够进行集群部署、配置和优化;掌握Mapreduce、Spark批处理框架;掌握Storm/Flink/Spark Streaming等至少一个流处理框架,能够实现实时或准实时数据流处理。 工作地点:上海
  • 其他,金融 / 不需要融资 / 2000人以上
    岗位职责: 1. 负责跟进数据平台、计量引擎的规划、实施、监控和交付,确保项目符合IFRS17标准的要求; 2. 根据业务需求设计数据平台架构,确保数据的准确性、完整性和时效性。 3. 与业务团队紧密合作,准确理解和分析IFRS17标准对数据处理和报告的具体要求。 4. 与技术团队和供应商沟通,确保技术方案的实施符合项目要求。 5. 监控项目进度,管理项目预算和资源,处理项目中出现的技术或资源问题。 6. 协调内部和外部资源,监控项目里程碑和关键绩效指标。 7.定期组织项目会议,更新进度,协调解决方案的调整和优化。 任职资格: 1. 本科及以上学历,计算机科学、软件工程、信息技术、金融、保险等相关专业; 2. 至少具有3年以上数据平台搭建或项目管理经验,有在金融或保险行业从事过相关工作的优先; 3. 具备良好的沟通能力和团队合作精神,能够有效协调各方利益,推动项目进展具备较强的学习能力、分析能力和解决问题的能力; 4. 掌握数据库技术,如SQL,以及大数据技术,如Hadoop或Spark。 5. 熟练使用项目管理软件,如Microsoft Project或类似工具; 6. 具有直接或相关的IFRS17项目经验或对计量标准有深入理解者优先; 7. 英语流利,具备出色的听说能力者优先; 8. 持有PMP类似项目管理专业认证者优先。 9.具有精算工作经验者优先。
  • 18k-30k 经验3-5年 / 本科
    科技金融 / 上市公司 / 500-2000人
    【岗位职责】 1. 负责公司大数据平台的部署、组件优化、监控升级、持续对大数据平台进行优化; 2. 负责大数据平台日常运维管理.服务监控、故障处理、集群性能和资源利用率优化,集群常见问题能迅速定位,为开发人员提供技术支持; 3. 负责集群任务治理,任务分析面板开发,推动集群计算资源保持良好状态; 4. 有超过500台以上NM,DN节点以上维护经验,并对存储生命周期管理和任务治理有工作经验的优先。 【任职资格】 1. 3-5年工作经验,计算专业本科及以上学历; 2. 熟悉Linux(redhat/centos)软硬件环境、系统管理和优化,熟练部署各种常用服务; 3.熟悉Hadoop大数据生态圈,包括但不限于;ambari/HDFS/YARN/Hive/Hbase/zookeeper/Spark等; 4. 熟练掌握Hadoop组件的安装部署、升级扩容、以及配置调优; 5. 熟悉shell、python、java语言,并有过编写大数据日常运维工具的经验; 6. 有大数据开发经验和阅读源码或有SQL开发优化能力优先。
  • 9k-15k 经验1-3年 / 本科
    移动互联网 / 不需要融资 / 150-500人
    任职要求: 1.本科及以上学历,计算机或数学相关专业,2年以上大数据平台项目实际开发经验,具备专业的职业素养,热衷技术创新; 2.熟悉主流大数据框架、分布式架构、NoSQL数据库技术等,如Hadoop,Hive,HBase,Flink,Spark,Kafka等; 3.熟悉数据挖掘、可视化分析,各种BI算法和产品等 4.熟悉JAVA/SCALA/C++至少一种,有扎实的开发功底,具备快速的问题定位能力; 5.有完整的企业级数据中台开发经验和分布式系统架构经验,有成熟的工具类数据平台项目经验的优先; 6.工作态度积极认真,能承受较大的工作压力。 岗位职责: 1.负责大数据产品相关平台系统、组件的开发、迭代、日常维护及业务支撑; 2.负责开发过程中的关键技术问题的攻关,提供完善的技术方案; 3.制定数据建模、数据处理、数据运维和数据安全等架构规范并落地实施;梳理数据采集、处理、存储、展现全流程,规范过程文档; 4.业务的数据模型设计,充分理解业务,持续完善和优化已有业务产品的数据收集、挖掘业务数据,提供各类运营BI报表及决策数据; 5.领导交办的相关需求响应处理。
  • 25k-50k·13薪 经验3-5年 / 本科
    电商 / 上市公司 / 2000人以上
    岗位职责: 1. 负责数据库的管控平面的功能开发、平台运维和稳定性保障,为数据库的管控平面负责; 2. 参与包括RDS数据库的智能化管控平台研发及管理,包括数据库生产/释放、变配、账户管理、高可用、容灾、备份、审计、优化等一整套数据库生命周期管控及服务相关系统的研发工作; 3. 参与从用户侧到到后端资源侧,数据链路,控制链路,性能日志采集,审计,检索,分析等一整套分布式系统的研发,提供全球领先的数据库服务; 4. 利用云原生,基于K8S、Docker、云上ECS/神龙、云盘、VPC等云原生技术与数据库技术结合,给用户提供优质体验、高性价比、安全可靠、易用、高性能的云数据库服务。 5. 通过产品化、智能化方式管控阿里云和阿里巴巴经济体的大规模分布式实例集群,并支撑集团业务需求,为双十一等大促场景提供稳定,顺滑的体验。 能力要求: 1. 至少熟悉Java/Python/Go语言的一种或多种,理解该语言涉及的基础框架,对于使用过的框架能够了解其原理和机制; 2. 熟悉linux内核基本原理,常用工具和命令,较好的诊断调优技能; 3. 熟练掌握多线程等高并发系统编程和优化技能;熟悉分布式系统的设计和应用,熟悉分布式、缓存、消息等机制;能对分布式常用技术进行合理应用,解决问题; 4. 快速学习能力,较强的团队沟通和协作能力,较强的自我驱动能力; 5. 【加分】熟悉Kubernetes/OpenStack/CloudFoundry等开源云平台,熟悉Docker容器技术,熟悉Hadoop/Spark/Storm等数据分析平台,具有丰富经验或者深入研究过源码的优先; 6. 【加分】熟悉MySQL/SQLServer/PG等关系型数据库,熟悉RDS等开源数据库、队列产品,并了解其原理或有运维经验的优先; 7. 【加分】有大规模互联网产品研发经验,有云厂商IaaS或者PaaS产品开发或管控经验的优先; 8. 【加分】通过阿里云数据库ACA或ACP认证者优先考虑。
  • 8k-14k·13薪 经验1-3年 / 本科
    金融,数据服务 / 不需要融资 / 2000人以上
    岗位职责 1、负责相关服务器系统维护及管理; 2、负责ELK系统的运维,包括配置相关日志传输规则,解决日常在ELK运维过程中出现的故障,保持ELK系统的运行稳定; 3、负责制定和实施ELK日志和数据的备份工作,负责制定和实施ELK相关的监控指标,并且能从指标中发现性能问题所在,进行性能调优。能够对当前架构中存在的问题进行预判和调整; 4、负责ELK相关的安全问题,能够对当前的ELK相关的安全漏洞进行修复; 任职要求: 1、本科及以上学历,计算机相关专业毕业,3年以上相关工作经验; 2、有一定的Python或Shell开发能力,有一定的运维自动化的开发技能,能使用ansible进行批量化操作; 3、掌握Linux操作系统的配置、管理、优化以及各种常用命令,了解JVM GC机制,能够独立排查及解决操作系统层的各类问题; 4、熟练掌握Elasticsearch、Logstash、Kibana、Kafka、Zookeeper、Filebeat技能,熟悉ELK相关的性能监控组件,熟悉监控指标,了解指标的含义; 5、熟悉大数据日志平台的接入和流转流程;熟悉大数据框架,如:Hadoop、HBase、Hive、ClickHouse等; 6、精通正则表达式,对安全设备日志、主机日志、应用系统日志解析有丰富经验.