-
职位职责: 1、保障全公司包括抖音、国际化短视频、广告等业务的数据稳定性,提升数据平台服务产品质量,保障业务的持续可用; 2、基于运维经验、工具、平台对线上事故快速响应提升处理效率,同时优化运维体系,推动提升服务可靠性、可扩展性,保障系统SLA,同时推进运维自动化提效; 3、通过持续的全方位运营,包括运维规范及最佳实践、监控及可用性指标、历史事故等,为数据高可用架构设计和选型提供指导,同时能够系统性排查架构风险隐患,推进改进项落地; 4、参与大数据运维平台的研发、自动化建设与持续迭代,引导产品的运维模式向数字化,智能化方向发展演进。 职位要求: 1、计算机相关专业,本科及以上学历; 2、3年及以上SRE运维经验,熟悉运维体系建设与稳定性保障; 3、熟悉Linux、网络等系统运维技能,具备运维问题分析、应急解决以及性能调优等能力; 4、熟悉至少一门编程语言,包括但不限于:Shell、Python、Java、Scala、PHP、Go等; 5、具备良好的沟通表达、团队协作以及自驱能力,促进跨团队的合作; 6、有大数据稳定性问题排查经验,具备清晰排查思路,具备快速定位问题能力加分。
-
职位职责: 1、负责国际化电商业务的大数据项目整体架构规划; 2、负责指导工程师进行技术验证与实现,核心技术问题的攻关,解决项目开发过程中的技术难题; 3、负责项目对外技术沟通,具有较强的沟通,表达和文案能力; 4、根据公司项目和业务发展特点,负责研究相关大数据前沿技术。 职位要求: 1、熟练使用Hadoop及Hive,熟悉SQL、Java、Python等编程语言; 2、有超PB级别大数据处理实战经验,熟悉整个大数据的完整处理流程,优秀的问题解决能力; 3、善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力; 4、6年以上数据仓库或大数据开发,丰富的实时或者离线数据体系建设经验。
-
岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
-
岗位描述: 1.负责大数据平台调度作业的日常监控、维护及协助优化; 2.负责建立大数据开发规范并持续完善,能够对技术风险、技术交付质量进行管控; 3.负责常规需求中底层数据开发及数据服务封装开发; 4.深入理解数据平台架构,发现并协助解决性能屏障; 5.新技术研究和应用,并推动适合的技术应用于生产。 任职要求: 1.本科及以上学历,计算机及软件工程相关专业; 2.2年以上大数据系统开发或运维经验,熟悉hadoop生态圈、CDH大数据平台; 3.熟悉数据规范流程及数据维度模型,精通sql、shell,了解spark、python、scala、flink; 4.具有较强的计算机网络、系统运维专业基础,熟悉掌握常用linux命令; 5.有体系化大数据平台运维工作经验优先考虑。
-
(此岗位需要在南京或者深圳办公) 岗位职责: 1.大数据新技术规划、调研、选型及推广落地。 2.负责大数据组件内核开发优化,推进组件容器化,进行组件二次开发与适配等工作。 3.日常负责大数据框架组件的性能优化,稳定性保障,异常监控及线上问题对接解决。 4.参与平台功能研发,提供业务系统化的解决方案。 任职标准: 1.至少6年以上相关经验,有扎实的计算机编程基础,精通java/scala,熟悉jvm的原理和调优。 2.精通spark/hive/flink组件原理和内核优化,有超大规模数据计算的架构设计和优化经验。 3.掌握大数据行业趋势,熟悉Kubernetes/Docker,有组件容器化相关经验。 4.具备较强的问题解决能力,能独立分析和攻坚复杂的技术难题。 5.有公有云使用经验者优先。 6.有良好的服务意识、沟通能力和团队协作精神。
-
工作职责: 1、负责支持日常数据采集和管理需求,包括业务条线数据对接、加工、整合和集中管理; 2、负责开发模块的开发工作,测试工作与数据核对工作; 3、负责数据仓库设计及相关工作; 4、完成领导安排的其他工作。 任职资格: 1、本科以上学历; 2、3年以上数据库设计和开发经验,有Oracle、其他大型数据库的开发经验,能编写性能良好的SQL; 3、熟悉SmartBI等工具,具备数据仓库技术、Hive/SparkSql/Kylin/doris等数据库开发经验; 4、具备高度责任心和积极工作态度,良好的沟通能力和团队合作精神,较强的分析问题和解决问题能力; 5、具有保险行业经验者、懂理赔业务流程者优先安排面试;
-
岗位职责: 公司业务为面向工业企业的数据智能方向。本岗位需要数据工程背景,主要方向为元数据治理和数据架构方向。工作内容兼顾 toB 项目实施与软件产品研发。 1. AI 时代下的元数据治理体系建设,包括: - 元数据治理体系的设计和实施验证 - 元数据治理产品开发,与数据分析产品线的集成 2. 作为技术负责人,亲自参与核心客户项目的交付和技术验证工作,包括: - 项目技术方案设计 - 项目交付与实施 - 客户沟通与技术支持 3. 数据架构设计与数据工程开发,包括: - 根据客户现状和需求设计合理的数据架构 - 数据工程开发,包括数据治理与 ETL 任务开发 - 数据质量监控和运维 岗位要求 1.理工科本科及以上学历,3 年以上数据工程/数据架构相关经验。 2.精通 SQL、Spark 等主流 ETL 工具链的使用。 3.精通 golang、python、scala 软件研发常用技术栈。 4.深入理解元数据治理体系与技术。 5.有元数据治理项目/产品研发经验优先。 6.有工业企业数据智能业务经验优先。
-
职责描述: 1、负责公司大数据平台的运维保障工作,保障平台的正常运行和相应数据服务的稳定高效; 2、对接数据开发侧团队,主动优化和完善服务巡检、监控工具、脚本等,减少人工操作提高运维效率;负责数据平台的故障处置、推动性能优化。如平台产品技术问题,提交给平台产品技术组进行后台处理,并及时反馈. 3、负责数据平台二线运维支撑保障,响应运维/服务台一线请求:处置生产事件,跟踪问题处理; 4、定期组织团队人员开展大数据平台的技术知识积累和移交; 5、负责设计日常运维相关的自动化工具或系统,并完成相应需求收集和需求管理 ; 任职要求: 1. 具有1年以上金融行业数据类项目运维经验,熟悉保险业务操作与管理。具有大数据平台相关技术进行数据仓库、数据中台开发、维护、优化等项目经验的人员,或长期在类似的运维项目上承担运维工作优先; 2. 具备较强的数据开发分析能力,熟练掌握SQL等技能,熟练掌握大数据平台、UNIX、LUNIX和中间件的技能。有java或Python开发基础优先; 3. 具备较强的数据分析,问题分析,逻辑思维能力,团队协作能力,有良好的沟通能力和责任感,能够承担工作压力,独立分析和解决问题者优先; 4. 强烈的自驱力和责任感,面对复杂业务问题,可以从业务和技术多角度推进,最终达成目标。
-
技能要求: Hive,Hadoop,Spark,kafka,Python,数据架构 技能要求: 数据分析,Web安全,数据处理,Hive 岗位职责: 1.负责基于Hadoop/Spark/Hbase/Kafka等平台的批量处理和实时计算开发; 2.负责公司大数据平台数据模型的设计及开发,包括数据需求的沟通、离线/实时模型设计与开发、质量管理监控等工作; 3.负责大数据数据中台开发。负责大数据端与web端的对接; 4.负责对接各事业部及其他团队相关技术规划及管理工作。 任职资格: 1.本科及以上学历,计算机及相关理工科专业; 2.5年及以上相关工作经验,具有扎实的数据结构与算法的理论知识; 3.熟练使用shell、perl、 python、Java、C、C++等至少2门脚本语言; 4.了解Hadoop、Hbase、 Kafka、 Hive、 Spark、 ES、 Storm等组件的工作原理; 5.近3年从事 大数据研发、大数据处理技术架构、数据中心性能评估设计研究等相关岗位; 6.有较强的自学能力、钻研精神和动手能力,具有良好的逻辑思维能力、沟通能力和团队协作能力,做事认真、踏实、负责; 7.有团队管理及人员培养经验优先。
-
岗位职责: 1.支持Hadoop集群底座的运维故障分析、解决、性能优化;大数据集相关组件主要包括:Yarn、HDFS、ZooKeeper、Storm、Kafka、Hbase、Hive、Spark、Kerberos、Spark、Flink、Flume、MySQL等组件运维; 2.开发数据采集、清洗、分析、挖掘及可视化功能,需熟悉ES、milvus、pgsql等。 3.熟悉国产数据库,包括doris等; 4.配合开展HDFS存储、Hive元数据治理优化,建立并完善存储治理方案; 5.配合开展Hive、Spark作业优化,对业务侧提出优化建议。如:作业小文件问题、数据倾斜治理方案等; 6.提出集群优化建设方案,配合建设和优化大规模分布式集群的自动化运维、监控等工具和管理平台。 任职要求: 1.***本科及以上学历,通信/计算机等相关专业,具有良好的学习能力、沟通能力、团队合作能力及一定的抗压能力; 2.熟悉Hadoop、Hive、Hbase、Spark等开源项目,理解组件架构及原理; 3.对大数据运维开发有浓厚兴趣,熟悉Apache Hadoop部署、性能调优; 4.能阅读/理解Hadoop等相关开源组件源码; 5.对HQL、SparkSQL等有较深入的研究,能解决实际业务性能问题; 6.熟练掌握LDAP、Kerberos等安全认证体系; 7.熟练掌握Linux命令与工具进行问题定位,熟悉常规的互联网技术架构; 8.具备一定的Java开发能力; 9.有信控平台开发经验者优先录取。
-
我司在招聘大数据工程师的同时也在招聘Java工程师 技能要求: Linux,网络安全,数据库开发 岗位职责: 1. 构建基于网络信息安全的大数据平台,支持数据采集、处理、分析、监控和可视化全过程。 2. 解决数据规模增长带来的技术、异地存储检索和复杂的业务问题。 3. 参与项目的需求分析和设计工作,并完成相关技术文档的编写。 4. 协助项目负责人解决项目中的技术难题; 任职要求: 1. 本科及以上学历,计算机相关专业,5年以上开发经验,2年及以上大数据从业经验。 2. 熟悉分布式编程,精通JAVA语言程序设计,具有良好的架构规划能力。 3. 熟悉Hadoop/Hive/Spark/Storm/Flink/Kafka/等技术,具备实际项目设计及开发经验。 4. 精通SQL,熟悉Mysql/Oracle处理机制及应用场景;熟悉NOSQL,如Redis、Hbase、MongoDB等 5. 有Druid、Clickhouse 或Kylin使用及性能优化经验者优先。 6. linux操作系统操作熟练,有能力进行复杂脚本(shell/PYTHON等)编程。 7. 工作态度端正,对技术充满热情具有钻研精神,有良好的问题分析和追踪能力,团队合作意识较好。 具有以下条件者优先考虑: 1)有Kubernetes/docker/Etcd 等容器技术使用者。 2)有网络信息安全从业经验者。
-
岗位职责: 1.支持Hadoop集群底座的运维故障分析、解决、性能优化;大数据集相关组件主要包括:Yarn、HDFS、ZooKeeper、Storm、Kafka、Hbase、Hive、Spark、Kerberos、Spark、Flink、Flume、MySQL等组件运维; 2.开发数据采集、清洗、分析、挖掘及可视化功能,需熟悉ES、milvus、pgsql等。 3.熟悉国产数据库,包括doris等; 4.配合开展HDFS存储、Hive元数据治理优化,建立并完善存储治理方案; 5.配合开展Hive、Spark作业优化,对业务侧提出优化建议。如:作业小文件问题、数据倾斜治理方案等; 6.提出集群优化建设方案,配合建设和优化大规模分布式集群的自动化运维、监控等工具和管理平台。 任职要求: 1.本科及以上学历,通信/计算机等相关专业,具有良好的学习能力、沟通能力、团队合作能力及一定的抗压能力; 2.熟悉Hadoop、Hive、Hbase、Spark等开源项目,理解组件架构及原理; 3.对大数据运维开发有浓厚兴趣,熟悉Apache Hadoop部署、性能调优; 4.能阅读/理解Hadoop等相关开源组件源码; 5.对HQL、SparkSQL等有较深入的研究,能解决实际业务性能问题; 6.熟练掌握LDAP、Kerberos等安全认证体系; 7.熟练掌握Linux命令与工具进行问题定位,熟悉常规的互联网技术架构; 8.具备一定的Java开发能力; 9.有信控平台开发经验者优先录取。
-
京东集团2025年数据开发工程师高薪招聘 【岗位职责】 千亿级数据处理系统开发 设计实时/批量处理架构,支撑京东市场营销、用户增长等业务在站外广告投放场景下的千亿级数据处理,支撑业务报表和算法模型的特征样本生产 百亿级报表引擎研发 构建高效数据仓库与实时分析平台,实现百亿级数据秒级查询与可视化 大模型智能体应用 开发AI驱动的问题发现/诊断工具,探索大模型在智能分析场景的落地 【任职资格】 硬性要求 · 计算机相关专业本科及以上学历 · 精通Java/Scala,具备良好的数据结构和算法基础 · 3年以上大数据开发经验,掌握Hadoop/Spark/Flink/Kafka/Redis/Hudi/Iceberg/ClickHouse/Doris等技术栈 · 具有较好的沟通能力、学习能力和团队合作精神,乐于挑战自我,有进取心和求知欲。 加分项 · 有搜推广数据系统、大模型应用开发经验者优先 【工作地点】 北京通州区京东总部 京东集团:以技术驱动零售变革,期待你的加入!
-
工作职责: 1.大数据类岗位包括数据产品经理方向、数据分析方向、大数据开发方向等 2.数据产品经理主要负责数据产品的设计、开发和优化,实施数据产品策略和规划; 3.数据分析主要负责完成相关编程操作,落地相关模型与算法;负责日常数据统计分析,异常数据的跟踪和深入分析,建设业务分析模型,评估业务流程,监控业务质量、效率和风险。 4.大数据开发相关岗位主要负责大数据服务应用平台建设,数据仓库建设。负责互联网保险业务中与算法相关的设计、开发和优化工作。 任职资格: 1.本科及以上学历,计算机/软件工程/电子信息、保险、金融、精算、数学、统计、经济学等相关专业优先; 2.具备良好的数学和统计知识,具备较强的数据分析能力,精通SQL,熟练掌握数据报表处理工具; 熟悉常见的数据处理、分析和可视化工具等; 3.具备良好的沟通能力、团队协同能力,责任感、主动性强,积极推动问题的解决。
-
急招职位描述 1、负责公司数万节点大数据集群的各项运维管理工作,保障集群服务的高可用性运行; 2、负责超大规模集群服务运维管理平台的设计与研发工作,保障集群服务版本高速迭代以及变更的风险控制; 3、负责集群服务的监控报警体系规划与产品研发迭代,推进监控报警有效性与智能化; 4、负责集群服务容量规划、服务管理与治理规划与产品研发迭代工作。 任职要求 1、大学本科及以上学历,计算机或者相关专业 2、熟悉Hadoop生态圈各组件基本原理以及使用(包括但不限于Hdfs、Yarn、Hbase、Kafka、Hive、Clickhouse); 3、具备扎实的编程能力,掌握至少一种脚本语言(Shell、Perl、Python等),熟悉Java等开发语言者优先,熟悉常用算法和数据结构; 4、Linux操作系统基础扎实,对操作系统原理有一定了解; 5、具有良好的抗压能力,较强的故障分析排查能力,有很好的技术敏感度和风险识别能力。 符合以下条件优先: 1、有大规模大数据服务集群(包括但不限于Hdfs、Yarn、Hbase、Kafka、Hive、Clickhouse)维护经验,对运维体系建设有自己的见解;


