-
岗位描述: 1.负责大数据平台调度作业的日常监控、维护及协助优化; 2.负责建立大数据开发规范并持续完善,能够对技术风险、技术交付质量进行管控; 3.负责常规需求中底层数据开发及数据服务封装开发; 4.深入理解数据平台架构,发现并协助解决性能屏障; 5.新技术研究和应用,并推动适合的技术应用于生产。 任职要求: 1.本科及以上学历,计算机及软件工程相关专业; 2.2年以上大数据系统开发或运维经验,熟悉hadoop生态圈、CDH大数据平台; 3.熟悉数据规范流程及数据维度模型,精通sql、shell,了解spark、python、scala、flink; 4.具有较强的计算机网络、系统运维专业基础,熟悉掌握常用linux命令; 5.有体系化大数据平台运维工作经验优先考虑。
-
工作内容: 1、负责自如大数据平台组件的运维 2、负责自如一站式大数据开发平台的建设 任职要求: 1、大学本科及以上学历,计算机或相关专业; 2、精通clichouse、hbase运维及封装 3、熟练掌握haoop、atlas、ranger、hive、flink、夜莺监控等大数据组件的运维,对大数据组件具备源码改造能力 4、熟练掌握Java、Python、shell,熟悉springboot; 5、有大数据项目开源社区贡献者优先
-
职责描述: 1、负责公司大数据平台的运维保障工作,保障平台的正常运行和相应数据服务的稳定高效; 2、对接数据开发侧团队,主动优化和完善服务巡检、监控工具、脚本等,减少人工操作提高运维效率;负责数据平台的故障处置、推动性能优化。如平台产品技术问题,提交给平台产品技术组进行后台处理,并及时反馈. 3、负责数据平台二线运维支撑保障,响应运维/服务台一线请求:处置生产事件,跟踪问题处理; 4、定期组织团队人员开展大数据平台的技术知识积累和移交; 5、负责设计日常运维相关的自动化工具或系统,并完成相应需求收集和需求管理 ; 任职要求: 1. 具有1年以上金融行业数据类项目运维经验,熟悉保险业务操作与管理。具有大数据平台相关技术进行数据仓库、数据中台开发、维护、优化等项目经验的人员,或长期在类似的运维项目上承担运维工作优先; 2. 具备较强的数据开发分析能力,熟练掌握SQL等技能,熟练掌握大数据平台、UNIX、LUNIX和中间件的技能。有java或Python开发基础优先; 3. 具备较强的数据分析,问题分析,逻辑思维能力,团队协作能力,有良好的沟通能力和责任感,能够承担工作压力,独立分析和解决问题者优先; 4. 强烈的自驱力和责任感,面对复杂业务问题,可以从业务和技术多角度推进,最终达成目标。
-
岗位职责: 1. 大数据平台组件运维及优化,进行必要的二次开发; 2. 数据湖、数据仓库技术研究及落地; 3. 实时、离线数据产品设计及开发。 任职要求: 1. 本科及以上学历,计算机及相关专业; 2. 3-5年Java/Scala开发经验,熟悉多线程编程; 3. 熟悉大数据生态相关技术,有二次开发经验者优先; 4. 熟悉实时及离线数仓架构及开发流程,有Phoenix/StarRocks使用经验优先; 5. 熟悉常见设计模式,熟悉如Spring/SpringMVC/Mybatis等主流框架; 6. 有较强的学习能力与逻辑思维能力,良好的团队合作精神。
-
岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
-
职责描述: 1.负责大数据平台搭建,运维,管理,故障处理。 2.负责保障大数据平台的高效运转,稳定,安全,能给出集群升级和扩展等方案。 3.能对平台的各个组件,如hadoop, yarn,Kafka,flink,doris,mysql,pg等进行配置优化。 4.负责大数据任务上线和部署,熟悉任务执行常见问题,制定应急方案 任职要求: 1、本科及以上学历,计算机相关专业,5年以上工作经验; 2、熟悉大数据平台,有大数据搭建和运维经验,有AWS EMR平台经验者优先; 4、熟悉Hadoop生态组件,了解底层原理,有配置调优经验,如Hadoop、Yarn,Flink、Kafka等; 5、了解数据分析型SQL语法, 有SQL优化经验者优先; 6、熟练掌握Msql,postgresql,Elasticsearch,doris等数据库的运维工作; 7、有良好的沟通能力,学习能力,书面表达能力,高度自驱。 关键词:需要了解大数据各组件安装、配置、和维护(包括flink / yarn / doris / DolphinScheduler 等 ),有AWS EMR平台经验者优先
-
职位描述 1. 负责公司大数据业务的运行维护与底层优化,保障大数据平台服务的稳定 2. 负责大数据运维平台建设,实现大数据自动化部署系统,监控系统,巡检系统的开发 3. 负责大数据日常问题定位及故障处理 岗位要求: 1. 3年以上大数据业务维护经验。 2. 对大数据平台有比较深入的了解,熟悉一个或多个大数据组件,如:hadoop/hbase/spark/flink/hive/kafka/flume/zookeeper等,并有实际维护经验。 5. 熟悉OLAP组件Clickhouse,StarRocks等,有OLAP平台运维经验者优先。 3. 熟悉python,java,go等任意一门编程语言,能熟练编写shell脚本。 4. 熟悉linux操作系统,熟练掌握各种linux命令。 6. 有良好的沟通能力、团队协作能力。 7. 有大规模hadoop集群运维经验者优先。
-
工作职责: 1. 负责公司大数据业务的运行维护与底层优化,保障大数据平台服务的稳定 2. 负责大数据运维平台建设,实现大数据自动化部署系统,监控系统,巡检系统的开发 3. 负责大数据日常问题定位及故障处理 任职资格: 1. 3年以上大数据业务维护经验。 2. 对大数据平台有比较深入的了解,熟悉一个或多个大数据组件,如:hadoop/hbase/spark/flink/hive/kafka/flume/zookeeper等,并有实际维护经验。 5. 熟悉OLAP组件Clickhouse,StarRocks等,有OLAP平台运维经验者优先。 3. 熟悉python,java,go等任意一门编程语言,能熟练编写shell脚本。 4. 熟悉linux操作系统,熟练掌握各种linux命令。 6. 有良好的沟通能力、团队协作能力。 7. 有大规模hadoop集群运维经验者优先
-
岗位职责: 1、负责大数据相关组件的架构规划、设计、运维、治理,保障平台服务的稳定性及可用性; 2、负责制定和完善大数据全链路风险评估、变更流程、运维规范、应急预案相关SRE体系建设; 3、深入参与大数据基础设施建设及性能优化,问题定位处理,; 4、负责大数据组件性能POC工作,协助解决组件技术问题。 岗位要求: 1、本科以上学历,计算机类、数学类、数据类相关专业,并有三年以上大数据领域工作经验; 2、熟悉java, go, python等至少一种开发语言; 3、深入理解hadoop大数据生态组件(Hadoop、Hive、Spark、Flink),从事过相关组件的架构设计、研发运维、性能调优或迁移工作; 4、有过组件二次开发经验或者AWS云数据仓库使用经验,加分项; 5、了解SRE方法和原则的实际经验,能够设计和执行故障演练和混沌工程,加分项; 6、具备系统化解决问题的能力,有良好的沟通能力,积极主动、自驱力强,有责任心,并且有一定抗压能力;
-
岗位职责: 1. 负责华为大数据产品MRS的日常运维工作,确保系统稳定、高效运行; 2. 负责MRS集群的安装、部署、升级、扩容、故障处理等运维操作; 3. 监控MRS集群性能,发现并解决系统性能瓶颈,优化系统配置; 4. 负责MRS集群的备份、恢复及数据迁移工作; 5. 负责编写、优化和维护MRS运维文档,提高运维工作效率; 6. 协助开发团队进行大数据平台的优化和改进; 7. 参与公司大数据项目的实施,提供技术支持。 任职要求: 1. 本科及以上学历,计算机、网络、通信等相关专业; 2. 具备1-2年华为大数据产品MRS运维经验,熟悉MRS架构及组件; 3. 熟悉Linux操作系统,掌握Shell脚本编程; 4. 熟悉Hadoop、Spark、Hive、HBase等大数据技术栈; 5. 了解网络基础知识,具备一定的网络故障排查能力; 6. 具备良好的沟通和团队协作能力,能承受工作压力; 7. 具备华为大数据认证者优先。
-
职责描述:1.作为运维项目经理,负责和客户进行沟通,完成要求的Hadoop平台搭建,运维,管理,故障处理。2.负责保障大数据平台的高效运转.稳定.安全3.能对平台的Hadoop,Hbae,Kafka,Hive进行优化。4.建立Hadoop集群管理规范.维护,包括版本管理和变更记录等 岗位要求1.了解Hadoop.HBae.Zookeeper.Spark.Flume.Hive等分布式计算框架,并能搭建&维护集群环境;2.有一定的java开发经验和linuxhell开发经验;3.具备责任心和良好的团队协作精神,且具备良好的执行力者优先 4.需要经常去北京出差(约1/3时间) 所需技能: Linux、Shell、项目管理、大数据运维
-
职位职责: 1、负责大数据技术平台的搭建、升级、扩容; 2、负责大数据技术平台日常监控、权限管理、资源管理、数据备份及故障处理,确保系统稳定运行; 3、负责Hadoop/Yarn/Hbase/Hive/Kafka/Spark/Flink等大数据相关组件的底层运维与调优工作; 4、制定大数据运维规范,持续推进运维自动化。 任职要求: 1、本科及以上学历,计算机相关专业,3年及以上大型分布式系统实施和运维相关经验; 2、熟悉 Linux/Unix 系统、网络、硬件等相关知识,精于容量规划、架构设计、性能优化,能够独立解决问题; 3、熟悉Hadoop大数据生态圈,包括但不限于HDFS、YARN、Hive、HBase、Spark、Flink等; 4、精通Shell,Python或Go其中一种语言,熟悉自动化部署工具:Ansible、Saltstack等; 5、对技术有强烈的好奇心,喜欢钻研。
-
岗位职责: 1、负责Hadoop、HBase、Hive、Spark等大数据平台的漏洞修复,安全管控等,确保高可用; 2、负责公司大数据平台的运维管理工作,集群容量规划、扩容及性能优化各类异常和故障,排查安全风险,确保系统平台的稳定运行; 3、对大数据组件和linux系统存在的安全漏洞的进行分析和测试; 4、对平台安全问题进行整改计划的制定和编排; 5、设计实现linux主机和大数据hadoop平台的安全手册; 6、深入研究大数据业务相关安全技术,探索新的大数据安全技及发展方向。 任职要求: 1.***大学本科及以上学历。 2.深入理解linux系统,有扎实的Linux功底,熟悉CentOS、Suse等,有3年以上基于linux平台的系统运维经验; 3.熟悉Hadoop大数据生态圈,包括但不限于HDFS、YARN、Hive、HBase、Spark、Kafka、Flume、presto、alluxio等; 4.熟悉Nginx、kafka、postgres、redis、nacos等中间件产品中的一项或多项; 5.熟悉数据库性能优化、SQL调优,包括但不仅限于MySQL、Redis、Clickhouse等; 6.有开发经验优先,精通一门以上脚本语言(shell/perl/python等),熟练掌握linux常规命令与工具,具有简单的Shell脚本编写能力; 7.拥有Hadoop相关证书者优先考虑,拥有超大规模Hadoop集群维护经验者优先;拥有安全类认证证书者优先; 8.具备基本的系统安全基础; 9.具备良好独立思考,解决问题的能力。
-
职位描述: 1、Hadoop集群运维管理,并且对Hive、impala等组件熟悉并且能够熟练运用; 2、能够独自搭建Hadoop集群; 3、熟悉storm、kafka、spark等热门组件,并且可以对其进行部署和开发; 任职要求: 1、掌握数据库(DB2、Mysql、Oracle)等数据库的原理。 2、能够熟练编写存储过程,并且对SQL非常的熟悉,能够进行sql编写开发及优化 3、有数据库相关工作经验2年左右工作经验 4、了解JavaA、SCALA开发语言,并且熟练使用Linux操作系统,可以熟练编写Linux-shell脚本程序
-
岗位职责: 1、负责AirFlow、ES、Flink、kafka等大数据组件使用过程中出现的问题进行快速分析、定位、排查; 2、为大数据相关业务提供技术支持和可行性方案; 3、为大数据产品从技术角度提供安全稳定高效的运营解决方案; 任职要求: 1、计算机或相关专业本科及以上学历,3年及以上大数据项目架构/运维/开发/调优经验; 2、熟悉linux开发环境,掌握JAVA/GO/Python语言中的一种; 3、熟练掌握大数据常用开源组件的技术原理,有现网的hadoop、kafka、AirFlow、ES、Flink等开源大数据组件运维或开发经验; 4、有ES、hadoop、kafka、spark、flink、AirFlow等开源组件源码优化经验优先。
热门职位