-
岗位职责: 1.负责公司大数据集群组件的运维工作,确保高可用与稳定性;大数据集群的日常维护,包括节点的规划、部署、监控、权限管理及问题处理 2.负责集群容量规划、扩容及版本升级;大数据集群的性能分析和优化调整 3.负责大数据运维文档的编写,运维操作规范和方案制定等 任职要求: 1.3年以上大数据平台相关经验 2.熟练掌握大数据产品生态圈常用组件的技术原理,包括但不限于hdfs,yarn,kafka,hive,flink,spark等 3.具备扎实的编程功底,最好熟悉一门编程语言(如:python,shell,java) 4.熟悉CDH生态组件的部署与trouble shooting 5.具有PB规模数据处理以及百台节点以上机器运维经验者优先 6.具备较强的上进心以及抗压能力,有良好的团队沟通合作意识
-
岗位职责: 1、负责云服务器资源分配、环境搭建、网络规划等工作。 2、大数据相关组件的安装、集群部署、性能调优 3、服务器资源监控、应用监控与预警。 4、快速响应报警信息,快速处理和分析故障原因 任职资格: 1、计算机相关专业,2年以上大数据运维相关经验。 2、熟悉HADOOP生态,具有CLICKHOUSE、CDH、HDFS、YARN、HIVE、Hbase、Kafka、Spark等大数据系统的部署运维经验; 3. 熟悉linux操作系统,熟悉基本的操作命令,精通Shell、Python等至少一种脚本语言,能熟练脚本来完成日常系统运维等工作; 4. 熟练业界主流技术架构,Nginx、Tomcat、MySQL、Redis、微服务架构等; 5. 对网络及服务器有一定了解; 6. 有系统故障排查和解决经验,突出的分析和解决问题能力;
-
职位职责 1. 负责大数据平台的部署、维护、管理、优化、规划工作; 2. 处理大数据平台出现的各种故障和异常,与研发沟通解决问题; 3. 参与大数据集群的架构优化与演进,持续关注业界新兴技术。 职位要求 1. 大学本科及以上学历,一年及以上大型系统实施和运维相关经验; 2. 深入理解Linux系统、硬件、网络等相关知识,熟悉脚本编写; 3. 熟悉Hadoop生态圈相关技术,包括但不限于HDFS、HBase、Spark、Flink、Yarn等; 4. 熟悉容器化技术与云平台; 5. 具有良好的学习能力、分析和解决问题能力,具有良好的团队精神。
-
岗位职责: 1、负责公司大数据平台的部署、管理、优化、监控报警。持续对大数据平台进行优化; 2、负责大数据平台日常运维管理、服务监控、故障处理、集群性能和资源利用率优化,集群常见问题能迅速定位,为开发人员提供技术支持; 3、负责大数据平台服务器配置选型、集群网络优化等相关工作; 4、深入理解公司大数据平台架构,发现并解决性能瓶颈,支撑业务和数据量的快速增长; 5、建设大数据运维监控告警体系,完善和落地告警指标和巡检; 6、有超过500台以上NM,DN节点以上维护经验,并对存储生命周期管理和任务治理及分析有工作经验。 任职资格: 1、熟悉Linux(redhat/centos)软硬件环境、系统管理和优化,熟练部署、优化各种常用服务; 2、熟悉Hadoop大数据生态圈,包括但不限于CDH/HDFS/YARN/Hive/Hbase/zookeeper/Spark等; 3、熟练掌握Hadoop组件的安装部署、升级扩容、性能监控以及配置调优; 4、熟悉shell、python、java语言,并有过编写大数据日常运维工具的经验; 5、有大数据监控体系落地、存储和任务治理工作等有较深经验优先考虑; 6、有大数据开发经验和阅读源码能力者优先。
-
"岗位职责: 1、负责部署和维护内部大数据系统,如:Hadoop、EleasticSearch、ClickHouse等; 2、负责日志系统的维护和优化; 3、负责大数据分析平台的规划与设计工作; 4、负责大数据相关开发工作,如数据处理、数仓设计等工作; 5、负责进行数据抽取、清洗、数据接口服务等; 6、深入理解大数据平台架构、发现并解决重大故障及性能瓶颈,打造一流的大数据平台; 任职要求: 1、本科以上学历,计算机或相关专业; 2、3年以上大数据平台的运维相关经验,精于容量规划、架构设计、性能优化。 3、具备一定的开发能力,精通一门以上脚语言(Shell/Perl/Python等),有Java 和 Scala 基础尤佳。 4、对Hadoop原理有深刻认识,具备相关产品(MapReduce、HDFS、Hbase、Spark、Flume、Zookeeper、ES、Kafka)的应用经验,具备底层Hadoop集群实际搭建及运维经验。 5、精通Hadoop、Spark等相关生态圈系统的搭建、管理、配置优化。 6、良好中文沟通能力。
-
工作职责: 1、负责团队大数据平台dataworks、Hadoop、datahub、MC等集群的运维保障及权限管理; 2、负责阿里云大数据相关产品的运维; 3、参与业务系统的性能调优、问题定位、业务监控等工作; 4、负责大数据模块的应用发布,资源管理,权限管理; 5、协助数据中台项目组业务开展。 任职资格: 1、**本科及以上学历,计算机相关专业,3年以上运维工作经验; 2、熟悉Linux操作系统及shell脚本,网络、存储、安全等计算机相关体系知识; 3、理解大数据平台,熟悉Hadoop、Spark、Hive、hologress、dataworks等技术者优先; 4、了解维护过阿里云、专有云等云产品,了解对应的功能,知识点和应用场景; 5、良好的沟通能力和责任感,能够承担工作压力、独立开展工作。
-
大数据运维工程师(J10667)
[南京·秦淮区] 19:01发布15k-30k·13薪 经验1-3年 / 本科IT技术服务|咨询,软件服务|咨询 / 不需要融资 / 2000人以上工作职责: 主要工作职责+++++++ 1、负责雁飞智连平台(CMP)的日常巡检维护、平台健康程度分析、告警处理,及时发现系统问题,并进行通报以及生产现网投诉工单查证处理工作; 2、负责持续完善系统运维监控系统,参与监控系统的持续开发; 3、负责重大活动值班保障、系统临时扩容、环境安装、版本升级部署及维护工作; 4、负责平台紧急故障定位分析及快速恢复; 5、负责制定各类故障处理预案并持续更新; 6、运维文档的建立、维护、更新; 任职资格: 岗位资格条件+++++ (一)必要条件:*必填 工作经验:+具备2年以上大数据平台的运维经验 学历要求:+本科及以上 年龄要求:32周岁以内 专业知识及能力要求: 1、负责公司大数据平台的搭建、运维、性能优化、监控报警、故障处理,保障平台的稳定可用。 2、熟悉Hadoop生态圈,掌握Hadoop、Hive、Hbase、Spark、ES、Kudu的原理,部署,维护和调优,有过CDH或者Ambari运维优先。 3、掌握Linux环境的配置和优化,至少掌握java/shell/python语言的一种。 4、熟悉Mysql、Redis数据库运维优先。 5、具有独立的故障排查能力和深入分析解决问题能力。 6、工作态度积极,工作作风踏实,重视流程规范,良好的沟通能力和团队合作精神。(二)可选条件: 有以下技能者优先考虑: 1、有大数据相关认证 2、有数据库相关证书 -
职位职责: 1、大数据产品标杆行业客户POC,典型场景或解决方案沉淀,确保重点合作项目的拆解和落地,推进项目实施以及解决方案可复制; 2、根据大数据产品整体业务目标,对合作伙伴进行技术赋能,联合解决方案适配,业务合作拓展、招募及管理; 3、根据合作伙伴类型、擅长行业和能力,制定相应的大数据产品销售能力、使用能力、开发和交付等伙伴赋能计划; 4、整合外部生态伙伴及内部相关上下游团队,形成生态联盟合作,制定合作业务目标、业务落地策略,推动合作业务结果达成; 5、负责构建可以市场化的大数据产品联合方案,明确双方的组织保障,解决方案规划,激励策略和联合市场营销方案,保证合作有效落地。 职位要求: 1、对大数据应用开发有一定经验或者对大数据业务有一定理解,熟悉常规大数据产品及应用场景; 2、熟悉云计算,大数据及AI产品;学习能力强,可以快速上手; 3、具有大数据产品解决方案联调和适配的经验,能够沉淀与生态伙伴的联合行业大数据解决方案; 4、具有POC和现场调试、部署交付大数据产品的动手能力和经验; 5、具备一定的商业模式构建能力和组织协调能力,能够快速发掘和响应市场需求; 6、良好的环境适应能力和执行力,在大压力下保持工作激情,善于沟通,有较强的的跨团队协作能力。
-
工作职责 1、负责大数据平台各组件以及监控服务部署; 2、负责大数据平台集群容量规划、资源规划、扩缩容、监控预警、性能优化、运维规范落地等运维管理工作; 3、设计实现大规模分布式集群运维、监控和管理平台,趋向“智能化”,整体提升运维效率; 4、为数据开发人员提供技术支持,如集群环境、大数据各组件使用性能问题等; 5、研究大数据前沿技术,协助大数据平台技术选型升级,以支撑业务和数据的快速增长。 任职资格 1、本科及以上学历,计算机相关专业,4年及以上大数据平台运维经验;2年及以上CDH产品部署运维经验; 2、掌握Hadoop生态圈HDFS、Sqoop、Hive、Hbase、Yarn、Zookeeper、Canal/Maxwell、Kafka、Spark/Flink、Impala/Presto等各组件产品的部署、升级扩容、性能监控、配置优化的能力; 3、精通Hbase、Kafka、Flink的性能监控、排查、优化(重点考核); 4、掌握Linux常用服务部署;熟悉分布式平台运行原理; 5、至少掌握Shell/Python其中一种脚本语言; 6、熟悉Java开发; 7、有Grafana、Azkaban、Jenkins、Git等开源产品的使用经验者优先。
-
职位职责: 1、负责在工作现场进行软件的安装部署、配置和调试等工作; 2、负责对客户的使用、操作以及维护等相关培训、进行项目验收等工作; 3、 负责软件系统的维护工作、解决系统使用中客户碰到的问题; 4、负责公司产品实施阶段的测试及产品 BUG 的提交,与研发沟通解决相关问题; 5、收集与分析客户需求,并定期为客户进行系统巡检。 职位要求: 1、 具有两年以上大型 IT 系统实施和运维相关经验; 2、 熟悉 Linux/Unix 系统、网络、硬件等相关知识,具有很强的 Troubleshooting 能力; 3、能够完成 Hadoop、Nginx、Redis、MySQL等开源系统的部署; 4、 至少使用过一种自动化部署工具:Ansible、Saltstack、Chef、Puppet、Terraform 等; 5、 至少熟悉一种脚本语言:Shell、Python 等; 6、 对云平台有一定的了解,有 Aliyun/AWS 等使用经验者优先; 7、熟悉 Docker、K8S/Istio 等容器技术和工具者优先; 8、具有良好的沟通、组织与协调的能力,有一定的抗压能力,能够接受出差。
-
岗位职责: 1.负责研发大数据平台和数据治理工具; 2.负责进行大数据产品的离线与实时计算; 3.负责数据平台的大数据基础架构规划、运维保障、数据监控等,为海量数据和业务系统提供可靠的基础设施; 4.参与大数据生态相关技术的前瞻性研究和调研落地,持续扩充大数据能力,优化大数据服务的性能和效率 。 岗位要求: 1.熟练进行Java的代码编写,良好的代码编写素养,良好的数据结构算法技能; 2.熟悉Java/Python/Shell等语言,具备良好的编程能力,具备源码级问题解决和集群优化改造能力; 3.有数据平台开发经验,包括但不限于离线开发平台、数据质量中心、元数据管理、数据权限管理、数据资产管理,实时流平台等; 4.熟悉开源大数据组件如Hadoop,Spark,Flink,Hive,Kafka, Elasticsearch, Clickhouse, Dolphinscheduler等,有实际的报表平台、多维度分析工具、ETL平台、调度平台中至少一种工具的实际建设经验;
-
职位描述: - 数据平台建设与维护; - 数据平台部署与管理工具建设; - 数据平台日常故障处理; - 数据安全保障。 职位要求: - 熟悉主流开源数据组件,包括HDFS、YARN、Hive、Spark、Flink、Airflow、Flume、Presto、Kyuubi、ZK、Kafka等; - 至少使用过一种自动化部署工具:Ansible、Saltstack等; - 深入理解操作系统、计算机网络; - 至少了解一门语言(Python/Golang/Java等); - 良好的沟通能力以及较强责任心; - 深入理解Hadoop各组件的原理和实现,熟悉源码者优先; - 有身份认证、权限控制相关工作经验者优先, 如: LDAP、Kerberos、Sentry、Ranger等; - 有公有云(AWS, 腾讯云)管理和使用经验者优先; - 有大数据运维平台开发经验者更佳。
-
工作职责: 1、负责公司项目核心集群的运维工作,保证其高可用和稳定性; 2、负责集群容量规划、扩容及集群性能优化方案的设计; 3、负责大数据应用上线和数据安全相关工作的安排和规划; 4、负责设计实现分布式集群的运维、监控和管理平台; 5、确保部门与公司其它各部门的良好沟通渠道,确保与各部门的良好协作关系。 任职资格: 1. 本科以上学历,3-5年互联网运维经验.有数据平台运维经验优先; 2. 熟练掌握SQL语句 ,熟悉Impala和Hive的SQL性能优化; 3. 精通Hadoop,Hbase,Spark,Kudu,Kafka,ELK等大数据技术和解决方案; 4. 熟悉LINUX操作系统常用指令,熟悉Cloudera Hadoop的管理和维护尤佳; 5. 熟悉Java开发语言,熟悉Shell,Python至少一种脚本语言; 6. 熟悉项目管理,沟通能力强,有维护过甲方项目的经验优先; 7. 熟悉aws/腾讯云/华为云/阿里云/谷歌云中至少2种,并能对其熟练操作; 8. 具备良好的分析、解决复杂问题的能力; 9. 具备良好的职业素养、推动&协作能力; 10. 具备良好团队协作精神,工作积极主动,坚持持续学习。 工作地址
-
岗位职责: 1、负责部署和维护内部大数据系统,如:Hadoop、EleasticSearch、ClickHouse等; 2、负责日志系统的维护和优化; 3、负责大数据分析平台的规划与设计工作; 4、负责大数据相关开发工作,如数据处理、数仓设计等工作; 5、负责进行数据抽取、清洗、数据接口服务等; 6、深入理解大数据平台架构、发现并解决重大故障及性能瓶颈,打造一流的大数据平台; 任职要求: 1、本科以上学历,计算机或相关专业; 2、3年以上大数据平台的运维相关经验,精于容量规划、架构设计、性能优化。 3、具备一定的开发能力,精通一门以上脚语言(Shell/Perl/Python等),有Java 和 Scala 基础尤佳。 4、对Hadoop原理有深刻认识,具备相关产品(MapReduce、HDFS、Hbase、Spark、Flume、Zookeeper、ES、Kafka)的应用经验,具备底层Hadoop集群实际搭建及运维经验。 5、精通Hadoop、Spark等相关生态圈系统的搭建、管理、配置优化。 6、良好中文沟通能力。 7、拥有英语或日语能力尤佳。
-
职位描述: 1、管理公司大数据集群,提供高可用、高性能大数据集群系统,并保障系统稳定运行。 2、负责大数据集群各服务自动化运维与监控工具,日常监控、数据备份、数据监控、数据报警及故障处理。 3、负责大数据平台集群的权限管理、故障处理、日常错误情况处理等。 职位要求: 1. 3-5年及以上相关工作经验,理解并实施大数据产品的部署场景; 2. 熟悉Hadoop生态圈,对HBase、Hive、Spark、Clickhouse、Kafka、Elasticsearch、zookeeper、yarn等主流分布式开发套件有一定认识,有相关安装部署及调优经验者优先; 3. 熟悉Linux类操作系统的基础命令操作,能够编写脚本开展日常运维工作 4. 熟悉Linux开发环境,会使用Shell/Java/Python中的一门编程语言 5. 有技术热情和较强的学习能力,以及良好的沟通能力、抗压能力和团队协作能力