-
职位职责: 1、负责私有化项目的售后技术支持工作; 2、负责处理私有化项目的告警、故障响应; 3、负责运维脚本的开发; 4、负责公司产品 BUG 的提交,与研发沟通解决相关问题; 5、收集与分析客户需求,并定期为客户进行系统巡检。 职位要求: 1、本科及以上学历,具有两年以上大型 IT 系统实施和运维相关经验; 2、熟悉 Linux/Unix 系统、网络、硬件等相关知识,具有很强的 Troubleshooting 能力; 3、熟悉Hadoop大数据生态,包括但不限于Hadoop、Hive、Spark、Hbase、Flink、Impala、Clickhouse、Redis、Kafka等组件; 4、至少使用过一种自动化部署工具:Ansible、Saltstack、Chef、Puppet、Terraform 等; 5、至少熟悉一种脚本语言:Shell、Python 等; 6、对云平台有一定的了解,有使用经验者优先; 7、熟悉 Docker、K8S/Istio 等容器技术和工具者优先; 8、具有良好的沟通、组织与协调的能力,有一定的抗压能力,能够接受出差。
-
岗位描述: 1.负责大数据平台调度作业的日常监控、维护及协助优化; 2.负责建立大数据开发规范并持续完善,能够对技术风险、技术交付质量进行管控; 3.负责常规需求中底层数据开发及数据服务封装开发; 4.深入理解数据平台架构,发现并协助解决性能屏障; 5.新技术研究和应用,并推动适合的技术应用于生产。 任职要求: 1.本科及以上学历,计算机及软件工程相关专业; 2.2年以上大数据系统开发或运维经验,熟悉hadoop生态圈、CDH大数据平台; 3.熟悉数据规范流程及数据维度模型,精通sql、shell,了解spark、python、scala、flink; 4.具有较强的计算机网络、系统运维专业基础,熟悉掌握常用linux命令; 5.有体系化大数据平台运维工作经验优先考虑。
-
职责描述: 1、负责公司大数据平台的运维保障工作,保障平台的正常运行和相应数据服务的稳定高效; 2、对接数据开发侧团队,主动优化和完善服务巡检、监控工具、脚本等,减少人工操作提高运维效率;负责数据平台的故障处置、推动性能优化。如平台产品技术问题,提交给平台产品技术组进行后台处理,并及时反馈. 3、负责数据平台二线运维支撑保障,响应运维/服务台一线请求:处置生产事件,跟踪问题处理; 4、定期组织团队人员开展大数据平台的技术知识积累和移交; 5、负责设计日常运维相关的自动化工具或系统,并完成相应需求收集和需求管理 ; 任职要求: 1. 具有1年以上金融行业数据类项目运维经验,熟悉保险业务操作与管理。具有大数据平台相关技术进行数据仓库、数据中台开发、维护、优化等项目经验的人员,或长期在类似的运维项目上承担运维工作优先; 2. 具备较强的数据开发分析能力,熟练掌握SQL等技能,熟练掌握大数据平台、UNIX、LUNIX和中间件的技能。有java或Python开发基础优先; 3. 具备较强的数据分析,问题分析,逻辑思维能力,团队协作能力,有良好的沟通能力和责任感,能够承担工作压力,独立分析和解决问题者优先; 4. 强烈的自驱力和责任感,面对复杂业务问题,可以从业务和技术多角度推进,最终达成目标。
-
岗位职责: 1. 大数据平台组件运维及优化,进行必要的二次开发; 2. 数据湖、数据仓库技术研究及落地; 3. 实时、离线数据产品设计及开发。 任职要求: 1. 本科及以上学历,计算机及相关专业; 2. 3-5年Java/Scala开发经验,熟悉多线程编程; 3. 熟悉大数据生态相关技术,有二次开发经验者优先; 4. 熟悉实时及离线数仓架构及开发流程,有Phoenix/StarRocks使用经验优先; 5. 熟悉常见设计模式,熟悉如Spring/SpringMVC/Mybatis等主流框架; 6. 有较强的学习能力与逻辑思维能力,良好的团队合作精神。
-
职位职责: 1、保障全公司包括抖音、国际化短视频、广告等业务的数据稳定性,提升数据平台服务产品质量,保障业务的持续可用; 2、基于运维经验、工具、平台对线上事故快速响应提升处理效率,同时优化运维体系,推动提升服务可靠性、可扩展性,保障系统SLA,同时推进运维自动化提效; 3、通过持续的全方位运营,包括运维规范及最佳实践、监控及可用性指标、历史事故等,为数据高可用架构设计和选型提供指导,同时能够系统性排查架构风险隐患,推进改进项落地; 4、参与大数据运维平台的研发、自动化建设与持续迭代,引导产品的运维模式向数字化,智能化方向发展演进。 职位要求: 1、计算机相关专业,本科及以上学历; 2、3年及以上SRE运维经验,熟悉运维体系建设与稳定性保障; 3、熟悉Linux、网络等系统运维技能,具备运维问题分析、应急解决以及性能调优等能力; 4、熟悉至少一门编程语言,包括但不限于:Shell、Python、Java、Scala、PHP、Go等; 5、具备良好的沟通表达、团队协作以及自驱能力,促进跨团队的合作; 6、有大数据稳定性问题排查经验,具备清晰排查思路,具备快速定位问题能力加分。
-
岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
-
岗位职责 1.负责小川业务及各类中间件(k8s/hadoop/hbase/hive/spark/hdfs/kafka)的运维,涉及千台规模的服务器,保障业务服务的稳定性和可用性; 2.负责和参与自动化运维系统及平台的建设; 3.负责优化部门运维流程提升运维效率 任职要求 1.精通Linux操作系统的配置,管理及优化,能够独立排查及解决操作系统层的各类问题; 2.掌握Hadoop,Kafka,Zookeeper,Hbase,Spark原理、部署以及TROUBLE SHOOTING,有过实际工作经验; 3.至少精通Python,shell,golang其中一项;有良好的系统性能优化及故障排除能力; 4.熟悉saltstack/ansible等配置管理工具; 5.能够利用各种开源监控工具、运维工具,HA、负载均衡软件完成工作任务 6.熟悉MYSQL、redis其中之一,熟练掌握SQL
-
职责描述:1.作为运维项目经理,负责和客户进行沟通,完成要求的Hadoop平台搭建,运维,管理,故障处理。2.负责保障大数据平台的高效运转.稳定.安全3.能对平台的Hadoop,Hbae,Kafka,Hive进行优化。4.建立Hadoop集群管理规范.维护,包括版本管理和变更记录等 岗位要求1.了解Hadoop.HBae.Zookeeper.Spark.Flume.Hive等分布式计算框架,并能搭建&维护集群环境;2.有一定的java开发经验和linuxhell开发经验;3.具备责任心和良好的团队协作精神,且具备良好的执行力者优先 4.需要经常去北京出差(约1/3时间) 所需技能: Linux、Shell、项目管理、大数据运维
-
职位职责: 1、负责大数据技术平台的搭建、升级、扩容; 2、负责大数据技术平台日常监控、权限管理、资源管理、数据备份及故障处理,确保系统稳定运行; 3、负责Hadoop/Yarn/Hbase/Hive/Kafka/Spark/Flink等大数据相关组件的底层运维与调优工作; 4、制定大数据运维规范,持续推进运维自动化。 任职要求: 1、本科及以上学历,计算机相关专业,3年及以上大型分布式系统实施和运维相关经验; 2、熟悉 Linux/Unix 系统、网络、硬件等相关知识,精于容量规划、架构设计、性能优化,能够独立解决问题; 3、熟悉Hadoop大数据生态圈,包括但不限于HDFS、YARN、Hive、HBase、Spark、Flink等; 4、精通Shell,Python或Go其中一种语言,熟悉自动化部署工具:Ansible、Saltstack等; 5、对技术有强烈的好奇心,喜欢钻研。
-
岗位职责: 1、负责Hadoop、HBase、Hive、Spark等大数据平台的漏洞修复,安全管控等,确保高可用; 2、负责公司大数据平台的运维管理工作,集群容量规划、扩容及性能优化各类异常和故障,排查安全风险,确保系统平台的稳定运行; 3、对大数据组件和linux系统存在的安全漏洞的进行分析和测试; 4、对平台安全问题进行整改计划的制定和编排; 5、设计实现linux主机和大数据hadoop平台的安全手册; 6、深入研究大数据业务相关安全技术,探索新的大数据安全技及发展方向。 任职要求: 1.***大学本科及以上学历。 2.深入理解linux系统,有扎实的Linux功底,熟悉CentOS、Suse等,有3年以上基于linux平台的系统运维经验; 3.熟悉Hadoop大数据生态圈,包括但不限于HDFS、YARN、Hive、HBase、Spark、Kafka、Flume、presto、alluxio等; 4.熟悉Nginx、kafka、postgres、redis、nacos等中间件产品中的一项或多项; 5.熟悉数据库性能优化、SQL调优,包括但不仅限于MySQL、Redis、Clickhouse等; 6.有开发经验优先,精通一门以上脚本语言(shell/perl/python等),熟练掌握linux常规命令与工具,具有简单的Shell脚本编写能力; 7.拥有Hadoop相关证书者优先考虑,拥有超大规模Hadoop集群维护经验者优先;拥有安全类认证证书者优先; 8.具备基本的系统安全基础; 9.具备良好独立思考,解决问题的能力。
-
工作职责 工作职责: 1.负责公司大数据业务集群及任务的运维工作(Hadoop/Hbase/Hive/Presto/Yarn/Spark/phoenix/es/doris等)确保高可用 2.负责集群容量规划、扩容及性能优化 3.参与设计实现大规模分布式集群的运维、监控、数据监控、报警、故障处理和管理平台,负责线上任务的维护 4.深入研究大数据业务相关运维技术,持续优化集群服务架构,探索新的大数据运维技术及发展方向。 5.深度优化大数据平台离线和实时作业计算引擎及存储技术,提升集群效率并降低成本; 6.研究运维相关技术,根据系统需求制定运维技术方案,开发自动化运维工具和运维辅助系统; 任职要求 1.本科及以上学历,3年以上大数据或数据仓库运维经验; 2.熟悉Hadoop/Hbase/Hive/Zookeeper/Spark/doris等开源项目,有patch源代码经验者优先; 3.熟悉kafka消息服务,以及基于kafka的日志流系统,熟悉flume,fluentd等高可用日志系统; 4.良好的客户服务意识,强烈的责任心和使命感,执行力强,富有团队合作精神; 5.熟悉Linux操作系统的配置、管理及优化,能够独立排查及解决操作系统层面的问题; 6.熟悉脚本语言Shell/Python/go等编程语言的一种并有相关开发经验。
-
岗位优势: - 战略角色:作为日本分公司早期核心成员,参与海外市场技术架构搭建,未来可晋升为技术领军人或技术管理层。 - 创业机遇:表现优异者有机会参与未来公司股权激励计划。 - 成长通道:2-3年内组建并带领技术团队,主导日本区域技术决策。 - 跨文化发展:中日技术体系深度融合,打造国际化职业履历。 岗位职责: 1、大数据平台运维:协助大数据平台的安装、配置、升级、监控及优化,保障系统稳定运行。 2、公有云环境管理(Azure / AWS):支持云上大数据平台的部署与维护,优化资源使用。 3、技术支持与故障排除:提供日常运维支持,响应并解决系统问题,与厂商进行沟通协调。 4、安全与自动化:执行基本的安全策略,协助使用自动化工具提高运维效率。 5、团队协作:与开发及数据团队配合,优化系统配置,提升性能。 任职要求: 1、计算机相关专业,学历不限; 2、1年以上大数据平台或云计算运维经验,熟悉基本的大数据组件运维(如Hadoop、Hive、Kafka等)。 3、熟悉Linux系统,能进行常见管理和维护,具备Shell或Python基础。 4、了解Azure / AWS等公有云的基本操作,有云运维经验者优先。 5、语言能力: 具备良好的英语阅读能力,能理解技术文档; 具备基础日语沟通能力(JLPT N2及以上),N1优先。 6、加分项(非必需): 持有大数据、云计算相关认证者优先(如AWS、Azure、Cloudera等)。
-
岗位职责: 1、负责HDFS、HBase、Hive、Yarn、Flume,Kafka、ES等大数据平台的规划、部署、监控和系统优化等工作; 2、负责Hadoop平台的用户管理、权限分配、资源分配; 3、负责Flink集群的部署维护、资源调度及任务上线等; 4、负责Airflow、Azkaban等大数据任务调度平台的部署、维护、开发支持等; 5、处理大数据平台各类异常和故障,确保系统平台的稳定运行; 6、研究业界前沿的大数据运维技术,负责各种运维工具和系统的设计开发; 任职要求: 1、本科以上学历,计算机或相关专业,具备至少3年以上hadoop及相关组件的运维经验; 2、掌握HDFS、HBase、Kafka、Hive、Yarn、Flink、ES等组件的工作原理; 3、熟练掌握至少一种脚本语言(Shell、Python、Java); 4、对Hadoop各组件的权限、安全、Kerberos有一定的经验; 5、熟悉MapReduce算法,能够编写和提交分布式计算任务; 6、对分布式开源项目有技术兴趣,能跟踪Hadoop开源社区的发展方向,自学能力较强,不断改进和优化集群; 7、具备高度的责任心,较强的故障分析及排除能力; 8、具备良好的团队合作精神,工作认真、细心、虚心好学、沟通能力好。
-
工作职责: 1、负责客户现场大数据平台和大数据项目问题处理和技术支持。 2、深入理解产品架构,对平台环境异常定位、问题排查、性能调优等 3、独立完成测试环境搭建,问题复现及维护等工作。 任职资格: 1、至少1年大数据运维经验,了解分布式平台运行的原理,并有实际部署维护经验。 2、精通基于Linux系统的常用服务(如tomcat、nginx、mariadb、prometheus)配置运维,对CPU、MEM、IO、NET四大子系统内核参数以及程序性能优化有实战经验者优先。 3、至少熟悉shell/python一种或多种语言,能独立编写运维脚本。 4、熟悉mariadb等数据库以及优化,熟练使用sql语句。 5、熟悉开源项目(如elasticsearch、clickhouse、flink、kafka)的部署升级、扩容缩容、性能和管理优化、问题排查等,对新技术有较强的预研学习能力。 6、逻辑清晰,具备一定的程序异常排查、问题定位等应急处理能力 。 7、有较强的沟通能力,良好的职业责任心和团队合作意识
-
岗位职责: 1、负责大数据集群CDH(Hadoop、 Hive、HBase、Spark)、Presto、ClickHouse的日常维护,包括集群的规划、部署、监控、故障处理、复盘优化等; 2、保障大数据集群的健康度,性能优化调整,体系化的解决方案,构建服务客观可观测能力,保障大数据服务高可用,提高资源使用率; 3、建立运维自动化能力提效,配合数据架构师研究和应用大数据新架构技术,突破算力边界。 任职要求: 1、本科及以上学历,5年以上大数据运维经验; 2、熟悉CDH、HDFS、Yarn、Hive、Presto、Prometheus技术栈,深入了解原理和常规操作; 3、熟悉大数据组件的指标监控、容量规划、性能优化、监控等; 4、有技术的热情,对方案严谨,有owner的担当和主动性。