-
岗位描述: 1.负责大数据平台调度作业的日常监控、维护及协助优化; 2.负责建立大数据开发规范并持续完善,能够对技术风险、技术交付质量进行管控; 3.负责常规需求中底层数据开发及数据服务封装开发; 4.深入理解数据平台架构,发现并协助解决性能屏障; 5.新技术研究和应用,并推动适合的技术应用于生产。 任职要求: 1.本科及以上学历,计算机及软件工程相关专业; 2.2年以上大数据系统开发或运维经验,熟悉hadoop生态圈、CDH大数据平台; 3.熟悉数据规范流程及数据维度模型,精通sql、shell,了解spark、python、scala、flink; 4.具有较强的计算机网络、系统运维专业基础,熟悉掌握常用linux命令; 5.有体系化大数据平台运维工作经验优先考虑。
-
岗位职责: 1. 负责业务系统基础环境的建设、维护和管理,推动线上服务稳定性建设,提升服务的可靠性、可扩展性,保障系统SLA; 2. 负责持续优化运维解决方案,包括但不限于智能调度、弹性扩容、精细化监控、容灾预案等; 3. 建立和完善规范化的运维体系,保障生产系统可靠,安全,稳定地运行; 4. 不断研发与探索运维自动化及智能化途径,提升运维效率,降低运维成本; 工作要求: 1. 本科及以上学历,计算机软件及相关专业,3年以上工作经验; 2. 熟悉Linux操作系统、计算机网络等,基础知识扎实; 3. 熟悉Docker、K8S容器平台的使用及原理,能定位异常; 4. 熟悉并掌握各种中间件及基础组件的部署和使用,比如etcd/dns/elasticsearch/prometheus/grafana/nginx等; 5. 熟悉和使用过业界云平台:腾讯云、阿里云等优先;熟悉大模型基础架构运维优先 6. 熟悉并擅长Pyhon、shell、go等脚本语言的任意一种,并能使用脚本来完成日常系统运维工作; 7. 具有良好的线上安全意识,有责任感,工作积极进取,乐于持续学习,抗压性强,有良好的服务意识和团队精神;
-
职责描述: 1、负责公司大数据平台的运维保障工作,保障平台的正常运行和相应数据服务的稳定高效; 2、对接数据开发侧团队,主动优化和完善服务巡检、监控工具、脚本等,减少人工操作提高运维效率;负责数据平台的故障处置、推动性能优化。如平台产品技术问题,提交给平台产品技术组进行后台处理,并及时反馈. 3、负责数据平台二线运维支撑保障,响应运维/服务台一线请求:处置生产事件,跟踪问题处理; 4、定期组织团队人员开展大数据平台的技术知识积累和移交; 5、负责设计日常运维相关的自动化工具或系统,并完成相应需求收集和需求管理 ; 任职要求: 1. 具有1年以上金融行业数据类项目运维经验,熟悉保险业务操作与管理。具有大数据平台相关技术进行数据仓库、数据中台开发、维护、优化等项目经验的人员,或长期在类似的运维项目上承担运维工作优先; 2. 具备较强的数据开发分析能力,熟练掌握SQL等技能,熟练掌握大数据平台、UNIX、LUNIX和中间件的技能。有java或Python开发基础优先; 3. 具备较强的数据分析,问题分析,逻辑思维能力,团队协作能力,有良好的沟通能力和责任感,能够承担工作压力,独立分析和解决问题者优先; 4. 强烈的自驱力和责任感,面对复杂业务问题,可以从业务和技术多角度推进,最终达成目标。
-
岗位职责: 1. 大数据平台组件运维及优化,进行必要的二次开发; 2. 数据湖、数据仓库技术研究及落地; 3. 实时、离线数据产品设计及开发。 任职要求: 1. 本科及以上学历,计算机及相关专业; 2. 3-5年Java/Scala开发经验,熟悉多线程编程; 3. 熟悉大数据生态相关技术,有二次开发经验者优先; 4. 熟悉实时及离线数仓架构及开发流程,有Phoenix/StarRocks使用经验优先; 5. 熟悉常见设计模式,熟悉如Spring/SpringMVC/Mybatis等主流框架; 6. 有较强的学习能力与逻辑思维能力,良好的团队合作精神。
-
岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
-
职位职责: 1、保障全公司包括抖音、国际化短视频、广告等业务的数据稳定性,提升数据平台服务产品质量,保障业务的持续可用; 2、基于运维经验、工具、平台对线上事故快速响应提升处理效率,同时优化运维体系,推动提升服务可靠性、可扩展性,保障系统SLA,同时推进运维自动化提效; 3、通过持续的全方位运营,包括运维规范及最佳实践、监控及可用性指标、历史事故等,为数据高可用架构设计和选型提供指导,同时能够系统性排查架构风险隐患,推进改进项落地; 4、参与大数据运维平台的研发、自动化建设与持续迭代,引导产品的运维模式向数字化,智能化方向发展演进。 职位要求: 1、计算机相关专业,本科及以上学历; 2、3年及以上SRE运维经验,熟悉运维体系建设与稳定性保障; 3、熟悉Linux、网络等系统运维技能,具备运维问题分析、应急解决以及性能调优等能力; 4、熟悉至少一门编程语言,包括但不限于:Shell、Python、Java、Scala、PHP、Go等; 5、具备良好的沟通表达、团队协作以及自驱能力,促进跨团队的合作; 6、有大数据稳定性问题排查经验,具备清晰排查思路,具备快速定位问题能力加分。
-
职责描述:1.作为运维项目经理,负责和客户进行沟通,完成要求的Hadoop平台搭建,运维,管理,故障处理。2.负责保障大数据平台的高效运转.稳定.安全3.能对平台的Hadoop,Hbae,Kafka,Hive进行优化。4.建立Hadoop集群管理规范.维护,包括版本管理和变更记录等 岗位要求1.了解Hadoop.HBae.Zookeeper.Spark.Flume.Hive等分布式计算框架,并能搭建&维护集群环境;2.有一定的java开发经验和linuxhell开发经验;3.具备责任心和良好的团队协作精神,且具备良好的执行力者优先 4.需要经常去北京出差(约1/3时间) 所需技能: Linux、Shell、项目管理、大数据运维
-
职位职责: 1、负责大数据技术平台的搭建、升级、扩容; 2、负责大数据技术平台日常监控、权限管理、资源管理、数据备份及故障处理,确保系统稳定运行; 3、负责Hadoop/Yarn/Hbase/Hive/Kafka/Spark/Flink等大数据相关组件的底层运维与调优工作; 4、制定大数据运维规范,持续推进运维自动化。 任职要求: 1、本科及以上学历,计算机相关专业,3年及以上大型分布式系统实施和运维相关经验; 2、熟悉 Linux/Unix 系统、网络、硬件等相关知识,精于容量规划、架构设计、性能优化,能够独立解决问题; 3、熟悉Hadoop大数据生态圈,包括但不限于HDFS、YARN、Hive、HBase、Spark、Flink等; 4、精通Shell,Python或Go其中一种语言,熟悉自动化部署工具:Ansible、Saltstack等; 5、对技术有强烈的好奇心,喜欢钻研。
-
岗位职责: 1、负责Hadoop、HBase、Hive、Spark等大数据平台的漏洞修复,安全管控等,确保高可用; 2、负责公司大数据平台的运维管理工作,集群容量规划、扩容及性能优化各类异常和故障,排查安全风险,确保系统平台的稳定运行; 3、对大数据组件和linux系统存在的安全漏洞的进行分析和测试; 4、对平台安全问题进行整改计划的制定和编排; 5、设计实现linux主机和大数据hadoop平台的安全手册; 6、深入研究大数据业务相关安全技术,探索新的大数据安全技及发展方向。 任职要求: 1.***大学本科及以上学历。 2.深入理解linux系统,有扎实的Linux功底,熟悉CentOS、Suse等,有3年以上基于linux平台的系统运维经验; 3.熟悉Hadoop大数据生态圈,包括但不限于HDFS、YARN、Hive、HBase、Spark、Kafka、Flume、presto、alluxio等; 4.熟悉Nginx、kafka、postgres、redis、nacos等中间件产品中的一项或多项; 5.熟悉数据库性能优化、SQL调优,包括但不仅限于MySQL、Redis、Clickhouse等; 6.有开发经验优先,精通一门以上脚本语言(shell/perl/python等),熟练掌握linux常规命令与工具,具有简单的Shell脚本编写能力; 7.拥有Hadoop相关证书者优先考虑,拥有超大规模Hadoop集群维护经验者优先;拥有安全类认证证书者优先; 8.具备基本的系统安全基础; 9.具备良好独立思考,解决问题的能力。
-
岗位优势: - 战略角色:作为日本分公司早期核心成员,参与海外市场技术架构搭建,未来可晋升为技术领军人或技术管理层。 - 创业机遇:表现优异者有机会参与未来公司股权激励计划。 - 成长通道:2-3年内组建并带领技术团队,主导日本区域技术决策。 - 跨文化发展:中日技术体系深度融合,打造国际化职业履历。 岗位职责: 1、大数据平台运维:协助大数据平台的安装、配置、升级、监控及优化,保障系统稳定运行。 2、公有云环境管理(Azure / AWS):支持云上大数据平台的部署与维护,优化资源使用。 3、技术支持与故障排除:提供日常运维支持,响应并解决系统问题,与厂商进行沟通协调。 4、安全与自动化:执行基本的安全策略,协助使用自动化工具提高运维效率。 5、团队协作:与开发及数据团队配合,优化系统配置,提升性能。 任职要求: 1、计算机相关专业,学历不限; 2、1年以上大数据平台或云计算运维经验,熟悉基本的大数据组件运维(如Hadoop、Hive、Kafka等)。 3、熟悉Linux系统,能进行常见管理和维护,具备Shell或Python基础。 4、了解Azure / AWS等公有云的基本操作,有云运维经验者优先。 5、语言能力: 具备良好的英语阅读能力,能理解技术文档; 具备基础日语沟通能力(JLPT N2及以上),N1优先。 6、加分项(非必需): 持有大数据、云计算相关认证者优先(如AWS、Azure、Cloudera等)。
-
岗位职责: 1、负责HDFS、HBase、Hive、Yarn、Flume,Kafka、ES等大数据平台的规划、部署、监控和系统优化等工作; 2、负责Hadoop平台的用户管理、权限分配、资源分配; 3、负责Flink集群的部署维护、资源调度及任务上线等; 4、负责Airflow、Azkaban等大数据任务调度平台的部署、维护、开发支持等; 5、处理大数据平台各类异常和故障,确保系统平台的稳定运行; 6、研究业界前沿的大数据运维技术,负责各种运维工具和系统的设计开发; 任职要求: 1、本科以上学历,计算机或相关专业,具备至少3年以上hadoop及相关组件的运维经验; 2、掌握HDFS、HBase、Kafka、Hive、Yarn、Flink、ES等组件的工作原理; 3、熟练掌握至少一种脚本语言(Shell、Python、Java); 4、对Hadoop各组件的权限、安全、Kerberos有一定的经验; 5、熟悉MapReduce算法,能够编写和提交分布式计算任务; 6、对分布式开源项目有技术兴趣,能跟踪Hadoop开源社区的发展方向,自学能力较强,不断改进和优化集群; 7、具备高度的责任心,较强的故障分析及排除能力; 8、具备良好的团队合作精神,工作认真、细心、虚心好学、沟通能力好。
-
工作职责: 1、负责客户现场大数据平台和大数据项目问题处理和技术支持。 2、深入理解产品架构,对平台环境异常定位、问题排查、性能调优等 3、独立完成测试环境搭建,问题复现及维护等工作。 任职资格: 1、至少1年大数据运维经验,了解分布式平台运行的原理,并有实际部署维护经验。 2、精通基于Linux系统的常用服务(如tomcat、nginx、mariadb、prometheus)配置运维,对CPU、MEM、IO、NET四大子系统内核参数以及程序性能优化有实战经验者优先。 3、至少熟悉shell/python一种或多种语言,能独立编写运维脚本。 4、熟悉mariadb等数据库以及优化,熟练使用sql语句。 5、熟悉开源项目(如elasticsearch、clickhouse、flink、kafka)的部署升级、扩容缩容、性能和管理优化、问题排查等,对新技术有较强的预研学习能力。 6、逻辑清晰,具备一定的程序异常排查、问题定位等应急处理能力 。 7、有较强的沟通能力,良好的职业责任心和团队合作意识
-
岗位职责: 1、负责大数据集群CDH(Hadoop、 Hive、HBase、Spark)、Presto、ClickHouse的日常维护,包括集群的规划、部署、监控、故障处理、复盘优化等; 2、保障大数据集群的健康度,性能优化调整,体系化的解决方案,构建服务客观可观测能力,保障大数据服务高可用,提高资源使用率; 3、建立运维自动化能力提效,配合数据架构师研究和应用大数据新架构技术,突破算力边界。 任职要求: 1、本科及以上学历,5年以上大数据运维经验; 2、熟悉CDH、HDFS、Yarn、Hive、Presto、Prometheus技术栈,深入了解原理和常规操作; 3、熟悉大数据组件的指标监控、容量规划、性能优化、监控等; 4、有技术的热情,对方案严谨,有owner的担当和主动性。
-
岗位职责: 1.负责大数据平台集群的运维工作(Hadoop/Hbase/Hive/Flink/Yarn/Spark/Presto/kafka等),确保高可用; 2.负责大数据相关集群的监控/保健/扩容/升级和调优; 3.负责大数据平台相关系统的维护; 4.负责Mysql/oracle数据库的维护; 5.负责应用程序的维护。 任职要求: 1.***学信网本科及以上学历,计算机相关专业,有2年以上的大数据运维经验。 2.熟悉Hadoop/Hbase/Spark/kafka/Presto/Flume等大数据相关组件,并由实际部署维护经验。 3.熟悉Linux操作系统的配置/管理和优化,能够独立排查和解决操作系统层面的问题。 4.熟悉Mysql/oracle/sqlserver等关系性数据库。 5.熟练Shell/Python/Java等编程语言的一种,并有相关开发经验。 6.了解Nginx/Redis/K8s原理,并灵活应用。 7.熟悉网络基本架构和基本的操作。 福利待遇: 五险一金 做五休二 早九晚六(弹性工作时间) 下午茶 带薪年假 年度体检 定期团建 享受临港新片区落户和购房政策 工作地址:上海临港新片区创晶科技中心(介意地址者勿投)
-
岗位职责: 1、负责公司大数据中台的日常运维的部署、监控、故障处理、日志分析等工作; 2、参与数据中台相关系统架构的优化及性能的提升,解决关键问题; 3、快速响应处理线上突发事件,协助解决服务端或系统层面问题。 岗位要求: 1、计算机应用、软件工程相关专业,5年以上相关工作经验; 2、精通阿里云体系,熟悉dataworks/maxcompute/datahub/oss/ots等。 3、精通大数据平台数仓架构,熟悉Hadoop、Hive、Spark等生态圈。 4、精通一门脚本语言(Shell/Perl/Python) 5、有证券或者保险行业经营者优先。 6、有dataworks平台运维者优先; 7、 有财险保险行业大数据平台运维经验者优先; 8、可接受杭州地区项目外派(项目外包); 9、 可提供入职体检报告。


