-
岗位职责: 1、负责公司各产品线服务可靠、稳定、高效运行,提供K8S,Hadoop技术支持。 2、负责运维平台建设 通过技术手段提升工作效率; 3、负责公司各类基础设施监控、自动化、监控体系的持续建设与完善; 4、参与公司各类产品自动化实现,满足严格的质量与效率要求; 岗位要求: 1、***大学本科(计算机专业,获得***书、***书) 2、能熟练编写 Shell或Python脚本,有go/python/shell编程能力者优先 熟悉devops理念 3、熟悉自动化运维工具(saltstack/ansible/Jenkins)的原理及使用,有二次开发经验优先 4、具备kubernetes、docker、HDFS、spark、Hive运维经验者优先。 5、具备一定JAVA/GO开发经验优先。 6、具备良好的学习能力,能够快速掌握一门新的技术。
-
岗位职责: 1.支持Hadoop集群底座的运维故障分析、解决、性能优化;大数据集相关组件主要包括:Yarn、HDFS、ZooKeeper、Storm、Kafka、Hbase、Hive、Spark、Kerberos、Spark、Flink、Flume、MySQL等组件运维; 2.开展Yarn性能优化,提升集群资源利用率和任务响应速度;队列优化和维护;优化调度器性能; 3.及时关注Apache官方网站、论坛,针对Patch提出升级建议、方案,并组织实施; 4.配合开展HDFS存储、Hive元数据治理优化,建立并完善存储治理方案; 5.配合开展Hive、Spark作业优化,对业务侧提出优化建议。如:作业小文件问题、数据倾斜治理方案等; 6.提出集群优化建设方案,配合建设和优化大规模分布式集群的自动化运维、监控等工具和管理平台。 任职要求: 1.本科及以上学历,通信/计算机等相关专业,具有良好的学习能力、沟通能力、团队合作能力及一定的抗压能力; 2.熟悉Hadoop、Hive、Hbase、Spark等开源项目,理解组件架构及原理; 3.对大数据运维开发有浓厚兴趣,熟悉Apache Hadoop部署、性能调优; 4.能阅读/理解Hadoop等相关开源组件源码; 5.对HQL、SparkSQL等有较深入的研究,能解决实际业务性能问题; 6.熟练掌握LDAP、Kerberos等安全认证体系; 7.熟练掌握Linux命令与工具进行问题定位,熟悉常规的互联网技术架构; 8.具备一定的Java开发能力; 9.擅长Linux Shell、Python脚本编写,有DevOPS/自动化运维经验工作者优先考虑。
-
工作内容: 1.负责hadoop基础技术规划,编制相关规范文档; 2.负责Hadoop数据应用相关的数据存储、查询、计算、元数据管理的架构设计与实现; 3.负责hadoop的实际规划建设,包括环境与框架的规划搭建及部分核心编码工作; 4.负责hadoop相关技术发展方向的预研; 5.独立负责具体功能开发与实现、性能优化,保证系统健壮稳定及临时性数据处理工作的支持; 6.负责数据应用相关的数据存储、查询、计算、元数据管理等方面的架构设计。 岗位要求: 1.1年以上大数据开发经验,熟悉分布式的设计与应用。 2.熟悉hadoop大数据平台框架,包括不限于hadoop、hive、hbase等大数据生态平台组件的部署升级与调优。 3.熟悉hadoop、spark、flink、hbease、es等相关计算机存储框架的底层理论,并能应用至实际开发当中。 4.熟悉至少一款ETL工具,例如kettle、logstash等。 5.熟悉关系型及非关系型数据库的使用及优化,包括但不限于Oracle、PG、hive、clickhouse等。 6.熟悉各类大数据处理组件,sqoop、flume、kafka、azkaban等。 7.根据计划完成模块的编码开发工作,保证开发质量。 8.有良好的沟通能力,积极为项目建设提供建设性意见。 9.本科及以上学历,计算机相关专业,有银行工作、财务会计、管理会计业务经验优先。
-
HBase资深大数据岗HBase/Hadoop/Phoenix
[上海·北外滩] 2023-01-3040k-60k 经验3-5年 / 本科金融业 / 不需要融资 / 500-2000人主要职责: 负责大规模HBase集群的稳定性保障及性能优化, 为业务应用提供支持和服务; 岗位要求: 1. 计算机或相关专业本科以上学历(4年以上工作经验),精通Java/Scala程序开发(至少一种); 2. 熟悉HBase分布式系统及工作原理,有实际生产优化经历; 3.有大规模分布式系统开发、维护经验,有故障处理能力; 4. 熟悉HBase源码内核, 有HBase底层源码贡献者优先; 5.对HBase周边生态(如Hadoop, Hive、Kylin等)组件有深入使用和底层研究者加分; 6.具有良好的沟通协作能力,具有较强的分享精神。 -
1. 熟悉大数据云平台经验,再加Java开发 Java基础扎实,熟练掌握多线程编程,熟悉JVM,以及常规性能优化。 2. 熟悉spring,springboot,springcloud,nacos,mybatis,mybatis-plus等常⻅开源框架。 3. 熟悉redis,RocketMQ等常见中间件。 4. 熟练使用MySQL数据库,良好的数据库设计,SQL编写,索引性能分析能力。 5. 熟练掌握linux系统的使用。 6. 熟练掌握EKL系统的使用。 7. 有良好的逻辑思维能力,沟通能力,有责任心能独立完成需求。 1、本3专4,计算机/互联网/通信相关专业 2.熟悉java开发常用框架组件,能熟练运用到具体项目中 3.配合项目完成研发计划,有独立完成需求的能力
-
岗位职责: 1. 负责分布式大数据平台架构建设、数据建模和数据应用后端开发; 2. 负责大数据相关组件OLAP引擎、实时计算,文件存储等相关研究和开发; 3. 负责大数据系统及组件的性能、效率、稳定性分析与优化。 岗位要求: 1. 熟悉Hadoop/Kafka/Presto/Kudu等大数据技术和组件,有3年以上大数据组件的使用和二次开发经验; 2. 具备扎实的计算机基础,熟悉分布式系统开发,熟悉云原生技术; 3. 精通Java开发语言,具有良好的编程开发能力; 4. 对新技术敏感,有一定独立分析,技术研究能力,具有良好的团队合作精神; 5. 能够深刻理解业务,善于利用技术实现相关业务价值; 6. 具备一定云原生技术经验(kubernetes ,Docker)者优先。
-
职责描述: 1. 负责分布式大数据平台架构建设、数据建模和数据应用后端开发。 2. 负责大数据相关组件OLAP引擎、实时计算,文件存储等相关研究和开发。 3. 负责大数据系统及组件的性能、效率、稳定性分析与优化。 任职要求: 1. 熟悉Hadoop/Kafka/Presto/Kudu等大数据技术和组件,有5-7年大数据组件的使用和二次开发经验。 2. 具备扎实的计算机基础,熟悉分布式系统开发,熟悉云原生技术。 3. 精通Java开发语言,具有良好的编程开发能力。 4. 对新技术敏感,有一定独立分析,技术研究能力,具有良好的团队合作精神。 5. 能够深刻理解业务,善于利用技术实现相关业务价值。 6. 具备一定云原生技术经验(kubernetes ,Docker)者优先
-
岗位职责: 1、在数仓负责人带领下,针对BI,算法,数据产品的需求,负责公司多业务数据仓库建设与模型设计,制定和落实数据仓库规范以及数据治理工作; 2、进行ETL设计,数据集市建设,落地及后续的运维; 3、负责各条业务线的数据整合方案设计及日志规范,数据分析指标体系建设及元数据管理; 4、稽查和监控数据质量,数据报表系统及相关数据产品的研发和数据需求的沟通及数据开发项目管理。 岗位要求: 1、掌握数据仓库(DW)商业智能(BI)理论知识,具备2年以上数据仓库建设经验,有数据中台、数据治理呼吁等相关经验优先; 2、精通SQL,熟悉mapreduce原理,有hive调优经验,具备一定的python和java开发能力,有Hadoop, Spark, Flink等大数据开发相关经验优先 3、具有高度的责任感,思路清晰,有良好的沟通能力; 4、本科以上学历,计算机、信息管理等相关专业
-
岗位职责: 1、负责对接金融业务、运营、产品需求,出具并核对相关统计数据分析。 2、按照需求描述开发相关SQL,从数据库或者相关大数据平台中出具相关数据。 3、对相关SQL进行review与性能调整优化。 4、对业务数据流产生的问题或差异进行分析、解释。 5、基于BI、BigData、Hadoop等领域的新技术应用构建。 任职资格: 1、深度理解数据模型和数据仓库,及ETL过程 2、熟悉hadoop相关的技术,精通SQL语言;熟练操作HIVE-SQL,对BI、BigData、Hadoop等相关领域有技术功底,能够快速基于业务需求,撰写相关的SQL或HQL,并保障SQL或HQL具备较高的规范性、可读性、效率等;对性能优化有一定经验;精通python、shell等至少一门语言,具备海量数据开发经验。 3、积极向上,自驱力强,思维敏捷,做事细心 4、有耐心,具备较好的沟通、表达能力。 5、具有较强的数据敏感性,善于将复杂的的业务流程转化为数据流程。
-
工作职责: 1. 负责大数据产品全过程管理,包括收集用户需求、进行市场和竞品分析、制定产品规划、设计产品功能等 2. 深入业务一线,结合业务场景,输出面向业务线的体系化解决方案 3. 明确产品目标,做出清晰的规划,并拟定优先级合理的具体实施计划 4. 负责具体功能的设计,不断优化产品体验,能够撰写高质量的需求文档,并协调/推动研发团队按时完成产品开发、高质量上线 5. 负责在项目推进过程中的跨部门协调沟通工作,能够协调各资源以确保产品顺利发展 6. 负责监控产品使用情况,评估产品的收益 职位要求: 1. 3年及以上ToB产品方向PM工作经验,本科及以上学历 2. 理解Hadoop/Spark生态圈相关技术或有学习意愿, 如Hadoop,Spark,Hive等 3. 有优秀的沟通能力,善于资源整合并能够快速落地 4. 熟悉大数据产品以及应用场景,熟悉一个或多个大数据平台产品,如CDH,HDP,AWS EMR等 5. 了解大数据平台产品,有大数据开发套件经验者优先 6. 了解数仓建设基本理论、数据治理方法论及落地经验者优先
-
基础研发平台是美团的核心技术平台,旨在打造公司级高性能技术架构、数据科学、服务运维、开发质效提升、信息安全、视觉智能以及企业办公数字智能化等系列关键能力,持续强化平台技术,保障基础设施稳定安全、低成本、高效可持续,全面赋能公司各个业务高速发展。 在这里,我们会参与到最前沿的技术研发和探索;能够接触超规模集群、海量数据,挑战高复杂业务场景,有机会与业界一流的工程师一起并肩前行。 在这里,我们有超强的技术氛围,持续向社区贡献业界实践,加速行业技术发展;我们有完善的互联网学习生态圈,重视底层逻辑和方法论,助力职业生涯的非线性成长。 真诚地邀请你,和我们一起驱动技术发展,创造行业价值。 岗位职责 1.负责美团信息安全部的应用算法研究,主攻方向内容安全、商品合规,提供行业先进解决方案; 2.理解业务并解决实际问题,与数据、策略、研发团队密切合作,对业务效果负责; 3.端到端负责算法模型全生命周期,包括但不限于算法构型、效果迭代、框架沉淀、性能优化。 岗位基本需求 1.硕士及以上学历,计算机科学、统计学、数学、密码学、运筹学等相关专业; 2.强烈的技术热情和学习欲望,希望能够树立行业影响力; 3.强烈的自驱力与责任感,对技术驱动业务有不懈追求,并善于通过沟通协作达成目标 4.理解常用数据结构,掌握机器学习/计算机视觉/自然语言处理/数据挖掘中至少一个领域的算法原理,熟练使用Sklearn/TensorFlow/Pytorch等建模框架; 5.熟练使用Python/Shell/SQL/Java等编程语言,熟练使用Hadoop/Spark/Flink等大数据开发工具。 具备以下者优先 1.超过2年互联网搜索/推荐、信息安全或相关领域的工作者优先;商品多模识别防控经验优先; 2.有成果发表在国际**会议、期刊者优先,有在ACM、KDDCUP、MSCOCO、ICDAR等权威比赛中取得优异成绩者优先; 3.有开源社区项目贡献者优先; 岗位亮点 1.我们有核心的业务场景,你可以全身心地投入安全+人工智能的时代浪潮中,建设业界卓越的安全产品、算法; 2.我们有挑战性的技术愿景,如:千亿规模多元异构的向量召回,跨模态知识图谱,用户画像与社群划分等; 3.我们有开放、直接的工作氛围,以逻辑和事实说话,而不是岗位级别和层级,我们尊重知识和常识。
-
职位职责: 1、负责广告审核与安全风控相关的数据工作:基于海量数据探查商业风险、实验设计、风控模型开发等工作; 2、全面分析影响广告安全与风控的因素,产出相应的优化方向; 3、 落实运营过程中的专项安全数据分析需求,为决策提供依据,并提炼为长期分析及监控的解决方案; 职位要求: 1、计算机/统计学/数学等相关专业本科及以上学历,有2年以上数据分析或建模经验,有风控、反作弊数据分析工作经验优先; 2、熟悉SQL及大数据处理技术,至少掌握Hadoop/Hive/Spark/Flink其中一项;熟悉Python、常见机器学习算法,具有模型搭建经验者优先; 3、有较强的数据敏感性和业务理解能力,能够快速理解业务并制定合理的分析方案; 4、熟悉数据分析及挖掘方法,包括特征工程.统计学习.分类聚类等; 5、表达沟通能力强,善于在跨部门沟通中协调资源,善于学习,思维活跃,善于从数据中发现、思考并解决问题。
-
岗位职责: 1、熟悉使用Spark SQL/SQL,了解SQL调优方法; 2、了解分布式理论的基本概念,了解2PC、3PC、CAP等理论和Paxos、Raft等分布式算法; 3、熟悉hadoop生态组件,包括但不局限于hive、spark、trino、调度、hdfs、数据湖等等。 任职资格: 1、本科及以上学历,2年以上大数据领域工作经验; 2、熟练使用Java、scala语言,熟悉锁、多线程、并发、JVM、NIO、RPC等知识; 3、熟练使用spark、hive等离线引擎,了解hadoop、flink、数据湖等; 4、相关开源领域的活跃贡献者。
-
岗位职责: 1、负责智能化运维平台的规划设计、实现及优化⼯作,带领研发团队研发先进的智能运维产品; 2、AIOps、SRE⽅向的前沿性研究、探索和落地; 3、参与核⼼系统的设计和编码; 4、主导技术⽅案和系统运维架构评审,掌握相关的技术架构和原理,能够从运维⻆度主动识别⽅案⻛; 险,并给出专业的解决⽅案; 5、对研发团队的质量和效率负责; 6、团队内部的技术培训与⼈才培养; 7、跨团队的沟通、协调和协作。 工作要求: 1、深⼊理解计算机体系架构、linux内核、分布式系统架构、虚拟化技术、⽹络通信与系统编程⾄少2个 ⽅向以上技术; 2、精通python和java语⾔,有⼤型项⽬开发经历; 3、熟悉Docker/k8s容器平台及相关的底层技术和原理; 4、熟悉Jenkins、Gitlab等,熟悉CI/CD流程制定与集成; 5、有良好的⽹络、存储、安全等计算机体系结构⽅⾯的知识; 6、具备丰富的⼤规模服务集群的运维经验和⼤型运维系统的设计能⼒和落地经验,⾼并发架构经验, 熟悉⾼可⽤集群、负载均衡集群的规划与搭建; 7、熟练掌握Redis、Kafka/RabbitMQ、Ceph/ElasticSearch等主流中间件(⾄少2个以上)的原理和使 ⽤; 8、了解Hadoop/Spark/Filnk/Hive等⼤数据主流技术(⾄少2个以上); 9、熟悉数据库技术(MySQL); 10、技术领导⼒; 团队协调⼒和执⾏⼒; 有下⾯经历会有加分项: 负责过运维体系层⾯的系统性规划和建设,有实践经验; Django使⽤和开发经验; Saltstack使⽤和开发经验; airflow使⽤和开发经验; AIOps系统设计研发经验。
-
【岗位职责】 负责NAVER语言词典相关服务的需求分析、架构设计、开发和运营 【岗位要求】 1、本科及以上学历,计算机及其相关专业,英语CET-4以上,Java 开发3年以上工作经验; 2、具有良好的java se编程基础(多态、封装、线程、并发、设计模式); 3、熟悉Spring Framework(Spring mvc、Spring boot)、MyBatis、Hession相关技术,并了解相关实现原理; 4、熟悉java ee规范以及web应用开发流程; 5、熟悉Linux基本环境,常用linux命令,常用Shell; 6、熟悉ElasticSearch或Solr,Kafka; 7、熟练使用MySql、Redis、nginx相关技术,并能进行性能调优; 8、具有解决问题的能力、良好的沟通表达能力,较强的责任心,抗压能力强。 【优先条件】 1、具有高性能、高并发服务开发经验优先; 2、有开发Excel上传/下载器的经验优先; 3、具有开发和运营Docker和Kubernetes服务经验优先; 4、熟悉Hadoop、Hbase等大数据相关技术,有大数据相关处理经验优先; 5、有前端开发经验优先。