-
Hbase运维工程师 职责描述: 1、负责数据集群/Hadoop/hbase等运维保障; 2、负责hbase平台各组件服务的监控及故障处理; 3、对hbase平台运维不断优化,提升数据产品的质量和响应速度; 任职要求: 1、一年以上大数据平台的运维相关运维经验,精于容量规划、架构设计、性能优化; 2、具备一定的开发能力,精通一门以上脚本语言(shell/python等),有java 和 scala 基础尤佳; 3、对hadoop原理有深刻认识,具备相关产品(MapReduce、HDFS、Hbase、Flume、Zookeeper、ES、Kafka)的应用经验,具备底层hadoop集群实际搭建及运维经验。 4、精通hadoop相关生态圈系统的搭建、管理、配置优化。 5、有Lindorm运维经验优先。 6、此岗位为合作方岗位。
-
职位职责: 1、负责字节跳动相关产品线(抖音、头条等)风控方向的数据产品开发; 2、负责数据质量,数据安全,元数据的监控,整合; 3、面向超大规模数据问题,每天处理千亿增量的用户数据; 4、设计和实现高并发关键数据服务,用数据衡量产品并驱动产品演进。 职位要求: 1、熟悉互联网产品和服务的开发过程,熟悉后端技术架构,具备良好的系统设计能力; 2、善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力; 3、熟悉Kafka/Flink/HBase/Doris 等实时计算引擎的开发和使用优先; 4、有大规模实时数据平台落地经验者优先。
-
职位职责: 1、为大规模推荐系统设计和实现合理的数据系统; 2、生产系统的Trouble-shooting,设计和实现必要的机制和工具保障生产系统整体运行的稳定性; 3、打造业界领先的流式计算框架等分布式系统,为海量数据和大规模业务系统提供可靠的基础设施。 职位要求: 1、对大数据系统有深入的了解,在生产环境有TB级别Flink实时计算系统开发经验,深入掌握Flink DataStream、FlinkSQL、Flink Checkpoint、Flink State等模块,有Flink源码阅读经验优先; 2、熟悉常见消息队列原理和应用调优,有Kafka、Plusar、RocketMQ等项目源码阅读经验优先; 3、熟悉Java、C++、Scala、Python等编程语言,有出色的编码和Trouble-shooting能力; 4、乐于挑战没有明显答案的问题,对新技术有强烈的学习热情,有PB级别数据处理经验加分; 5、有数据湖开发经验,熟悉Hudi、Iceberg、DeltaLake等至少一项数据湖技术,有源码阅读经验优先; 6、熟悉其他大数据系统经验者优先,YARN、K8S、Spark、SparkSQL、Kudu等;有存储系统经验加分,HBase、Casscandra、RocksDB等。
-
职位描述: 1、构建热点的数据库管理系统,设计方便业务使用的关键状态管理,以及各类属性的实时存储,以及查询服务功能。 2、围绕海量微博UGC文本数据,通过聚合选优,挖掘大众讨论热点。 3、围绕热点,通过数据分析,建设热点内容评估的各项重要特征,包括热度、内容价值、类别,关系特征等 任职要求: 1、扎实的编码能力与算法基础,熟练使用Linux下的python/shell/c++/php中2门以上的语言开发。 2、具有良好的沟通能力和良好的团队合作精神,学习能力强 3、熟悉hadoop、hbase、hive的使用,并了解基本原理。 4、参与过大模型,个性推荐的项目方向,优先选用。 5、工作以业务发展为导向,积极负责。
-
工作职责 1、负责大数据相关系统的开发、测试、部署及上线工作,参与代码评审,确保开发质量; 2、参与业务部门临时数据分析需求,合作开展专项数据分析工作; 3、协助运营人员处理生产问题并提供技术支持,解答业务部门反馈的数据问题及各类咨询; 4、参与公司数据分析需求调研、评估、系统分析及架构设计工作。 任职要求 1、本科及以上学历,计算机、数学、统计学、管理信息类相关专业; 2、熟悉关系型数据库如Oracle、Postgresql等的使用、可熟练编写SQL实现业务逻辑,了解SQL性能调优; 3、熟悉Hadoop生态圈组件,包括但不限于Hive、Spark、HBase、Kylin、Flink、ES、Kafka等; 4、具备良好数据分析及处理能力,熟悉常见的数据处理工具,如ETL、BI工具、Python等; 5、具有较强的责任心和服务意识,良好问题分析及处理能力。
-
工作职责 1、负责存储设备的选型工作,基于业务需求(如数据容量、性能、可靠性、扩展性等)评估不同厂商(如华为、EMC、HDS等)、不同类型(如SAN、NAS、分布式存储)存储产品的技术特点与适配性,确保采购设备符合业务发展要求。 2、采购计划与流程参与:参与订立存储设备采购计划,协同采购部门完成供应商筛选、成本核算及合同谈判,保障采购流程的合规性与经济性。 3、技术支持与落地保障:配合运维团队完成存储设备的部署、调试与维护,解决选型后落地过程中的技术问题(如存储性能优化、数据迁移等),确保存储系统稳定运行。 4、文档编写与知识沉淀:编写存储选型报告、技术方案及运维手册,记录选型过程中的关键决策与技术细节,为后续存储系统升级或扩展提供参考。 任职要求 1.本科及以上学历,计算机、软件工程、网络等相关专业,3年以上存储系统开发、运维或选型经验,熟悉企业级存储产品的应用场景; 2、深入理解存储系统、文件系统(如EXT4、XFS)原理,熟悉分布式存储(如HDFS、HBase、Ceph、Minio)、SAN/NAS等存储技术,了解常见存储格式(如ORC、Parquet)的算法特点; 3、;熟悉存储性能测试工具(如FIO),能独立完成存储性能评估; 4、熟悉主流存储厂商(如华为、EMC、IBM、HP、浪潮)的产品路线(如华为OceanStor、EMC VMAX),具备存储设备调试、维护经验; 5、具备良好的沟通能力,能有效对接业务部门(如研发、运维)与供应商,准确理解业务需求并转化为技术方案; 6、具有强烈的求知欲与学习能力,;具备较强的问题解决能力,能独立分分析并解决存储选型过程中的技术难题; 7、抗压能力和责任心强,具备团队精神,主动承担选型过程中的关键任务。
-
岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
-
此岗位需要在深圳办公。 岗位职责: 1、电商场景下的流量分发体系建设; 2、电商场景下的广告平台建设。 任职要求: 1、计算机及相关专业本科及以上学历,具有扎实的代码功底,熟悉常用的算法和数据结构; 2、精通C++或者Java语言和框架,熟悉了解Python语言,具有良好的编程习惯,熟悉Linux开发环境,掌握设计模式; 3、掌握多线程及高性能的设计编码及性能调优,有高并发应用开发经验,对服务治理体系有充分的理解和应用; 4、熟悉Hadoop/Hive/HBase/Spark/Flink/ES等计算框架,熟悉Docker技术及Kubernetes容器调度系统; 5、具备互联网广告业务的系统架构开发经验; 6、具备大容量、高性能、分布式系统的设计开发经验。
-
【岗位描述】: 1.负责电商搜索架构设计,打造高性能、高可用、可扩展的架构,支撑业务快速发展; 2.负责高并发搜索引擎的全链路架构,优化搜索引擎的计算和存储性能; 3.负责搜索类中间件的平台化建设,构建容器主体的搜索组件服务; 【岗位要求】: 1. 熟练掌握Java/Golang等开发语言,有系统级性能调优经验; 2. 熟悉HBase/ElasticSearch/Milvus/Spark等,具有任一框架优化经验者更佳; 3. 有良好的可靠性意识,包括不限于监控、容灾等。 4. 有中间件容器化,产品化经验。能够根据反馈,快速优化产品服务。 5. 加分项: 对搜索业务/ 推荐业务/电商业务有深入了解;
-
职位描述 1、加入高德地图的商业智能BI团队,深入理解高德核心业务,为决策层评估业务价值、进行业务决策等提供数据支撑; 2、数据研发:参与高德地图打车、搜索等核心业务的数据仓库、数据产品建设,参与数据治理并沉淀业务数据资产; 3、数据挖掘:基于高德地图的海量日志,通过算法模型挖掘有价值的业务信息,指导高德地图的产品迭代。 职位要求 1、计算机、数学、统计或者相关专业本科以上学历; 2、熟悉Java/Python,精通SQL,具有5年以上数据研发经验; 3、熟悉HADOOP大数据平台架构:HDFS/HBase/Hive/MapReduce,熟练掌握MapReduce程序开发,了解实时计算,有使用过Flink、Spark Streaming等开源实时流引擎的优先; 4、对数据仓库系统架构具有良好的认知,理解数据分层、数据倾斜、错峰调度等理念,并具有相关实战经验。
-
岗位职责: 1、研究、设计并实现推荐系统的算法和模型,包括协同过滤、内容推荐、深度学习模型等。 2、分析用户行为数据和产品内容特征,提取关键特征并构建推荐模型,优化推荐结果。 3、不断优化推荐算法,提升推荐质量和准确性,满足用户个性化需求。 4、参与推荐系统的架构设计和优化,提高系统的扩展性和性能。 5、与团队成员合作,进行实验和测试,评估推荐算法的效果并提出改进方案。跟踪最新的推荐算法和技术,探索并引入新的方法来提升推荐系统的性能和效果。 岗位要求: 1、本科及以上学历,计算机、统计学、数学等相关专业优先; 2、5年及以上机器学习相关工作经验,其中至少3年推荐算法排序经验; 3、熟悉协同过滤算法,熟悉LR、FM、XGBoost等常用机器学习模型,熟悉DNN; 4、具备大数据的分析能力、大数据挖掘能力,数据各种数据平台的使用,例如:Hive/HBase/Spark/;熟练使用python语言,熟悉Tensorflow框架优先; 5、了解AB实验流程,熟悉电商推荐常用的评估指标;具备较好的工程基础和良好的代码风格;具有良好的沟通能力,英语听力良好。
-
岗位职责 : 1、数据仓库和数据处理:负责大数据平台的数据仓库、数据治理和数据模型的设计与开发工作。进行日常数据报表开发,理解业务需求,发挥数据价值。 2、数据服务开发:负责离线和实时数据服务的设计、开发、性能调优和效果优化。构建和维护数据管道,处理ETL过程,确保数据质量和准确性。 3、技术研究和应用:参与相关项目的数据需求的实现,设计和编码工作。参与开发过程中相关技术的研究和验证。 4、平台运维和质量管理:负责大数据平台的数据及相关的应用开发、调优及维护。完成日常数据质量的监控,参与大数据平台的日常运维工作。 5、针对数据一致性、准确性、及时性,制定数据管理与治理机制,提升数据易用性、可用性及稳定性; 任职要求 : 1、本科及以上学历,计算机相关专业,3-5年以上数据开发经验; 2、具备至少一个完整的大数据平台和BI系统实施经验,熟知平台建设各环节工作,包括数据采集、数据落地、仓库建设、数据平台搭建、数据应用产品开发 3、熟悉基于推荐系统的数据仓库建设方法论,有数仓模型设计及ETL开发经验;有数据仓库分层架构设定经验者优先; 4、熟悉Hadoop生态相关技术,如Hive、HDFS、Impala、Spark、Presto、Flink、Hudi、Elasticsearch、HBase、Druid、Kylin等,有基于分布式数据存储与计算平台应用开发经验,有较为系统的海量数据性能处理经验; 5、熟悉java、scala、python等语言,熟悉微服务,分布式架构,熟悉springcloud,springboot等技术开发; 6、熟悉数据仓库原理,有离线数仓、实时计算、数据挖掘、ETL、用户画像、数据可视化等设计与开发经验; 7、熟悉MySQL、PostgreSQL、NoSQL等数据库中至少一种数据中心建设方案,可以进行产品的独立部署、高可用架构和性能优化,熟悉开源社区解决方案; 8、熟悉阿里云大数据组件E-MapReduce、Dataworks、MaxCompute和国际AWS的EMR相关数据产品等,市场常见BI产品(superset、FineBI、神策数据)等相关组件者优先; 9、较强的学习能力和技术钻研能力、有自我驱动意识,对数据采集、数据治理、数据开发、数据分析、数据建模、算法等有深刻认识和实战经验。 期待您的加入哟,我们为您准备丰厚福利待遇: 【法定福利】:公司按国家规定购买五险一金+商业保险(员工本人及子女商业保险)+带薪年假; 【节日关怀】:节日福利礼品,以及节日礼金; 【公司福利】: 机场及高铁的贵宾服务(龙腾卡权益)+年度员工健康体检+平安360服务(在线问诊、VIP挂号及重疾紧急入院服务)+年度2次免费洁牙服务 公司提供咖啡、零食、下午茶 员工活动、旅游及团建,不定期举办聚餐、唱K、电竞赛、篮球赛、拓展、旅游、生日Party等 【学习与培训】:助力职业发展与提升,内外训双引擎发力助你高速发展 【晋升机会】:公司设立良好的晋升机制和广阔的发展空间。
-
20k-35k·13薪 经验5-10年 / 本科旅游|出行 / D轮及以上 / 500-2000人岗位职责: 1、参与搜索推荐数据体系及数据质量建设,包括但不限于数据采集及处理、数仓建设、数据治理等工作; 2、开发和维护用户和商品画像系统,生产高质量的用户和商品特征; 3、理解运营和产品的数据需求,通过数据分析和相关报表的设计开发,支持业务问题的提升和改善。 任职要求: 1、计算机科学、软件工程或相关专业本科及以上学历; 2、3-8年大数据开发经验,熟悉数据仓库的设计和实现,有数据治理经验; 3、精通SQL、FlinkSQL、HiveSQL等数据处理技术,熟悉python,有数据治理相关经验者优先; 4、熟练掌握各种大数据技术组件,包括hdfs、hbase、kafka等; 5、有较强的数据分析思维,有良好的沟通能力和团队合作精神; 6、熟悉搜索推荐业务,有相关数据建设经验的优先。
-
工作职责: 1.负责数字底座现场部署支持 2.运维方案的制定、设计和实施以及现场问题解决、自动化运维能力的持续提升 任职资格: 1.计算机、软件、数学、自动化、信息技术等相关专业,硕士及以上学历; 2.熟悉K8S,具备K8S集群的部署、扩缩容、监控报警及故障排查经验,熟悉基于K8S的服务部署最佳实践; 3.熟悉Cilium、OpenEBS等云原生网络和存储插件,了解其工作原理,能够构建监控报警能力并快速处理故障; 4.熟悉KubeSphere K8S集群管理套件,能够熟练使用其功能管理和运维K8S集群; 5.熟悉MySQL、Redis、Kafka、Doris、IoTDB、HDFS、HBase、MinIO等存储组件的运维,包括部署、扩缩容、监控、数据备份与恢复; 6.熟悉Flink、Spark等计算引擎的运维,能够基于K8S环境完成部署、扩缩容及监控报警能力构建; 7.具备网络和存储方向的基础知识,知识面广泛; 8.3年及以上云计算、运维或相关领域的工作经验; 9.积极主动,工作细心踏实,责任心强;具有较好的团队协作能力,具有较强的创新精神、组织协调和沟通能力。 10.具备撰写中英技术文档的能力,有良好的英语读写水平,英语通过国家四级;
-
岗位职责 : 1、负责数据中台项目规划、设计、建设,夯实大数据技术中台底座,支撑基于中台的各类数据及业务应用; 2、按照公司业务方向及战略规划,同业务需求和产品团队高度协同,深入融合,依据客户业务场景和需求,进行产品的设计开发,产品可落地,可复制推广,并交付各部门使用; 3、根据业务模型,制定实时数仓和离线数仓的规划与实现,数据模型的建立和数据流程建设,包括元数据管理、ETL调度系统、数据集成系统、OLAP等子系统的设计和开发等; 4、针对数据一致性、准确性、及时性,制定数据管理与治理机制,包括元数据管理、数据质量检查、数据分级管理等系统的设计、开发及应用,提升数据易用性、可用性及稳定性; 5、带领并指导数据开发团队,进行数据中台的架构设计、模块拆分、功能实现,技术难题的解决; 6、研究大数据技术领域最新进展,并应用到业务中。 任职要求 : 1、本科及以上学历,计算机相关专业,5-10年工作经验数据架构相关的实践工作经验;具有5年及以上的数据库/DW/BI架构体系建设、管理和开发经验,精通主流数据库原理、深入理解内核优化、存储引擎等。 2、具备至少一个完整的大数据平台和BI系统实施经验,熟知平台建设各环节工作,包括数据采集、数据落地、仓库建设、数据平台搭建、数据应用产品开发。 3、熟悉基于推荐系统的数据仓库建设方法论,有数仓模型设计及ETL开发经验;有数据仓库分层架构设定经验者优先。 4、熟悉Hadoop生态相关技术,如Hive、HBase、Spark、Storm、Flink、Elasticsearch、Impala、Druid、Kylin等,有基于分布式数据存储与计算平台应用开发经验,有较为系统的海量数据性能处理经验。 5、熟悉java、python、scala等语言,熟悉微服务,分布式架构,熟悉springcloud,springboot等技术开发。 6、熟悉数据仓库原理,有实时数仓和离线数仓设计与开发经验。 7、熟悉MySQL、PostgreSQL、NoSQL等数据库中至少一种数据中心建设方案,可以进行产品的独立部署、高可用架构和性能优化,熟悉开源社区解决方案。 8、较强的学习能力和技术钻研能力、有自我驱动意识,对数据采集、数据治理、数据开发、数据分析、数据建模、算法等有深刻认识和实战经验。 期待您的加入哟,我们为您准备丰厚福利待遇: 【法定福利】:公司按国家规定购买五险一金+商业保险(员工本人及子女商业保险)+带薪年假; 【节日关怀】:节日福利礼品,以及节日礼金; 【公司福利】: 机场及高铁的贵宾服务(龙腾卡权益)+年度员工健康体检+平安360服务(在线问诊、VIP挂号及重疾紧急入院服务)+年度2次免费洁牙服务 公司提供咖啡、零食、下午茶 员工活动、旅游及团建,不定期举办聚餐、唱K、电竞赛、篮球赛、拓展、旅游、生日Party等 【学习与培训】:助力职业发展与提升,内外训双引擎发力助你高速发展 【晋升机会】:公司设立良好的晋升机制和广阔的发展空间。


