• 内容资讯,短视频 / D轮及以上 / 2000人以上
    职位职责: 1、负责字节跳动所有产品线UG方向的数据流和相关数据服务; 2、面向超大规模数据问题,每天处理千亿增量的用户数据; 3、负责流式数据的实时传递,清洗,转换,计算,并对外提供查询服务; 4、参与数据治理工作,提升数据易用性及数据质量; 5、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作。 职位要求: 1、熟悉Linux操作系统及开发环境; 2、扎实的计算机软件基础知识:数据结构,操作系统等; 3、熟悉 C/C++、Java、Python 等任意一门编程语言; 4、对数据敏感,认真细致,善于从数据中发现疑点; 具备以下条件者优先: 1、研究过开源项目; 2、参加过 ACM 或者其他类型的软件开发大赛; 3、熟悉大数据处理工具/框架中的一项或多项,包括但不限于Hadoop, Mapreduce, Hive, Storm, Spark, Druid, kafka, hbase,ES等。
  • 18k-35k·14薪 经验5-10年 / 本科
    生活服务,旅游|出行 / 上市公司 / 150-500人
    岗位职责 : 1、数据仓库和数据处理‌:负责大数据平台的数据仓库、数据治理和数据模型的设计与开发工作。进行日常数据报表开发,理解业务需求,发挥数据价值‌。 2‌、数据服务开发‌:负责离线和实时数据服务的设计、开发、性能调优和效果优化。构建和维护数据管道,处理ETL过程,确保数据质量和准确性‌。 3、技术研究和应用‌:参与相关项目的数据需求的实现,设计和编码工作。参与开发过程中相关技术的研究和验证‌。 ‌4、平台运维和质量管理‌:负责大数据平台的数据及相关的应用开发、调优及维护。完成日常数据质量的监控,参与大数据平台的日常运维工作‌。 5、针对数据一致性、准确性、及时性,制定数据管理与治理机制,提升数据易用性、可用性及稳定性; 任职要求 : 1、本科及以上学历,计算机相关专业,3-5年以上数据开发经验; 2、具备至少一个完整的大数据平台和BI系统实施经验,熟知平台建设各环节工作,包括数据采集、数据落地、仓库建设、数据平台搭建、数据应用产品开发 3、熟悉基于推荐系统的数据仓库建设方法论,有数仓模型设计及ETL开发经验;有数据仓库分层架构设定经验者优先; 4、熟悉Hadoop生态相关技术,如Hive、HDFS、Impala、Spark、Presto、Flink、Hudi、Elasticsearch、HBase、Druid、Kylin等,有基于分布式数据存储与计算平台应用开发经验,有较为系统的海量数据性能处理经验; 5、熟悉java、scala、python等语言,熟悉微服务,分布式架构,熟悉springcloud,springboot等技术开发; 6、熟悉数据仓库原理,有离线数仓、实时计算、数据挖掘、ETL、用户画像、数据可视化等设计与开发经验; 7、熟悉MySQL、PostgreSQL、NoSQL等数据库中至少一种数据中心建设方案,可以进行产品的独立部署、高可用架构和性能优化,熟悉开源社区解决方案; 8、熟悉阿里云大数据组件E-MapReduce、Dataworks、MaxCompute和国际AWS的EMR相关数据产品等,市场常见BI产品(superset、FineBI、神策数据)等相关组件者优先; 9、较强的学习能力和技术钻研能力、有自我驱动意识,对数据采集、数据治理、数据开发、数据分析、数据建模、算法等有深刻认识和实战经验。 期待您的加入哟,我们为您准备丰厚福利待遇: 【法定福利】:公司按国家规定购买五险一金+商业保险(员工本人及子女商业保险)+带薪年假; 【节日关怀】:节日福利礼品,以及节日礼金; 【公司福利】: 机场及高铁的贵宾服务(龙腾卡权益)+年度员工健康体检+平安360服务(在线问诊、VIP挂号及重疾紧急入院服务)+年度2次免费洁牙服务 公司提供咖啡、零食、下午茶 员工活动、旅游及团建,不定期举办聚餐、唱K、电竞赛、篮球赛、拓展、旅游、生日Party等 【学习与培训】:助力职业发展与提升,内外训双引擎发力助你高速发展 【晋升机会】:公司设立良好的晋升机制和广阔的发展空间。
  • 12k-20k 经验1-3年 / 本科
    金融 / 不需要融资 / 2000人以上
    岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
  • 15k-30k·14薪 经验3-5年 / 本科
    金融 软件开发 / 不需要融资 / 2000人以上
    职责描述: 1、负责公司大数据平台的运维保障工作,保障平台的正常运行和相应数据服务的稳定高效; 2、对接数据开发侧团队,主动优化和完善服务巡检、监控工具、脚本等,减少人工操作提高运维效率;负责数据平台的故障处置、推动性能优化。如平台产品技术问题,提交给平台产品技术组进行后台处理,并及时反馈. 3、负责数据平台二线运维支撑保障,响应运维/服务台一线请求:处置生产事件,跟踪问题处理; 4、定期组织团队人员开展大数据平台的技术知识积累和移交; 5、负责设计日常运维相关的自动化工具或系统,并完成相应需求收集和需求管理 ; 任职要求: 1. 具有1年以上金融行业数据类项目运维经验,熟悉保险业务操作与管理。具有大数据平台相关技术进行数据仓库、数据中台开发、维护、优化等项目经验的人员,或长期在类似的运维项目上承担运维工作优先; 2. 具备较强的数据开发分析能力,熟练掌握SQL等技能,熟练掌握大数据平台、UNIX、LUNIX和中间件的技能。有java或Python开发基础优先; 3. 具备较强的数据分析,问题分析,逻辑思维能力,团队协作能力,有良好的沟通能力和责任感,能够承担工作压力,独立分析和解决问题者优先; 4. 强烈的自驱力和责任感,面对复杂业务问题,可以从业务和技术多角度推进,最终达成目标。
  • 30k-60k 经验不限 / 本科
    软件服务|咨询 / C轮 / 500-2000人
    岗位职责: 1. 负责云大数据分析平台核心研发、架构、优化工作; 2. 负责不同大数据系统调用、对接工作 任职要求: 1. 精通Java和SpringBoot框架; 2. 精通Jvm性能调优及故障诊断经验; 3. 熟悉HiveServer、ThriftServer、Kyuubi等大数据Gateway其中之一,有开发经验者优先; 4. 熟悉Hadoop、Spark、Presto等大数据框架,有大型分布式计算开发、部署等相关经验的优先; 5. 有强烈责任感,具备较强的团队沟通和协作能力,较强的自我驱动能力,具备良好的学习能力;
  • 16k-21k 经验3-5年 / 本科
    文娱丨内容 / 不需要融资 / 2000人以上
    岗位职责: 1.负责大数据平台搭建、服务器及BI等系统的基础运维工作; 2.负责制定基于大数据体系的开发流程、开发规范等工作; 3.负责调研各业务部门的数据需求,采集业务需要的各类数据; 4.负责数据仓库模型设计和ETL开发,支撑上层数据应用; 5.负责数据接口开发及对接,整合并优化数据应用流程,实现数据到业务的标准化运行; 6.负责从海量数据中挖掘偏好、构建相关维度的标签体系; 7.负责BI可视化开发,及账号权限运维等工作; 8.负责重点技术攻关,深入研究大数据相关技术和产品,跟进行业发展。 任职要求: 1. ***本科及以上学历,计算机相关专业,4年以上工作经验; 2. 2年以上大数据行业经验,熟悉Hadoop、Hive、spark、flink、kafka、ElasticSearch等常用大数据组件,有实际开发、优化、运维经验; 3. 熟悉Java/Scala语言,有2年以上后台开发经验; 4. 熟悉Oracle、MySQL等关系数据库,精通sql; 5. 熟练使用Linux系统,具备Shell脚本开发能力; 6. 熟练掌握数据仓库理论,有数据模型设计经验,熟练使用ETL工具进行数据抽取,清洗,转换等; 7. BI可视化开发经验。
  • 15k-30k·14薪 经验不限 / 本科
    专业服务|咨询 / 未融资 / 150-500人
    【职位描述】 * 负责大数据中间件产品研发 * 负责大数据分析平台软件的研究和开发 * 负责数据仓库产品的研究和开发 【任职资格】 * 计算机科学、应用数学、统计学、经济学、物理学、天文学、商业分析、信息系统、数据科学或相关专业本科或以上学历(应届毕业生或工作时间小于2年) * 优秀的学习能力与发现、分析并解决问题的能力 * 良好的团队合作精神与沟通能力 【技能要求】 * 具备良好的口头表达能力 * JAVA基础扎实,有相关开发或者实习经验,熟悉IO、多线程、MQ、数据结构与设计模式等 * 精通Hadoop/Hive/Hbase,对Hadoop、Hive、Storm、Spark等源码有研究者优先 * 有分布式监控、搜索、调度、部暑其中一项经验优先 * 熟悉分布式、缓存、消息机制,常用的DAL/ORM框架和设计模式 【公司介绍】: -麦肯锡和华为惠普联合团队 • 由多位前麦肯锡合伙人以及华为惠普核心工程高管联合创立,打造精品管理咨询传承与科技创新品牌 • 同时拥有优质咨询项目资源、丰富咨询经验,及数字化赋能的精尖技术能力,建立从咨询建议到产品/解决方案的全面商业服务模式 • 约600位咨询顾问、数据科学家、软硬件工程师常驻北京上海和成都 -多行业多商业领域覆盖 •主要服务于企业客户,通过结合管理咨询、大数据分析、算法建模与工程落地的能力帮助企业客户实现业务增长 •行业覆盖消费品、零售、金融、互联网、医疗与媒体等 •与多行业领先企业深度合作,建立长期合作关系,如沃尔玛(获沃尔玛年度最佳供应商称号)、欧莱雅、联合利华、中国农业银行、腾讯、京东、美团等 -精尖的数据分析/算法/工程师团队 • 具备数据清洗与挖掘、算法模型和语义分析方面行业领先技术水平与能力 • 具备根据客户业务方向搭建中台/后台的工程技术能力与丰富的项目经验 • 具备广受行业认可的成熟产品(含已申请专利技术),帮助客户实现数据驱动的效率提升 -富有竞争力的职业发展与薪酬福利保障 •注重人才培养,提供定期培训分享及深度参与项目机会,加入团队的年轻小伙伴们再也不用担心自己沦为职场“小螺丝钉” •注重员工成长空间,每年二次全员review,半年即有机会享受升职加薪 •注重福利保障,包括:五险一金、全额理赔商业补充医保、超长带薪年假、超长带薪病假、书费报销、打车报销、无限量零食饮料畅吃、国内外团建旅游等
  • 8k-12k 经验1-3年 / 本科
    移动互联网,金融 / A轮 / 50-150人
    招聘岗位:大数据分析师 岗位职责: 1、 深入了解公司大数据和人工智能产品及相关后台技术背景,开展大数据分析与模型构建,开展数据产品的逻辑设计与运营; 2、 利用数据分析与建模方法(LR、XGBOOST或其他机器学习模型),对数据进行洞察研究,驱动产品功能优化升级; 3、 设计大数据产品迭代开发需求,持续优化数据产品,并对新需求进行功能测试,确保数据产品稳定运行 4、 处理客户线上与线下测试,协助客户线上接口对接,推进客户的数据产品使用; 5、 及时响应解答客户问题,对复杂的异常问题,协调产品、运维或研发人员予以解决; 任职要求: 1、1年以上数据分析与建模工作经验,本科及以上学历 2、熟练使用数据分析工具Python或 SAS,熟悉风险评分建模的优先考虑 3、了解数据处理及分析方法,熟悉逻辑回归(LR)、树模型(XGBOOST)及其他机器学习模型 4、具有较强的观察力、执行力、应变能力、客户服务能力; 5、有强烈的进取精神、创造性和学习能力,能独立分析问题和解决问题。 6、责任心强,善于主动学习,能够承受较大工作压力,很好的服从工作安排; 工作地点:上海
  • 专业服务|咨询 / 未融资 / 50-150人
    从事大规模集群实施经验的大数据PaaS领军人才,熟悉hadoop开源架构,主要负责: 1、结合集团业务场景,负责PaaS平台的总体架构设计和落地,组件或工具选型,支持业务需求,深度参与业务系统的设计与实施,提供有前瞻性的技术解决方案; 2、推进搭建与优化Hadoop、Hive、HBASE等开发环境、搭建生产集群、提供高可用、低时延、大并发的生产环境。 3、负责带领PaaS团队开发高性能微服务,编写生产环境核心代码,领导搭建用户在线压测集群。 4、负责牵头开展对Hadoop与Spark下的分类算法与聚类算法在项目中进行应用,负责高可用、高性能服务端系统的架构设计,以及后台运营管理系统的架构设计。 5、负责提升开发团队的大数据开发能力,对批量计算、流式计算、时序数据处理、存储引擎、资源调度等一项或多项提供解决方案; 6、提升部门生产效率,构建研发团队竞争优势;对研发人员进行深入和准确的评估,培养领导梯队。
  • 12k-20k·13薪 经验3-5年 / 本科
    企业服务 / 不需要融资 / 50-150人
    大数据开发工程师负责中心大数据平台的搭建和维护,负责大数据平台持续集成相关工具平台的架构设计与产品开发等。具体岗位职责如下: 1、负责基于Spark/Hadoop等分布式计算平台的系统基础架构设计与实现,满足基础平台层功能性/非功能性需求; 2、对海量数据进行挖掘,发现其潜在的关联规则; 3、负责在线和离线海量数据分析平台的开发; 4、负责基于大数据平台的业务项目的开发、实施和维护工作; 5、负责相关业务脚本的性能优化与提升,提高系统运行效率; 6、负责基于分布式计算平台的应用开发等; 7、 领导交办的其他工作。 要求: 1、本科及以上学历,计算机科学与技术、软件工程、通信、电子等相关专业,3年及以上工作经验 2、熟恶Hadoop,Spark,Flink等大数据计算框架,掌据Hbase,ES,Kafka等大数据技术组件 3、具有良好的编程和架构能力,熟悉Java开发语言并有相关的项目开发经验。 4.熟练使用Linux操作系统,熟恶Shell脚本以及常用的管理命令; 5、对当前流行的大数据框架、分布式架构有深刻理解; 6、责任心强,自驱力强,思维严谨,有较强的学习创新能力,有较强的抗压能力及执行能力; 7、熟悉dicom、loT、网络通信等相关技术,有微服务开发相关经验、有BAT相关大数据后台开发经验者优先
  • 12k-17k 经验3-5年 / 本科
    硬件 / 未融资 / 50-150人
    工作职责 1. 负责大数据分析需求设计和开发,承担数据抽取、清洗、实时统计及离线数据处理等程序开发; 2. 开发数据统计系统,完成项目数据统计与分析任务,为业务运营提供数据支持服务; 3. 根据项目需求预研并引入新的大数据分析技术 任职要求 1、本科及以上学历,计算机、数学相关专业,5年以上相关工作经验; 2、精通Java或者scala、基础扎实,有良好的编码习惯; 3、精通主流的大数据开源框架(如Hadoop/Spark/Flink等),并有丰富的应用开发经验; 4、熟练使用kafka/elasticsearch/redis/mongodb/Hbase/druid/kylin等大数据组件; 5、熟练使用主流关系型数据库(如Oracle/Mysql/PostgresQL), 熟练掌握SQL语言; 6. 热爱开发,有较强的学习能力和快速解决问题的能力,具备较强的责任心和良好的沟通能力
  • 10k-20k 经验3-5年 / 本科
    硬件 / 上市公司 / 2000人以上
    工作职责: 1、负责集团基于大数据技术的数据平台开发、数仓建设、数据治理、数据统计分析等开发工作; 2、负责数据挖掘领域的分析研究,包括数据挖掘算法的分析研究,特定场景的数据挖掘模型的需求分析、建模及实验模拟工作; 3、研究前沿技术,了解项目需求,制定解决方案,解决实际应用场景中的业务问题,优化离线/实时大数据计算任务的性能。 任职资格: 1、本科及以上学历,计算机、软件技术、数据挖掘、统计学、应用数据等相关专业; 2、至少3年以上大数据开发/数据存储/数据平台/分析挖掘相关经验; 3、熟悉Linux操作系统,掌握Shell/Python/Perl至少一种脚本语言; 4、理解主流大数据处理架构和相关技术,会使用Hadoop、Spark等平台,Hive 、Impala 、Azkaban 、Kafka、Sqoop、 Flume、Zookeeper相关组件和开源系统; 5、熟悉SQL语言,包括MySQL、Oracle等关系型数据库;Redis 、MongoDB、HBase等NOSQL 数据库;了解数据仓库技术,能够使用常用的ETL工具; 6、熟悉Lucene、ElasticSearch等 检索技术; 7、具有优秀的口头和书面表达能力,思维活跃、关注和了解技术发展的最新动态,踏实肯干、有责任心,能适应高强度工作,沟通协作能力较好、学习能力强。
  • 15k-30k 经验不限 / 本科
    我司在招聘大数据工程师的同时也在招聘Java工程师 技能要求: Linux,网络安全,数据库开发 岗位职责: 1. 构建基于网络信息安全的大数据平台,支持数据采集、处理、分析、监控和可视化全过程。 2. 解决数据规模增长带来的技术、异地存储检索和复杂的业务问题。 3. 参与项目的需求分析和设计工作,并完成相关技术文档的编写。 4. 协助项目负责人解决项目中的技术难题; 任职要求: 1. 本科及以上学历,计算机相关专业,5年以上开发经验,2年及以上大数据从业经验。 2. 熟悉分布式编程,精通JAVA语言程序设计,具有良好的架构规划能力。 3. 熟悉Hadoop/Hive/Spark/Storm/Flink/Kafka/等技术,具备实际项目设计及开发经验。 4. 精通SQL,熟悉Mysql/Oracle处理机制及应用场景;熟悉NOSQL,如Redis、Hbase、MongoDB等 5. 有Druid、Clickhouse 或Kylin使用及性能优化经验者优先。 6. linux操作系统操作熟练,有能力进行复杂脚本(shell/PYTHON等)编程。 7. 工作态度端正,对技术充满热情具有钻研精神,有良好的问题分析和追踪能力,团队合作意识较好。 具有以下条件者优先考虑: 1)有Kubernetes/docker/Etcd 等容器技术使用者。 2)有网络信息安全从业经验者。
  • 15k-30k 经验3-5年 / 本科
    人工智能服务,科技金融 / 不需要融资 / 500-2000人
    岗位职责: 1. 负责大数据平台的建设、数据SaaS应用开发; 2. 参与大数据平台系统架构设计,持续提升系统性能和稳定性,协助解决系统开发过程中的技术难题; 3. 跟进行业动态与技术发展,调研大数据领域前沿技术。 岗位要求: 1. 本科及以上学历,计算机、软件工程、数理统计等相关专业; 2. 三年及以上Java后端开发经验,一年以上大数据开发相关经验; 3. 熟悉Java、Scala等至少一种开发语言,掌握主流后端开发框架,如SpringBoot、Mybatis、SpringCloud等; 4. 熟悉Hadoop、Hbase、Hive、Spark、Doris等大数据相关技术,有大数据批处理优化经验更佳; 5. 熟悉Linux操作系统,熟练使用shell脚本,有Docker、K8S等容器云相关工具使用经验; 6. 工作踏实认真、责任心强,具备良好的学习能力,能够承受工作压力,具备良好团队协作精神及沟通能力。 工作地址
  • 13k-16k 经验3-5年 / 本科
    其他 / 未融资 / 15-50人
    岗位职责: 1.支持Hadoop集群底座的运维故障分析、解决、性能优化;大数据集相关组件主要包括:Yarn、HDFS、ZooKeeper、Storm、Kafka、Hbase、Hive、Spark、Kerberos、Spark、Flink、Flume、MySQL等组件运维; 2.开发数据采集、清洗、分析、挖掘及可视化功能,需熟悉ES、milvus、pgsql等。 3.熟悉国产数据库,包括doris等; 4.配合开展HDFS存储、Hive元数据治理优化,建立并完善存储治理方案; 5.配合开展Hive、Spark作业优化,对业务侧提出优化建议。如:作业小文件问题、数据倾斜治理方案等; 6.提出集群优化建设方案,配合建设和优化大规模分布式集群的自动化运维、监控等工具和管理平台。 任职要求: 1.本科及以上学历,通信/计算机等相关专业,具有良好的学习能力、沟通能力、团队合作能力及一定的抗压能力; 2.熟悉Hadoop、Hive、Hbase、Spark等开源项目,理解组件架构及原理; 3.对大数据运维开发有浓厚兴趣,熟悉Apache Hadoop部署、性能调优; 4.能阅读/理解Hadoop等相关开源组件源码; 5.对HQL、SparkSQL等有较深入的研究,能解决实际业务性能问题; 6.熟练掌握LDAP、Kerberos等安全认证体系; 7.熟练掌握Linux命令与工具进行问题定位,熟悉常规的互联网技术架构; 8.具备一定的Java开发能力; 9.有信控平台开发经验者优先录取。