-
职位职责: 1、负责字节跳动所有产品线UG方向的数据流和相关数据服务; 2、面向超大规模数据问题,每天处理千亿增量的用户数据; 3、负责流式数据的实时传递,清洗,转换,计算,并对外提供查询服务; 4、参与数据治理工作,提升数据易用性及数据质量; 5、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作。 职位要求: 1、熟悉Linux操作系统及开发环境; 2、扎实的计算机软件基础知识:数据结构,操作系统等; 3、熟悉 C/C++、Java、Python 等任意一门编程语言; 4、对数据敏感,认真细致,善于从数据中发现疑点; 具备以下条件者优先: 1、研究过开源项目; 2、参加过 ACM 或者其他类型的软件开发大赛; 3、熟悉大数据处理工具/框架中的一项或多项,包括但不限于Hadoop, Mapreduce, Hive, Storm, Spark, Druid, kafka, hbase,ES等。
-
岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
-
564118-资深大数据开发工程师(北京)
[中关村] 2023-01-1215k-30k 经验3-5年 / 本科软件服务|咨询,专业服务|咨询 / 不需要融资 / 500-2000人工作职责: 1、负责大数据平台的技术规划和架构工作,主导系统的架构设计和核心模块开发,确保平台质量和关键性能指标达成; 2、负责研发技术发展方向,新技术领域的探索,将新技术引入大数据平台; 3、负责公司平台数据仓库的建模和设计工作,数据抽取,数据清洗,数据建模工作,ETL设计与开发,数据质量保障,元数据管理; 4、负责大数据平台研发团队的工作分配、指导和管理,确保团队工作有序达成; 5、负责技术架构文档的书写和完善,保证文档的及时更新。 任职资格 : 1、本科及以上学历,具有5年以上数据仓库模型设计和ETL开发经验; 2、熟悉Spark相关技术,3年以上Spark开发经验,有大数据架构师工作经验优先; 3、熟悉java或者Scala语言,具有hbase、es、kafka使用经验; 4、有优良的解决问题能力,有过海量数据系统开发经验者优先。 -
1、参与研究院大数据指标、变量体系建设等相关工作:根据项目的内容需求,开发和搭建完整数据加工链路,包括:接入、解析、清洗、融合、变量衍生、存储、数据服务等。 2、研究和落地基于业务场景的数据加工流程和指标变量体系,并形成业务解决方案。
-
职责描述: 1、负责公司大数据平台的运维保障工作,保障平台的正常运行和相应数据服务的稳定高效; 2、对接数据开发侧团队,主动优化和完善服务巡检、监控工具、脚本等,减少人工操作提高运维效率;负责数据平台的故障处置、推动性能优化。如平台产品技术问题,提交给平台产品技术组进行后台处理,并及时反馈. 3、负责数据平台二线运维支撑保障,响应运维/服务台一线请求:处置生产事件,跟踪问题处理; 4、定期组织团队人员开展大数据平台的技术知识积累和移交; 5、负责设计日常运维相关的自动化工具或系统,并完成相应需求收集和需求管理 ; 任职要求: 1. 具有1年以上金融行业数据类项目运维经验,熟悉保险业务操作与管理。具有大数据平台相关技术进行数据仓库、数据中台开发、维护、优化等项目经验的人员,或长期在类似的运维项目上承担运维工作优先; 2. 具备较强的数据开发分析能力,熟练掌握SQL等技能,熟练掌握大数据平台、UNIX、LUNIX和中间件的技能。有java或Python开发基础优先; 3. 具备较强的数据分析,问题分析,逻辑思维能力,团队协作能力,有良好的沟通能力和责任感,能够承担工作压力,独立分析和解决问题者优先; 4. 强烈的自驱力和责任感,面对复杂业务问题,可以从业务和技术多角度推进,最终达成目标。
-
我司在招聘大数据工程师的同时也在招聘Java工程师 技能要求: Linux,网络安全,数据库开发 岗位职责: 1. 构建基于网络信息安全的大数据平台,支持数据采集、处理、分析、监控和可视化全过程。 2. 解决数据规模增长带来的技术、异地存储检索和复杂的业务问题。 3. 参与项目的需求分析和设计工作,并完成相关技术文档的编写。 4. 协助项目负责人解决项目中的技术难题; 任职要求: 1. 本科及以上学历,计算机相关专业,5年以上开发经验,2年及以上大数据从业经验。 2. 熟悉分布式编程,精通JAVA语言程序设计,具有良好的架构规划能力。 3. 熟悉Hadoop/Hive/Spark/Storm/Flink/Kafka/等技术,具备实际项目设计及开发经验。 4. 精通SQL,熟悉Mysql/Oracle处理机制及应用场景;熟悉NOSQL,如Redis、Hbase、MongoDB等 5. 有Druid、Clickhouse 或Kylin使用及性能优化经验者优先。 6. linux操作系统操作熟练,有能力进行复杂脚本(shell/PYTHON等)编程。 7. 工作态度端正,对技术充满热情具有钻研精神,有良好的问题分析和追踪能力,团队合作意识较好。 具有以下条件者优先考虑: 1)有Kubernetes/docker/Etcd 等容器技术使用者。 2)有网络信息安全从业经验者。
-
岗位职责: 1、Hadoop大数据平台架构及组件的优化; 2、数据分析平台的开发和优化; 3、数据展示系统的开发和优化; 4、大数据集群的监控、管理、性能优化; 5、数据计算性能瓶颈的定位及优化。 这样的你是我们的理想型: 1、国家**本科及以上学历; 2、熟练使用C/C++/Java; 3、熟练掌握计算机数据结构和算法; 4、熟悉Hadoop架构,有大数据、分布式存储及计算等相关经验者优先。
-
【2002年成立,运营商软件厂商,有自己的产品,非外包岗位,专业从事DNS相关领域、网络安全领域、大数据领域软件产品和服务的高新技术企业】 岗位职责: 1、负责公司大数据相关项目研发工作;(数据量非常大,集群PB级别,日增数据几十T,业务需要熟练使用spark) 2、参与系统架构设计、数据库设计等架构工作; 3、完成团队安排的其他任务。 任职要求: 1、***硕士学历,学信网可查,计算机相关专业,2年以上工作经验;【学历或经验丰富者薪资、经验不受限,可谈】 2、掌握Hadoop、Hbase、Spark、Spark Streaming(精通)、Spark SQL、Sparkcore、Scala等大数据相关知识,熟练使用spark相关组件;有分布式应用软件(hadoop/kafka/redis等)经验; 3、熟练使用svn、git等版本控制工具,熟练使用maven等项目管理工具; 4、深入理解面向对象编程思想,具备扎实的Java编程基础,良好的编码习惯; 5、良好沟通能力和团队协作能力,具有较强的工作责任心,快速学习能力,乐观积极进取。 6、学历或技术方面特别优秀者,薪资、工作年限可议。 【五险一金、13薪+额外年终奖(最高可达16薪)、额外补贴、带薪年假】 上班时间:早9:00-晚6:00,周末双休 公司地址:北京市海淀区静芯园L座楼南三层301室
-
岗位职责: 1、掌握项目具体数据需求,分析数据源系统,确定所需源数据的数据结构、统计口径、数据下发方式、数据下发频率等特性,确定数据映射关系,数据含义,构建数据模型 2、协助ETL工程师完成模型落地以及调度开发 3、了解大数据平台整体规划,针对银行业内的数据存储、平台资源、业务需求,使用模型设计软件构建全行级数据体系的数据模型 4、在数据资产管理平台中维护系统表清单、表结构、表类型、数据字典、数据映射关系 5、研究银行业的建模思路、方法和落地方式,结合行内现有数据模型、业务逻辑等,开展各项主题研究分析根据行内的模型规划,制定具体标准、流程设计以及实施方案,并推动实施 6、参与数据挖掘及数据产品研发的规划、设计及实施。包括数据准备、数据分析、数据建模、模型优化、算法应用等工作。 招聘条件: 1、211/985硕士及以上学历,年龄35周岁及以下; 2、具备3年及以上银行、大数据分析、IT公司从事金融行业数据挖掘相关工作经验; 3、作为核心团队成员参与过金融数据分析或数据仓库项目,有项目管理经验者优先考虑; 4、熟悉数据仓库模型设计方法论,并有实际的模型设计经验,具备大数据模型建设能力 熟悉大数据、数据仓库、数据治理等行业技术发展趋势 5、熟悉金融行业基本知识,熟悉银行基本业务体系 6、熟悉高斯DB相关技术,熟悉MPP数据库、关系型数据库技术,具有丰富的SQL语言经验会使用至少一种模型设计软件(PD、ERWIN等) 7、具有较强的逻辑分析能力,同时对新知识、新事物具有强烈的钻研精神,思路清晰、思维缜密,有良好的团队合作能力。
-
1. 参与相关产品技术方案研讨; 2. 按照团队分工,进行相关产品的技术选型、技术调研、大数据平台架构设计、API接口设计、平台构建、代码编写等开发工作; 3. 对代码进行自测,保证代码质量; 4. 与其他团队技术对接,跟进问题的处理和反馈; 5. 编写相关产品技术文档; 6. 持续跟进大数据平台技术发展趋势并能应用于实践; 7. 其他相关支持性工作。 任职资格: 1.本科以上(含)学历,计算机相关专业; 2.扎实的编程能力,熟练掌握Java、Python、Scala等语言中的两种及以上,熟练掌握IO、多线程、MQ等相关技术; 3.熟练掌握大数据生态技术组件,如Hadoop、Hive、Hbase、Kafka、Spark、ZooKeeper、Flink、ES等,并有集群和分布式计算架构设计和实现经验; 4.扎实的计算机基础,对数据治理、数据挖掘、数据中台等有一定的理解; 5.具有很强的学习能力、逻辑分析能力,有良好的技术视野,可以作为独立的项目组成员; 6.具有很强的责任心、协同意识、沟通能力、自我驱动力及工作主动性。
-
【职位描述】 * 负责大数据中间件产品研发 * 负责大数据分析平台软件的研究和开发 * 负责数据仓库产品的研究和开发 【任职资格】 * 计算机科学、应用数学、统计学、经济学、物理学、天文学、商业分析、信息系统、数据科学或相关专业本科或以上学历(应届毕业生或工作时间小于2年) * 优秀的学习能力与发现、分析并解决问题的能力 * 良好的团队合作精神与沟通能力 【技能要求】 * 具备良好的口头表达能力 * JAVA基础扎实,有相关开发或者实习经验,熟悉IO、多线程、MQ、数据结构与设计模式等 * 精通Hadoop/Hive/Hbase,对Hadoop、Hive、Storm、Spark等源码有研究者优先 * 有分布式监控、搜索、调度、部暑其中一项经验优先 * 熟悉分布式、缓存、消息机制,常用的DAL/ORM框架和设计模式 【公司介绍】: -麦肯锡和华为惠普联合团队 • 由多位前麦肯锡合伙人以及华为惠普核心工程高管联合创立,打造精品管理咨询传承与科技创新品牌 • 同时拥有优质咨询项目资源、丰富咨询经验,及数字化赋能的精尖技术能力,建立从咨询建议到产品/解决方案的全面商业服务模式 • 约600位咨询顾问、数据科学家、软硬件工程师常驻北京上海和成都 -多行业多商业领域覆盖 •主要服务于企业客户,通过结合管理咨询、大数据分析、算法建模与工程落地的能力帮助企业客户实现业务增长 •行业覆盖消费品、零售、金融、互联网、医疗与媒体等 •与多行业领先企业深度合作,建立长期合作关系,如沃尔玛(获沃尔玛年度最佳供应商称号)、欧莱雅、联合利华、中国农业银行、腾讯、京东、美团等 -精尖的数据分析/算法/工程师团队 • 具备数据清洗与挖掘、算法模型和语义分析方面行业领先技术水平与能力 • 具备根据客户业务方向搭建中台/后台的工程技术能力与丰富的项目经验 • 具备广受行业认可的成熟产品(含已申请专利技术),帮助客户实现数据驱动的效率提升 -富有竞争力的职业发展与薪酬福利保障 •注重人才培养,提供定期培训分享及深度参与项目机会,加入团队的年轻小伙伴们再也不用担心自己沦为职场“小螺丝钉” •注重员工成长空间,每年二次全员review,半年即有机会享受升职加薪 •注重福利保障,包括:五险一金、全额理赔商业补充医保、超长带薪年假、超长带薪病假、书费报销、打车报销、无限量零食饮料畅吃、国内外团建旅游等
-
岗位职责: 1、参与公司大数据方向的数据处理架构和模型设计,结合公司实际业务情况进行技术选型与迭代; 2、协助制定完成业务数据ETL流程及规范,并确保数据质量; 3、负责数据处理,协助团队解决开发过程中的技术难题; 4、参与数据平台产品的整体评估、设计、架构及关键模块的研发; 5、协助制定数据开发、主数据、数据质量、数据服务等规范。 任职要求: 1、本科以上学历,5年以上相关工作经验; 2、具有海量数据建模实践经验,有DW/BI架构体系建设经验; 3、精通SQL和Mapreduce、Spark、flink处理方法; 4、对大数据体系有深入认识,精通Kafka、Hadoop、Hive、HBase、Spark、Storm、greenplum、ES、Redis等大数据技术,并能设计相关数据模型; 5、对Hbase、mongo应用场景及性能调优熟悉; 6、很强的学习、分析和解决问题能力,可以迅速掌握业务逻辑并转化为技术方案; 7、具有较强的内外沟通能力,良好的团队意识和协作精神。
-
岗位职责 1、理解保险相关业务需求,负责存储程序、数据采集、加工、清洗以及实时数据计算的开发及相应优化工作; 2、参与数据模型血缘关系梳理及设计工作。 3、参与需求分析,并完成相应需求、设计文档的编写; 4、针对用户数据库开展的软件安装、配置优化、备份策略选择及实施、数据恢复、数据迁移、故障排除、预防性巡检等数据运维工作。 任职要求 1、计算机相关专业本科以上学历,数据开发工作经验三年以上,有保险行业数据开发工作经验优先考虑; 2、掌握数据库知识,较强的SQL/ETL开发能力,及数据模型设计能力; 3、熟悉Oracle或MySQL数据库;了解Hadoop生态圈大数据技术,如Hive,Hbase,Spark等,掌握阿里DataWorks、Quick BI、DataV等工具的使用。 4、熟练掌握Java/Python/Scala等至少一门编程语言; 5、有较强的学习能,能吃苦耐劳,执行能力强,敢于挑战,能承受一定的工作压力。具备较强的问题分析,逻辑思维能力,团队协作能力,有良好的沟通能力和责任感。
-
岗位职责: 1、负责海量数据处理分布式平台及大数据分析系统的架构设计和搭建,任务调度,监控预警,持续完善大数据平台,保证稳定性,安全性; 2、负责数据开发工作包括持续的数据仓库建设、实时/离线数据计算,业务报表产出等,保证数据质量; 3.负责及时响应并处理线上系统,与上下游业务进行沟通协作,保障应用系统的稳定运行,推动各类数据需求的落地实践; 4.负责画像标签离线数据开发及标签质量治理,提供稳定标签输出。 岗位要求: 1.本科以上学历,计算机、数学、统计相关专业,具有3年及以上数据仓库或大数据领域相关开发或运维经验 2.熟悉HDFS/HIVE/HBase/Spark/Flink/Yarn/Kafka等Hadoop大数据生态系统的常用组件及工作原理,有部署及运维经验,具备故障诊断和调优能力优先 3.熟悉常用的数据建模理论,熟悉数据仓库各层级模型设计,有实际逻辑经验 4.熟悉LINUX平台,熟悉JAVA/SCALA任意一种编程语言,扎实的编程基础 5.熟练熟悉MYSQL、ES、ClickHouse等数据库,有Hql/Sql调优经验 6.具备较好的逻辑思维能力及问题分析、处理能力。对BI系统有使用经验,有OLAP开发或数据分析相关经验优先 7.热爱大数据技术,有良好的沟通表达能力和主动理解业务的能力,有强烈的进取心,责任心,乐于分享。
-
职位描述: 1、负责公司业务数据大数据处理应用的研发与维护工作,为数据治理、集群优化、成本优化等输出重要业务价值; 2、与中台团队紧密配合,可以在日常的使用中总结提炼产品能力并反馈给产研团队,帮助数据中台产品能力和体验不断提升。 职位要求: 1、掌握大数据相关组件架构知识,具备开发、调优能力,如Flink、Hive、GreenPlum、Spark、Presto等; 2、掌握数据库理论知识,精通数据结构知识及数据库性能优化方法; 3、出色的大数据开发经验,如 Flink, Spark,Mapreduce 等等。 4、熟悉至少一个流处理框架(如 SparkStreaming、Storm或Flink); 5、丰富的 OLAP 系统开发经验。 6、熟悉敏捷开发、DevOps开发过程,具备良好的软件工程素养,熟悉Git等开发、构建、版本控制工具; 7、具备实际的⼤数据业务3年以上开发经验; 8、积极主动,良好的团队合作精神,能吸收新技术和实践的能力。 9、能够独立和负责任地在指定的项目上工作。


