-
职位职责: 1、负责字节跳动所有产品线UG方向的数据流和相关数据服务; 2、面向超大规模数据问题,每天处理千亿增量的用户数据; 3、负责流式数据的实时传递,清洗,转换,计算,并对外提供查询服务; 4、参与数据治理工作,提升数据易用性及数据质量; 5、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作。 职位要求: 1、熟悉Linux操作系统及开发环境; 2、扎实的计算机软件基础知识:数据结构,操作系统等; 3、熟悉 C/C++、Java、Python 等任意一门编程语言; 4、对数据敏感,认真细致,善于从数据中发现疑点; 具备以下条件者优先: 1、研究过开源项目; 2、参加过 ACM 或者其他类型的软件开发大赛; 3、熟悉大数据处理工具/框架中的一项或多项,包括但不限于Hadoop, Mapreduce, Hive, Storm, Spark, Druid, kafka, hbase,ES等。
-
岗位职责 : 1、数据仓库和数据处理:负责大数据平台的数据仓库、数据治理和数据模型的设计与开发工作。进行日常数据报表开发,理解业务需求,发挥数据价值。 2、数据服务开发:负责离线和实时数据服务的设计、开发、性能调优和效果优化。构建和维护数据管道,处理ETL过程,确保数据质量和准确性。 3、技术研究和应用:参与相关项目的数据需求的实现,设计和编码工作。参与开发过程中相关技术的研究和验证。 4、平台运维和质量管理:负责大数据平台的数据及相关的应用开发、调优及维护。完成日常数据质量的监控,参与大数据平台的日常运维工作。 5、针对数据一致性、准确性、及时性,制定数据管理与治理机制,提升数据易用性、可用性及稳定性; 任职要求 : 1、本科及以上学历,计算机相关专业,3-5年以上数据开发经验; 2、具备至少一个完整的大数据平台和BI系统实施经验,熟知平台建设各环节工作,包括数据采集、数据落地、仓库建设、数据平台搭建、数据应用产品开发 3、熟悉基于推荐系统的数据仓库建设方法论,有数仓模型设计及ETL开发经验;有数据仓库分层架构设定经验者优先; 4、熟悉Hadoop生态相关技术,如Hive、HDFS、Impala、Spark、Presto、Flink、Hudi、Elasticsearch、HBase、Druid、Kylin等,有基于分布式数据存储与计算平台应用开发经验,有较为系统的海量数据性能处理经验; 5、熟悉java、scala、python等语言,熟悉微服务,分布式架构,熟悉springcloud,springboot等技术开发; 6、熟悉数据仓库原理,有离线数仓、实时计算、数据挖掘、ETL、用户画像、数据可视化等设计与开发经验; 7、熟悉MySQL、PostgreSQL、NoSQL等数据库中至少一种数据中心建设方案,可以进行产品的独立部署、高可用架构和性能优化,熟悉开源社区解决方案; 8、熟悉阿里云大数据组件E-MapReduce、Dataworks、MaxCompute和国际AWS的EMR相关数据产品等,市场常见BI产品(superset、FineBI、神策数据)等相关组件者优先; 9、较强的学习能力和技术钻研能力、有自我驱动意识,对数据采集、数据治理、数据开发、数据分析、数据建模、算法等有深刻认识和实战经验。 期待您的加入哟,我们为您准备丰厚福利待遇: 【法定福利】:公司按国家规定购买五险一金+商业保险(员工本人及子女商业保险)+带薪年假; 【节日关怀】:节日福利礼品,以及节日礼金; 【公司福利】: 机场及高铁的贵宾服务(龙腾卡权益)+年度员工健康体检+平安360服务(在线问诊、VIP挂号及重疾紧急入院服务)+年度2次免费洁牙服务 公司提供咖啡、零食、下午茶 员工活动、旅游及团建,不定期举办聚餐、唱K、电竞赛、篮球赛、拓展、旅游、生日Party等 【学习与培训】:助力职业发展与提升,内外训双引擎发力助你高速发展 【晋升机会】:公司设立良好的晋升机制和广阔的发展空间。
-
岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
-
工作职责: 1. 负责当贝业务数据资产的设计与研发,包括架构和内容设计,项目计划,开发测试部署等。构建行业标杆级的操作系统领域核心数据资产池; 2. 打造先进的大数据平台,包括实时数据流、数据仓库、调度系统、查询引擎,用户行为分析,abtest 实验系统等,降低数据的使用门槛,实现数据的最大价值; 3. 建设适合业务的大数据存储、计算等分布式系统,为海量数据和大规模业务系统提供可靠的基础设施。 任职资格: 1. 本科以上学历,3年以上工作经验 2. 有3年以上的大数据仓库构建和数据分析经验 3. 有很强的架构设计能力, 编码能力扎实,熟悉Java,SQL及常用工具 4. 熟悉主流分布式计算引擎,中间件,NoSQL数据库,如hadoop,hive,flink,kafka,hbase,redis等,并熟悉运行原理 5. 有Github等开源社区贡献者优先 6. 具备大规模分布式服务设计能力和经验优先
-
岗位职责: 1. 负责大数据系统的开发,包括分布式传输计算,数据仓库等系统; 2. 负责梳理公司数据业务。 岗位要求: 1. 计算机相关专业,本科以上学历,三年以上相关工作经验; 2. 精通Java/Python/Scala/Golang等至少一门语言,熟悉Hadoop/Spark/Hive/Flume等大数据工具; 3. 精通数据建模及ETL设计开发,对数据仓库、数据平台、数据分析等有深刻理解,具备丰富的海量数据加工处理和优化经验; 4. 有机器学习,深度学习pipeline研发经验者优先; 5. 优秀的自我驱动力和责任心,对新技术有强烈的学习热情。
-
岗位职责: 1.负责业务领域核心数据体系的规划设计,在数据化运营和数据能力产品化等方向上,制定数据技术和服务的策略; 2.规划设计数据服务工具,提升数据研发的工作效率,搭建数据服务的工具/产品,赋能业务同学和业务产品,灵活支撑业务的创新和探索,让数据价值更浸透; 3.负责数据质量、稳定性等数据管理,数据内部共享融通的数据平台,让数据标准更规范、数据获取更高效; 任职资格: 1. 本科及以上学历,5年以上大数据平台研发经验。 2. 具有扎实的编程功底,熟悉常用的算法和数据结构,精通Java/Python/Scala/Shell语言(至少两种),并具备丰富的实战经验。 3. 对大数据基础架构和平台有深刻理解和丰富编码经验,熟练使用Hadoop、Hive、Presto、Kafka、Flume、Spark、kudu、Redis等组件。 4. 熟悉并有过Flink开发经验加分。 5. 有PB级别大数据处理实战经验,包括数据的采集、清洗、预处理、存储、分析挖掘和数据可视化,以及架构设计、开发、部署和运维等工作。 6. 熟悉机器学习相关技术,可利用spark或相关组件设计机器学习的模型训练架构。 7. 熟悉算法使用并理解其原理者优先。 8 .具备创新精神,逻辑思维能力强者优先。
-
工作职责: 1. 开发和维护七猫大数据系统相关离线和实时数据分析任务; 2. 负责部分七猫大数据系统架构设计和规划,设计技术方案、评估资源、推进方案落地; 3. 负责公司核心业务面临的一些技术重难点攻关、优化和升级(如超大数据集处理、数据链路优化、数据治理); 4. 当数据系统出现问题时,**时间跟进排查并解决问题; 5. 前瞻性技术方案调研和DEMO实现,为即将开发的新功能做好技术储备; 6. 能独立对接公司内相关业务部门的工作; 7. 积极参与项目发展中问题的讨论,提供想法和建议。 任职要求: 1. 本科及以上学历,必备5年以上大数据离线和实时分析开发经验,熟悉数据治理,技术过硬; 2. 精通Haddoop、Hive、Spark、Flink、Kafka的使用; 3. 具备一定的大数据系统的架构能力,从系统底层到上层应用,有清晰的视野; 4. 有较强的沟通表达能力,善于学习,能迅速理解产品需求; 5. 有处理PB级以上数据经验者优先;有一线互联网公司相关项目经验者优先; 6. 有较强的责任心和事业心,有严密的逻辑思维,有追求卓越的精神,能够自我驱动。
-
1.针对数据支撑类业务,提供数据分析、数据接口、基础模型、汇总模型、ETL流程等设计和开发; 2.参与数据仓库模型建设与管理,参与制定模型开发规范、数据治理规范并推进落地; 3.负责数据源调研、入库、离线数据处理的全流程开发工作,并保证数据质量。 任职要求: 1.统计/应用数学/计算机/软件工程等相关专业本科以上学历,2年以上大数据开发岗位经验; 2.熟练掌握Java/Scala/Python/SQL等编程语言, 熟练掌握维度建模理论,具备业务数据调研分析、仓库模型设计的能力; 3.熟悉Hadoop生态系统组件,如Hdfs/Hive/HBase/Spark/Flink/Kafka/ES等,有Flink开发经验者优先; 4.具有较强逻辑思维能力、研究能力、沟通能力和团队合作精神。
-
564118-资深大数据开发工程师(北京)
[北京·中关村] 2023-01-1215k-30k 经验3-5年 / 本科软件服务|咨询,专业服务|咨询 / 不需要融资 / 500-2000人工作职责: 1、负责大数据平台的技术规划和架构工作,主导系统的架构设计和核心模块开发,确保平台质量和关键性能指标达成; 2、负责研发技术发展方向,新技术领域的探索,将新技术引入大数据平台; 3、负责公司平台数据仓库的建模和设计工作,数据抽取,数据清洗,数据建模工作,ETL设计与开发,数据质量保障,元数据管理; 4、负责大数据平台研发团队的工作分配、指导和管理,确保团队工作有序达成; 5、负责技术架构文档的书写和完善,保证文档的及时更新。 任职资格 : 1、本科及以上学历,具有5年以上数据仓库模型设计和ETL开发经验; 2、熟悉Spark相关技术,3年以上Spark开发经验,有大数据架构师工作经验优先; 3、熟悉java或者Scala语言,具有hbase、es、kafka使用经验; 4、有优良的解决问题能力,有过海量数据系统开发经验者优先。 -
工作职责: 1. 负责大数据消息服务如 Kafka 集群优化,运维、部署、管理; 1. 参与大数据基础服务如 Hadoop 、Spark 等集群运维、部署、管理与优化; 2. 负责大数据平台服务器的维护与管理,保证各集群服务器正常运行; 职位要求: 1. 熟悉 Java、Scala、Go 等一门主流语言,熟悉并发和网络编程,有良好的数据结构和算法功底; 2. 熟悉消息系统的原理和关键技术,熟悉 Kafka/Pulsar/RocketMQ 等消息产品的原理和实现,有开源社区贡献者优先; 3. 有分布式存储的使用和研发经验者优先; 4. 对云原生相关技术有一定的了解; 5. 了解大数据相关技术,如Hadoop,Spark,Hive,Flink等,有开发或者运维经验者优先; 6. 熟悉Linux常用命令; 7. 有技术热情和较强的学习能力,以及良好的沟通能力、抗压能力和团队协作能力;
-
工作职责: 1、参与设计/研发一站式大数据平台,降低数据技术使用门槛,提高数据生产效率; 2、基于多云环境,构建满足 Data&AI 链路需求的 SaaS 化产品,沉淀和输出解决方案; 3、负责大数据各计算引擎的性能分析与体系优化,提高性能和降低成本。 任职资格: 1、熟悉 Spark/Flink,Hive,Presto,Clickhouse,Tensorflow/Pytorch 等 Data&AI 开源组件; 2、丰富云上经验,熟悉 Kubernetes; 3、强悍的编码和 troubleshooting 能力,掌握Java,Python,Go等语言; 4、具备快速学习能力和结构性思维,热衷于思考和解决客户难题。
-
工作职责 1. 负责平台项目数仓建设; 2. 负责平台BI/大数据系统架构设计与开发; 3. 完善数据指标体系建设,为产品迭代提供数据 化分析的方法论以及数据支撑。 任职资格 1、了解维度建模和范式建模的建模方法和不同应用场景,对数据仓库系统架构具有良好的认知,熟悉数据仓库分层建模设计方法、主题域的划分 方法。具有AI行业数据平台数据架构和开发工作经验优先。 2、熟悉Hadoop生态圈上应用的开发,熟悉Hadoop/Hive/Spark/Doris/Hbase/Kylin等技术; 4、熟悉Spark、MapReduce底层原理过程,熟练进行Hive SQL优化方法,处理数据倾斜、小文件合并优化和其他 5、掌握Druid/ElasticSearch/Impala/ClickHouse等一种或者多种OLAP工具,能够介绍各种OLAP引擎的底层原理区别及应用场景。 6、熟悉Linux/Unix系统,精通至少一门编程语言 PHP/Python/Java等;考察SQL(窗口函数、动态分区)和数据结构算法(排序、基础数据结构应用) 7、具备用户画像、推荐系统等方面的工作经验优先; 8、沟通主动,有较强的工作激情和抗压能力,能组织协同团队开发。
-
职责描述: 1、负责公司大数据平台的运维保障工作,保障平台的正常运行和相应数据服务的稳定高效; 2、对接数据开发侧团队,主动优化和完善服务巡检、监控工具、脚本等,减少人工操作提高运维效率;负责数据平台的故障处置、推动性能优化。如平台产品技术问题,提交给平台产品技术组进行后台处理,并及时反馈. 3、负责数据平台二线运维支撑保障,响应运维/服务台一线请求:处置生产事件,跟踪问题处理; 4、定期组织团队人员开展大数据平台的技术知识积累和移交; 5、负责设计日常运维相关的自动化工具或系统,并完成相应需求收集和需求管理 ; 任职要求: 1. 具有1年以上金融行业数据类项目运维经验,熟悉保险业务操作与管理。具有大数据平台相关技术进行数据仓库、数据中台开发、维护、优化等项目经验的人员,或长期在类似的运维项目上承担运维工作优先; 2. 具备较强的数据开发分析能力,熟练掌握SQL等技能,熟练掌握大数据平台、UNIX、LUNIX和中间件的技能。有java或Python开发基础优先; 3. 具备较强的数据分析,问题分析,逻辑思维能力,团队协作能力,有良好的沟通能力和责任感,能够承担工作压力,独立分析和解决问题者优先; 4. 强烈的自驱力和责任感,面对复杂业务问题,可以从业务和技术多角度推进,最终达成目标。
-
工作职责 1. 负责大数据分析需求设计和开发,承担数据抽取、清洗、实时统计及离线数据处理等程序开发; 2. 开发数据统计系统,完成项目数据统计与分析任务,为业务运营提供数据支持服务; 3. 根据项目需求预研并引入新的大数据分析技术 任职要求 1、本科及以上学历,计算机、数学相关专业,5年以上相关工作经验; 2、精通Java或者scala、基础扎实,有良好的编码习惯; 3、精通主流的大数据开源框架(如Hadoop/Spark/Flink等),并有丰富的应用开发经验; 4、熟练使用kafka/elasticsearch/redis/mongodb/Hbase/druid/kylin等大数据组件; 5、熟练使用主流关系型数据库(如Oracle/Mysql/PostgresQL), 熟练掌握SQL语言; 6. 热爱开发,有较强的学习能力和快速解决问题的能力,具备较强的责任心和良好的沟通能力
-
工作职责: 1、负责集团基于大数据技术的数据平台开发、数仓建设、数据治理、数据统计分析等开发工作; 2、负责数据挖掘领域的分析研究,包括数据挖掘算法的分析研究,特定场景的数据挖掘模型的需求分析、建模及实验模拟工作; 3、研究前沿技术,了解项目需求,制定解决方案,解决实际应用场景中的业务问题,优化离线/实时大数据计算任务的性能。 任职资格: 1、本科及以上学历,计算机、软件技术、数据挖掘、统计学、应用数据等相关专业; 2、至少3年以上大数据开发/数据存储/数据平台/分析挖掘相关经验; 3、熟悉Linux操作系统,掌握Shell/Python/Perl至少一种脚本语言; 4、理解主流大数据处理架构和相关技术,会使用Hadoop、Spark等平台,Hive 、Impala 、Azkaban 、Kafka、Sqoop、 Flume、Zookeeper相关组件和开源系统; 5、熟悉SQL语言,包括MySQL、Oracle等关系型数据库;Redis 、MongoDB、HBase等NOSQL 数据库;了解数据仓库技术,能够使用常用的ETL工具; 6、熟悉Lucene、ElasticSearch等 检索技术; 7、具有优秀的口头和书面表达能力,思维活跃、关注和了解技术发展的最新动态,踏实肯干、有责任心,能适应高强度工作,沟通协作能力较好、学习能力强。


