-
职位职责: 1、广告各类在线业务的离线数据加工与在线数据服务开发与维护; 2、数据服务接口及产品需求研发迭代,代码review、bug修复及日常服务运维; 3、针对海量数据处理和查询需求,设计适应业务变化的合理的多维数据分析系统架构,满足多样性的需求; 4、海量日志清洗加工,并抽象出可以多业务复用的数据模型; 5、指导初级数据开发工程师进行日常开发。 职位要求: 1、熟悉Hadoop架构和工作原理,精通MapReduce编程;精通Hive,有HQL优化经验; 2、有web服务开发经验,具备独立完成模块开发能力,具备大规模分布式服务设计能力和经验; 3、理解基本的设计模式,能将业务需求快速理解成技术需求; 4、熟练使用Mysql,熟练使用ElasticSearch、Druid者优先;熟悉其原理者优先; 5、善于沟通,工作积极主动,责任心强,具备良好的团队协作能力; 6、具备良好的问题分析与解决能力,有较强学习能力和逻辑思维能力。
-
职位职责: 1、负责字节跳动所有产品线UG方向的数据流和相关数据服务; 2、面向超大规模数据问题,每天处理千亿增量的用户数据; 3、负责流式数据的实时传递,清洗,转换,计算,并对外提供查询服务; 4、参与数据治理工作,提升数据易用性及数据质量; 5、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作。 职位要求: 1、熟悉Linux操作系统及开发环境; 2、扎实的计算机软件基础知识:数据结构,操作系统等; 3、熟悉 C/C++、Java、Python 等任意一门编程语言; 4、对数据敏感,认真细致,善于从数据中发现疑点; 具备以下条件者优先: 1、研究过开源项目; 2、参加过 ACM 或者其他类型的软件开发大赛; 3、熟悉大数据处理工具/框架中的一项或多项,包括但不限于Hadoop, Mapreduce, Hive, Storm, Spark, Druid, kafka, hbase,ES等。
-
岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
-
职责描述: 1、负责公司大数据平台的运维保障工作,保障平台的正常运行和相应数据服务的稳定高效; 2、对接数据开发侧团队,主动优化和完善服务巡检、监控工具、脚本等,减少人工操作提高运维效率;负责数据平台的故障处置、推动性能优化。如平台产品技术问题,提交给平台产品技术组进行后台处理,并及时反馈. 3、负责数据平台二线运维支撑保障,响应运维/服务台一线请求:处置生产事件,跟踪问题处理; 4、定期组织团队人员开展大数据平台的技术知识积累和移交; 5、负责设计日常运维相关的自动化工具或系统,并完成相应需求收集和需求管理 ; 任职要求: 1. 具有1年以上金融行业数据类项目运维经验,熟悉保险业务操作与管理。具有大数据平台相关技术进行数据仓库、数据中台开发、维护、优化等项目经验的人员,或长期在类似的运维项目上承担运维工作优先; 2. 具备较强的数据开发分析能力,熟练掌握SQL等技能,熟练掌握大数据平台、UNIX、LUNIX和中间件的技能。有java或Python开发基础优先; 3. 具备较强的数据分析,问题分析,逻辑思维能力,团队协作能力,有良好的沟通能力和责任感,能够承担工作压力,独立分析和解决问题者优先; 4. 强烈的自驱力和责任感,面对复杂业务问题,可以从业务和技术多角度推进,最终达成目标。
-
564118-资深大数据开发工程师(北京)
[中关村] 2023-01-1215k-30k 经验3-5年 / 本科软件服务|咨询,专业服务|咨询 / 不需要融资 / 500-2000人工作职责: 1、负责大数据平台的技术规划和架构工作,主导系统的架构设计和核心模块开发,确保平台质量和关键性能指标达成; 2、负责研发技术发展方向,新技术领域的探索,将新技术引入大数据平台; 3、负责公司平台数据仓库的建模和设计工作,数据抽取,数据清洗,数据建模工作,ETL设计与开发,数据质量保障,元数据管理; 4、负责大数据平台研发团队的工作分配、指导和管理,确保团队工作有序达成; 5、负责技术架构文档的书写和完善,保证文档的及时更新。 任职资格 : 1、本科及以上学历,具有5年以上数据仓库模型设计和ETL开发经验; 2、熟悉Spark相关技术,3年以上Spark开发经验,有大数据架构师工作经验优先; 3、熟悉java或者Scala语言,具有hbase、es、kafka使用经验; 4、有优良的解决问题能力,有过海量数据系统开发经验者优先。 -
1、参与研究院大数据指标、变量体系建设等相关工作:根据项目的内容需求,开发和搭建完整数据加工链路,包括:接入、解析、清洗、融合、变量衍生、存储、数据服务等。 2、研究和落地基于业务场景的数据加工流程和指标变量体系,并形成业务解决方案。
-
岗位职责: 1. 负责数据平台架构设计、相关应用型数据产品的规划与研制; 2. 建设数据指标体系和分析模型,实现数据价值; 3. 负责与业务及开发团队协同规划数据采集、加工、应用、治理全过程,推动客户业务场景应用建设; 4. 负责整合与集成其他内部技术人员、外协技术人员开发的软件功能模块; 5. 参与撰写需求分析说明书、概要设计、详细设计等相关技术文档,参与或主导软件质量相关的工作。 任职要求: 1. 本科及以上学历,数学、计算机、统计相关专业; 2. 理解云化、数据仓库,熟悉海量数据的处理,良好的数据建模能力; 3. 熟悉主流大数据和数据库管理系统技术(如Oracle/PostgreSQL/MySql、HDFS/HBase/Hive/MapReduce/Spark/Storm/Redis / Memcached/ MongoDB以及Kafka、Zookeeper、Flume、Hadoop、Flink、Yarn等技术)的工作原理及应用; 4. 了解主流体系架构各组件的优缺点,熟悉与架构设计相关的数据存储、性能调优等相关领域知识,有直接的产品设计与开发、部署、调优的经验; 5. 了解kafka、hive、hadoop等大数据集群高可靠、高效和经济运维技术,了解系统监控、容灾、自动化、智能化运维体系; 6. 能够完成大型数据平台设计,丰富的OLAP系统经验,精通数仓架构及实施过程;深刻理解数据治理及落地方法论,有实战经验优先; 7. 精通至少一门编程语言,如C++、Java、Python等,了解设计模式,熟悉UML和ER设计方法,具有良好的设计习惯和代码架构规范,具有良好的沟通能力、协作和执行能力; 8. 熟悉数据挖掘、机器学习算法、数据可视化者优先考虑; 9. 熟悉业界常用的数据采集、集成、数据存储、计算、数据模型、数据分析的技术方案,能够基于Flink引擎开发构建流式和批式⼀体化的数据融合处理产品,可以负责Flink各类处理算⼦的设计与开发。具有数据分析或数据挖掘相关经验者优先; 10. 熟悉数据治理相关流程,包括数据接入、数据处理、数据治理、数据组织、数据服务等; 11. 具备数据治理的知识与体系方案,包含政策、组织、角色、流程、规范等,以及规划相应的支撑方案。了解业界的数据管理方法论; 12. 工作积极主动,责任心强,抗压能力强,有较强的学习能力,善于交流,有良好的团队合作精神、沟通协调能力和工作推进能力,有与业务、产品、开发等多方密切配合的经验和意识; 13. 具备很好的业务敏感度,能够深入业务,实施数据驱动业务发展。
-
职责: 1. 负责推进公司数据项目工作,包括需求分析、方案制定、产品实现、交付推广等工作。 2. 负责基于帆软报表软件的报表、大屏等数据产品的设计和开发工作。 3. 负责公司数据仓库建设,及数据ETL工作,编写ETL开发实施文档,监控和解决ETL任务的问题。 4. 负责数据指标体系的建设,维护数据字典。 5. 参与公司各项数据管理标准的制定和落实工作。 任职要求: 1. 具备2年以上相关数据项目实施经验,其中作为核心人员的项目经验不少于3个。 2. 熟练掌握任意一款商业报表设计软件,如:帆软(FineReport)、PowerBI、Tableau等。 3. 熟悉数据仓库分层模型的建模、指标提炼理论。 4. 精通SQL,对大数据基础架构有一定了解,熟悉ETL任务开发 5. 有较好的沟通理解能力和团队协作能力。
-
"任职条件 1、计算机、软件相关专业毕业,本科及以上学历; 2、熟悉数据仓库方法论及ETL相关技术; 3、熟悉SQL,具备ETL处理、SQL优化、海量数据处理的实战经验; 5、熟悉Linux/Shell,熟悉Python/Java/Scala等开发语言,编码基本功扎实; 6、了解大数据平台hadoop、flink技术栈,使用过Hive/HBase/spark等大数据平台组件优先; 7、具备很好的业务敏感度,能够深入业务,实施数据驱动业务发展; 8、工作积极主动,责任心强,抗压能力强,有较强的学习能力,具备良好的团队合作精神、沟通协调能力和工作推进能力。"
-
2、熟练掌握如Oracle、Mysql、SQL Server等关系型数据库,熟悉大数据处理工具中的一项或多项,包括但不限于Hadoop,Hive,Spark,Flink, Kafka,ES等; 3、精通SQL,熟悉Linux 命令,熟练掌握一种以上Java、Python、scala等编程语言,具备对软件技术的深刻理解,熟悉掌握软件工程,熟练掌握相关技术标准; 4、熟悉数据仓库的架构设计和数据建模,具备大型数据仓库两年以上开发经验,编写过需求文档、数据分析报告、数据库设计文档、数据部署方案等文档; 5、有较强的数据敏感性和业务理解能力,能够快速理解业务并制定合理的分析方案; 6、具备良好的团队意识、较强责任心和积极性,具备独立解决问题的能力; 7、对数据治理有一定经验者优先;有过对数据进行处理和输出并完成有效的分析推理和决策经历者优先。
-
1. 参与公司数据仓库、数据中台或数据平台的开发与维护。 2. 根据需求完成数据清洗、转换、加载(ETL/ELT)任务的开发与调试。 3. 编写并优化 SQL,保证数据处理的正确性与高效性。 4. 协助数据分析师/产品同事,提供所需数据支持。 5. 参与数据质量检查,保障数据的准确性、完整性与一致性。 6. 编写相关技术文档。
-
岗位职责: 1. 大数据后端应用平台研发 2. 系统性能调优与优化 3. 大数据平台架构设计 任职要求: 1. JAVA基础扎实,理解io、多线程、集合等基础框架,对JVM原理了解,有一定调优经验; 2. 3年及以上Java开发经验,能够熟练使用springmvc、spring、mybatis等主流的开源框架; 3. 熟悉高并发分布式系统的设计及应用,掌握MySQL等数据库中的一种或多种,熟练运用NoSQL、Cache、MQ等中间件技术,并了解主流中间件原理和机制; 4. 具有良好的编程习惯,注重利用合理的设计模式和模块化的组织方式对代码进行架构,善于学习,具备独立分析和解决问题的能力; 5、有系统架构设计优化经验; 6. 熟悉大数据组件,如hadoop,hbase,es 7. 良好的团队协同能力,熟悉敏捷开发流程;
-
现招聘后端开发(java)工程师,参与中国电信电商大数据平台相关项目的系统开发: 任职资格: 1、***本科或以上学历,计算机软件或相关专业,五年以上,知名软件或互联网公司工作经验; 2、熟悉java编程语言,以及io、多线程、集合等基础框架; 3、熟悉主流开发框架,包括Spring、SpringMVC、SpringBoot,mybatis等 4、熟悉基于Mysql关系数据库设计和开发、对数据库性能优化有丰富的经验; 5、熟悉底层中间件、分布式技术(如RCP框架、缓存、消息系统等)以及物联网技术与协议; 6、具有一定的分析复杂问题和解决问题的能力,有强烈的责任心和使命感,良好的沟通表达能力和团队协作能力。 加分项: 1、了解大数据开发相关知识,熟悉Hadoop生态圈及MPP体系相关技术 工作职责: 1、参与企业电商大数据开发平台相关的应用开发,平台建设、优化和维护。 2、负责根据项目进度及质量管理体系要求,完成项目开发工作,完成系统编码及单元测试等相关工作。 3、负责开发规范等wiki文档的编写与维护,以及其他与项目相关的工作。 4、愿意接受大数据领域海量数据、服务高可用的挑战,推动系统可用性和可扩展性的提升。 求职邮箱:***************,请邮件主题标注姓名和应聘职位。
-
技能要求: Hive,Hadoop,Spark,kafka,Python,数据架构 技能要求: 数据分析,Web安全,数据处理,Hive 岗位职责: 1.负责基于Hadoop/Spark/Hbase/Kafka等平台的批量处理和实时计算开发; 2.负责公司大数据平台数据模型的设计及开发,包括数据需求的沟通、离线/实时模型设计与开发、质量管理监控等工作; 3.负责大数据数据中台开发。负责大数据端与web端的对接; 4.负责对接各事业部及其他团队相关技术规划及管理工作。 任职资格: 1.本科及以上学历,计算机及相关理工科专业; 2.5年及以上相关工作经验,具有扎实的数据结构与算法的理论知识; 3.熟练使用shell、perl、 python、Java、C、C++等至少2门脚本语言; 4.了解Hadoop、Hbase、 Kafka、 Hive、 Spark、 ES、 Storm等组件的工作原理; 5.近3年从事 大数据研发、大数据处理技术架构、数据中心性能评估设计研究等相关岗位; 6.有较强的自学能力、钻研精神和动手能力,具有良好的逻辑思维能力、沟通能力和团队协作能力,做事认真、踏实、负责; 7.有团队管理及人员培养经验优先。
-
职位职责: 1、综合收入和支出,预测用户生命价值,打造渠道投放和内容采买评估体系; 2、基于用户表现,建立用户衰减模型,打造DAU预测和多产品互导平台; 3、整合业务、财务、人力数据,提供一站式查询平台。 职位要求: 1、强悍的编码、系统设计和troubleshooting能力; 2、熟悉至少一个分布式框架,如Hadoop、Hive、Spark、Storm、Kafka、Flink等; 3、有扎实的数据结构和算法功底,熟悉统计学习、机器学习、深度学习中一项或多项; 4、有数据挖掘、指导业务策略的经验(如渠道投放、内容采买和产品互导等)优先。


