-
职位职责: 1、参与大数据存储相关产品的设计,负责存储产品相关功能的设计、交付和维护; 2、发现产品缺陷,设计高可用、易扩展的方案解决问题,实现产品高质量、高效率发布; 3、进行有效沟通协作,充分调动资源,推动产品有序高效落地。 职位要求: 1、熟悉大型分布式存储系统的关键技术点,能分析业务需求,产出产品解决方案; 2、熟悉Java/C/C++/Go等其中一种语言,熟悉网络编程和多线程编程,参与研发,完成产品落地; 3、熟悉大数据体系生态,除存储系统外,熟悉至少两种相关生态组件(如Yarn、Spark、Flink、Kafka、HBase)的原理、架构和应用; 4、具备较强的问题分析能力和团队合作能力,有较强的自我驱动能力和产品意识 。 具备以下条件者优先: 1、参与过PB级别数据量分布式存储系统研发,有过大规模数据集群运维、故障排查及调优等实战经验; 2、有ES相关的产品研发经验,特别是内核相关的开源项目参与经验; 3、参与过大数据开源项目的开发。
-
职位职责: 1、负责字节跳动相关产品线(抖音、头条等)风控方向的数据产品开发; 2、负责数据质量,数据安全,元数据的监控,整合; 3、面向超大规模数据问题,每天处理千亿增量的用户数据; 4、设计和实现高并发关键数据服务,用数据衡量产品并驱动产品演进。 职位要求: 1、熟悉互联网产品和服务的开发过程,熟悉后端技术架构,具备良好的系统设计能力; 2、善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力; 3、熟悉Kafka/Flink/Redis/Clickhouse/ES等实时计算引擎的开发和使用优先; 4、有大规模实时数据平台落地经验者优先; 5、有图数据库和大规模图计算经验者优先。
-
【岗位职责】 1、主导公司数据平台的搭建,核心负责企业级数据仓库的建设,包括数据分层、数据清洗、数据库和表结构的设计和数据分析,以及数据开发的落地实施; 2、建立数据质量管理体系,开发分析型系统的数据报表,完成从数据建模到数据计算的开发工作; 3、数据资产化的落地,构建数据服务的API设计和开发,支持业务系统的数据对接和调用; 4、研发管理与项目交付:统筹数据项目的研发工作,确保项目按时交付、高质量上线; 5、对AI及算法有兴趣,做过AI模型搭建、调试的尝试,以及落地应用; 【经验要求】 1. 计算机、数学相关专业***本科以上学历(硕士优先),在大平台数据开发经验优先; 2. 有过完整的数据体系搭建的经验,包括数据治理、指标体系搭建、数据挖掘和模型管理等,对数据质量、数据资产、元数据管理等有实战经验; 3. 对机器学习、自然语言处理等AI核心技术有一定了解,对AI模型在垂直行业的应用有关注,有尝试的经验; 4. 有一定团队管理经验的优先,在跨团队协作、资源调配和技术问题协同解决方面有实际成果;
-
岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
-
职责描述: 1、负责公司大数据平台的运维保障工作,保障平台的正常运行和相应数据服务的稳定高效; 2、对接数据开发侧团队,主动优化和完善服务巡检、监控工具、脚本等,减少人工操作提高运维效率;负责数据平台的故障处置、推动性能优化。如平台产品技术问题,提交给平台产品技术组进行后台处理,并及时反馈. 3、负责数据平台二线运维支撑保障,响应运维/服务台一线请求:处置生产事件,跟踪问题处理; 4、定期组织团队人员开展大数据平台的技术知识积累和移交; 5、负责设计日常运维相关的自动化工具或系统,并完成相应需求收集和需求管理 ; 任职要求: 1. 具有1年以上金融行业数据类项目运维经验,熟悉保险业务操作与管理。具有大数据平台相关技术进行数据仓库、数据中台开发、维护、优化等项目经验的人员,或长期在类似的运维项目上承担运维工作优先; 2. 具备较强的数据开发分析能力,熟练掌握SQL等技能,熟练掌握大数据平台、UNIX、LUNIX和中间件的技能。有java或Python开发基础优先; 3. 具备较强的数据分析,问题分析,逻辑思维能力,团队协作能力,有良好的沟通能力和责任感,能够承担工作压力,独立分析和解决问题者优先; 4. 强烈的自驱力和责任感,面对复杂业务问题,可以从业务和技术多角度推进,最终达成目标。
-
岗位职责 1.负责小川业务及各类中间件(k8s/hadoop/hbase/hive/spark/hdfs/kafka)的运维,涉及千台规模的服务器,保障业务服务的稳定性和可用性; 2.负责和参与自动化运维系统及平台的建设; 3.负责优化部门运维流程提升运维效率 任职要求 1.精通Linux操作系统的配置,管理及优化,能够独立排查及解决操作系统层的各类问题; 2.掌握Hadoop,Kafka,Zookeeper,Hbase,Spark原理、部署以及TROUBLE SHOOTING,有过实际工作经验; 3.至少精通Python,shell,golang其中一项;有良好的系统性能优化及故障排除能力; 4.熟悉saltstack/ansible等配置管理工具; 5.能够利用各种开源监控工具、运维工具,HA、负载均衡软件完成工作任务 6.熟悉MYSQL、redis其中之一,熟练掌握SQL
-
564118-资深大数据开发工程师(北京)
[中关村] 2023-01-1215k-30k 经验3-5年 / 本科软件服务|咨询,专业服务|咨询 / 不需要融资 / 500-2000人工作职责: 1、负责大数据平台的技术规划和架构工作,主导系统的架构设计和核心模块开发,确保平台质量和关键性能指标达成; 2、负责研发技术发展方向,新技术领域的探索,将新技术引入大数据平台; 3、负责公司平台数据仓库的建模和设计工作,数据抽取,数据清洗,数据建模工作,ETL设计与开发,数据质量保障,元数据管理; 4、负责大数据平台研发团队的工作分配、指导和管理,确保团队工作有序达成; 5、负责技术架构文档的书写和完善,保证文档的及时更新。 任职资格 : 1、本科及以上学历,具有5年以上数据仓库模型设计和ETL开发经验; 2、熟悉Spark相关技术,3年以上Spark开发经验,有大数据架构师工作经验优先; 3、熟悉java或者Scala语言,具有hbase、es、kafka使用经验; 4、有优良的解决问题能力,有过海量数据系统开发经验者优先。 -
1、参与研究院大数据指标、变量体系建设等相关工作:根据项目的内容需求,开发和搭建完整数据加工链路,包括:接入、解析、清洗、融合、变量衍生、存储、数据服务等。 2、研究和落地基于业务场景的数据加工流程和指标变量体系,并形成业务解决方案。
-
岗位职责: 1. 负责数据平台架构设计、相关应用型数据产品的规划与研制; 2. 建设数据指标体系和分析模型,实现数据价值; 3. 负责与业务及开发团队协同规划数据采集、加工、应用、治理全过程,推动客户业务场景应用建设; 4. 负责整合与集成其他内部技术人员、外协技术人员开发的软件功能模块; 5. 参与撰写需求分析说明书、概要设计、详细设计等相关技术文档,参与或主导软件质量相关的工作。 任职要求: 1. 本科及以上学历,数学、计算机、统计相关专业; 2. 理解云化、数据仓库,熟悉海量数据的处理,良好的数据建模能力; 3. 熟悉主流大数据和数据库管理系统技术(如Oracle/PostgreSQL/MySql、HDFS/HBase/Hive/MapReduce/Spark/Storm/Redis / Memcached/ MongoDB以及Kafka、Zookeeper、Flume、Hadoop、Flink、Yarn等技术)的工作原理及应用; 4. 了解主流体系架构各组件的优缺点,熟悉与架构设计相关的数据存储、性能调优等相关领域知识,有直接的产品设计与开发、部署、调优的经验; 5. 了解kafka、hive、hadoop等大数据集群高可靠、高效和经济运维技术,了解系统监控、容灾、自动化、智能化运维体系; 6. 能够完成大型数据平台设计,丰富的OLAP系统经验,精通数仓架构及实施过程;深刻理解数据治理及落地方法论,有实战经验优先; 7. 精通至少一门编程语言,如C++、Java、Python等,了解设计模式,熟悉UML和ER设计方法,具有良好的设计习惯和代码架构规范,具有良好的沟通能力、协作和执行能力; 8. 熟悉数据挖掘、机器学习算法、数据可视化者优先考虑; 9. 熟悉业界常用的数据采集、集成、数据存储、计算、数据模型、数据分析的技术方案,能够基于Flink引擎开发构建流式和批式⼀体化的数据融合处理产品,可以负责Flink各类处理算⼦的设计与开发。具有数据分析或数据挖掘相关经验者优先; 10. 熟悉数据治理相关流程,包括数据接入、数据处理、数据治理、数据组织、数据服务等; 11. 具备数据治理的知识与体系方案,包含政策、组织、角色、流程、规范等,以及规划相应的支撑方案。了解业界的数据管理方法论; 12. 工作积极主动,责任心强,抗压能力强,有较强的学习能力,善于交流,有良好的团队合作精神、沟通协调能力和工作推进能力,有与业务、产品、开发等多方密切配合的经验和意识; 13. 具备很好的业务敏感度,能够深入业务,实施数据驱动业务发展。
-
职责: 1. 负责推进公司数据项目工作,包括需求分析、方案制定、产品实现、交付推广等工作。 2. 负责基于帆软报表软件的报表、大屏等数据产品的设计和开发工作。 3. 负责公司数据仓库建设,及数据ETL工作,编写ETL开发实施文档,监控和解决ETL任务的问题。 4. 负责数据指标体系的建设,维护数据字典。 5. 参与公司各项数据管理标准的制定和落实工作。 任职要求: 1. 具备2年以上相关数据项目实施经验,其中作为核心人员的项目经验不少于3个。 2. 熟练掌握任意一款商业报表设计软件,如:帆软(FineReport)、PowerBI、Tableau等。 3. 熟悉数据仓库分层模型的建模、指标提炼理论。 4. 精通SQL,对大数据基础架构有一定了解,熟悉ETL任务开发 5. 有较好的沟通理解能力和团队协作能力。
-
"任职条件 1、计算机、软件相关专业毕业,本科及以上学历; 2、熟悉数据仓库方法论及ETL相关技术; 3、熟悉SQL,具备ETL处理、SQL优化、海量数据处理的实战经验; 5、熟悉Linux/Shell,熟悉Python/Java/Scala等开发语言,编码基本功扎实; 6、了解大数据平台hadoop、flink技术栈,使用过Hive/HBase/spark等大数据平台组件优先; 7、具备很好的业务敏感度,能够深入业务,实施数据驱动业务发展; 8、工作积极主动,责任心强,抗压能力强,有较强的学习能力,具备良好的团队合作精神、沟通协调能力和工作推进能力。"
-
2、熟练掌握如Oracle、Mysql、SQL Server等关系型数据库,熟悉大数据处理工具中的一项或多项,包括但不限于Hadoop,Hive,Spark,Flink, Kafka,ES等; 3、精通SQL,熟悉Linux 命令,熟练掌握一种以上Java、Python、scala等编程语言,具备对软件技术的深刻理解,熟悉掌握软件工程,熟练掌握相关技术标准; 4、熟悉数据仓库的架构设计和数据建模,具备大型数据仓库两年以上开发经验,编写过需求文档、数据分析报告、数据库设计文档、数据部署方案等文档; 5、有较强的数据敏感性和业务理解能力,能够快速理解业务并制定合理的分析方案; 6、具备良好的团队意识、较强责任心和积极性,具备独立解决问题的能力; 7、对数据治理有一定经验者优先;有过对数据进行处理和输出并完成有效的分析推理和决策经历者优先。
-
岗位职责: 1. 负责广告物料流水系统的架构设计与性能优化,支持上亿级别物料的实时处理与下发,确保数据的实时性和可靠性 2. 负责大型分布式广告检索引擎的架构设计和优化,支持毫秒级别实时索引系统的研发,研究和设计针对不同场景的最优索引架构 3. 负责广告在线系统的性能调优、架构设计与优化,支撑数百亿请求压力的高可靠系统的研发,通过合理运用算力和系统容量以提高系统性能和进行广告收益最大化探索 4. 负责广告在线系统的业务能力建设,包括广告产品的业务需求落地、广告效果优化、在线系统的迭代效率提升等 5. 持续关注广告科技领域的最新进展和技术趋势,参与技术研究和创新,不断优化系统架构,提升广告在线系统的效果和性能 岗位要求: 1. ***大学硕士及以上学历,计算机相关专业 2. 熟练Java/scala高级语言,掌握SQL/Shell/Python脚本语言,熟悉常用的数据结构和算法,熟悉网络编程、多线程编程,有良好的编程习惯 3. 有分布式系统开发、大数据处理开发经验者优先;有Spark/Flink/Kafka分布式框架的实践并掌握原理,对源代码有一定研究者优先; 熟悉ElasticSearch、Lucene等开源项目,熟悉搜索引擎原理和代码实现者优先 4. 具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于解决问题和分析问题 5. 有强烈的上进心和求知欲,善于学习新事物 6. 良好的团队合作精神,较强的沟通能力和学习能力 7. 有广告在线系统经验者优先 地址:北京市亦庄京东总部 部门简介: 广告系统技术部作为京东平台运营与营销中心的核心团队,承接京东站内外流量商业化的系统建设工作,负责广告系统的整体架构设计和技术选型、高性能异构计算的设计和优化以及离线海量数据的存储与高时效计算。涵盖广告数据/物料流、 广告在线模型服务、广告在线播放、广告实时检索、广告数据系统等核心模块,涉及百亿吞吐高并发处理、海量数据的分布式存储、高效索引检索、在线高性能计算、离线大规模机器学习训练等技术,是京东技术栈最全面的团队之一。 我们拥有互联网广告业内一流的技术团队,有着丰富的行业经验和技术培养体系,作为我们技术团队的一员,你将有机会参与到各种创新性和有挑战性的项目中。你可以与各个领域的专业人员和同事合作,共同探索前沿的技术,有机会利用你的技术能力和个人兴趣来解决业务问题,创建出更丰富和更个性化的技术解决方案。 如果你具备创新意识和技术能力,渴望实现自己的人生价值和职业目标,我们诚挚地邀请你加入我们的技术团队,共同致力于技术创新和社会进步的使命!
-
技能要求: Hive,Hadoop,Spark,kafka,Python,数据架构 技能要求: 数据分析,Web安全,数据处理,Hive 岗位职责: 1.负责基于Hadoop/Spark/Hbase/Kafka等平台的批量处理和实时计算开发; 2.负责公司大数据平台数据模型的设计及开发,包括数据需求的沟通、离线/实时模型设计与开发、质量管理监控等工作; 3.负责大数据数据中台开发。负责大数据端与web端的对接; 4.负责对接各事业部及其他团队相关技术规划及管理工作。 任职资格: 1.本科及以上学历,计算机及相关理工科专业; 2.5年及以上相关工作经验,具有扎实的数据结构与算法的理论知识; 3.熟练使用shell、perl、 python、Java、C、C++等至少2门脚本语言; 4.了解Hadoop、Hbase、 Kafka、 Hive、 Spark、 ES、 Storm等组件的工作原理; 5.近3年从事 大数据研发、大数据处理技术架构、数据中心性能评估设计研究等相关岗位; 6.有较强的自学能力、钻研精神和动手能力,具有良好的逻辑思维能力、沟通能力和团队协作能力,做事认真、踏实、负责; 7.有团队管理及人员培养经验优先。
-
职位职责: 1、负责字节跳动所有产品线UG方向的数据流和相关数据服务; 2、面向超大规模数据问题,每天处理千亿增量的用户数据; 3、负责流式数据的实时传递,清洗,转换,计算,并对外提供查询服务; 4、参与数据治理工作,提升数据易用性及数据质量; 5、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作。 职位要求: 1、熟悉Linux操作系统及开发环境; 2、扎实的计算机软件基础知识:数据结构,操作系统等; 3、熟悉 C/C++、Java、Python 等任意一门编程语言; 4、对数据敏感,认真细致,善于从数据中发现疑点; 具备以下条件者优先: 1、研究过开源项目; 2、参加过 ACM 或者其他类型的软件开发大赛; 3、熟悉大数据处理工具/框架中的一项或多项,包括但不限于Hadoop, Mapreduce, Hive, Storm, Spark, Druid, kafka, hbase,ES等。