-
职位职责: 1、负责字节跳动相关产品线(抖音、头条等)风控方向的数据产品开发; 2、负责数据质量,数据安全,元数据的监控,整合; 3、面向超大规模数据问题,每天处理千亿增量的用户数据; 4、设计和实现高并发关键数据服务,用数据衡量产品并驱动产品演进。 职位要求: 1、熟悉互联网产品和服务的开发过程,熟悉后端技术架构,具备良好的系统设计能力; 2、善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力; 3、熟悉Kafka/Flink/Redis/Clickhouse/ES等实时计算引擎的开发和使用优先; 4、有大规模实时数据平台落地经验者优先; 5、有图数据库和大规模图计算经验者优先。
-
职位职责: 1、参与大数据存储相关产品的设计,负责存储产品相关功能的设计、交付和维护; 2、发现产品缺陷,设计高可用、易扩展的方案解决问题,实现产品高质量、高效率发布; 3、进行有效沟通协作,充分调动资源,推动产品有序高效落地。 职位要求: 1、熟悉大型分布式存储系统的关键技术点,能分析业务需求,产出产品解决方案; 2、熟悉Java/C/C++/Go等其中一种语言,熟悉网络编程和多线程编程,参与研发,完成产品落地; 3、熟悉大数据体系生态,除存储系统外,熟悉至少两种相关生态组件(如Yarn、Spark、Flink、Kafka、HBase)的原理、架构和应用; 4、具备较强的问题分析能力和团队合作能力,有较强的自我驱动能力和产品意识 。 具备以下条件者优先: 1、参与过PB级别数据量分布式存储系统研发,有过大规模数据集群运维、故障排查及调优等实战经验; 2、有ES相关的产品研发经验,特别是内核相关的开源项目参与经验; 3、参与过大数据开源项目的开发。
-
工作内容 职位描述: 1. 参与数据仓库规划、架构及研发,包括离线、实时的数据模型规划,建设PB级的数据集市和数据平台。 2. 负责数据模型的规划、架构、开发以及海量数据下的性能调优,复杂业务场景下的需求交付。 3. 参与平台数据治理相关工作,负责数据质量、数据一致性及稳定性保障等建设。 4. 深入业务,与业务团队紧密合作,理解并合理抽象业务需求,发掘数据价值,以数据驱动业务不断发展。 5. 关注行业技术趋势,引入新技术和工具,持续优化大数据处理流程与性能,提升业务的数据处理效率和价值产出。 岗位要求 任职要求: 1. 本科及以上学历,计算机、软件工程、数据分析或相关专业出身,2-5年大数据开发经验。 2. 掌握Java, Python等至少一门语言,熟悉常用数据结构与算法。 3. 熟悉大数据生态技术栈,具备较丰富的Hadoop,Hive,Spark,Flink等开发经验。 4. 精通数据仓库理论体系,对分层设计、维度建模等有深刻的认识和实战经验,熟悉不同建模方法的优劣。 5. 积极主动贴近业务,有良好的沟通协调能力,数据敏感度高,能够快速理解业务模型及数据模型,从业务角度出发分析和解决数据问题。 6. 具备优秀的问题解决能力和团队协作精神,对大数据技术充满兴趣,学习能力和自我驱动力强 7. 有数据中台建设经验优先。有数据分析能力、指标体系搭建或BI相关经验优先。有互联网工作经验优先。 8. 加分项:英文沟通表达、云平台(如阿里云、AWS、Google Cloud)经验。
-
岗位职责 1.数据质量监控:负责监控金融信贷相关业务域数仓数据的准确性、一致性和完整性,确保数据质量符合业务需 求。 2.数据质量测试:设计并执行数据质量测试用例,验证数据计算逻辑、数据转换规则和数据存储的正确性 3.数据质量问题跟踪:跟踪测试中发现的数据质量问题,协调研发团队进行问题修复,并验证修复效果. 4.数据质量工具开发:参与数据质量管理平台的功能设计与开发,提升数据质量测试的自动化水平。 岗位任职要求 1.学历要求:本科及以上学历,计算机科学、软件工程、数据科学或相关专业。 2.工作经验:3年以上数据测试或数据质量测试经验,有金融信贷行业经验者优先。 3.大厂背景:具有阿里、腾讯、字节跳动、百度等大厂数据测试或数据质量测试经验者优先,。 4.技术能力: a).熟悉大数据技术栈(如Hadoop、Spark、Hive、Flink等)。 b).熟悉数据质量监控工具(如Apache Griffin、Great Expectations等)。 c).具备一定的编程能力(如Python、Java、SaL等),能够编写自动化测试脚本。 d).熟悉数据治理相关工具(如数据血缘、元数据管理等)者优先。 5.业务理解:对金融信贷业务有深入理解,能够根据业务需求设计数据质量测试方案 6.问题解决能力:具备较强的逻辑思维和问题解决能力,能够快速定位数据质量问题的根本原因。 7.沟通协作:具备良好的沟通能力和团队协作精神,能够与研发、业务团队高效协作。 加分项 1.有金融信贷行业数据质量测试经验者优先。 2.熟悉金融行业数据标准和监管要求者优先。 3.具备数据治理或数据资产管理经验者优先。
-
岗位职责: 1、负责公司数据平台系统的后台功能开发 2、负责汇总、监控内部用户反馈,持续改善用户反馈体验与效率; 3、从用户视角协助产品体验优化。 任职资格: 1、本科及以上学历,拥有 3 年以上后台研发经验 2、具备扎实的编码能力,掌握 Java/Python/Go 开发语言之一,熟练使用 SQL 进行数据访问 3、有大型后台系统开发经验或者 BI 系统开发经验 加分项: 1、有 BI 工具开发经验优先 2、熟悉 AWS、ALIYUN 等云厂商,有 Kubernetes、Docker 等云原生经验优先 3、熟悉大数据开源组件的架构和技术原理,具备Hadoop、Spark、Flink、DataX、DolphinScheduler等平台的开发和使用经验;
-
职位描述: 1. 从事深交所大数据组测试工作,可能承担中小型项目测试负责人角色,负责整个项目测试工作; 2. 参与需求评审,负责测试需求分析、测试计划制定、测试用例设计、测试执行和测试报告输出; 3. 积极参与到测试各个环节,与开发、需求等部门人员进行沟通保证测试输入和输出的正确性; 4. 能够独立完成项目功能测试、性能测试和联调测试等,保证测试项目质量和进度; 5. 分析并推送测试中的问题解决,开发测试脚本和工具,有效提升产品测试效率。 任职要求: 1. ***计算机及相关专业本科及以上学历; 2. 具有5年及以上测试工作经验,精通测试流程和测试方法; 3. 熟悉SQL语言,能编写复杂的SQL脚本; 4. 熟悉linux常用命令,能独立进行测试环境搭建及维护; 5. 有数据仓库ETL及作业调度系统相关测试经验; 6. 工作积极主动,执行能力强,努力推进问题解决; 7. 了解大数据技术及相关组件,如Greenplum、Hadoop、Kakfa、Flink等优先考虑。
-
岗位职责: 1.承担建设基于Hadoop/Spark生态的大数据离线/实时处理平台; 2.参与业务数据.生产日志的抽取.转储.检索等相关工作; 3.跟进大数据前沿技术的发展,将合适的技术方案适时引入业务场景。 任职要求: 1.3年以上计算机.统计.数学等相关本科或以上学历; 2.掌握Hadoop.HBae.Hive.Kafka.Flume.Spark等大数据技术; 3.掌握数据挖掘,python,机器学习经验者优先; 4.有较强的学习能力,勤奋踏实,责任心强,有较强的沟通协调能力,有一定创新能力;
-
数据研发岗: 岗位职责: 1、负责业务需求承接和相关数据及报表研发工作; 2、承接业务需求,按照业务要求,按质按量完成需求交付,沉淀数据资产; 3、可独立完成需求拆解,数据模型设计,数据研发和开发及测试工作。 岗位要求: 1、计算机相关专业本科以上学历。 2、1年以上工作经验。 3、熟悉主流分布式计算工具,hadoop, spark, hbase等,精通SQL开发,熟悉MapReduce原理; 4、有一定的数据仓库开发经验,对各类数据模型设计方法有比较全面和深入的了解。 5、掌握java/python编程中的至少一种; 6、具备较好的数据抽象能力和主观能动性,能够从实际问题出发,提出数据解决方案并跟进方案落地;
-
岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
-
【必备技能】1、熟悉大数据研发生态,有基于hive、hbase做研发的工作经验等。 2、熟悉Oracle/mysql等数据库。 3、能读懂java、python、shell代码 【重要技能】1、熟悉大数据研发生态,有基于hive、hbase做研发的工作经验等。 2、熟悉Oracle/mysql等数据库。 3、能读懂java、python、shell代码 4、3年左右开发经验。
-
职责描述: 1、负责公司大数据平台的运维保障工作,保障平台的正常运行和相应数据服务的稳定高效; 2、对接数据开发侧团队,主动优化和完善服务巡检、监控工具、脚本等,减少人工操作提高运维效率;负责数据平台的故障处置、推动性能优化。如平台产品技术问题,提交给平台产品技术组进行后台处理,并及时反馈. 3、负责数据平台二线运维支撑保障,响应运维/服务台一线请求:处置生产事件,跟踪问题处理; 4、定期组织团队人员开展大数据平台的技术知识积累和移交; 5、负责设计日常运维相关的自动化工具或系统,并完成相应需求收集和需求管理 ; 任职要求: 1. 具有1年以上金融行业数据类项目运维经验,熟悉保险业务操作与管理。具有大数据平台相关技术进行数据仓库、数据中台开发、维护、优化等项目经验的人员,或长期在类似的运维项目上承担运维工作优先; 2. 具备较强的数据开发分析能力,熟练掌握SQL等技能,熟练掌握大数据平台、UNIX、LUNIX和中间件的技能。有java或Python开发基础优先; 3. 具备较强的数据分析,问题分析,逻辑思维能力,团队协作能力,有良好的沟通能力和责任感,能够承担工作压力,独立分析和解决问题者优先; 4. 强烈的自驱力和责任感,面对复杂业务问题,可以从业务和技术多角度推进,最终达成目标。
-
【岗位职责】 1、负责基于hive、spark、flink技术的大数据平台需求分析、设计及开发工作; 2、负责基于datax、HQL、传统ETL 或基于spark、flink的大数据平台数据抽取、清洗、转换、加工等入仓的开发,优化大数据平台跑批作业; 3、负责使用Dolphinscheduler(海豚调度)批量配置跑批调度任务及调度优化工作; 4、负责使用flink采集并加工kafka、binlog等数据源。 【岗位要求】 1、能熟练使用大数据基础组件,不限于hdfs/kudu、hive、impala、yarn、Tez/spark、flink、hbase、sqoop、flume、datax、elasticsearch、kafka等,熟悉相关架构和原理,有一定的组件性能调优能力; 2、有CDH/CDP平台使用经验,熟悉基于Cloudera Manager的平台使用管理; 3、具有airflow/azkaban/xxl-job/Dolphinscheduler等一种基几种调度工具的开发使用经验,有Dolphinscheduler使用经验优先; 4、具备海量数据采集、加工、分析处理、高并发查询等数据平台的开发设计能力,并有具体的构建海量数据存储、离线/实时数仓等项目实施经验; 5、具有金融行业大数据平台实施项目经验; 6、了解常见的大数据产品和技术路线,如:ClickHouse、Doris、GBase、Kylin、Linkis、Flink CDC、Hudi/Iceberg等更优; 7、学习能力强,适应能力好,有强烈的责任心,主动关注数据发现问题并提出解决方案,具备良好的沟通能力及团队合作精神。
-
岗位职责: 1. 负责大数据实时、离线、异构数据的同步和传输生态的研发,提供灵活高效的接入能力; 2. 负责大数据接入组件的性能、效率、稳定性分析与优化。 任职要求: 1. 熟悉Flume/DataX/Logkit/Kafka等大数据接入技术和相关组件,有1年以上大数据接入研发经验; 2. 具备扎实的计算机基础,熟悉分布式系统研发,有云原生技术经验优先; 3. 精通Java/Scala研发语言,具有良好的编程研发能力; 4. 能够深刻理解业务,善于利用技术实现相关业务价值;
-
主要职责: 1. 承担大数据平台日常数据开发、运维工作; 2. 承担ODS ETL相关工作,主要包含数据模型的设计,ETL实施,ETL性能优化,ETL数据监控以及相关技术问题的解决; 3. 参与数据治理工作,保障数据质量; 4. 承担相关报表的数据准备,利用BI工具开发相关业务报表; 5. 完成部门布置的其他与数据相关任务。 招聘要求: 1. ***大学本科及以上学历,计算机或数学相关专业,3-5年与数据相关工作经验; 2. 熟悉大数据主流开发框架:Hive、Hadoop、Flink、Sqoop等常用组件的使用,具备性能调优经验者优先; 3. 熟悉数据仓库使用及优化,深入了解数据仓库体系及实施,有实际支撑业务场景经验; 4. 数量掌握SQL、Python等编程语言,具备Java实际项目经验者优先; 5. 善于沟通,对数据具有一定敏感度,能快速理解业务背景,能承担工作压力,具备良好的适应能力。
-
主要职责: 1、根据业务需求,负责数据集成系统的功能开发,同时确保系统高性能、高可用及可扩展性。 2、负责基于Java的后端服务开发,编写高质量、高效能、易维护的代码,并遵循良好的编程规范。 3、对现有集成平台进行维护与升级,解决线上问题,对复杂技术问题需要提供解决方案。 4、与产品经理、数仓开发、前端、测试等团队紧密合作,确保项目按时交付并达到预期效果。 任职要求: 1、计算机相关专业本科及以上学历,4-8年Java开发经验,有大数据中台开发经验者优先。 2、精通Java编程语言,熟悉Spring Boot、Spring Cloud等主流Java开源框架,有微服务架构设计和实践经验。 3、对于关系型数据库(如MySQL)及NoSQL(如MongoDB、Redis)有理解和实战经验。 4、熟悉分布式系统的设计原理和常用中间件(如Kafka、Zookeeper、RocketMQ等),能够进行性能调优。 5、具备良好的分析问题和解决问题的能力,能独立解决复杂的功能或性能问题。 6、具备优秀的团队协作和沟通能力,能够配合团队完成高质量的工作成果。