-
工作内容 职位描述: 1. 参与数据仓库规划、架构及研发,包括离线、实时的数据模型规划,建设PB级的数据集市和数据平台。 2. 负责数据模型的规划、架构、开发以及海量数据下的性能调优,复杂业务场景下的需求交付。 3. 参与平台数据治理相关工作,负责数据质量、数据一致性及稳定性保障等建设。 4. 深入业务,与业务团队紧密合作,理解并合理抽象业务需求,发掘数据价值,以数据驱动业务不断发展。 5. 关注行业技术趋势,引入新技术和工具,持续优化大数据处理流程与性能,提升业务的数据处理效率和价值产出。 岗位要求 任职要求: 1. 本科及以上学历,计算机、软件工程、数据分析或相关专业出身,2-5年大数据开发经验。 2. 掌握Java, Python等至少一门语言,熟悉常用数据结构与算法。 3. 熟悉大数据生态技术栈,具备较丰富的Hadoop,Hive,Spark,Flink等开发经验。 4. 精通数据仓库理论体系,对分层设计、维度建模等有深刻的认识和实战经验,熟悉不同建模方法的优劣。 5. 积极主动贴近业务,有良好的沟通协调能力,数据敏感度高,能够快速理解业务模型及数据模型,从业务角度出发分析和解决数据问题。 6. 具备优秀的问题解决能力和团队协作精神,对大数据技术充满兴趣,学习能力和自我驱动力强 7. 有数据中台建设经验优先。有数据分析能力、指标体系搭建或BI相关经验优先。有互联网工作经验优先。 8. 加分项:英文沟通表达、云平台(如阿里云、AWS、Google Cloud)经验。
-
岗位职责 1.数据质量监控:负责监控金融信贷相关业务域数仓数据的准确性、一致性和完整性,确保数据质量符合业务需 求。 2.数据质量测试:设计并执行数据质量测试用例,验证数据计算逻辑、数据转换规则和数据存储的正确性 3.数据质量问题跟踪:跟踪测试中发现的数据质量问题,协调研发团队进行问题修复,并验证修复效果. 4.数据质量工具开发:参与数据质量管理平台的功能设计与开发,提升数据质量测试的自动化水平。 岗位任职要求 1.学历要求:本科及以上学历,计算机科学、软件工程、数据科学或相关专业。 2.工作经验:3年以上数据测试或数据质量测试经验,有金融信贷行业经验者优先。 3.大厂背景:具有阿里、腾讯、字节跳动、百度等大厂数据测试或数据质量测试经验者优先,。 4.技术能力: a).熟悉大数据技术栈(如Hadoop、Spark、Hive、Flink等)。 b).熟悉数据质量监控工具(如Apache Griffin、Great Expectations等)。 c).具备一定的编程能力(如Python、Java、SaL等),能够编写自动化测试脚本。 d).熟悉数据治理相关工具(如数据血缘、元数据管理等)者优先。 5.业务理解:对金融信贷业务有深入理解,能够根据业务需求设计数据质量测试方案 6.问题解决能力:具备较强的逻辑思维和问题解决能力,能够快速定位数据质量问题的根本原因。 7.沟通协作:具备良好的沟通能力和团队协作精神,能够与研发、业务团队高效协作。 加分项 1.有金融信贷行业数据质量测试经验者优先。 2.熟悉金融行业数据标准和监管要求者优先。 3.具备数据治理或数据资产管理经验者优先。
-
职位职责: 1、参与字节跳动搜索业务离线和实时数据仓库建设工作; 2、参与数据ETL流程的优化并解决海量数据ETL相关技术问题; 3、参与复杂数据链路依赖和多元数据内容生态下的数据治理工作; 4、背靠字节跳动强大的中台架构和产品体系,在业务快速落地数据解决方案。 职位要求: 1、精通数据仓库实施方法论、深入了解数据仓库体系,并支撑过实际业务场景; 2、具备较强的编码能力,熟悉sql,python,hive,spark,kafka,flink中的多项,有TB以上大数据处理经验; 3、对数据敏感,认真细致,善于从数据中发现疑点; 4、善于沟通,具备优秀的技术与业务结合能力。
-
职位职责: 1、负责字节跳动网络成本和质量数据产出,进行海量后台数据计算,对数据准确性和实时性负责; 2、负责构建字节跳动网络产品成本和质量的模型,负责模型的建立、开发、更新、维护; 3、负责字节跳动网络产品成本和质量内部管理动作的自动化、平台化,不断提升业务的效率。 职位要求: 1、本科及以上学历,网络、计算机等相关专业优先; 2、有一定的网络方面的技术背景; 3、具备良好的后台开发能力,良好的抽象思维和逻辑思维能力; 4、熟悉常用的数据分析方法,较强的数据敏感性,细心细致; 5、具有较强的项目管理与跨团队沟通能力。
-
地点:武汉 岗位职责: 1、负责产品的研发工作,主要负责后台编写,包含部分算法编写、性能优化,保证平台安全、稳定、快速运行。 2、负责产品的数据模型设计以及相应接口的开发工作。 3、参与系统的需求调研和需求分析,及系统上线协助,并承担部分交付责任。 4、配合前端进行前后端联调。 任职要求: 1、计算机相关专业硕士及以上学历, 3年以上JAVA开发经验; 2、有数据控制技术、机密容器研发经验优先。 3、有隐私计算、联邦学习,隐语、Fate隐私计算开源框架、区块链等相关技术研发和应用经验优先。 4、具备良好的面向对象编程经验,深入理解OO、AOP思想,具有较强的分析设计能力,熟悉常用设计模式。 5、精通Spring、Mybatis、JPA等开源框架并熟悉其实现原理,熟悉SpringCloud等微服务框架。有两年及以上的Spring实际项目开发经验。 6、熟练使用linux操作系统,熟悉云原生架构技术Docker、K8S等。 7、熟悉SQL编写,至少掌握mysql、sqlserver、oracle的一种; 8、熟悉Tomcat、nginx等web服务器。 9、熟悉websocket,grpc等相关通信协议。 10、熟悉C/C++、python优先。
-
岗位职责: 1、负责电商财务域数据模型调研、设计、开发工作,与业务部门紧密配合,提供数据支持 2、负责电商财务域数据运营&治理工作,保障数据质量 3、参与电商财务域数据体系化建设,提升数据服务稳定性 任职要求: 1、计算机相关专业,大学本科及以上学历,5年以上大数据开发相关工作经验 2、熟悉大数据相关组件(如Hive、Spark、Flink、Kafka等),具备编写、优化复杂SQL的能力 3、有扎实的数据仓库理论功底和丰富的数据治理实战经验,能够围绕业务和产品特性建模并解决实际问题 4、熟悉Python/Java/Scala/Shell其中一种语言 5、具备电商领域业务开发经验优先;具备财务领域业务开发经验优先 6、负责过数据平台或数据仓库设计优先;有带团队经验优先。
-
岗位职责: 公司业务为面向工业企业的数据智能方向。本岗位需要数据工程背景,主要方向为元数据治理和数据架构方向。工作内容兼顾 toB 项目实施与软件产品研发。 1. AI 时代下的元数据治理体系建设,包括: - 元数据治理体系的设计和实施验证 - 元数据治理产品开发,与数据分析产品线的集成 2. 作为技术负责人,亲自参与核心客户项目的交付和技术验证工作,包括: - 项目技术方案设计 - 项目交付与实施 - 客户沟通与技术支持 3. 数据架构设计与数据工程开发,包括: - 根据客户现状和需求设计合理的数据架构 - 数据工程开发,包括数据治理与 ETL 任务开发 - 数据质量监控和运维 岗位要求 1.理工科本科及以上学历,3 年以上数据工程/数据架构相关经验。 2.精通 SQL、Spark 等主流 ETL 工具链的使用。 3.精通 golang、python、scala 软件研发常用技术栈。 4.深入理解元数据治理体系与技术。 5.有元数据治理项目/产品研发经验优先。 6.有工业企业数据智能业务经验优先。
-
岗位概述:正在寻找一名Python数据开发工程师加入我们的开发团队,您将与我们优秀的工程师和研究人员一起,负责开发和维护我们的高性能数据科学研究系统的相应组件。 岗位职责: 1、熟悉使用Python来开发数据应用,熟悉数据ETL; 2、高质量完成数据开发需求,充分测试,保证数据的准确些、一致性、及时性、完整性; 3、参与开发量化交易研究的回测系统组件,包括但不限于Tick数据采样、特征构造、特征选择、以及拟合等 4、开发可重用的代码和库;完成高质量的、可维护的代码; 5、可参与开发深度学习策略、自动化实盘交易系统等其他内部系统。 任职要求: 1、本科以上理工科类学历,学习过计算机体系结构、数据结构等计算机类专业课; 2、有2年以上Python开发经验,其中至少半年以上为数据处理类工作如爬虫、ETL等; 3、熟悉Linux环境下开发,熟悉常用的Bash指令; 4、熟悉Pandas/Polars等时序数据类库以及Numpy等科学计算库; 5、熟悉MongoDB等NoSQL数据库; 6、熟悉Python中基本的数据结构的使用方法,了解其计算复杂度; 7、自驱、认真负责、技术沟通和技术协作能力强。 加分项: - 有金融行业数据处理经验。 - 有容器化(Docker)开发部署经验。 - 有使用serverless系统开发的经验,例如阿里云FC,亚马逊Lambda。
-
工作职责: 1、充分理解业务需求及痛点,利用数据挖掘、数据分析、机器学习等技术挖掘业务价值,解决业务需求; 2、负责风控、定价等板块具体的数据挖掘项目,包括但不限于数据加工、数据分析、特征工程、构建模型等工作,并就对应项目阶段性成果进行汇报与分享,为业务发展提供支持; 3、参与构建用户全生命周期营销管理,构建以用户运营为核心的高质量的标签体系; 4、与业务团队构建良好的合作关系,积极沟通交流,推动合作项目成功。 任职资格: 1、3年以上数据分析/数据挖掘/机器学习等相关领域经验;**本科或以上学历;熟悉保险业务优先考虑; 2、熟练使用Python/Scala/Java中一门或多门语言;熟悉Spark/Hadoop/Hive等大数据处理技术,有阿里大数据生态Maxcompute、Dataworks、PAI项目经验的优先考虑;熟练使用Sql进行数据处理; 3、熟悉机器学习基本理论、数据分析常用方法论等相关理论知识,了解概率论与统计学基础; 4、有多类数据挖掘项目的实施落地经验,全链路打通并工程化部署,且能不断优化,进而产生业务效果; 5、自我驱动,能主动深入了解业务,适应业务变化;有良好的个人表达和组织沟通能力,推进项目开展。
-
岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
-
公司介绍: 我们是一家专注于金融科技服务的创新公司,致力于通过技术手段推动金融行业的进步。我们拥有优秀的团队,注重员工发展和企业文化建设。 职位详情: 1. 职位职责: * 负责银行数据仓库的架构设计、开发和维护工作; * 负责数据平台的优化和改进,提高数据质量和性能; * 参与数据治理和数据安全相关的工作。 2. 任职要求: * 本科及以上学历,计算机、数学或相关专业; * 3-5年相关工作经验,有银行背景优先; * 熟练掌握数据结构和算法,熟悉至少一种主流数据库; * 具备出色的架构设计能力,能够独立完成复杂系统的设计; * 具备良好的沟通能力和团队协作精神; * 对数据敏感,具备较强的分析问题和解决问题的能力。 3. 福利待遇: * 五险一金,带薪年假,节日福利,定期团建活动; * 优秀的培训体系和职业发展机会; * 舒适的工作环境和便利的交通。 4. 工作地点:杭州市拱墅区(需要能接受远程面试) 5. 简历请发送至邮箱:****************(注意在邮件主题中注明应聘职位) 以上职位是我们正在招聘的数据开发工程师,希望有相关工作经验和符合我们要求的人才加入我们的团队。我们期待着你的加入,共同推动公司的技术进步。 公司文化:我们重视创新、协作和团队精神,鼓励员工持续学习和进步。我们的团队由一群热爱工作、充满激情的人组成,我们相信只有优秀的团队才能创造出卓越的成果。
-
岗位职责 作为大数据研发工程师,你将深度参与搜推业务链路的实时与离线数据处理体系建设,核心工作包括但不限于: •基于Flink/Spark 构建用户行为数据的实时(或近实时)采集、清洗、聚合与特征计算链路,实现用户兴趣标签、行为序列、实时偏好等画像特征的更新与存储; •设计高并发、低延迟的实时数据管道,对接搜索/推荐业务的实时请求,支撑个性化排序、精准召回等策略的实时反馈优化; •通过Redis/Elasticsearch/OpenSearch实现画像特征的实时存储与高效检索,保障下游业务(如前端展示、策略调用)的低延迟访问。 •负责离线数据仓库的开发与维护(使用Spark/MaxCompute),完成海量用户行为数据的ETL、数仓分层建模与指标计算; •基于阿里云Lindorm/MaxCompute/DataWorks等工具,优化数据存储成本与计算效率(如冷热数据分层、任务调度调优),支撑业务方的高效取数与分析需求; •针对搜推业务中的复杂场景(如跨域数据关联、实时+离线特征一致性、大规模稀疏特征处理),设计可扩展的技术方案并推动落地; 任职要求 •**本科及以上学历,计算机相关专业,大数据开发相关经验; •熟练掌握并使用(Flink,Spark Spark SQL/DataFrame、DataWorks调度等),有海量数据(TB级以上)的ETL与数仓开发经验; •熟悉消息队列(Kafka必备)、搜索引擎(Elasticsearch/OpenSearch加分)、缓存(Redis等)及云原生大数据组件(阿里云Lindorm/MaxCompute/DataWorks优先)的原理与应用; •具备扎实的编码能力(Java/SQL至少一种),熟悉Linux环境与常用脚本工具,有分布式系统调优经验(如JVM调优、任务并行度优化等)。 •具有良好的沟通能力和组织协调能 加分项: •有实时画像/风控平台建设经验,熟悉用户行为特征工程、规则引擎或模型推理链路集成; •理解搜索/推荐业务逻辑,了解排序策略、召回链路与数据特征的关联性; •对数据敏感,具备较强的业务抽象能力与问题排查能力(如通过日志/指标定位数据延迟、丢失或不一致问题)。
-
团队背景 隶属于6767搜推工程策略组6767,是公司搜索与推荐业务的核心技术支撑团队。团队技术氛围开放,鼓励创新实践,团队成员具备丰富的分布式系统与海量数据处理经验。 岗位职责 作为大数据研发工程师,你将深度参与搜推业务链路的实时与离线数据处理体系建设,核心工作包括但不限于: 61基于Flink/Spark 构建用户行为数据的实时(或近实时)采集、清洗、聚合与特征计算链路,实现用户兴趣标签、行为序列、实时偏好等画像特征的更新与存储; 61设计高并发、低延迟的实时数据管道,对接搜索/推荐业务的实时请求,支撑个性化排序、精准召回等策略的实时反馈优化; 61通过Redis/Elasticsearch/OpenSearch实现画像特征的实时存储与高效检索,保障下游业务(如前端展示、策略调用)的低延迟访问。 61负责离线数据仓库的开发与维护(使用Spark/MaxCompute),完成海量用户行为数据的ETL、数仓分层建模与指标计算; 61基于阿里云Lindorm/MaxCompute/DataWorks等工具,优化数据存储成本与计算效率(如冷热数据分层、任务调度调优),支撑业务方的高效取数与分析需求; 61针对搜推业务中的复杂场景(如跨域数据关联、实时+离线特征一致性、大规模稀疏特征处理),设计可扩展的技术方案并推动落地; 任职要求 61**本科及以上学历,计算机相关专业,大数据开发相关经验; 616767熟练掌握并使用6767(Flink,Spark Spark SQL/DataFrame、DataWorks调度等),有海量数据(TB级以上)的ETL与数仓开发经验; 61熟悉消息队列(Kafka必备)、搜索引擎(Elasticsearch/OpenSearch加分)、缓存(Redis等)及云原生大数据组件(阿里云Lindorm/MaxCompute/DataWorks优先)的原理与应用; 61具备扎实的编码能力(Java/SQL至少一种),熟悉Linux环境与常用脚本工具,有分布式系统调优经验(如JVM调优、任务并行度优化等)。 61具有良好的沟通能力和组织协调能 6767加分项:6767 61有实时画像/风控平台建设经验,熟悉用户行为特征工程、规则引擎或模型推理链路集成; 61理解搜索/推荐业务逻辑,了解排序策略、召回链路与数据特征的关联性; 61对数据敏感,具备较强的业务抽象能力与问题排查能力(如通过日志/指标定位数据延迟、丢失或不一致问题)。
-
工作内容: 1、根据业务需求进行数据业务开发,分析后台已有数据,理解数据维度和含义,并根据计算公式进行数据应用开发及分析。 2、参与数据治理工作,根据目前已有数据,解析数据依赖,编排数据拓扑结构,数据元数据结构优化;提升数据易用性及数据质量,统一数据口径,制定数据标准化规则。 3、对数据平台和执行引擎遇到问题时有一定的解决能力,负责 ETL 流程的优化及解决 ETL 相关技术问题,对数据稳定性和性能有一定的优化能力。 4、支撑采购供应链业务域的搜索、用户画像、推荐系统等业务的数据需求,确保输出时效性与准确性。 任职要求: 1、本科及以上学历,计算机相关专业,3年以上工作经验; 2、精通Python语言,能够使用python写数据分析算法; 3、精通FineBI、FineReport的开发、维护技术(有帆软高级工程师认证的优先)能够独立完成BI项目的开发; 4、精通数仓及BI系统业务建设流程; 5、熟练掌握SQL,能够熟练编写复杂的查询语句、存储过程、函数等,对常见关系型数据库(如Oracle、MySQL等)的性能优化有一定经验; 6、有良好的沟通和业务流程描述能力,书面表达能力,高度自驱。
-
职位描述 1、加入高德地图的商业智能BI团队,深入理解高德核心业务,为决策层评估业务价值、进行业务决策等提供数据支撑; 2、数据研发:参与高德地图打车、搜索等核心业务的数据仓库、数据产品建设,参与数据治理并沉淀业务数据资产; 3、数据挖掘:基于高德地图的海量日志,通过算法模型挖掘有价值的业务信息,指导高德地图的产品迭代。 职位要求 1、计算机、数学、统计或者相关专业本科以上学历; 2、熟悉Java/Python,精通SQL,具有5年以上数据研发经验; 3、熟悉HADOOP大数据平台架构:HDFS/HBase/Hive/MapReduce,熟练掌握MapReduce程序开发,了解实时计算,有使用过Flink、Spark Streaming等开源实时流引擎的优先; 4、对数据仓库系统架构具有良好的认知,理解数据分层、数据倾斜、错峰调度等理念,并具有相关实战经验。


