-
工作内容 职位描述: 1. 参与数据仓库规划、架构及研发,包括离线、实时的数据模型规划,建设PB级的数据集市和数据平台。 2. 负责数据模型的规划、架构、开发以及海量数据下的性能调优,复杂业务场景下的需求交付。 3. 参与平台数据治理相关工作,负责数据质量、数据一致性及稳定性保障等建设。 4. 深入业务,与业务团队紧密合作,理解并合理抽象业务需求,发掘数据价值,以数据驱动业务不断发展。 5. 关注行业技术趋势,引入新技术和工具,持续优化大数据处理流程与性能,提升业务的数据处理效率和价值产出。 岗位要求 任职要求: 1. 本科及以上学历,计算机、软件工程、数据分析或相关专业出身,2-5年大数据开发经验。 2. 掌握Java, Python等至少一门语言,熟悉常用数据结构与算法。 3. 熟悉大数据生态技术栈,具备较丰富的Hadoop,Hive,Spark,Flink等开发经验。 4. 精通数据仓库理论体系,对分层设计、维度建模等有深刻的认识和实战经验,熟悉不同建模方法的优劣。 5. 积极主动贴近业务,有良好的沟通协调能力,数据敏感度高,能够快速理解业务模型及数据模型,从业务角度出发分析和解决数据问题。 6. 具备优秀的问题解决能力和团队协作精神,对大数据技术充满兴趣,学习能力和自我驱动力强 7. 有数据中台建设经验优先。有数据分析能力、指标体系搭建或BI相关经验优先。有互联网工作经验优先。 8. 加分项:英文沟通表达、云平台(如阿里云、AWS、Google Cloud)经验。
-
岗位职责: 1. 大数据平台组件运维及优化,进行必要的二次开发; 2. 数据湖、数据仓库技术研究及落地; 3. 实时、离线数据产品设计及开发。 任职要求: 1. 本科及以上学历,计算机及相关专业; 2. 3-5年Java/Scala开发经验,熟悉多线程编程; 3. 熟悉大数据生态相关技术,有二次开发经验者优先; 4. 熟悉实时及离线数仓架构及开发流程,有Phoenix/StarRocks使用经验优先; 5. 熟悉常见设计模式,熟悉如Spring/SpringMVC/Mybatis等主流框架; 6. 有较强的学习能力与逻辑思维能力,良好的团队合作精神。
-
职位职责: 1、负责字节跳动网络成本和质量数据产出,进行海量后台数据计算,对数据准确性和实时性负责; 2、负责构建字节跳动网络产品成本和质量的模型,负责模型的建立、开发、更新、维护; 3、负责字节跳动网络产品成本和质量内部管理动作的自动化、平台化,不断提升业务的效率。 职位要求: 1、本科及以上学历,网络、计算机等相关专业优先; 2、有一定的网络方面的技术背景; 3、具备良好的后台开发能力,良好的抽象思维和逻辑思维能力; 4、熟悉常用的数据分析方法,较强的数据敏感性,细心细致; 5、具有较强的项目管理与跨团队沟通能力。
-
岗位职责: 1、负责电商财务域数据模型调研、设计、开发工作,与业务部门紧密配合,提供数据支持 2、负责电商财务域数据运营&治理工作,保障数据质量 3、参与电商财务域数据体系化建设,提升数据服务稳定性 任职要求: 1、计算机相关专业,大学本科及以上学历,5年以上大数据开发相关工作经验 2、熟悉大数据相关组件(如Hive、Spark、Flink、Kafka等),具备编写、优化复杂SQL的能力 3、有扎实的数据仓库理论功底和丰富的数据治理实战经验,能够围绕业务和产品特性建模并解决实际问题 4、熟悉Python/Java/Scala/Shell其中一种语言 5、具备电商领域业务开发经验优先;具备财务领域业务开发经验优先 6、负责过数据平台或数据仓库设计优先;有带团队经验优先。
-
职位职责: 1、负责字节跳动网络成本和质量数据产出,进行海量后台数据计算,对数据准确性和实时性负责; 2、负责构建字节跳动网络产品成本和质量的模型,负责模型的建立、开发、更新、维护; 3、负责字节跳动网络产品成本和质量内部管理动作的自动化、平台化,不断提升业务的效率。 职位要求: 1、本科及以上学历,网络、计算机等相关专业优先; 2、有一定的网络方面的技术背景; 3、具备良好的后台开发能力,良好的抽象思维和逻辑思维能力; 4、熟悉常用的数据分析方法,较强的数据敏感性,细心细致; 5、具有较强的项目管理与跨团队沟通能力。
-
工作职责 1.负责自动驾驶数据平台、仿真平台、标注平台、训练平台及相关工具链的架构设计和研发工作,打造符合前瞻、量产智驾技术研发需要的数据闭环 2.负责大规模、可伸缩计算集群系统的解决方案的设计和搭建,以及核心技术的研究、开发和优化,负责平台长期运维支持和架构优化 3.负责自动驾驶软件系统框架架构设计和开发,与硬件、算法和测试团队合作,持续集成并优化自动驾驶系统 4.负责量产车型的数据驱动影子模式、数据记录等车端功能设计、系统架构和开发 工作要求 1.学历要求:**本科及以上学历,英语CET-4及以上, 2.工作经验:具有6年及以上相关工作经验,特别优秀者可适当放宽 3.其他: ① 计算机科学与技术、软件工程专业、自动化控制专业、人工智能等相关专业优先 ② 满足以下条件之一: 1)熟悉软件开发流程、具备扎实的算法和数据结构、算法、操作系统、网络、数据库等知识 2)熟悉几何、计算机图形学、动态系统建模等理论和方法 3)精通C/C++/Go/Python/nodejs一种或多种编程语言,熟悉HTML/CSS/React/REST 4)熟悉Linux/RTOS环境下开发与调试,有嵌入式操作系统和实时操作系统的内核或驱动开发经验,有多进程多线程、中间件、计算机视觉应用(OpenCV)、CUDA、TensorRT等开发经验优先 5)有丰富的Gin/Pylons/Django Web框架开发经验 6)熟悉PyTorch,TensorFlow,TensorRT等深度学习框架,有模型训练、调优相关经验 7)熟悉Spark/K8S相关技术,有相关开发经验,有过海量数据系统开发经验优先,有过集群系统开发、部署和优化经验优先 8)熟悉软件开发流程以及DevOps完整流程,熟悉DevOps相关系统原理,有相关工具和使用经验、如Jenkins,Argo, K8S,Docker,Kubernetes等 ③ 工作认真负责,具有良好的团队合作能力、沟通协调能力和学习能力 ④ 有Tier 1或主机厂相关工作经验优先
-
岗位职责 作为大数据研发工程师,你将深度参与搜推业务链路的实时与离线数据处理体系建设,核心工作包括但不限于: •基于Flink/Spark 构建用户行为数据的实时(或近实时)采集、清洗、聚合与特征计算链路,实现用户兴趣标签、行为序列、实时偏好等画像特征的更新与存储; •设计高并发、低延迟的实时数据管道,对接搜索/推荐业务的实时请求,支撑个性化排序、精准召回等策略的实时反馈优化; •通过Redis/Elasticsearch/OpenSearch实现画像特征的实时存储与高效检索,保障下游业务(如前端展示、策略调用)的低延迟访问。 •负责离线数据仓库的开发与维护(使用Spark/MaxCompute),完成海量用户行为数据的ETL、数仓分层建模与指标计算; •基于阿里云Lindorm/MaxCompute/DataWorks等工具,优化数据存储成本与计算效率(如冷热数据分层、任务调度调优),支撑业务方的高效取数与分析需求; •针对搜推业务中的复杂场景(如跨域数据关联、实时+离线特征一致性、大规模稀疏特征处理),设计可扩展的技术方案并推动落地; 任职要求 •**本科及以上学历,计算机相关专业,大数据开发相关经验; •熟练掌握并使用(Flink,Spark Spark SQL/DataFrame、DataWorks调度等),有海量数据(TB级以上)的ETL与数仓开发经验; •熟悉消息队列(Kafka必备)、搜索引擎(Elasticsearch/OpenSearch加分)、缓存(Redis等)及云原生大数据组件(阿里云Lindorm/MaxCompute/DataWorks优先)的原理与应用; •具备扎实的编码能力(Java/SQL至少一种),熟悉Linux环境与常用脚本工具,有分布式系统调优经验(如JVM调优、任务并行度优化等)。 •具有良好的沟通能力和组织协调能 加分项: •有实时画像/风控平台建设经验,熟悉用户行为特征工程、规则引擎或模型推理链路集成; •理解搜索/推荐业务逻辑,了解排序策略、召回链路与数据特征的关联性; •对数据敏感,具备较强的业务抽象能力与问题排查能力(如通过日志/指标定位数据延迟、丢失或不一致问题)。
-
【岗位职责】 1、负责基于hive、spark、flink技术的大数据平台需求分析、设计及开发工作; 2、负责基于datax、HQL、传统ETL 或基于spark、flink的大数据平台数据抽取、清洗、转换、加工等入仓的开发,优化大数据平台跑批作业; 3、负责使用Dolphinscheduler(海豚调度)批量配置跑批调度任务及调度优化工作; 4、负责使用flink采集并加工kafka、binlog等数据源。 【岗位要求】 1、能熟练使用大数据基础组件,不限于hdfs/kudu、hive、impala、yarn、Tez/spark、flink、hbase、sqoop、flume、datax、elasticsearch、kafka等,熟悉相关架构和原理,有一定的组件性能调优能力; 2、有CDH/CDP平台使用经验,熟悉基于Cloudera Manager的平台使用管理; 3、具有airflow/azkaban/xxl-job/Dolphinscheduler等一种基几种调度工具的开发使用经验,有Dolphinscheduler使用经验优先; 4、具备海量数据采集、加工、分析处理、高并发查询等数据平台的开发设计能力,并有具体的构建海量数据存储、离线/实时数仓等项目实施经验; 5、具有金融行业大数据平台实施项目经验; 6、了解常见的大数据产品和技术路线,如:ClickHouse、Doris、GBase、Kylin、Linkis、Flink CDC、Hudi/Iceberg等更优; 7、学习能力强,适应能力好,有强烈的责任心,主动关注数据发现问题并提出解决方案,具备良好的沟通能力及团队合作精神。
-
岗位职责: 1.负责ETL相关开发工作,深度参与数据仓库的建设与优化,保障数据存储的高效性与稳定性,支撑公司战略级数据项目的落地。 2.主导复杂数据处理流程的开发与优化,基于 Python 编写高性能的数据处理脚本,结合 spark、pandas、duckdb等进行大规模数据清洗、转换与分析,实现数据挖掘与机器学习模型开发,推动数据价值的深度挖掘。 3.设计和维护基于 Airflow 的工作流调度系统,实现数据处理任务的自动化调度与监控,确保数据处理任务按时、准确执行,提升数据开发与运维效率。 4.与业务部门紧密协作,深入理解业务需求,将业务逻辑转化为数据解决方案,通过数据驱动业务决策,助力业务增长。 5.研究大数据领域的前沿技术,持续优化数据开发技术栈与流程。 任职资格: 1.具备 3 年及以上大数据开发相关工作经验,拥有丰富的大数据项目实战经验,能够独立承担复杂数据开发任务。 2.熟练掌握 Python 编程,具备基于 Python 的大数据开发工作经验,能够运用 Python 进行高效的数据处理与算法实现。 3.熟悉数仓建设方法论 1)熟悉etl分层建设方法 2)熟悉主题建设方法,能独立抽象主题,建设主题,并且物理化和性能调优 3)熟悉常用的BI系统建设方法,理解实现原理,理解各个工具使用场景 4.精通大数据开发相关技术栈,包括但不限于 Hadoop、Spark、Hive 等,能够熟练运用这些技术进行数据处理与分析。 5.熟练掌握 Airflow,能够基于 Airflow 进行工作流设计、调度与监控;熟练使用相关技术进行数据处理与分析并能够运用其实现常见的数据挖掘与机器学习算法。 6.熟练掌握sql和调优。 7.熟练掌握python。 加分项 1.具备统计学、数学建模等相关知识,能够运用统计方法进行数据分析与模型构建。 2.有分布式系统开发、数据可视化开发经验者优先。 薪资待遇 ****,我们提供具有竞争力的薪酬体系与广阔的职业发展空间,期待优秀的你加入!
-
岗位职责 : 1、数据仓库和数据处理:负责大数据平台的数据仓库、数据治理和数据模型的设计与开发工作。进行日常数据报表开发,理解业务需求,发挥数据价值。 2、数据服务开发:负责离线和实时数据服务的设计、开发、性能调优和效果优化。构建和维护数据管道,处理ETL过程,确保数据质量和准确性。 3、技术研究和应用:参与相关项目的数据需求的实现,设计和编码工作。参与开发过程中相关技术的研究和验证。 4、平台运维和质量管理:负责大数据平台的数据及相关的应用开发、调优及维护。完成日常数据质量的监控,参与大数据平台的日常运维工作。 5、针对数据一致性、准确性、及时性,制定数据管理与治理机制,提升数据易用性、可用性及稳定性; 任职要求 : 1、本科及以上学历,计算机相关专业,3-5年以上数据开发经验; 2、具备至少一个完整的大数据平台和BI系统实施经验,熟知平台建设各环节工作,包括数据采集、数据落地、仓库建设、数据平台搭建、数据应用产品开发 3、熟悉基于推荐系统的数据仓库建设方法论,有数仓模型设计及ETL开发经验;有数据仓库分层架构设定经验者优先; 4、熟悉Hadoop生态相关技术,如Hive、HDFS、Impala、Spark、Presto、Flink、Hudi、Elasticsearch、HBase、Druid、Kylin等,有基于分布式数据存储与计算平台应用开发经验,有较为系统的海量数据性能处理经验; 5、熟悉java、scala、python等语言,熟悉微服务,分布式架构,熟悉springcloud,springboot等技术开发; 6、熟悉数据仓库原理,有离线数仓、实时计算、数据挖掘、ETL、用户画像、数据可视化等设计与开发经验; 7、熟悉MySQL、PostgreSQL、NoSQL等数据库中至少一种数据中心建设方案,可以进行产品的独立部署、高可用架构和性能优化,熟悉开源社区解决方案; 8、熟悉阿里云大数据组件E-MapReduce、Dataworks、MaxCompute和国际AWS的EMR相关数据产品等,市场常见BI产品(superset、FineBI、神策数据)等相关组件者优先; 9、较强的学习能力和技术钻研能力、有自我驱动意识,对数据采集、数据治理、数据开发、数据分析、数据建模、算法等有深刻认识和实战经验。 期待您的加入哟,我们为您准备丰厚福利待遇: 【法定福利】:公司按国家规定购买五险一金+商业保险(员工本人及子女商业保险)+带薪年假; 【节日关怀】:节日福利礼品,以及节日礼金; 【公司福利】: 机场及高铁的贵宾服务(龙腾卡权益)+年度员工健康体检+平安360服务(在线问诊、VIP挂号及重疾紧急入院服务)+年度2次免费洁牙服务 公司提供咖啡、零食、下午茶 员工活动、旅游及团建,不定期举办聚餐、唱K、电竞赛、篮球赛、拓展、旅游、生日Party等 【学习与培训】:助力职业发展与提升,内外训双引擎发力助你高速发展 【晋升机会】:公司设立良好的晋升机制和广阔的发展空间。
-
岗位概述:正在寻找一名Python数据开发工程师加入我们的开发团队,您将与我们优秀的工程师和研究人员一起,负责开发和维护我们的高性能数据科学研究系统的相应组件。 岗位职责: 1、熟悉使用Python来开发数据应用,熟悉数据ETL; 2、高质量完成数据开发需求,充分测试,保证数据的准确些、一致性、及时性、完整性; 3、参与开发量化交易研究的回测系统组件,包括但不限于Tick数据采样、特征构造、特征选择、以及拟合等 4、开发可重用的代码和库;完成高质量的、可维护的代码; 5、可参与开发深度学习策略、自动化实盘交易系统等其他内部系统。 任职要求: 1、本科以上理工科类学历,学习过计算机体系结构、数据结构等计算机类专业课; 2、有2年以上Python开发经验,其中至少半年以上为数据处理类工作如爬虫、ETL等; 3、熟悉Linux环境下开发,熟悉常用的Bash指令; 4、熟悉Pandas/Polars等时序数据类库以及Numpy等科学计算库; 5、熟悉MongoDB等NoSQL数据库; 6、熟悉Python中基本的数据结构的使用方法,了解其计算复杂度; 7、自驱、认真负责、技术沟通和技术协作能力强。 加分项: - 有金融行业数据处理经验。 - 有容器化(Docker)开发部署经验。 - 有使用serverless系统开发的经验,例如阿里云FC,亚马逊Lambda。
-
工作职责: 1、负责数据中台/数据仓库的模型架构设计和研发; 2、负责大型金融机构企业数据仓库模型设计,将源系统离散的数据按照各类主题进行建模,通过数据集成和质量管控,解决企业的数据使用问题; 3、参与数据治理工作,推动数据治理体系落地,参与数据标准,元数据管理,数据质量监控等数据管理工作; 4、理解并合理抽象业务需求,发挥数据价值,参与数据仓库/数据集市/数据应用等的设计与数据建模,与业务,BI团队紧密合作; 任职资格: 1,3年以上数据中台/数据仓库/数据平台相关经验;具备乙方或者大型实体企业内部的数据建模项目经验,优先考虑;**本科或以上学历; 2,具备数据中台/数据仓库和数据建模能力;熟悉建模理论与方法,熟悉维度建模,能够按照需求正确划分主题,产出概念模型,业务模型,逻辑模型等;熟悉数据仓库总线矩阵设计和数据仓库项目的实施流程 3、具有1年以上的数据仓库建模经验,了解IBM和teradata的FS-LDM的建模方法,并有至少1个以上的的金融企业数据仓库建模实际落地经验;熟悉保险行业业务更佳; 4,具备团队管理能力,有项目管理经验;个人具有良好的数据分析、逻辑推理能力,良好的学习能力与团队精神,工作热情努力、积极主动、高效负责。 5、了解大数据开发技术,包括Hadoop,Hive,Spark,Flink,Kafka等大数据框架原理及应用,有阿里大数据生态Maxcompute、dataworks项目经验的优先考虑。对常见数仓技术体系:Kylin、Doris、Clickhouse、Hive、Spark、Flink、Kafka等,有其中一个或多个有实际研发经验;
-
公司介绍: 我们是一家专注于金融科技服务的创新公司,致力于通过技术手段推动金融行业的进步。我们拥有优秀的团队,注重员工发展和企业文化建设。 职位详情: 1. 职位职责: * 负责银行数据仓库的架构设计、开发和维护工作; * 负责数据平台的优化和改进,提高数据质量和性能; * 参与数据治理和数据安全相关的工作。 2. 任职要求: * 本科及以上学历,计算机、数学或相关专业; * 3-5年相关工作经验,有银行背景优先; * 熟练掌握数据结构和算法,熟悉至少一种主流数据库; * 具备出色的架构设计能力,能够独立完成复杂系统的设计; * 具备良好的沟通能力和团队协作精神; * 对数据敏感,具备较强的分析问题和解决问题的能力。 3. 福利待遇: * 五险一金,带薪年假,节日福利,定期团建活动; * 优秀的培训体系和职业发展机会; * 舒适的工作环境和便利的交通。 4. 工作地点:杭州市拱墅区(需要能接受远程面试) 5. 简历请发送至邮箱:****************(注意在邮件主题中注明应聘职位) 以上职位是我们正在招聘的数据开发工程师,希望有相关工作经验和符合我们要求的人才加入我们的团队。我们期待着你的加入,共同推动公司的技术进步。 公司文化:我们重视创新、协作和团队精神,鼓励员工持续学习和进步。我们的团队由一群热爱工作、充满激情的人组成,我们相信只有优秀的团队才能创造出卓越的成果。
-
工作内容: 1、根据业务需求进行数据业务开发,分析后台已有数据,理解数据维度和含义,并根据计算公式进行数据应用开发及分析。 2、参与数据治理工作,根据目前已有数据,解析数据依赖,编排数据拓扑结构,数据元数据结构优化;提升数据易用性及数据质量,统一数据口径,制定数据标准化规则。 3、对数据平台和执行引擎遇到问题时有一定的解决能力,负责 ETL 流程的优化及解决 ETL 相关技术问题,对数据稳定性和性能有一定的优化能力。 4、支撑采购供应链业务域的搜索、用户画像、推荐系统等业务的数据需求,确保输出时效性与准确性。 任职要求: 1、本科及以上学历,计算机相关专业,3年以上工作经验; 2、精通Python语言,能够使用python写数据分析算法; 3、精通FineBI、FineReport的开发、维护技术(有帆软高级工程师认证的优先)能够独立完成BI项目的开发; 4、精通数仓及BI系统业务建设流程; 5、熟练掌握SQL,能够熟练编写复杂的查询语句、存储过程、函数等,对常见关系型数据库(如Oracle、MySQL等)的性能优化有一定经验; 6、有良好的沟通和业务流程描述能力,书面表达能力,高度自驱。
-
1、负责车联网大数据应用平台相关系统研发、优化、及系统架构等相关工作; 2、深入发掘和分析车联网大数据应用相关业务需求,提出技术及产品改进建议,输出技术方案和系统设计; 3、具有一定的技术架构思维,确保设计的技术方案、开发的代码有较高性能、质量保障、扩展性,前瞻性; 4、对技术有较强的钻研及学习精神,能够深入了解开源技术、现有系统技术等相关技术原理,出现问题时能够通过较强的技术手段较好的解决问题。 1.工作经验:5年以上Java全栈开发经验,有前端开发经验优先, 有大型分布式、高并发、高负载、高可用型系统设计开发经验者优先,具有车联网大数据应用平台开发及架构相关经验优先 2.其他: ①、Java基础扎实,熟悉Java虚拟机原理、Java高级特性和类库、Java网络与服务器编程、Java多线程编程以及常见开源产品 ②、精通掌握Spring等开源框架,对spring boot、spring cloud等微服务开源框架有深入了解,熟练掌握主流的前端技术 ③、熟悉现有互联网常用的缓存、消息队列、数据库及中间件技术 ④、熟悉微服务设计与开发,有Docker/K8s相关经验 ⑤、熟练使用Linux系统,有CI/CD经验 ⑥、具备模块或子系统的架构设计能力,掌握常见的架构设计方法和模式,理解大型网站所需要用到的架构和技术 ⑦、熟悉敏捷开发,有良好的表达和沟通能力


