-
工作职责: 1、负责数据中台/数据仓库的模型架构设计和研发; 2、负责大型金融机构企业数据仓库模型设计,将源系统离散的数据按照各类主题进行建模,通过数据集成和质量管控,解决企业的数据使用问题; 3、参与数据治理工作,推动数据治理体系落地,参与数据标准,元数据管理,数据质量监控等数据管理工作; 4、理解并合理抽象业务需求,发挥数据价值,参与数据仓库/数据集市/数据应用等的设计与数据建模,与业务,BI团队紧密合作; 任职资格: 1,3年以上数据中台/数据仓库/数据平台相关经验;具备乙方或者大型实体企业内部的数据建模项目经验,优先考虑;**本科或以上学历; 2,具备数据中台/数据仓库和数据建模能力;熟悉建模理论与方法,熟悉维度建模,能够按照需求正确划分主题,产出概念模型,业务模型,逻辑模型等;熟悉数据仓库总线矩阵设计和数据仓库项目的实施流程 3、具有1年以上的数据仓库建模经验,了解IBM和teradata的FS-LDM的建模方法,并有至少1个以上的的金融企业数据仓库建模实际落地经验;熟悉保险行业业务更佳; 4,具备团队管理能力,有项目管理经验;个人具有良好的数据分析、逻辑推理能力,良好的学习能力与团队精神,工作热情努力、积极主动、高效负责。 5、了解大数据开发技术,包括Hadoop,Hive,Spark,Flink,Kafka等大数据框架原理及应用,有阿里大数据生态Maxcompute、dataworks项目经验的优先考虑。对常见数仓技术体系:Kylin、Doris、Clickhouse、Hive、Spark、Flink、Kafka等,有其中一个或多个有实际研发经验;
-
岗位职责: 1、负责大数据平台的架构设计与优化; 2、参与BSS OSS相关系统的大数据开发工作,进行数据处理与分析; 3、编写高质量的代码,确保系统的稳定性和高效性; 4、参与需求分析和技术方案制定,提供技术实现建议; 5、进行数据清洗、整合、存储及数据分析等工作,支持业务决策; 6、维护和升级现有系统,保证系统的正常运行。 岗位要求: 1、计算机科学或相关专业本科及以上学历; 2、具备3年以上大数据开发经验,熟悉Hadoop、Spark、Flink等大数据处理框架; 3、熟练掌握SQL语言,了解NoSQL数据库如MongoDB、Redis等; 4、熟悉BSS OSS相关系统开发,有实际项目经验者优先; 5、具备良好的编程习惯和文档编写能力; 6、具备较强的学习能力和团队合作精神; 7、能够适应快节奏的工作环境,具备良好的沟通能力和问题解决能力; 8、具备良好的英文读写能力者优先; 9、拥有年终奖金、绩效奖金、五险一金、通讯津贴、带薪年假、休闲餐点、节日礼物等福利待遇。
-
工作内容 职位描述: 1.参与大数据平台数据仓库规划、架构及研发,包括离线、实时的数据模型规划,建设PB级的数据集市和数据平台。 2.参与数据仓库模型的ETL实施,ETL性能优化、技术攻关等。 3.参与平台数据治理相关工作,负责数据质量、数据一致性及稳定性保障等建设。 4.参与平台标签体系、数据产品与应用的数据研发,发掘数据价值,以数据驱动业务不断发展。 岗位要求 任职要求: 1. 本科及以上学历,2-6年工作经验,具备极强的问题解决能力。 2. 精通数据仓库理论体系,对分层设计、维度建模等有深刻的认识和实战经验,熟悉不同建模方法的优劣。 3. 积极主动贴近业务,有良好的沟通协调能力,数据敏感度高,能够快速理解业务模型及数据模型;熟练掌握SQL/HQL/Spark SQL开发及优化技能,快速ETL实施能力,对SLA有较深刻的认识及强烈的责任心。 4. 熟悉大数据生态技术栈,具备较丰富的Hadoop,Hive,Spark,Flink,DataWorks等大数据工具应用和开发经验优先。 5. 掌握Java, Python等至少一门语言,有MapReduce项目开发经验,熟悉Azkaban等任务调度工具。 6. 熟练使用git,有多人项目合作开发经验。 7. 有数据中台建设经验优先。有数据分析能力、指标体系搭建或BI相关经验优先。有互联网工作经验优先。
-
工作内容: 1、根据业务需求进行数据业务开发,分析后台已有数据,理解数据维度和含义,并根据计算公式进行数据应用开发及分析。 2、参与数据治理工作,根据目前已有数据,解析数据依赖,编排数据拓扑结构,数据元数据结构优化;提升数据易用性及数据质量,统一数据口径,制定数据标准化规则。 3、对数据平台和执行引擎遇到问题时有一定的解决能力,负责 ETL 流程的优化及解决 ETL 相关技术问题,对数据稳定性和性能有一定的优化能力。 4、支撑采购供应链业务域的搜索、用户画像、推荐系统等业务的数据需求,确保输出时效性与准确性。 任职要求: 1、本科及以上学历,计算机相关专业,3年以上工作经验; 2、精通Python语言,能够使用python写数据分析算法; 3、精通FineBI、FineReport的开发、维护技术(有帆软高级工程师认证的优先)能够独立完成BI项目的开发; 4、精通数仓及BI系统业务建设流程; 5、熟练掌握SQL,能够熟练编写复杂的查询语句、存储过程、函数等,对常见关系型数据库(如Oracle、MySQL等)的性能优化有一定经验; 6、有良好的沟通和业务流程描述能力,书面表达能力,高度自驱。
-
岗位职责 作为大数据研发工程师,你将深度参与搜推业务链路的实时与离线数据处理体系建设,核心工作包括但不限于: •基于Flink/Spark 构建用户行为数据的实时(或近实时)采集、清洗、聚合与特征计算链路,实现用户兴趣标签、行为序列、实时偏好等画像特征的更新与存储; •设计高并发、低延迟的实时数据管道,对接搜索/推荐业务的实时请求,支撑个性化排序、精准召回等策略的实时反馈优化; •通过Redis/Elasticsearch/OpenSearch实现画像特征的实时存储与高效检索,保障下游业务(如前端展示、策略调用)的低延迟访问。 •负责离线数据仓库的开发与维护(使用Spark/MaxCompute),完成海量用户行为数据的ETL、数仓分层建模与指标计算; •基于阿里云Lindorm/MaxCompute/DataWorks等工具,优化数据存储成本与计算效率(如冷热数据分层、任务调度调优),支撑业务方的高效取数与分析需求; •针对搜推业务中的复杂场景(如跨域数据关联、实时+离线特征一致性、大规模稀疏特征处理),设计可扩展的技术方案并推动落地; 任职要求 •**本科及以上学历,计算机相关专业,大数据开发相关经验; •熟练掌握并使用(Flink,Spark Spark SQL/DataFrame、DataWorks调度等),有海量数据(TB级以上)的ETL与数仓开发经验; •熟悉消息队列(Kafka必备)、搜索引擎(Elasticsearch/OpenSearch加分)、缓存(Redis等)及云原生大数据组件(阿里云Lindorm/MaxCompute/DataWorks优先)的原理与应用; •具备扎实的编码能力(Java/SQL至少一种),熟悉Linux环境与常用脚本工具,有分布式系统调优经验(如JVM调优、任务并行度优化等)。 •具有良好的沟通能力和组织协调能 加分项: •有实时画像/风控平台建设经验,熟悉用户行为特征工程、规则引擎或模型推理链路集成; •理解搜索/推荐业务逻辑,了解排序策略、召回链路与数据特征的关联性; •对数据敏感,具备较强的业务抽象能力与问题排查能力(如通过日志/指标定位数据延迟、丢失或不一致问题)。
-
团队背景 隶属于6767搜推工程策略组6767,是公司搜索与推荐业务的核心技术支撑团队。团队技术氛围开放,鼓励创新实践,团队成员具备丰富的分布式系统与海量数据处理经验。 岗位职责 作为大数据研发工程师,你将深度参与搜推业务链路的实时与离线数据处理体系建设,核心工作包括但不限于: 61基于Flink/Spark 构建用户行为数据的实时(或近实时)采集、清洗、聚合与特征计算链路,实现用户兴趣标签、行为序列、实时偏好等画像特征的更新与存储; 61设计高并发、低延迟的实时数据管道,对接搜索/推荐业务的实时请求,支撑个性化排序、精准召回等策略的实时反馈优化; 61通过Redis/Elasticsearch/OpenSearch实现画像特征的实时存储与高效检索,保障下游业务(如前端展示、策略调用)的低延迟访问。 61负责离线数据仓库的开发与维护(使用Spark/MaxCompute),完成海量用户行为数据的ETL、数仓分层建模与指标计算; 61基于阿里云Lindorm/MaxCompute/DataWorks等工具,优化数据存储成本与计算效率(如冷热数据分层、任务调度调优),支撑业务方的高效取数与分析需求; 61针对搜推业务中的复杂场景(如跨域数据关联、实时+离线特征一致性、大规模稀疏特征处理),设计可扩展的技术方案并推动落地; 任职要求 61**本科及以上学历,计算机相关专业,大数据开发相关经验; 616767熟练掌握并使用6767(Flink,Spark Spark SQL/DataFrame、DataWorks调度等),有海量数据(TB级以上)的ETL与数仓开发经验; 61熟悉消息队列(Kafka必备)、搜索引擎(Elasticsearch/OpenSearch加分)、缓存(Redis等)及云原生大数据组件(阿里云Lindorm/MaxCompute/DataWorks优先)的原理与应用; 61具备扎实的编码能力(Java/SQL至少一种),熟悉Linux环境与常用脚本工具,有分布式系统调优经验(如JVM调优、任务并行度优化等)。 61具有良好的沟通能力和组织协调能 6767加分项:6767 61有实时画像/风控平台建设经验,熟悉用户行为特征工程、规则引擎或模型推理链路集成; 61理解搜索/推荐业务逻辑,了解排序策略、召回链路与数据特征的关联性; 61对数据敏感,具备较强的业务抽象能力与问题排查能力(如通过日志/指标定位数据延迟、丢失或不一致问题)。
-
1.5年年及以上开发经验,计算机、数学等相关专业; 2.具有数学基础,熟悉python编程,有神经网络项目开发经验,能够进行1inux环境下的开发; 3.掌握机器学习的基本算法与概念,有深度学习模型开发经验; 4 精通深度学习模型框架如TensorFlow、pytorch等。
-
岗位职责 1、负责流量数据模型调研、设计、开发工作,与业务部门紧密配合,提供数据支持; 2、负责流量域数据运营和治理工作,保障数据质量; 3、参与流量域数据服务化与产品化的建设。 岗位要求 1、计算机相关专业,大学本科及以上学历,3 年以上大数据开发相关工作经验; 2、熟悉大数据相关组件(如Hive、MapReduce、Flink、Kafka等),具备编写、优化复杂 SQL 的能力; 3、有扎实的数据仓库理论功底和丰富的数据治理实战经验,能够围绕业务和产品特性建模并解决实际问题; 4、熟悉 Python/Java 其中一种语言, 具备基本的服务端开发经验; 5、具备 B 端商业模式经验, 广告投放经验。 加分项 1、熟练的英文读写以及沟通能力; 2、有云原生数据仓库的工作经验, 如 Redshift, Snowflake, BigQuery 等; 3、熟悉埋点治理, 埋点管理, 埋点流程建设经验。 为什么加入我们 1、朝阳行业:国际电商 SaaS 服务赛道,国际一线投资机构加持; 2、稳健发展:团队稳健扩张,业务规模及营收每年持续稳健增长; 3、多元文化:团队来自全球 20 多个不同城市,国际化视角、扁平化管理; 4、极客氛围:拥抱开源技术,实践敏捷开发,崇尚通过工具和自动化来解决问题; 5、特色福利:AI 学习基金、 一对一帮带、内部商城、提供 MacBook 及可升降办公桌。
-
管理过团队的来 【岗位职责】 1、主导公司数据平台的搭建,核心负责企业级数据仓库的建设,包括数据分层、数据清洗、数据库和表结构的设计和数据分析,以及数据开发的落地实施; 2、建立数据质量管理体系,开发分析型系统的数据报表,完成从数据建模到数据计算的开发工作; 3、数据资产化的落地,构建数据服务的API设计和开发,支持业务系统的数据对接和调用; 4、研发管理与项目交付:统筹数据项目的研发工作,确保项目按时交付、高质量上线; 5、对AI及算法有兴趣,做过AI模型搭建、调试的尝试,以及落地应用; 【经验要求】 1. 计算机、数学相关专业本科以上学历(硕士优先),在大平台数据开发经验优先; 2. 有过完整的数据体系搭建的经验,包括数据治理、指标体系搭建、数据挖掘和模型管理等,对数据质量、数据资产、元数据管理等有实战经验; 3. 对机器学习、自然语言处理等AI核心技术有一定了解,对AI模型在垂直行业的应用有关注,有尝试的经验; 4. 有一定团队管理经验的优先,在跨团队协作、资源调配和技术问题协同解决方面有实际成果;
-
岗位职责 1、监管数据映射脚本开发,监管数据需求分析及数据映射关系分析。 2、熟练掌握SQL语言,熟悉shell脚本编写。 任职要求 1、本科及以上,计算机/数学类相关专业,3年以上相关工作经验。 2、熟悉银行业务,包括但不限于存贷款业务,投融资业务,票据业务,同业业务。熟悉监管制度,包括但不限于1104,EAST,人行大集中,金融基础数据,一表通。 3、有良好的沟通交流能力,善于理解业务人员的问题,有对接业务人员的经验,有开发经验。
-
工作内容 职位描述: 1. 参与数据仓库规划、架构及研发,包括离线、实时的数据模型规划,建设PB级的数据集市和数据平台。 2. 负责数据模型的规划、架构、开发以及海量数据下的性能调优,复杂业务场景下的需求交付。 3. 参与平台数据治理相关工作,负责数据质量、数据一致性及稳定性保障等建设。 4. 深入业务,与业务团队紧密合作,理解并合理抽象业务需求,发掘数据价值,以数据驱动业务不断发展。 5. 关注行业技术趋势,引入新技术和工具,持续优化大数据处理流程与性能,提升业务的数据处理效率和价值产出。 岗位要求 任职要求: 1. 本科及以上学历,计算机、软件工程、数据分析或相关专业出身,2-5年大数据开发经验。 2. 掌握Java, Python等至少一门语言,熟悉常用数据结构与算法。 3. 熟悉大数据生态技术栈,具备较丰富的Hadoop,Hive,Spark,Flink等开发经验。 4. 精通数据仓库理论体系,对分层设计、维度建模等有深刻的认识和实战经验,熟悉不同建模方法的优劣。 5. 积极主动贴近业务,有良好的沟通协调能力,数据敏感度高,能够快速理解业务模型及数据模型,从业务角度出发分析和解决数据问题。 6. 具备优秀的问题解决能力和团队协作精神,对大数据技术充满兴趣,学习能力和自我驱动力强 7. 有数据中台建设经验优先。有数据分析能力、指标体系搭建或BI相关经验优先。有互联网工作经验优先。 8. 加分项:英文沟通表达、云平台(如阿里云、AWS、Google Cloud)经验。
-
岗位职责: 1.负责ETL相关开发工作,深度参与数据仓库的建设与优化,保障数据存储的高效性与稳定性,支撑公司战略级数据项目的落地。 2.主导复杂数据处理流程的开发与优化,基于 Python 编写高性能的数据处理脚本,结合 spark、pandas、duckdb等进行大规模数据清洗、转换与分析,实现数据挖掘与机器学习模型开发,推动数据价值的深度挖掘。 3.设计和维护基于 Airflow 的工作流调度系统,实现数据处理任务的自动化调度与监控,确保数据处理任务按时、准确执行,提升数据开发与运维效率。 4.与业务部门紧密协作,深入理解业务需求,将业务逻辑转化为数据解决方案,通过数据驱动业务决策,助力业务增长。 5.研究大数据领域的前沿技术,持续优化数据开发技术栈与流程。 任职资格: 1.具备 3 年及以上大数据开发相关工作经验,拥有丰富的大数据项目实战经验,能够独立承担复杂数据开发任务。 2.熟练掌握 Python 编程,具备基于 Python 的大数据开发工作经验,能够运用 Python 进行高效的数据处理与算法实现。 3.熟悉数仓建设方法论 1)熟悉etl分层建设方法 2)熟悉主题建设方法,能独立抽象主题,建设主题,并且物理化和性能调优 3)熟悉常用的BI系统建设方法,理解实现原理,理解各个工具使用场景 4.精通大数据开发相关技术栈,包括但不限于 Hadoop、Spark、Hive 等,能够熟练运用这些技术进行数据处理与分析。 5.熟练掌握 Airflow,能够基于 Airflow 进行工作流设计、调度与监控;熟练使用相关技术进行数据处理与分析并能够运用其实现常见的数据挖掘与机器学习算法。 6.熟练掌握sql和调优。 7.熟练掌握python。 加分项 1.具备统计学、数学建模等相关知识,能够运用统计方法进行数据分析与模型构建。 2.有分布式系统开发、数据可视化开发经验者优先。 薪资待遇 ****,我们提供具有竞争力的薪酬体系与广阔的职业发展空间,期待优秀的你加入!
-
职位职责: 1、为大规模推荐系统设计和实现合理的离线/实时数据架构; 2、设计和实现灵活可扩展、稳定、高性能的存储系统和计算模型; 3、生产系统的Trouble-shoting,设计和实现必要的机制和工具保障生产系统整体运行的稳定性; 4、打造业界领先的离在线存储、批式流式计算框架等分布式系统,为海量数据和大规模业务系统提供可靠的基础设施。 职位要求: 1、熟悉一个大数据领域的开源框架,Hadoop/Hive/Flink/FlinkSQL/Spark/Kafka/Hbase/Redis rocksdb/Elasticsearch/Parquet; 2、熟悉Java、C++等编程语言; 3、出色的编码和Trouble-shoting能力; 4、乐于挑战没有明显答案的问题,对新技术有强烈的学习热情; 5、有PB级别数据处理经验加分; 6、对某一大数据框架有原理/源码级别理解的加分。
-
【岗位职责】 1、负责基于hive、spark、flink技术的大数据平台需求分析、设计及开发工作; 2、负责基于datax、HQL、传统ETL 或基于spark、flink的大数据平台数据抽取、清洗、转换、加工等入仓的开发,优化大数据平台跑批作业; 3、负责使用Dolphinscheduler(海豚调度)批量配置跑批调度任务及调度优化工作; 4、负责使用flink采集并加工kafka、binlog等数据源。 【岗位要求】 1、能熟练使用大数据基础组件,不限于hdfs/kudu、hive、impala、yarn、Tez/spark、flink、hbase、sqoop、flume、datax、elasticsearch、kafka等,熟悉相关架构和原理,有一定的组件性能调优能力; 2、有CDH/CDP平台使用经验,熟悉基于Cloudera Manager的平台使用管理; 3、具有airflow/azkaban/xxl-job/Dolphinscheduler等一种基几种调度工具的开发使用经验,有Dolphinscheduler使用经验优先; 4、具备海量数据采集、加工、分析处理、高并发查询等数据平台的开发设计能力,并有具体的构建海量数据存储、离线/实时数仓等项目实施经验; 5、具有金融行业大数据平台实施项目经验; 6、了解常见的大数据产品和技术路线,如:ClickHouse、Doris、GBase、Kylin、Linkis、Flink CDC、Hudi/Iceberg等更优; 7、学习能力强,适应能力好,有强烈的责任心,主动关注数据发现问题并提出解决方案,具备良好的沟通能力及团队合作精神。
-
工作职责 1、负责大数据相关系统的开发、测试、部署及上线工作,参与代码评审,确保开发质量; 2、参与业务部门临时数据分析需求,合作开展专项数据分析工作; 3、协助运营人员处理生产问题并提供技术支持,解答业务部门反馈的数据问题及各类咨询; 4、参与公司数据分析需求调研、评估、系统分析及架构设计工作。 任职要求 1、本科及以上学历,计算机、数学、统计学、管理信息类相关专业; 2、熟悉关系型数据库如Oracle、Postgresql等的使用、可熟练编写SQL实现业务逻辑,了解SQL性能调优; 3、熟悉Hadoop生态圈组件,包括但不限于Hive、Spark、HBase、Kylin、Flink、ES、Kafka等; 4、具备良好数据分析及处理能力,熟悉常见的数据处理工具,如ETL、BI工具、Python等; 5、具有较强的责任心和服务意识,良好问题分析及处理能力。


