-
岗位职责: 1、分析业务需求,建设数据库仓库,对业务部门提供数据支持; 2、参与数据源分析,完成大数据平台与各业务系统的数据对接; 3、完成基于大数据技术平台基础上的数据仓库设计和ETL开发; 4、调研相关技术,优化大数据开发流程,规划大数据平台应用。 任职标准: 1、3年以上数据仓库相关工作经验, 有互联网、电商行业数据仓库建设经验; 2、精通Hive-sql编写和优化,精通常用etl工具,至少熟悉java、python、shell等语言中一种; 3、精通大数据背景下数据仓库模型设计,熟练掌握OLAP的维度建模设计方法; 4、有数据平台(数据开发、治理、资产等)相关建设经验; 5、责任心强,有较强沟通能力和团队合作精神; 6、有spark streaming、flink等实时数据开发经验; 7、有统计学数学知识,海量数据处理、数据分析和挖掘经验者优先
-
岗位职责: 1.负责电商流量域数据仓库及模型建设和设计,并根据需求变化和业务发展,持续优化模型; 2.负责电商流量域数据仓库模型代码开发、部署,并对数据质量进行管理和优化; 3.提升电商流量域数据质量和运营效率,参与相关事件应急响应; 4.参与大数据体系的建立以及配套系统平台的建设与运营。 岗位要求: 1.计算机或信息技术相关专业,大学本科及以上学历; 2.4年以上大数据数仓开发相关工作经验; 3.有扎实的数据仓库理论功底和丰富的数据治理实战经验,能够围绕业务和产品特性建模并解决实际问题; 4.熟悉大数据系统组件(如Hive、MapReduce、Spark、HBase等),具备编写、优化复杂SQL的能力; 5.了解实时处理技术相关组件(如Kafka、Flink等); 6.负责过大型数据平台或数据仓库设计优先; 7.熟悉Python/Java/Shell其中一种语言;
-
30k-50k·15薪 经验3-5年 / 本科社交媒体 / 上市公司 / 2000人以上职位描述: 1. 负责微博搜索、智搜相关业务功能、策略算法、数据处理等开发工作; 2. 支持微博搜索、智搜相关相关模块,包括线上搜索引擎、语义搜索、搜索推荐、实时数据流、离线数据处理; 3. 参与搜索和智搜架构开发,包括对策略体系和架构体系的设计、开发、优化、调整,提升系统整体性能和可扩展性; 4. 负责搜索和智搜相关日志统计、大数据处理等用户行为分析工作,支持产品、业务、技术的规划和落地; 任职资格: 1. 熟练掌握如下程序开发技术之一,并有实际工作经验:linux下c\c++程序开发技术;linux下python程序开发技术;hive SQL;hive、hadoop、mr、spark等大数据工具; 2. 熟悉基础的数据结构和算法,程序设计开发中能够合理考虑性能问题,对系统架构设计有丰富的经验,能够给出合理的设计方案; 3. 有过搜索引擎、推荐、广告等相关系统设计、开发经验者优先; 4. 三年以上工作经验; 5. 良好的沟通能力,良好的团队合作精神;
-
岗位职责: 1、负责数据的批处理、流处理,数据湖、数据仓库的设计、开发,各业务分析主题的数据模型设计,指标整理,维度建模和业务分析专题建模; 2、负责数据挖掘专题的需求分析、业务场景建模、实验模拟、制定分析挖掘目标,数据挖掘模型的设计、开发,数据模型的研究、设计、实现、优化,结果分析及验证,挖掘结果展现,知识提取和整理; 3、负责将研究成果与数据分析系统应用专题整合,在业务领域推广应用、并与客户沟通。 任职资格: 1、大学本科以上学历,五年以上工作经验,具备一个以上数据挖掘相关项目经验,有项目管理经验优先; 2、有数据挖掘项目的开发经验,具有独立完成建模、调试、优化和展现汇报的能力;有电信行业数据仓库系统开发经验者优先; 3、熟练掌握 spark、flink、clickhouse、presto 等常见大数据开发技术; 4、熟悉一种数据展现工具;熟练掌握ETL工具或能够编写程序进行数据操作; 5、有耐心,有钻研精神,严谨,细致;具有良好的团队合作精神,善于沟通;有强烈的责任心,积极主动; 6、有过运营商从业经验者优先; 7、有云平台、营销平台、推荐系统、BI等产品的从业经验者优先 。
-
职位描述: 1. 负责微博搜索、智搜相关业务功能、策略算法、数据处理等开发工作; 2. 支持微博搜索、智搜相关相关模块,包括线上搜索引擎、语义搜索、搜索推荐、实时数据流、离线数据处理; 3. 参与搜索和智搜架构开发,包括对策略体系和架构体系的设计、开发、优化、调整,提升系统整体性能和可扩展性; 4. 负责搜索和智搜相关日志统计、大数据处理等用户行为分析工作,支持产品、业务、技术的规划和落地; 任职资格: 1. 熟练掌握如下程序开发技术之一,并有实际工作经验:linux下c\c++程序开发技术;linux下python程序开发技术;hive SQL;hive、hadoop、mr、spark等大数据工具; 2. 熟悉基础的数据结构和算法,程序设计开发中能够合理考虑性能问题; 3. 有过搜索引擎、推荐、广告等相关系统设计、开发经验者优先; 4. 一年及以上工作经验; 5. 良好的沟通能力,良好的团队合作精神;
-
1. 熟悉Hadoop生态常用开源组件(如hdfs、hive、spark、flink、doris)的问题排查、性能和管理优化、部署升级、扩容缩容等,有过相关运维管理平台或自动化部署系统开发经验者优先; 2. 熟练使用shell、python、Java,有相关开发经验;熟悉大数据组件源码或有大数据开源组件开发经验者优先; 3. 良好的沟通合作能力,热爱技术并善于钻研,能主动思考,有解决疑难问题的毅力和决心
-
职位描述: 1. 从事工业数据的采集、传输、分析、集成等技术研究及开发应用; 2. 负责但不限于生产制造管理主题领域的指标体系、数据模型和治理逻辑设计,从业务应用的视角,构建数据驱动的运营管理平台方案; 3. 作为大数据专家角色,充分与内外部合作,负责项目数据类的方案架构设计和技术规划并确保最终落地, 4. 牵头项目关键架构设计和组织技术难点攻关; 5. 参与工业数据标准制订,并且推动团队应用标准; 任职要求 1. 计算机、软件工程及相关专业,本科及以上学历,至少3年以上大数据项目相关工作经验; 2. 掌握Hadoop、HBase、Kafka、Hive、Flink、Spark、datav等组件中至少2项的工作原理,熟悉Hadoop生态系统; 3. 精通Java,Python中的一种或多种语言,熟练掌握海量数据分析的相关模型、算法,有制造行业大数据分析模型经验者优先; 4. 熟悉数据库开发,精通面向对象设计、设计模式,熟练MySQL、Redis等数据库; 5. 有指标系统和数据可视化系统开发经验优先; 7. 具备开发项目管理经验。
-
"高级: 1、熟悉SQL语言,熟练掌握Hive、MPPDB等大数据开发技能,具备3年以上关系型、分布式数据库设计和开发经验; 2、具有较强的团队管理能力、沟通能力、协调能力。工作积极主动,责任心强。 3、熟悉常用ETL工具,比如sqoop和kettle。 4、熟悉linux操作系统命令,有编写shell脚本和perl脚本的能力. 5、有银行系统开发经验者优先。"
-
岗位职责 1、负责基于数据中台的工具/应用需求调研、业务规划、产品设计、模型设计等工作; 2、负责收集内外部用户需求,针对业务的数据需求进行系统化、体系化的搜集、整理、分析,并通过用户调研、深度挖掘用户需求,确定需求边界,完成需求捕获、需求分析、需求确认、业务建模,整理输出需求规格说明书; 3、负责组织完成需求规格说明书评审; 4、负责跟踪需求建设进度与质量,及时发现并协调解决问题; 5、负责需求管理工作,包含需求变更控制、需求版本控制等。 任职要求 1、本科以上学历,计算机、统计、数学相关专业毕业,5年以上相关工作经验; 2、对主流数据产品、数据仓库、BI产品有深入了解,负责设计过数据分析、数据挖掘、数据可视化相关产品,具有3-5年BI工具及大数据产品设计经验和数据业务分析能力; 3、熟练掌握SQL语句,在数据结构方面有较扎实的基本功; 4、具备产品经理基础工作经验,能把控从需求挖掘、需求分析、产品原型、业务建模,到产品上线后的跟进和升级改造等整个产品生命周期的质量和风险; 5、具备系统原型设计能力; 6、具备较强的沟通协调能力; 7、具备较强的文档编写能力,包含制作高质量的汇报PPT; 8、具有数据治理相关经验者优先。
-
职位职责: 1. 负责抖音直播业务的离线与实时数据仓库的构建; 2. 负责数据模型的设计,ETL实施,ETL性能优化,ETL数据监控以及相关技术问题的解决; 3. 负责指标体系建设与维护; 4. 深入业务,理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作; 5. 参与大数据应用规划,为数据产品、挖掘团队提供应用指导; 6. 参与数据治理工作,提升数据易用性及数据质量。 职位要求: 1. 熟悉数据仓库实施方法论、深入了解数据仓库体系,并支撑过实际业务场景; 2. 熟练使用Hadoop及Hive,熟悉SQL、Java、Python等编程语言; 3. 善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力。
-
【岗位职责】 1、负责基于hive、spark、flink技术的大数据平台需求分析、设计及开发工作; 2、负责基于datax、HQL、传统ETL 或基于spark、flink的大数据平台数据抽取、清洗、转换、加工等入仓的开发,优化大数据平台跑批作业; 3、负责使用Dolphinscheduler(海豚调度)批量配置跑批调度任务及调度优化工作; 4、负责使用flink采集并加工kafka、binlog等数据源。 【岗位要求】 1、能熟练使用大数据基础组件,不限于hdfs/kudu、hive、impala、yarn、Tez/spark、flink、hbase、sqoop、flume、datax、elasticsearch、kafka等,熟悉相关架构和原理,有一定的组件性能调优能力; 2、有CDH/CDP平台使用经验,熟悉基于Cloudera Manager的平台使用管理; 3、具有airflow/azkaban/xxl-job/Dolphinscheduler等一种基几种调度工具的开发使用经验,有Dolphinscheduler使用经验优先; 4、具备海量数据采集、加工、分析处理、高并发查询等数据平台的开发设计能力,并有具体的构建海量数据存储、离线/实时数仓等项目实施经验; 5、具有金融行业大数据平台实施项目经验; 6、了解常见的大数据产品和技术路线,如:ClickHouse、Doris、GBase、Kylin、Linkis、Flink CDC、Hudi/Iceberg等更优; 7、学习能力强,适应能力好,有强烈的责任心,主动关注数据发现问题并提出解决方案,具备良好的沟通能力及团队合作精神。
-
职位职责: 1、负责生活服务业务效率平台等方向大数据应用能力建设,包含数据专题分析、数据服务、数据诊断等; 2、针对业务场景梳理数据信息,提出一站式的数据解决方案; 3、负责数据产品架构设计和后端开发,设计和实现Web后端和关键数据服务; 4、负责数据产品的功能迭代和性能优化,提高效率,优化流程。 职位要求: 1、熟悉互联网产品和服务的开发过程,熟悉后端技术架构,具备良好的系统设计能力; 2、扎实的计算机基础,熟悉Golang语言优先,对技术有热情,愿意不断尝试新技术和业务挑战; 3、善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力; 4、熟练使用ClickHouse、Presto、Doris等MPP查询引擎,具备数据组件化开发的能力,具备较好的数据分析意识,有良好的协作能力。
-
【必备技能】1、熟悉大数据研发生态,有基于hive、hbase做研发的工作经验等。 2、熟悉Oracle/mysql等数据库。 3、能读懂java、python、shell代码 【重要技能】1、熟悉大数据研发生态,有基于hive、hbase做研发的工作经验等。 2、熟悉Oracle/mysql等数据库。 3、能读懂java、python、shell代码 4、3年左右开发经验。
-
工作职责: 1. 参与贝壳大数据平台建设,研发大数据相关的基础服务和中间件,包括实时计算平台/查询引擎/任务调度系统/权限平台等大数据生态服务,提升系统的稳定性和可扩展性; 2. 负责解决大数据离线(Hive/Spark) 和 实时( Spark Streaming/Flink)等技术领域的相关难题,提升系统的稳定性和性能; 3. 跟进和调研大数据领域的前沿技术,包括OLAP引擎、Data Lake 等,并推动其在贝壳业务的应用落地; 任职资格 : 1. 计算机相关专业本科以上学历,3-4年以上相关工作经验; 2. 具有扎实的专业基础,较强的编码能力,熟悉常见的数据结构与算法; 3. 精通Java编程,理解IO、并发、网络等基础框架,熟悉JVM原理; 4. 精通大数据处理技术栈中的一个或多个平台/框架,包括但不限于:Hadoop/Hive/Spark/Flink/Kafka/ClickHouse/StarRocks等, 深入了解其原理优先; 5. 具有较强的问题解决能力和技术钻研精神;
-
【岗位要求】 1、参与或者负责大数据的采集、存储、处理,通过分布式大数据平台加工数据,数据驱动运营 2、参与或者负责大数据仓库离线和实时设计、开发、维护工作 3、参与或者负责大数据平台的开发、维护工作 4、参与或者负责数据服务和大数据产品的研发 5、对数据有敏感度,发现数据、挖掘数据价值 6、具有良好的沟通表达能力和团队合作精神,具有较强的工作责任心、主动性及抗压能力 【任职要求】 1、有3年及以上研发经验,参与过大型数仓建设、数据分析、数据挖掘、数据平台研发等相关项目,有一定的数据建模,流批处理基础 2、熟悉大数据相关组件,包含但不限于Hive、Flink、Spark 3、熟悉主流数据库技术,包含但不限于Oracle、MySQL、PostreSql 3、熟悉数据研发相关算法,熟练构建和优化数据模型