-
【岗位职责】 1、负责基于hive、spark、flink技术的大数据平台需求分析、设计及开发工作; 2、负责基于datax、HQL、传统ETL 或基于spark、flink的大数据平台数据抽取、清洗、转换、加工等入仓的开发,优化大数据平台跑批作业; 3、负责使用Dolphinscheduler(海豚调度)批量配置跑批调度任务及调度优化工作; 4、负责使用flink采集并加工kafka、binlog等数据源。 【岗位要求】 1、能熟练使用大数据基础组件,不限于hdfs/kudu、hive、impala、yarn、Tez/spark、flink、hbase、sqoop、flume、datax、elasticsearch、kafka等,熟悉相关架构和原理,有一定的组件性能调优能力; 2、有CDH/CDP平台使用经验,熟悉基于Cloudera Manager的平台使用管理; 3、具有airflow/azkaban/xxl-job/Dolphinscheduler等一种基几种调度工具的开发使用经验,有Dolphinscheduler使用经验优先; 4、具备海量数据采集、加工、分析处理、高并发查询等数据平台的开发设计能力,并有具体的构建海量数据存储、离线/实时数仓等项目实施经验; 5、具有金融行业大数据平台实施项目经验; 6、了解常见的大数据产品和技术路线,如:ClickHouse、Doris、GBase、Kylin、Linkis、Flink CDC、Hudi/Iceberg等更优; 7、学习能力强,适应能力好,有强烈的责任心,主动关注数据发现问题并提出解决方案,具备良好的沟通能力及团队合作精神。
-
职位职责: 1. 负责抖音直播业务的离线与实时数据仓库的构建; 2. 负责数据模型的设计,ETL实施,ETL性能优化,ETL数据监控以及相关技术问题的解决; 3. 负责指标体系建设与维护; 4. 深入业务,理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作; 5. 参与大数据应用规划,为数据产品、挖掘团队提供应用指导; 6. 参与数据治理工作,提升数据易用性及数据质量。 职位要求: 1. 熟悉数据仓库实施方法论、深入了解数据仓库体系,并支撑过实际业务场景; 2. 熟练使用Hadoop及Hive,熟悉SQL、Java、Python等编程语言; 3. 善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力。
-
职位职责: 1、 负责相关业务大数据项目整体架构规划; 2、 负责指导工程师进行技术验证与实现,关键技术问题的攻关,解决项目开发过程中的技术难题; 3、 负责项目对外技术沟通,具有较强的沟通,表达和文案能力; 4、 根据公司项目和业务发展特点,负责研究相关大数据前沿技术。 职位要求: 1、 熟练使用Hadoop、Hive、spark,flink等大数据框架,熟悉SQL、Java、Python等编程语言; 2、 有PB级大数据处理实战经验,熟悉整个大数据的完整处理流程,优秀的问题解决能力; 3、 善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力; 4、 6年以上数据仓库或大数据开发,丰富的实时或者离线数据体系建设经验。
-
岗位职责: 1、负责金融业务大数据风控领域的系统及相关平台的建设; 2、负责信贷风控各类风控策略、风控模型的需求分析、代码实现及上线部署; 3、参与信贷风控领域数据体系及指标变量体系的建设与完善,发掘数据价值,以数据驱动风控; 岗位要求: 1、本科及以上学历,计算机、数学、统计学等相关专业; 2、具有3年及以上大数据开发经验,基础知识扎实,理解Spark/Flink框架,熟练使用Java/Scala语言进行Spark/Flink程序开发; 3、熟练掌握Flink、Kafka、HBase、Hive、HDFS、Spark、Elasticsearch、Redis等常用组件; 4、对金融行业风控领域有一定的了解,具备相关基础知识经验者优先; 5、对数据敏感,具备较好的数据分析意识,具备数据驱动业务的能力; 6、学习能力强,适应能力好,沟通能力强,有强烈的责任心,具备耐心、细心的品质。
-
工作职责 1、负责保险、年金、资管领域数仓数据模型设计及开发工作; 2、参与业务需求讨论,根据业务需求进行数据模型设计、数据服务设计、编码实现和报表制作; 3、按照开发规范对代码及报表进行检视,验证数据加工逻辑; 4、编写设计文档、接口文档; 5、提供生产环境运营技术支持,及时排查定位并解决数据问题。 任职要求 1、 *****大学本科及以上学历,硕士研究生优先,计算机或相关专业; 2、 1~3年大数据开发经验,具备良好的数据架构设计和开发理念; 3、 熟悉HiveSQL、SparkSQL、Shell语言,熟悉Oracle/PostgreSQL/MySQL中一种以上关系数据库,有SQL调优经验; 4、 掌握Java语言,了解SpringMVC/SpringBoot/JPA/MyBatis等常用框架,了解Kafka、Flink、Hudi等大数据组件; 5、 了解H5/VueJS/AngularJS/React等一种以上前端框架技术优先考虑; 6、 有较强的学习能力,良好的团队协作精神,沟通协调能力好; 7、 有保险、年金、证券金融相关项目背景优先考虑。
-
岗位职责: 1. 大数据组件开发。 2. 基于Python 体系下的数据质量引擎开发; 3. 基于Java及Linkis开源框架的质量引擎开发; 4. 大数据资产应用的开发、部署、调优; 5. 数据稽核引擎开发,数据共享交换能力对接。 任职要求: 1. 本科及以上学历,计算机相关专业; 2. 3年以上互联网或软件行业工作经验,熟悉Linux环境;熟悉Linux和Python开发; 3. 熟悉Spring,Spring boot,Spring Cloud等框架、熟悉Eclipse或IntelliJ IDEA开发工具等使用 以下满足其一即可: 4. 熟悉Hadoop,MapReduce,Hbase,Flink等大数据部署、运维、开发; 5. 熟悉数据治理理论概念、架构,有元数据、数据质量、数据标准、主数据等相关数据治理经验; 6. 有分布式相关项目(分布式存储/分布式计算/高性能并行计算/分布式cache)经验; 7. 对数据库的架构、扩展特点非常熟悉,能熟练进行SQL优化、集群部署、数据同步等。
-
【必备技能】1、熟悉大数据研发生态,有基于hive、hbase做研发的工作经验等。 2、熟悉Oracle/mysql等数据库。 3、能读懂java、python、shell代码 【重要技能】1、熟悉大数据研发生态,有基于hive、hbase做研发的工作经验等。 2、熟悉Oracle/mysql等数据库。 3、能读懂java、python、shell代码 4、3年左右开发经验。
-
岗位职责: 1.负责电商流量域数据仓库及模型建设和设计,并根据需求变化和业务发展,持续优化模型; 2.负责电商流量域数据仓库模型代码开发、部署,并对数据质量进行管理和优化; 3.提升电商流量域数据质量和运营效率,参与相关事件应急响应; 4.参与大数据体系的建立以及配套系统平台的建设与运营。 岗位要求: 1.计算机或信息技术相关专业,大学本科及以上学历; 2.4年以上大数据数仓开发相关工作经验; 3.有扎实的数据仓库理论功底和丰富的数据治理实战经验,能够围绕业务和产品特性建模并解决实际问题; 4.熟悉大数据系统组件(如Hive、MapReduce、Spark、HBase等),具备编写、优化复杂SQL的能力; 5.了解实时处理技术相关组件(如Kafka、Flink等); 6.负责过大型数据平台或数据仓库设计优先; 7.熟悉Python/Java/Shell其中一种语言; 8.具备用增、ABT相关经验的加分;
-
岗位职责: 1、负责公司数据仓库的搭建以及快速并行化查询需求的支持 2、负责公司的数据处理、数据统计以及数据挖掘的开发工作 3、负责公司后台日志统计分析系统的具体开发工作 4、利用hadoop、spark等框架做数据的实时及离线分析 岗位要求: 1、本科以上学历,java基本功扎实,熟悉Scala的优先 2、熟悉分布式计算和存储技术,熟悉Hadoop、MapReduce、Spark等 3、熟悉MYSQL、ORACLE等关系数据库 3、熟悉Mongo、HBase等NOSQL数据库。 4、熟悉大数据的统计分析和挖掘,了解常用的数据统计方法和挖掘算法。 5、熟悉Linux操作系统,可以自行部署开发环境 加分项: 1、对程序开发有浓厚热情的,愿意深入学习,立志成为开发大牛的; 2、有写博客习惯或能提供github地址的 3、了解股票,期货和其他金融衍生品的知识者优先
-
工作内容: 1、负责自如大数据平台组件的运维 2、负责自如一站式大数据开发平台的建设 任职要求: 1、大学本科及以上学历,计算机或相关专业; 2、精通clichouse、hbase运维及封装 3、熟练掌握haoop、atlas、ranger、hive、flink、夜莺监控等大数据组件的运维,对大数据组件具备源码改造能力 4、熟练掌握Java、Python、shell,熟悉springboot; 5、有大数据项目开源社区贡献者优先
-
工作职责: 1)负责大数据解决方案规划,与产品体系、目标客户深入沟通引导,推动方案落地实施; 2)负责数据治理解决方案制定和推动实施,包括:数据标准化制定和落标、数据质量管理、生命周期管理等; 3)负责核心客户项目的规划方案和需求支持,取得阶段性成果,并对项目成果进行包装和分享; 4)深入研究竞品和客户诉求,给予产品迭代和项目规划建议,注重市场驱动、数据驱动; 5)与公司产品部门、交付部门等多部门紧密协作,协同客户推动企业数据向资产化、资本化发展。 任职条件: 1)5年以上大数据工作经验,有较好的技术功底,本科及以上学历,计算机、电子、通信类相关专业毕业; 2)具备丰富的大数据解决方案包装和宣传推广经验,获得核心客户、协同部门认可,体现价值; 3)具备较强的执行力及抗压性,具备良好的团队沟通能力、团队合作精神及项目管理能力,适应一定频率的短差; 4)具备较强的问题分析能力、判断能力及独立思考能力,对新技术、新产品、新需求感觉敏锐,关注数据产品发展趋势; 5)有以下工作经验优先:运营商大数据项目经验、数据治理项目经验、大数据基础组件实际使用经验。
-
工作职责: 1. 参与贝壳大数据平台建设,研发大数据相关的基础服务和中间件,包括实时计算平台/查询引擎/任务调度系统/权限平台等大数据生态服务,提升系统的稳定性和可扩展性; 2. 负责解决大数据离线(Hive/Spark) 和 实时( Spark Streaming/Flink)等技术领域的相关难题,提升系统的稳定性和性能; 3. 跟进和调研大数据领域的前沿技术,包括OLAP引擎、Data Lake 等,并推动其在贝壳业务的应用落地; 任职资格 : 1. 计算机相关专业本科以上学历,3-4年以上相关工作经验; 2. 具有扎实的专业基础,较强的编码能力,熟悉常见的数据结构与算法; 3. 精通Java编程,理解IO、并发、网络等基础框架,熟悉JVM原理; 4. 精通大数据处理技术栈中的一个或多个平台/框架,包括但不限于:Hadoop/Hive/Spark/Flink/Kafka/ClickHouse/StarRocks等, 深入了解其原理优先; 5. 具有较强的问题解决能力和技术钻研精神;
-
职位描述: 概要 小米国际互联网业务正在寻找移动端程序化战略合作客户经理来加入我们新孵化的流量端业务线。我们为移动互联网开发者提供集广告投放、数据分析和APP设计为一体的综合性服务,帮助开发商达成用户增长及变现目标。 本岗位将深度参与部门核心业务。作为战略合作客户经理,您将负责小米的流量端产品的拓展,产品线包括Xiaomi DSP (oRTB), MINT聚合 (SDK) 和 Mi AdNetwork (SDK),以帮助合作伙伴实现业务增长。您将与全球移动开发者、SSP 和 其他OEM 进行战略沟通。您还将推动与内部直客销售、运营、技术和产品的跨团队协作,以确保客户实现战略目标。 我们希望您对移动广告生态有全面的了解,拥有向开发商销售产品解决方案的能力,懂得合理规划项目周期,并以专业的态度与潜在客户挖掘商业合作机会。 职责 - 制定推广小米DSP (oRTB), MINT聚合 (SDK) 和 Mi AdNetwork (SDK)的流量引入战略计划,并通过不断的优化来完成流量端业务短中长期目标 - 对接大型战略合作开发者、SSP 和 OEM,通过小米DSP, MINT聚合和 Mi AdNetwor 职位要求: - 3 年以上程序化领域(如DSP、SSP 、AdNetwork等)客户管理或销售经验,有程序化流量端经验者优先。或是3年以上在互联网领域, 软件领域或其他技术领域有商务拓展经验。 - 深入了解移动广告运作方式,熟悉相关的商业模式、DSP/SSP的投放逻辑、广告投放技术、广告交易平台等。 - 工作高效,适应快节奏工作环境,并能快速与团队融入 - 须精通英语和中文 (听、说、读、写)
-
岗位职责: 1.负责电商流量域数据仓库及模型建设和设计,并根据需求变化和业务发展,持续优化模型; 2.负责电商流量域数据仓库模型代码开发、部署,并对数据质量进行管理和优化; 3.提升电商流量域数据质量和运营效率,参与相关事件应急响应; 4.参与大数据体系的建立以及配套系统平台的建设与运营。 岗位要求: 1.计算机或信息技术相关专业,大学本科及以上学历; 2.4年以上大数据数仓开发相关工作经验; 3.有扎实的数据仓库理论功底和丰富的数据治理实战经验,能够围绕业务和产品特性建模并解决实际问题; 4.熟悉大数据系统组件(如Hive、MapReduce、Spark、HBase等),具备编写、优化复杂SQL的能力; 5.了解实时处理技术相关组件(如Kafka、Flink等); 6.负责过大型数据平台或数据仓库设计优先; 7.熟悉Python/Java/Shell其中一种语言; 8.具备用增、ABT相关经验的加分;
-
"高级: 1、熟悉SQL语言,熟练掌握Hive、MPPDB等大数据开发技能,具备3年以上关系型、分布式数据库设计和开发经验; 2、具有较强的团队管理能力、沟通能力、协调能力。工作积极主动,责任心强。 3、熟悉常用ETL工具,比如sqoop和kettle。 4、熟悉linux操作系统命令,有编写shell脚本和perl脚本的能力. 5、有银行系统开发经验者优先。"