-
职位职责: 1、 负责相关业务大数据项目整体架构规划; 2、 负责指导工程师进行技术验证与实现,关键技术问题的攻关,解决项目开发过程中的技术难题; 3、 负责项目对外技术沟通,具有较强的沟通,表达和文案能力; 4、 根据公司项目和业务发展特点,负责研究相关大数据前沿技术。 职位要求: 1、 熟练使用Hadoop、Hive、spark,flink等大数据框架,熟悉SQL、Java、Python等编程语言; 2、 有PB级大数据处理实战经验,熟悉整个大数据的完整处理流程,优秀的问题解决能力; 3、 善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力; 4、 6年以上数据仓库或大数据开发,丰富的实时或者离线数据体系建设经验。
-
职位职责: 1、负责即时零售业务的离线与实时数据仓库的构建; 2、负责数据模型的设计,ETL实施,ETL性能优化,ETL数据监控以及相关技术问题的解决; 3、负责指标体系建设与维护; 4、深入业务,理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作; 5、参与大数据应用规划,为数据产品、挖掘团队提供应用指导; 6、参与数据治理工作,提升数据易用性及数据质量。 职位要求: 1、熟悉数据仓库实施方法论、深入了解数据仓库体系,并支撑过实际业务场景; 2、熟练使用Hadoop及Hive,熟悉SQL、Java、Python等编程语言; 3、善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力。
-
工作内容 职位描述: 1. 参与数据仓库规划、架构及研发,包括离线、实时的数据模型规划,建设PB级的数据集市和数据平台。 2. 负责数据模型的规划、架构、开发以及海量数据下的性能调优,复杂业务场景下的需求交付。 3. 参与平台数据治理相关工作,负责数据质量、数据一致性及稳定性保障等建设。 4. 深入业务,与业务团队紧密合作,理解并合理抽象业务需求,发掘数据价值,以数据驱动业务不断发展。 5. 关注行业技术趋势,引入新技术和工具,持续优化大数据处理流程与性能,提升业务的数据处理效率和价值产出。 岗位要求 任职要求: 1. 本科及以上学历,计算机、软件工程、数据分析或相关专业出身,2-5年大数据开发经验。 2. 掌握Java, Python等至少一门语言,熟悉常用数据结构与算法。 3. 熟悉大数据生态技术栈,具备较丰富的Hadoop,Hive,Spark,Flink等开发经验。 4. 精通数据仓库理论体系,对分层设计、维度建模等有深刻的认识和实战经验,熟悉不同建模方法的优劣。 5. 积极主动贴近业务,有良好的沟通协调能力,数据敏感度高,能够快速理解业务模型及数据模型,从业务角度出发分析和解决数据问题。 6. 具备优秀的问题解决能力和团队协作精神,对大数据技术充满兴趣,学习能力和自我驱动力强 7. 有数据中台建设经验优先。有数据分析能力、指标体系搭建或BI相关经验优先。有互联网工作经验优先。 8. 加分项:英文沟通表达、云平台(如阿里云、AWS、Google Cloud)经验。
-
职位描述: 1. 从事工业数据的采集、传输、分析、集成等技术研究及开发应用; 2. 负责但不限于生产制造管理主题领域的指标体系、数据模型和治理逻辑设计,从业务应用的视角,构建数据驱动的运营管理平台方案; 3. 作为大数据专家角色,充分与内外部合作,负责项目数据类的方案架构设计和技术规划并确保最终落地, 4. 牵头项目关键架构设计和组织技术难点攻关; 5. 参与工业数据标准制订,并且推动团队应用标准; 任职要求 1. 计算机、软件工程及相关专业,本科及以上学历,至少3年以上大数据项目相关工作经验; 2. 掌握Hadoop、HBase、Kafka、Hive、Flink、Spark、datav等组件中至少2项的工作原理,熟悉Hadoop生态系统; 3. 精通Java,Python中的一种或多种语言,熟练掌握海量数据分析的相关模型、算法,有制造行业大数据分析模型经验者优先; 4. 熟悉数据库开发,精通面向对象设计、设计模式,熟练MySQL、Redis等数据库; 5. 有指标系统和数据可视化系统开发经验优先; 7. 具备开发项目管理经验。
-
岗位描述: 1.负责大数据平台调度作业的日常监控、维护及协助优化; 2.负责建立大数据开发规范并持续完善,能够对技术风险、技术交付质量进行管控; 3.负责常规需求中底层数据开发及数据服务封装开发; 4.深入理解数据平台架构,发现并协助解决性能屏障; 5.新技术研究和应用,并推动适合的技术应用于生产。 任职要求: 1.本科及以上学历,计算机及软件工程相关专业; 2.2年以上大数据系统开发或运维经验,熟悉hadoop生态圈、CDH大数据平台; 3.熟悉数据规范流程及数据维度模型,精通sql、shell,了解spark、python、scala、flink; 4.具有较强的计算机网络、系统运维专业基础,熟悉掌握常用linux命令; 5.有体系化大数据平台运维工作经验优先考虑。
-
主要职责: 1. 承担大数据平台日常数据开发、运维工作; 2. 承担ODS ETL相关工作,主要包含数据模型的设计,ETL实施,ETL性能优化,ETL数据监控以及相关技术问题的解决; 3. 参与数据治理工作,保障数据质量; 4. 承担相关报表的数据准备,利用BI工具开发相关业务报表; 5. 完成部门布置的其他与数据相关任务。 招聘要求: 1. ***大学本科及以上学历,计算机或数学相关专业,3-5年与数据相关工作经验; 2. 熟悉大数据主流开发框架:Hive、Hadoop、Flink、Sqoop等常用组件的使用,具备性能调优经验者优先; 3. 熟悉数据仓库使用及优化,深入了解数据仓库体系及实施,有实际支撑业务场景经验; 4. 数量掌握SQL、Python等编程语言,具备Java实际项目经验者优先; 5. 善于沟通,对数据具有一定敏感度,能快速理解业务背景,能承担工作压力,具备良好的适应能力。
-
职位描述: 1. 从事工业数据的采集、传输、分析、集成等技术研究及开发应用; 2. 负责但不限于生产制造管理主题领域的指标体系、数据模型和治理逻辑设计,从业务应用的视角,构建数据驱动的运营管理平台方案; 3. 作为大数据专家角色,充分与内外部合作,负责项目数据类的方案架构设计和技术规划并确保最终落地, 4. 牵头项目关键架构设计和组织技术难点攻关; 5. 参与工业数据标准制订,并且推动团队应用标准; 任职要求 1. 计算机、软件工程及相关专业,本科及以上学历,至少3年以上大数据项目相关工作经验; 2. 掌握Hadoop、HBase、Kafka、Hive、Flink、Spark、datav等组件中至少2项的工作原理,熟悉Hadoop生态系统; 3. 精通Java,Python中的一种或多种语言,熟练掌握海量数据分析的相关模型、算法,有制造行业大数据分析模型经验者优先; 4. 熟悉数据库开发,精通面向对象设计、设计模式,熟练MySQL、Redis等数据库; 5. 有指标系统和数据可视化系统开发经验优先; 7. 具备开发项目管理经验。
-
"高级: 1、熟悉SQL语言,熟练掌握Hive、MPPDB等大数据开发技能,具备3年以上关系型、分布式数据库设计和开发经验; 2、具有较强的团队管理能力、沟通能力、协调能力。工作积极主动,责任心强。 3、熟悉常用ETL工具,比如sqoop和kettle。 4、熟悉linux操作系统命令,有编写shell脚本和perl脚本的能力. 5、有银行系统开发经验者优先。"
-
【岗位职责】 1、负责基于hive、spark、flink技术的大数据平台需求分析、设计及开发工作; 2、负责基于datax、HQL、传统ETL 或基于spark、flink的大数据平台数据抽取、清洗、转换、加工等入仓的开发,优化大数据平台跑批作业; 3、负责使用Dolphinscheduler(海豚调度)批量配置跑批调度任务及调度优化工作; 4、负责使用flink采集并加工kafka、binlog等数据源。 【岗位要求】 1、能熟练使用大数据基础组件,不限于hdfs/kudu、hive、impala、yarn、Tez/spark、flink、hbase、sqoop、flume、datax、elasticsearch、kafka等,熟悉相关架构和原理,有一定的组件性能调优能力; 2、有CDH/CDP平台使用经验,熟悉基于Cloudera Manager的平台使用管理; 3、具有airflow/azkaban/xxl-job/Dolphinscheduler等一种基几种调度工具的开发使用经验,有Dolphinscheduler使用经验优先; 4、具备海量数据采集、加工、分析处理、高并发查询等数据平台的开发设计能力,并有具体的构建海量数据存储、离线/实时数仓等项目实施经验; 5、具有金融行业大数据平台实施项目经验; 6、了解常见的大数据产品和技术路线,如:ClickHouse、Doris、GBase、Kylin、Linkis、Flink CDC、Hudi/Iceberg等更优; 7、学习能力强,适应能力好,有强烈的责任心,主动关注数据发现问题并提出解决方案,具备良好的沟通能力及团队合作精神。
-
岗位职责 1.负责小川业务及各类中间件(k8s/hadoop/hbase/hive/spark/hdfs/kafka)的运维,涉及千台规模的服务器,保障业务服务的稳定性和可用性; 2.负责和参与自动化运维系统及平台的建设; 3.负责优化部门运维流程提升运维效率 任职要求 1.精通Linux操作系统的配置,管理及优化,能够独立排查及解决操作系统层的各类问题; 2.掌握Hadoop,Kafka,Zookeeper,Hbase,Spark原理、部署以及TROUBLE SHOOTING,有过实际工作经验; 3.至少精通Python,shell,golang其中一项;有良好的系统性能优化及故障排除能力; 4.熟悉saltstack/ansible等配置管理工具; 5.能够利用各种开源监控工具、运维工具,HA、负载均衡软件完成工作任务 6.熟悉MYSQL、redis其中之一,熟练掌握SQL
-
岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
-
岗位职责 1.数据质量监控:负责监控金融信贷相关业务域数仓数据的准确性、一致性和完整性,确保数据质量符合业务需 求。 2.数据质量测试:设计并执行数据质量测试用例,验证数据计算逻辑、数据转换规则和数据存储的正确性 3.数据质量问题跟踪:跟踪测试中发现的数据质量问题,协调研发团队进行问题修复,并验证修复效果. 4.数据质量工具开发:参与数据质量管理平台的功能设计与开发,提升数据质量测试的自动化水平。 岗位任职要求 1.学历要求:本科及以上学历,计算机科学、软件工程、数据科学或相关专业。 2.工作经验:3年以上数据测试或数据质量测试经验,有金融信贷行业经验者优先。 3.大厂背景:具有阿里、腾讯、字节跳动、百度等大厂数据测试或数据质量测试经验者优先,。 4.技术能力: a).熟悉大数据技术栈(如Hadoop、Spark、Hive、Flink等)。 b).熟悉数据质量监控工具(如Apache Griffin、Great Expectations等)。 c).具备一定的编程能力(如Python、Java、SaL等),能够编写自动化测试脚本。 d).熟悉数据治理相关工具(如数据血缘、元数据管理等)者优先。 5.业务理解:对金融信贷业务有深入理解,能够根据业务需求设计数据质量测试方案 6.问题解决能力:具备较强的逻辑思维和问题解决能力,能够快速定位数据质量问题的根本原因。 7.沟通协作:具备良好的沟通能力和团队协作精神,能够与研发、业务团队高效协作。 加分项 1.有金融信贷行业数据质量测试经验者优先。 2.熟悉金融行业数据标准和监管要求者优先。 3.具备数据治理或数据资产管理经验者优先。
-
岗位职责: 1.承担建设基于Hadoop/Spark生态的大数据离线/实时处理平台; 2.参与业务数据.生产日志的抽取.转储.检索等相关工作; 3.跟进大数据前沿技术的发展,将合适的技术方案适时引入业务场景。 任职要求: 1.3年以上计算机.统计.数学等相关本科或以上学历; 2.掌握Hadoop.HBae.Hive.Kafka.Flume.Spark等大数据技术; 3.掌握数据挖掘,python,机器学习经验者优先; 4.有较强的学习能力,勤奋踏实,责任心强,有较强的沟通协调能力,有一定创新能力;
-
一、岗位职责 1、 负责专业人才培养方案的制作、修订工作。 2、负责大数据相关课程与教学项目研发。 3、将产业经验转化为教学资源,设计实验及实训内容。 4、参与课程体系研讨与更新,优化教学方法。 5、跟踪大数据、AI技术及市场趋势,确保教研体系专业性与时效性。 6、对教学资源收集、开发、整理、维护等工作。 公司安排的其他任务。 二、任职条件 1、**本科及以上学历(优秀者可放宽),计算机、软件、信息等相关专业; 2、熟悉Linux常用命令、精通Java/Python至少一种编程语言; 3、熟悉数仓搭建流程,精通 Hbase/Hive/Sqoop/Kettle/Impala/Spark/等组件使用; 4、有从事过Hadoop、Spark、Flink项目开发工作经验; 5、熟练掌握大数据处理技术的典型应用场景; 6、熟练制作PPT课件、案例库、习题库,具备教学教研协调能力; 三、公司福利 1、公司所处临深片区,公司附近乘坐轻轨和动车去广州,深圳只需15-30分钟。 2、年终奖金:根据公司年终奖金分配管理制度。 3、五险,享受法定节假日及年假。 4、完善的培训、晋升体系。 5、免费提供公寓,可拎包入住。 职位福利:节日福利、员工旅游、每年调薪。 职位亮点:公司提供良好的职业发展通道。
-
职位描述: 1. 从事深交所大数据组测试工作,可能承担中小型项目测试负责人角色,负责整个项目测试工作; 2. 参与需求评审,负责测试需求分析、测试计划制定、测试用例设计、测试执行和测试报告输出; 3. 积极参与到测试各个环节,与开发、需求等部门人员进行沟通保证测试输入和输出的正确性; 4. 能够独立完成项目功能测试、性能测试和联调测试等,保证测试项目质量和进度; 5. 分析并推送测试中的问题解决,开发测试脚本和工具,有效提升产品测试效率。 任职要求: 1. ***计算机及相关专业本科及以上学历; 2. 具有5年及以上测试工作经验,精通测试流程和测试方法; 3. 熟悉SQL语言,能编写复杂的SQL脚本; 4. 熟悉linux常用命令,能独立进行测试环境搭建及维护; 5. 有数据仓库ETL及作业调度系统相关测试经验; 6. 工作积极主动,执行能力强,努力推进问题解决; 7. 了解大数据技术及相关组件,如Greenplum、Hadoop、Kakfa、Flink等优先考虑。