-
岗位职责: 1. 大数据平台组件运维及优化,进行必要的二次开发; 2. 数据湖、数据仓库技术研究及落地; 3. 实时、离线数据产品设计及开发。 任职要求: 1. 本科及以上学历,计算机及相关专业; 2. 3-5年Java/Scala开发经验,熟悉多线程编程; 3. 熟悉大数据生态相关技术,有二次开发经验者优先; 4. 熟悉实时及离线数仓架构及开发流程,有Phoenix/StarRocks使用经验优先; 5. 熟悉常见设计模式,熟悉如Spring/SpringMVC/Mybatis等主流框架; 6. 有较强的学习能力与逻辑思维能力,良好的团队合作精神。
-
职位职责: 1、设计与开发智能测试与诊断工具:构建下一代测试平台,利用静态代码分析、动态插桩、故障注入等技术,对大数据核心组件进行深度质量探测; 2、推进AI在质量保障领域的落地:探索AI/ML技术在大数据平台质量保障与稳定性的应用场景,如代码风险挖掘、智能异常检测、故障根因定位等; 3、参与大数据平台稳定性架构建设:从测试和可观测性视角,参与平台架构评审,设计和开发高可用、可测试的框架与规范; 4、建立平台级的质量洞察能力:通过代码覆盖率、性能基准测试、混沌工程等手段,构建平台质量度量体系,为研发团队提供可视化的质量数据和改进方向。 职位要求: 1、计算机相关专业本科及以上学历,3年以上测试开发或后端开发经验,具备扎实的计算机基础和编码能力; 2、精通至少一门主流编程语言(如:Java/Python/Go),具备软件设计能力,能独立完成工具或框架的开发与迭代; 3、对软件测试理论和质量保障体系有一定理解,熟悉自动化测试、性能测试、混沌工程等; 4、具备良好的项目推动能力、沟通能力和团队合作精神,能够独立解决问题并承担压力; 5、有AI或机器学习相关项目经验优先;有代码分析经验或了解工具或库优先(例如:AST分析、代码插桩);有大数据平台开发测试运维经验优先;或具备优秀英语能力者优先。
-
岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
-
岗位职责 1、负责客路下一代大数据湖平台的规划、建设与持续优化,打造高效稳定的数据处理与分析能力; 2、负责数据基础架构的设计与研发,提供高性能的离线与实时计算能力,支撑公司在海量数据分析、机器学习等场景下的业务需求,实现数据平台价值的持续交付; 3、牵头大数据平台研发团队的建设与管理,制定并落地大数据平台相关技术标准与规范; 4、打造数据服务与预警机制,赋能业务与运营团队的数据化运营; 5、建设埋点,AB实验,用户圈选,CDP等数据应用,提供离线和实时的数据服务; 6、推动数据治理与数据资产管理平台的建设与完善,提升数据质量与资产价值。 任职要求 1、本科及以上学历,计算机、数学、统计等相关专业优先;具备5-8年数据平台开发经验,有一定团队管理经验者优先; 2、扎实的大数据平台架构设计能力,深入理解大数据生态及关键组件,熟悉以下技术: 3、Doris、Spark、Hadoop 等核心组件; 4、Flink、Iceberg等实时与湖仓一体技术; 5、有AWS / GCP / 阿里云平台经验者优先; 6、对埋点、广告投放、用户圈选系统等有深刻理解与实战经验; 7、具备较强的业务理解力,能够结合业务场景构建数据产品与解决方案,具备数据化运营经验优先; 8、具备优秀的跨团队沟通与协作能力,善于总结与规范化,推动多部门协作与项目落地,责任心强,具备良好的团队合作意识。
-
职责描述: 1、负责公司大数据平台的运维保障工作,保障平台的正常运行和相应数据服务的稳定高效; 2、对接数据开发侧团队,主动优化和完善服务巡检、监控工具、脚本等,减少人工操作提高运维效率;负责数据平台的故障处置、推动性能优化。如平台产品技术问题,提交给平台产品技术组进行后台处理,并及时反馈. 3、负责数据平台二线运维支撑保障,响应运维/服务台一线请求:处置生产事件,跟踪问题处理; 4、定期组织团队人员开展大数据平台的技术知识积累和移交; 5、负责设计日常运维相关的自动化工具或系统,并完成相应需求收集和需求管理 ; 任职要求: 1. 具有1年以上金融行业数据类项目运维经验,熟悉保险业务操作与管理。具有大数据平台相关技术进行数据仓库、数据中台开发、维护、优化等项目经验的人员,或长期在类似的运维项目上承担运维工作优先; 2. 具备较强的数据开发分析能力,熟练掌握SQL等技能,熟练掌握大数据平台、UNIX、LUNIX和中间件的技能。有java或Python开发基础优先; 3. 具备较强的数据分析,问题分析,逻辑思维能力,团队协作能力,有良好的沟通能力和责任感,能够承担工作压力,独立分析和解决问题者优先; 4. 强烈的自驱力和责任感,面对复杂业务问题,可以从业务和技术多角度推进,最终达成目标。
-
岗位职责: 1.大数据基础平台、应用平台功能设计和开发。 2.负责大数据平台及组件的调研选型,部署,日常监控及问题解决。 3.参与海量数据处理方案设计,提供业务系统技术支撑。 任职要求: 1.本科以上,计算机相关专业。 2.至少精通java/scala其中一种开发语言,熟悉主流后端开发框架。 3.熟悉大数据平台常用框架(hadoop/hive/spark/hbase/flink/presto/clickhouse/kafka)原理及常用应用场景,至少有3年以上大型生产系统相关经验。 4.熟悉linux系统,熟悉常用的操作系统命令和shell脚本编写。 5.责任心强,有较强的沟通能力和团队合作精神。 6.了解docker、k8s相关技术,有大数据组件容器化经验优先。
-
**招聘职位:大数据研发工程师(上海、成都、深圳)** **岗位职责:** 1. 负责多种云产品的内核开发与维护,解决客户使用过程中碰到的各种问题。 2. 参与大数据平台的部署、运维和优化,保障平台的高可用性、稳定性和性能; 3. 制定并完善大数据平台监控、报警及自动化运维工具,确保系统健康; **任职要求:** 1. **计算机相关专业本科及以上学历**,具有扎实的计算机基础,熟悉数据结构和算法; 2. 对至少一种主流大数据框架(如 Spark、Flink、Hive、Hadoop、Iceberg、Paimon 等)的源码有深入理解,能够分析并优化其内部实现; 3. 具备大数据平台 SRE 能力,熟悉容器化技术(如 Docker、Kubernetes),能够实现大数据服务的容器化部署和管理; 4. 优秀的问题分析和解决能力,善于快速定位并解决复杂系统问题; 5. 加分项:有开源项目贡献经验 **我们提供:** - 有竞争力的薪资和福利; - 广阔的技术发展空间和成长机会; - 开放、创新的团队氛围;
-
岗位职责: 1.负责大数据平台的设计与应用功能开发; 2.基于业务诉求,主导系统设计架构工作,负责实时计算系统的研发工作; 3.结合现状,推动业务平台技术迭代,提升系统性能; 4.思路清晰,可快速响应数据处理的需求,评估并给出合理的解决方案,并采用合理的方式处理需求; 5.积极主动,能够与团队成员进行有效沟通,并完成数据处理结果的核对与对接; 6.负责前沿或关键技术的研究,完成服务性能优化; 7.完成上级交办的工作或任务。 岗位要求: 1.****及以上,计算机软件类专业对口,本岗位1年及以上工作经验; 2.精通大数据Hadoop体系的相关技术:Spark、Hive、HВase, Spark Streaming / Flink、Redis,Kafka ; 3.熟悉 JAVA/Scala编程,具备良好的编程能力; 4.熟悉 Linux 操作系统, Shell 编程等; 5.了解数据仓库建模,熟悉etl设计开发; 6.熟悉知识图谱和向量数据库。
-
岗位职责: 1、负责公司大数据平台(采集/加工/调度等)建设,承担相关服务、平台的研发、集成和运维工作,工作中主要使用python; 2、保障应用系统稳定可靠,熟练运用合适技术对复杂场景做出合理技术设计,保障和提升数据平台相关系统的性能和稳定性; 3、工作范围涉及包括但不限于:分布式任务调度系统,数据采集系统,数据加工处理平台,数据应用服务等领域。 任职要求: 1、本科及以上学历,具有2年以上大数据平台应用系统开发及运维经验; 2、拥有扎实的计算机基础和代码能力,具备良好的编码习惯,有较强的问题处理能力; 3、熟悉常见大数据处理/分析相关的工具/框架,如Hive、Spark、Presto、Kafka、Clickhouse、Superset等; 4、具备良好的理解能力,能快速理解业务背景,具有良好的团队沟通与协作能力。
-
工作职责: 1、负责公司大数据集群,对计算、存储资源使用情况做持续的监控,对不合理的应用做治理; 2、负责公司计算、存储架构的长远规划、方案预研及推动落地; 3、与技术团队、业务团队协作,解决实际业务问题。 任职要求: 1. 本科及以上学历,3年以上大数据相关开发经验; 2. 精通 Java/Scala/Python 至少其中一门编程语言,熟悉Linux Shell、SQL、SpringBoot、JDBC、JavaScript等WEB开发技术; 3. 熟悉 Hadoop生态及Hive、Yarn、Spark等技术的原理和使用; 4. 熟悉 Kafka、Flink、HBase、StarRocks等实时计算相关技术的原理和使用; 5. 有PB级别大规模Hadoop集群经验者优先,有存算分离架构经验者优先; 6. 熟悉flink源码者优先,有湖仓数据架构经验者优先。
-
岗位职责描述: 1、负责公司大数据开发产品代码实现(非实施岗位)离线,实时,函数开发,指标管理,数据血缘,数据标准,数据质量,数据资产,数据服务等组件开发。 2、编写开发文档,包括数据库设计文档,接口文档,流程设计文档; 3、参与维护,解决项目中产品使用过程中的技术问题。 岗位技能要求: 1、计算机及相关专业毕业,3年以上Java开发经验,2年以上大数据开发经验(必须); 2、精通SpringBoot、springcloud、MyBatis等主流开发框架;熟悉微服务技术架构; 3、精通常用中间件kafka、rabbitmq,了解使用场景; 4、精通中间件redis,熟悉redis分布式锁、缓存穿透等相关知识; 5、精通MySQL;熟悉Oracle、Postgresql等关系型数据库,并且能很快掌握任意一种关系数据库; 6、熟悉Linux和Docker技术;具备良好的编码规范和编程风格; 7、有离线开发,实时开发,数据转换功能组件开发经验者优先。
-
工作内容: 1、针对hive,spark进行bug修复,性能优化; 2、运营离线任务,主动发现用户离线场景下的使用不当或性能问题,对最终的用户质量和体验负责; 岗位要求: 1、**本科或以上学历,工作至少3年以上; 2、具有hive、spark的使用和优化经验,理解数据开发模式和数仓建模; 3、精通java,熟悉java在web、分布式系统中常用的开发框架,并阅读过源代码,能从源码级分析和解决问题并优化; 4、能单独设计和实现产品模块,并能对该模块的产品运营质量结果负责; 5、具有作业调度平台开发、数仓开发经验者优先; 6、喜欢沟通,主动服务用户、解决用户问题,善于换位思考。
-
福利待遇: 五险一金、免费中餐+晚餐、国家法定假日、带薪年假、节日礼品或慰问金、定期体检、生日福利等。 工作地点:深圳市福田区车公庙天经大厦AB座8楼 乘车路线:地铁1、7、11号线车公庙J1出口,步行10分钟即可,从跨越速运旁边的电梯口上来即可。 职责描述: 1、搭建大数据底层平台框架,建设数据采集系统,支持离线与实时方式采集与入仓; 2、建设数据工具平台,设计与开发数据服务平台、用户画像分析平台; 3、建设企业BI系统,提供可视化数据报表和分析的平台能力。 任职要求: 1、3年以上工作经验,本科以上学历,计算机等相关专业,有零售行业或教育行业经验优先; 2、2年及以上大数据研发、调优、运营经验,参与过数据集成、数据仓库、数据治理、数据应用等领域的研发工作,熟悉业界主要大数据开发、分析、BI报表产品,有大数据后台/中台研发相关经验者优先; 3、熟悉大数据生态架构和基本原理,有相关使用和开发经验,包括但不限于Flume、Kafka、HDFS、Hive、Spark、Presto、Flink、ClickHouse、Superset; 4、技术栈包括但不限于Java、Python; 5、有良好的逻辑分析能力,有很好的自驱力、团队沟通与协作能力,有很强的学习能力和钻研精神,热衷于新技术的探索和实践,可适应一定压力下的工作。
-
技能要求 有五年以上大数据平台开发经验,熟悉数据分层建模理论,Hadoop平台 熟练使用Hive sQL,Spark SQL 熟练使用 Scala语言开发Spark 程序和自定义函数 有大数据性能优化的经验 教育背景本科以上学历,计算机、软件工程等相关专业 性格外向,理解能力强,积极主动承担任务,学习能力强; 7有阿里DataWorks开发经验者优先 工作内容 1,参与项目组讨论,完成数仓流程的开发 2,基于DevOps工作模式,对开发的相关流程提供日常运维工作 3,负责数据中台开发
-
1.负责公司大数据平台的设计、开发、性能优化、技术难点攻关; 2.负责构建高性能、稳定、灵活的实时大数据计算平台; 3.保障大数据平台架构的合理性、可扩展性及经济性。 任职资格: 1计算机或相关专业本科及以上学历,3年以上大数据工作经验,有复杂数据业务全局架构设计经验; 2熟悉主流大数据计算引擎(Hadoop、Spark、Presto等),深刻理解内部机制和原理。 3.精通FlumeKafkaElasticsearchFlink等实时系统组件,有至少一个以上相关项目实际开发经验; 4.Java基础扎实,有高可用高并发架构设计经验的优先; 5熟悉数据仓库开发流程和数据仓库的各个子系统; 6.对新技术敏感,有独立分析,技术研究能力,乐于接受挑战,具有良好的团队合作精神。


