工作职责: 1. 负责大数据消息服务如 Kafka 集群优化，运维、部署、管理； 1. 参与大数据基础服务如 Hadoop 、Spark 等集群运维、部署、管理与优化； 2. 负责大数据平台服务器的维护与管理，保证各集群服务器正常运行； 职位要求: 1. 熟悉 Java、Scala、Go 等一门主流语言，熟悉并发和网络编程，有良好的数据结构和算法功底； 2. 熟悉消息系统的原理和关键技术，熟悉 Kafka/Pulsar/RocketMQ 等消息产品的原理和实现，有开源社区贡献者优先； 3. 有分布式存储的使用和研发经验者优先； 4. 对云原生相关技术有一定的了解； 5. 了解大数据相关技术，如Hadoop，Spark，Hive，Flink等，有开发或者运维经验者优先； 6. 熟悉Linux常用命令； 7. 有技术热情和较强的学习能力，以及良好的沟通能力、抗压能力和团队协作能力；

岗位职责： 1. 负责基础平台，基于Hadoop/Hive/Tez/Flink/HBase/ClickHouse等开源组件的架构设计与实现，满足基础平台 批量/交互式/流式/复杂 等各种计算存储场景的功能性/非功能性需求； 2. 负责数据开发平台，数据治理、数据门户等功能工具系统的设计与实现； 3. 大数据相关业务应用场景的，大数据平台相关技术方案设计与项目支持； 4. 保障上述大数据平台相关系统的可用性、容量、性能、安全等运营指标，确保系统持续稳定、高效运行；深入理解上述大数据平台组件/系统，及熟悉其相关依赖组件/系统工作原理(如Linux,Docker,MySQL,JVM等)，高效调优排障； 岗位要求： 1. 大学本科及以上学历，计算机或者相关专业；5年以上后端开发工作经验。 2. 有大型分布式系统、大数据量开发经验，Java技术知识扎实，熟练掌握高并发编程，消息队列，缓存技术，事务处理，数据一致性处理等，对JVM原理有深入理解； 3. 有微服务开发经验，熟练使用SpringCloud常用组件及了解Eureka、Etcd等注册中心使用及原理；熟悉消息队列使用、Elasticsearch等常用技术 4. 熟悉Hadoop/Hive/Tez/Flink/HBase/ClickHouse等开源组件任意一门。 5. 熟悉python/shell等脚本语言；熟悉Linux环境及操作，熟悉系统、应用部署和调优； 6. 有完整软件项目设计开发经验优先； 7. 熟悉服务器/存储/网络/OS/中间件等基础架构基本元素优先，熟悉linux操作系统，具备较强的调优排障能力优先；熟悉docker/kubernetes者优先； 8. 具备较强的主动承担意识和自我驱动力，良好的客户服务意识；具备较强的主动学习意识和学习能力；

职位描述 1、负责机器学习平台的设计和开发。 2、参与AI平台业务模型优化和运营； 3、分析并解决系统研发过程或实际使用中遇到的各类问题，保证系统研发、运行正常进行。 任职资格 1、有丰富的python开发经验，熟悉java开发语言，掌握多线程及高性能的设计与编码及性能调优，有高并发应用开发经验优先。 2、熟悉机器学习建模流程、常用的机器学习算法和深度学习算法及框架，如：XGB、Lgb、Sklearn、TensorFlow、Pytorh等； 3、熟悉Linux平台下常用命令操作、环境部署； 4、了解云原生相关体系，如：Docker、Kubernetes等； 5、了解缓存、消息、大数据存储相关技术，例如：mysql、redis、kafka、hive、Hadoop、spark、flink等； 6、能适应高强度工作，责任心强，工作积极主动，善于学习和交流，具有良好的团队合作精神。

岗位职责: 1.负责CDH大数据平台的安装和部署； 2.负责CDH大数据平台各组件的性能优化； 3.负责CDH大数据平台各组件的运行维护和状态监控； 4.负责新技术调研，并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理，精通Hadoop/Spark体系，了解大数据平台运营基本思路； 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件，具有两年以上hadoop/Spark技术的运维经验； 3.理解MapReduce计算框架的思想，熟悉分布式计算模型； 4.至少精通一种大数据开发语言，如JAVA、scala等； 5.至少熟练使用一种脚本语言，如Shell、Python等； 6.热爱技术，工作认真、严谨，有团队精神。

职责描述： 1、负责公司大数据平台的运维保障工作，保障平台的正常运行和相应数据服务的稳定高效； 2、对接数据开发侧团队，主动优化和完善服务巡检、监控工具、脚本等，减少人工操作提高运维效率；负责数据平台的故障处置、推动性能优化。如平台产品技术问题，提交给平台产品技术组进行后台处理，并及时反馈. 3、负责数据平台二线运维支撑保障，响应运维/服务台一线请求：处置生产事件，跟踪问题处理； 4、定期组织团队人员开展大数据平台的技术知识积累和移交； 5、负责设计日常运维相关的自动化工具或系统，并完成相应需求收集和需求管理 ； 任职要求： 1. 具有1年以上金融行业数据类项目运维经验，熟悉保险业务操作与管理。具有大数据平台相关技术进行数据仓库、数据中台开发、维护、优化等项目经验的人员，或长期在类似的运维项目上承担运维工作优先； 2. 具备较强的数据开发分析能力，熟练掌握SQL等技能，熟练掌握大数据平台、UNIX、LUNIX和中间件的技能。有java或Python开发基础优先； 3. 具备较强的数据分析，问题分析，逻辑思维能力，团队协作能力，有良好的沟通能力和责任感，能够承担工作压力，独立分析和解决问题者优先； 4. 强烈的自驱力和责任感，面对复杂业务问题，可以从业务和技术多角度推进，最终达成目标。

Java后端研发工程师（大数据平台） 工作职责： 1、负责贝壳大数据平台工具的开发和维护，包括数据集成、离线开发、实时开发、数据地图、数据服务等； 2、负责大数据框架优化和源码定制开发，解决面临的各种复杂问题和挑战 岗位要求： 1、熟悉JAVA体系架构，熟悉常见数据结构、多线程并发、JVM等，精通spring、spring boot、MyBatis等主流的开源框架 2、熟悉MySQL、Redis等数据库技术 ，Http等常见网络协议 ； 3、熟悉Hadoop生态圈技术，包括HDFS、MapReduce、HBase、Hive、Zookeeper等，熟悉主流实时处理技术，如Spark、Flink、kafka、pulsar，提交社区patch者优先 4、良好的思维习惯及沟通能力，具有较强的主动意识，乐于接受挑战 5、具有较强的学习能力和问题解决能力

### Java后端研发工程师（大数据平台） 工作职责： 1、负责贝壳大数据平台工具的开发和维护，包括数据集成、离线开发、实时开发、数据地图、数据服务等； 2、负责大数据框架优化和源码定制开发，解决面临的各种复杂问题和挑战 岗位要求： 1、熟悉JAVA体系架构，熟悉常见数据结构、多线程并发、JVM等，精通spring、spring boot、MyBatis等主流的开源框架 2、熟悉MySQL、Redis等数据库技术 ，Http等常见网络协议 ； 3、熟悉Hadoop生态圈技术，包括HDFS、MapReduce、HBase、Hive、Zookeeper等，熟悉主流实时处理技术，如Spark、Flink、kafka、pulsar，提交社区patch者优先 4、良好的思维习惯及沟通能力，具有较强的主动意识，乐于接受挑战 5、具有较强的学习能力和问题解决能力

职责描述： 1、负责大数据运维体系搭建及大数据平台各个组件的运维； 2、负责大数据平台及相关组件的部署和维护，保证其稳定运行； 3、负责完善大数据平台运维监控工作。 任职要求： 1、本科或本科以上学历，计算机相关专业，3年以上大数据系统运维经验； 2、熟悉Windows/Linux操作系统； 3、熟悉Hadoop、Hive、Hbase、Yarn、Spark等组件的原理及运维方式； 4、熟悉中间件工作原理，对Tomcat/Redis/Nginx/Kafka有一定了解，具备一定的操作能力； 5、至少熟悉Java/PHP/Python/Bash/Shell一种或多种语言，可独立编写维护及监控； 6、工作细致、善于思考，有很强的问题分析和推进解决的能力； 7、有强烈的责任心、良好的沟通协调能力、极强的业务推动能力，勇于接受挑战； 8、良好的英文听说读写交流能力，能使用英语作为工作语言。

工作职责 1. 负责或参与大数据平台的架构设计以及基础组件的调优、改造、升级； 2. 结合客户需求，负责和参与大数据产品的设计与研发； 3. 负责数据平台新技术的研究及应用落地。 任职要求 1. 计算机或相关专业，3年以上大数据相关开发经验； 2. 熟悉linux/UNIX shell、熟悉(python/shell)任意一种脚本语言、熟悉Java/Scala/C++任意一种开发语言； 3. 熟悉大数据基础平台技术的原理和内部机制，包括但不限于Hadoop、ClickHouse、Hbase、Doris等； 4. 有大规模集群调优及容器化经验优先。 5.对新技术充满热情，具有良好的学习能力、团队协作能力和沟通能力； 6.逻辑思维能力及快速持续的学习能力。

职位职责： 1、负责通用数据平台和分析型产品； 2、面向PB级超大规模数据问题，每天处理千亿增量的用户行为数据； 3、为大数据的全生命周期提供服务，覆盖数据产生，传输，建模，统计分析，实验评估，可视化的全流程； 4、构建设计良好的数据流、数据仓库、调度系统、查询引擎，数据服务、分析系统、流程规范，数据工具/产品，降低数据的使用门槛，保证系统稳定高效运行，以实现数据的最大价值。 职位要求： 1、熟悉多项大数据处理/分析相关的工具/框架，e.g. Hadoop, Mapreduce, Hive, Storm, Spark, kylin，scribe, kafka, hbase, canal，sqoop etc； 2、强悍的编码能力，生产环境快速 trouble-shooting能力，对新技术有强烈的学习热情； 3、优秀的理解沟通能力，能快速理解业务背景，对数据敏感，崇尚数据说话，深信数据在驱动业务、支撑决策上的价值，有web应用开发能力者优先。

职位职责： 1、负责公司级的通用数据平台和分析型产品，服务于今日头条全公司的数十个用户产品线； 2、面向PB级超大规模数据问题，每天处理千亿增量的用户行为数据； 3、为大数据的全生命周期提供服务，覆盖数据产生，传输，建模，统计分析，实验评估，可视化的全流程； 4、构建设计良好的数据流、数据仓库、调度系统、查询引擎，数据服务、分析系统、流程规范，数据工具/产品，降低数据的使用门槛，保证系统稳定高效运行，以实现数据的最大价值。 职位要求： 1、熟悉多项大数据处理/分析相关的工具/框架，e.g. Hadoop, Mapreduce, Hive, Storm, Spark, kylin，scribe, kafka, hbase, canal，sqoop etc； 2、强悍的编码能力，生产环境快速 trouble-shooting能力，对新技术有强烈的学习热情； 3、优秀的理解沟通能力，能快速理解业务背景，对数据敏感，崇尚数据说话，深信数据在驱动业务、支撑决策上的价值，有web应用开发能力者优先。

岗位职责： 1. 负责大数据实时、离线、异构数据的同步和传输生态的研发，提供灵活高效的接入能力； 2. 负责大数据接入组件的性能、效率、稳定性分析与优化。 任职要求： 1. 熟悉Flume/DataX/Logkit/Kafka等大数据接入技术和相关组件，有1年以上大数据接入研发经验； 2. 具备扎实的计算机基础，熟悉分布式系统研发，有云原生技术经验优先； 3. 精通Java/Scala研发语言，具有良好的编程研发能力； 4. 能够深刻理解业务，善于利用技术实现相关业务价值；

岗位职责： 1、负责公司大数据平台(采集/加工/调度等)建设，承担相关服务、平台的研发、集成和运维工作，工作中主要使用python； 2、保障应用系统稳定可靠，熟练运用合适技术对复杂场景做出合理技术设计，保障和提升数据平台相关系统的性能和稳定性； 3、工作范围涉及包括但不限于：分布式任务调度系统，数据采集系统，数据加工处理平台，数据应用服务等领域。 任职要求： 1、本科及以上学历，具有2年以上大数据平台应用系统开发及运维经验； 2、拥有扎实的计算机基础和代码能力，具备良好的编码习惯，有较强的问题处理能力； 3、熟悉常见大数据处理/分析相关的工具/框架，如Hive、Spark、Presto、Kafka、Clickhouse、Superset等； 4、具备良好的理解能力，能快速理解业务背景，具有良好的团队沟通与协作能力。

工作职责： 1. 搭建存储海量金融数据的分布式数据仓库。 2. 搭建公司的大数据平台，包括：调度系统、数据监控、数据处理流程、平台权限管控等，实现高可靠、高效率、高扩展的金融数据处理。 3. 开发实时数据处理系统和平台，实现实时数据处理、传输的自动化流程。 4. 和其他同事一起设计开发不同业务数据的自动化处理流程。 5. 基于大数据平台开发相关衍生数据的计算模块和流程。 职位要求： 1.本科及以上学历，具有计算机、电子、自动化等相关专业背景,具有至少3年的相关工作经验。 2.对数据仓库体系架构有深刻的理解，能熟练进行数据系统的设计和开发。 3.熟悉大数据处理方法，熟练使用hadoop、hive、hbase、spark、flink等分布式应用工具。 4.有知名互联网公司的大数据平台建设经验和大数据开发经验，能够独立搭建数据仓库和数据平台。 5.有金融领域的大数据平台工作经验，有处理海量金融数据的能力。 6.具有Linux系统环境下的开发经验，具有编写shell脚本的能力，精通Python、R、Scala等开发语言。 7.熟练使用常见的数据库，例如：MySQL、PostgeSQL、MongoDb、Redis等。 8.具有ZeroMQ、RabbitMQ、Kafka等消息中间件的数据开发经验。 9.具有优秀的团队沟通和协作能力、责任心强，善于学习，有较强的自我驱动，具有独立分析并解决问题的能力。

职位描述工作内容：1、负责公司级的通用数据平台，服务全公司的产品线2、负责YARN、Hive、Spark、Flink平台维护及二次开发3、负责公司自研调度系统维护以及接口开发4、负责公司大数据集群、执行引擎、平台的优化和运维工作职位要求：1、熟悉一种以上开源大数据工具框架， 包括担不限于YARN、Mapreduce、Hive、Spark、Flink、Presto等；2、强悍的编码能力，生产环境快速定位问题能力，对新技术有强烈的学习热情；3、三年以上java、大数据维护开发经验，有spark streaming，flink实时任务开发经验者优先考虑。4、做事严谨踏实，责任心强，条理清楚，善于学习总结，有良好的团队合作精神和沟通协调能力。