大数据开发工程师（浏览器  岗位职责：  1、制定数据仓库设计与开发规范，推动落地；  2、设计并实现链上全域业务（地址信息，defi业务信息，标签）的数据仓库模型；  3、重点建设链上标签体系和特征工程；  4、数据治理相关的规划和建设，提高数仓数据质量；  5、与合作部门共同建设实时数仓和落地应用；  6、日常告警监控运维。  任职要求：  1、大学本科及以上学历，计算机、软件、信息等相关专业；  2、相对丰富的数据开发或数据仓库经验；  3、精通Hive Sql；  4、熟悉数据仓库建模、ETL过程、ETL和BI工具、技术和开发流程，一定的调优经验；  5、熟悉常用的shell命令，掌握java语言，能够开发udf/udtf等简单程序者优先；  6、熟悉阿里云大数据产品MaxCompute、DataWorks、Flink等经验优先；  7、熟悉AWS大数据产品经验优先；  8，了解机器学习（决策树、随机森林、聚类、逻辑回归）者优先

工作职责： 1、负责公司所有项目的技术支持、数据交付支持工作； 2、优化数据流程、设计数据交付系统、自动化数据交付工作、开发提升效率的工具； 3、负责搭建、维护数据服务系统。根据需求对接数据源，整理数据及相关文档； 4、负责对数据的收集、整理、组织、存储、加工、归档、消亡各个过程进行控制与管理，以确保获得准确的数据满足业务分析和安全要求； 5、负责建立数据标准、数据质量等规范，配合相关团队完成流程体系建设； 6、负责从业务源系统中进行数据抽取、清洗、加载、转换、建模，为产品和营运等多方面提供技术支持； 7、负责集团大数据平台开发和建设工作，包括数据的接入，数据流处理，数仓构建及开发。 任职资格： 1、2年以上数据工程工作经验，本科及以上学历，数学、计算机科学与技术或统计学等理工类相关专业； 2、熟练使用Python、Shell、SQL等语言，能够快速完成数据相关的脚本开发； 3、熟悉JupyterNotebook/Pandas等工具，能够快速完成数据分析工作； 4、熟悉SQL Server、MySQL、PostgreSQL、ClickHouse等数据库使用，熟悉大数据平台技术栈； 5、熟悉数据仓库建设方法和掌握kettle等ETL相关工具； 6、熟练使用Excel、PowerPoint、Word等办公软件使用； 7、具有良好的逻辑分析、语言表达、软件及文档编写能力； 8、具备优秀的数学思维和建模思维； 9、具有良好的项目管理及组织协调能力； 10、具有较强的英文阅读能力，能够流畅阅读相关专业技术与学术资料； 11、具有一定数据架构经验者优先；

职位职责： 字节跳动推荐架构团队，负责字节跳动旗下相关产品推荐系统架构的设计和开发，保障系统稳定和高可用；负责在线服务、离线数据流性能优化，解决系统瓶颈，降低成本开销；抽象设计优雅的系统组件和服务，建设推荐中台、数据中台，支撑新产品快速孵化以及为ToB赋能；实现灵活可扩展的高性能存储系统和计算模型，打通离在线数据流，构建统一的数据中台，支持推荐/搜索/广告。 1、为大规模推荐系统设计和实现合理的离线数据架构； 2、设计和实现灵活可扩展、稳定、高性能的存储系统和计算模型； 3、生产系统的trouble-shooting，设计和实现必要的机制和工具保障生产系统整体运行的稳定性； 4、打造业界领先的存储、计算等分布式系统，为海量数据和大规模业务系统提供可靠的基础设施； 职位要求： 1、熟悉多项大数据领域的开源框架，e.g. Hadoop, Hive,Flink, FlinkSQL,Spark, Kafka, HBase, Redis, RocksDB, ElasticSearch etc.； 3、熟悉Java、C++等编程语言; 2、强悍的编码和 trouble shooting 能力； 3、乐于挑战没有明显答案的问题，对新技术有强烈的学习热情; 4、有PB级别数据处理经验加分。

岗位职责： 1、支撑用户数据分析、用户画像、推荐系统等系统的研发、参与到数据产品的决策； 2、负责大数据系统整体架构的持续优化和改进； 3、指导初级工程师，与业务方沟通，跨团队合作。 岗位要求： 1、计算机相关专业，有扎实的数据结构和算法基础； 2、熟练掌握Python/Go/Java中的一种或多种； 3、熟悉Kafka, Hadoop, SparkSQL，熟悉Clickhouse优先 4、了解业务方常用数据库PostgreSQL、MongoDB 4、了解数据分析和数理统计的常用方法 4、良好的团队沟通协作能力，自我驱动，有较强的问题解决能力。 ---我们为你提供--- 1.无上限年终奖+带薪年假+定期体检； 2.舒适电竞椅办公+周末双休拒绝996，身体才是革命的本钱； 3.周三尖叫之夜，大家一起开黑、桌游、switch.. 4.办理工作居住证； 5.零食下午茶、无限量饮料必不可少； 6.小黑屋电竞馆尽享员工优惠，同事也是最强队友..

岗位描述： 1、负责公司大数据平台的整体架构的规划，以及相关的设计、实现、优化与演进，为公司业务发展提供支持 2、负责公司大数据平台的选型、平台建设和运行维护 3、参与各类大数据组件如Clickhouse/Kafka/HBase管理平台的建设、以及工具的二次开发 3、负责Hadoop生态大数据组件的维护，包括但不限于HDFS、Hive、Yarn、Kafka、Flink、HBase等 5、负责大数据集群的性能分析和优化调整，提高大数据集权的处理能力 6、结合公司各业务场景，持续分析并改进数据服务的需求和质量 7、负责大数据组件的各类文档的整理和操作规范制定 任职资格： 1、***本科及以上学历，具备1年以上java、数据、数据仓库或ETL开发设计工作经验 2、熟练掌握 Java, Python, Scala等**开发语言 3、熟悉大数据组件的高可用架构、性能监控指标，有一定的集群优化经验 4、熟悉大数据的技术生态环境，掌握Hadoop，Hive，Kafka、Redis、Flink等大数据技术栈 5、熟练掌握至少一种主流的关系型数据库，如MySQL、Oracle或是Postgresql，具有一定的SQL优化经验 6、数联掌握 Java, Python, Scala等**开发语言 7、熟悉Unix及Linux操作系统，以及shell脚本编程 8、工作积极主动, 思路清晰，具有扎实的独立分析问题、沟通协调能力和团队合作精神； 具有高度的责任感和耐心细致的工作态度，积极向上，乐观进取

岗位职责： 1、Hadoop大数据平台架构及组件的优化； 2、数据分析平台的开发和优化； 3、数据展示系统的开发和优化； 4、大数据集群的监控、管理、性能优化； 5、数据计算性能瓶颈的定位及优化。 这样的你是我们的理想型： 1、国家**本科及以上学历； 2、熟练使用C/C++/Java； 3、熟练掌握计算机数据结构和算法; 4、熟悉Hadoop架构，有大数据、分布式存储及计算等相关经验者优先。

岗位职责： 1. 大数据组件开发。 2. 基于Python 体系下的数据质量引擎开发； 3. 基于Java及Linkis开源框架的质量引擎开发； 4. 大数据资产应用的开发、部署、调优； 5. 数据稽核引擎开发，数据共享交换能力对接。 任职要求： 1. 本科及以上学历，计算机相关专业； 2. 3年以上互联网或软件行业工作经验，熟悉Linux环境；熟悉Linux和Python开发； 3. 熟悉Spring,Spring boot,Spring Cloud等框架、熟悉Eclipse或IntelliJ IDEA开发工具等使用 以下满足其一即可： 4. 熟悉Hadoop,MapReduce,Hbase,Flink等大数据部署、运维、开发； 5. 熟悉数据治理理论概念、架构，有元数据、数据质量、数据标准、主数据等相关数据治理经验； 6. 有分布式相关项目（分布式存储/分布式计算/高性能并行计算/分布式cache）经验； 7. 对数据库的架构、扩展特点非常熟悉，能熟练进行SQL优化、集群部署、数据同步等。

岗位职责 ： • 负责流批一体数仓规划、建设与维护以及OLAP建设 • 基于公司海量数据进行实时/离线等数据开发工作，包括但不限于数据清洗、数据治理、业务画像数据开发 • 保证大规模的离线、实时任务的正常平稳运行和相关优化工作 • 负责相关线上ETL任务的线上问题定位排查 • 负责基于Flink的相关Connector/LookUp组件优化和二次开发，以及Flink SQL 算子性能定制开发等 职位描述： • 熟悉主流开源大数据工具的使用和调优，包括但不限于Hadoop、ClickHouse、Kafka、HBase、Redis等 • 熟悉数据建模和数据报表的设计工作，能较好的归纳业务逻辑，设计出合理的数据和计算逻辑 • 有大数据处理分析经验，熟悉Flink/Spark/Hadoop等大数据处理引擎的原理和使用,有相关调优经验更优 • 有java开发相关经验，熟悉shell/scala/python/go等不少于2种语言的使用，掌握JVM、并发编程、网络编程等技术,熟悉JVM相关性能问题调优。

大数据开发工程师，西安 岗位职责： 1.负责Hadoop管理平台/数据应用平台/图数据库的开发和维护； 2.负责Hadoop内核问题分析，定位，修改及开源社区的动态跟踪； 任职要求： 1.本科及以上学历，3年及以上工作经验； 2.精通Java/Scala/Python/C/C++/JavaScript/JSP中的一种或多种； 3.有完整的项目开发经验，系统核心模块看护经验者优先； 4.有大数据Hadoop/HBase/Flume/Kafka/Flink/Hive/Spark/ES等开源大数据技术相关经验者优先。

工作内容： 1、负责公司大数据平台的开发、调优以及日常管理维护工作； 2、负责Hadoop生态圈的建设和兼顾日常数据采集、管理维护和监控； 3、能够独立或参与需求文档、设计文档的编写，满足质量要求。 任职要求： 1、本科或以上学历，计算机相关专业，2年以上大数据项目开发经验； 2、具有Hadoop/Spark开发与应用经验，有较大规模的项目经历； 3、熟悉hbase、hive、spark、kafka、flink等相关工具，有实际的项目经验； 4、熟悉java，熟练使用python, shell等脚本语言，有基于Hadoop平台开发经验者优先。

岗位职责： 1. 负责复杂业务场景下数据体系构建，赋能业务数字化运营，保障数据的质量和数据生产的稳定性； 2. 负责基于大数据技术平台基础上的数据仓库建设，包括数据模型设计、离线/实时计算、性能优化以及相关技术问题的解决； 3. 负责数据质量、稳定性、数据资产管理等数据治理工作，构建全链路数据质量监控治理体系； 4. 参与数据产品的需求沟通、架构设计、数据开发以及系统优化。 任职要求： 1. 扎实的代码编程能力，具备良好的数据结构基础，熟悉常见设计模式，熟练使用Java/Scala/Python等至少一种语言； 2. 熟练掌握Hadoop生态，包括但不限于Hive/Spark/Flink等一种或几种大数据计算框架； 3. 熟悉数仓原理和实施，有实时数仓、离线数仓设计与开发经验； 4. 熟悉SpringCloud，SpringBoot等常用的开源框架优先 5. 熟悉OLAP平台建设或有过经验、熟悉业务指标设计且熟练掌握OLAP的维度建模设计方法优先 6. 熟悉常见数据挖掘、用户画像、搜索推荐、知识图谱、自然语言理解等相关算法及模型优先

工作职责： 1. 参与贝壳大数据平台建设，研发大数据相关的基础服务和中间件，包括实时计算平台/查询引擎/任务调度系统/权限平台等大数据生态服务，提升系统的稳定性和可扩展性; 2. 负责解决大数据离线（Hive/Spark) 和 实时( Spark Streaming/Flink)等技术领域的相关难题，提升系统的稳定性和性能； 3. 跟进和调研大数据领域的前沿技术，包括OLAP引擎、Data Lake 等，并推动其在贝壳业务的应用落地； 任职资格 ： 1. 计算机相关专业本科以上学历，3-4年以上相关工作经验； 2. 具有扎实的专业基础，较强的编码能力，熟悉常见的数据结构与算法； 3. 精通Java编程，理解IO、并发、网络等基础框架，熟悉JVM原理； 4. 精通大数据处理技术栈中的一个或多个平台/框架，包括但不限于：Hadoop/Hive/Spark/Flink/Kafka/ClickHouse/StarRocks等， 深入了解其原理优先； 5. 具有较强的问题解决能力和技术钻研精神；

工作职责： 1）、数据ETL工作； 2）、参与数据产品设计工作：数据分析挖掘：与医疗业务专家配合，承担数据仓库构建、模型构建、数据标签、知识库、画像分析等相关数据产品等设计工作； 3）、数据挖掘分析工作； 4）、数据产品研发工作。 任职要求： 1）、具有深厚的统计学、数据挖掘等相关知识，熟悉数据仓库和数据挖掘的相关技术，精通建模方法并有过独立的建模实践； 2）、熟悉软件产品研发流程：精通SAS，R，SPSS等统计分析软件，具有海量数据挖掘、分析相关项目实施经验，参加过完整的数据挖掘项目并有成功案例； 3）、精通Kettle、pentaho等工具的使用或开发； 4）、熟悉Python、TIDB、关系型数据库、大数据Hadoop生态编程及数据库操作者优先录用。

技能要求： 数据处理，Spark，Hadoop，Flink，SQL，ElasticSearch 职责描述： 1. 负责基于Hadoop、spark、flink、ElasticSearch平台的离线/实时数据处理、数据计算、数据开发； 2. 负责数据中台建设开发、数据治理、分析、处理、编码、拉通等工作； 3. 负责数据中台的高可用性、高可扩展性、高并发的持续优化； 4. 负责基于现有数据中台的迭代优化工作； 5. 负责搜索引擎ElasticSearch数据加工及分词优化工作。 任职要求： 1、具备扎实的离散数据、数据结构、线性代数、概率论等基础知识； 2、有3年以上的Python、spark、ElasticSearch实际开发经验； 3、熟悉Python、scala进行spark代码开发工作； 4、精通SQL语句，对数据敏感，有较强的逻辑分析能力，对大数据处理和分析技术有丰富的经验和强烈热情； 5、有数据中台实际开发经验、较强的日常故障诊断和性能调优能力； 6、对基于Hadoop集群高并发、高可用、高可扩展性体系系统有一定的理解； 7、有DataWorks、MaxComputer实战经验者优先； 8、有Spark GraphX实战经验者优先； 9、有机器学习、数据分析等相关工作经验优先； 10、熟悉微服务技术架构、Docker技术的优先； 11、熟悉Kafka、Zookeeper、spark、Flink底层源码者优先； 12、性格开朗，善于交流，有良好的团队合作精神和协调沟通能力。

工作职责： 1. 参与公司内部数据模型设计、开发并服务下游，数据解释，问题答疑； 2. 跟进IT需求，对接各源系统数据调研，评估，模型设计，离线及实时ETL开发等工作； 岗位要求： 1、数学、统计、计算机等相关专业本科及以上学历，2年以上相关工作经验（数据/业务分析、BI、数据模型、决策支持、数据挖掘） ； 2、扎实的数据仓库理论基础，熟悉数据仓库范式模型设计 3、熟悉Hadoop、HIVE的基本原理，精通SQL，能熟练运用 ORACLE/MY SQL/HIVE/PostgreSQL等获取分析所需数据； 4、根据需求可以通过flink、kafka、spark等大数据组件进行开发与调测； 5、具备良好的沟通能力、团队合作精神及抗压能力 ；