-
职位职责: 1、打造业界领先的流批一体SQL查询服务,支撑字节跳动相关产品线(如抖音、今日头条); 2、工作范围包括但不限于查询服务,任务调度系统,大数据元数据服务和权限服务的设计和研发,高并发和大流量请求应用场景; 3、负责对接Spark SQL,Presto, Hudi和Flink等计算引擎和组件,提供简单易用的OLAP查询服务; 4、参与需求对接,技术调研和方案设计,善于理解并抽象业务需求,形成高效的技术方案并推动落地。 职位要求: 1、精通Java/Scala语言,包括JVM、类装载、线程、并发、IO资源管理、网络; 2、熟悉至少一种主流大数据系统,包括SparkSQL/Hive/Presto/Flink等; 3、扎实的计算机基础,对技术有热情,愿意不断尝试新技术和业务挑战; 4、具备大规模系统的故障诊断与性能优化能力,具备快速定位线上问题和快速Debug的能力; 5、具备较强的项目推动能力,能推动技术项目在业务侧的落地; 6、具备一定的业务理解与架构设计能力。
-
职位职责: 1、打造业界领先的流批一体SQL查询服务,支撑字节跳动相关产品线(如抖音、今日头条); 2、工作范围包括但不限于查询服务,任务调度系统,大数据元数据服务和权限服务的设计和研发,高并发和大流量请求应用场景; 3、负责对接Spark SQL,Presto, Hudi和Flink等计算引擎和组件,提供简单易用的OLAP查询服务; 4、参与需求对接,技术调研和方案设计,善于理解并抽象业务需求,形成高效的技术方案并推动落地。 职位要求: 1、精通Java/Scala语言,包括JVM、类装载、线程、并发、IO资源管理、网络; 2、熟悉至少一种主流大数据系统,包括SparkSQL/Hive/Presto/Flink等; 3、扎实的计算机基础,对技术有热情,愿意不断尝试新技术和业务挑战; 4、具备大规模系统的故障诊断与性能优化能力,具备快速定位线上问题和快速Debug的能力; 5、具备较强的项目推动能力,能推动技术项目在业务侧的落地; 6、具备一定的业务理解与架构设计能力。
-
岗位职责: 1. 负责分布式大数据平台架构建设、数据建模和数据应用后端开发; 2. 负责大数据相关组件OLAP引擎、实时计算,文件存储等相关研究和开发; 3. 负责大数据系统及组件的性能、效率、稳定性分析与优化。 岗位要求: 1. 熟悉Hadoop/Kafka/Presto/Kudu等大数据技术和组件,有3年以上大数据组件的使用和二次开发经验; 2. 具备扎实的计算机基础,熟悉分布式系统开发,熟悉云原生技术; 3. 精通Java开发语言,具有良好的编程开发能力; 4. 对新技术敏感,有一定独立分析,技术研究能力,具有良好的团队合作精神; 5. 能够深刻理解业务,善于利用技术实现相关业务价值; 6. 具备一定云原生技术经验(kubernetes ,Docker)者优先。
-
大数据开发工程师(浏览器 岗位职责: 1、制定数据仓库设计与开发规范,推动落地; 2、设计并实现链上全域业务(地址信息,defi业务信息,标签)的数据仓库模型; 3、重点建设链上标签体系和特征工程; 4、数据治理相关的规划和建设,提高数仓数据质量; 5、与合作部门共同建设实时数仓和落地应用; 6、日常告警监控运维。 任职要求: 1、大学本科及以上学历,计算机、软件、信息等相关专业; 2、相对丰富的数据开发或数据仓库经验; 3、精通Hive Sql; 4、熟悉数据仓库建模、ETL过程、ETL和BI工具、技术和开发流程,一定的调优经验; 5、熟悉常用的shell命令,掌握java语言,能够开发udf/udtf等简单程序者优先; 6、熟悉阿里云大数据产品MaxCompute、DataWorks、Flink等经验优先; 7、熟悉AWS大数据产品经验优先; 8,了解机器学习(决策树、随机森林、聚类、逻辑回归)者优先
-
职责描述: 1. 负责分布式大数据平台架构建设、数据建模和数据应用后端开发。 2. 负责大数据相关组件OLAP引擎、实时计算,文件存储等相关研究和开发。 3. 负责大数据系统及组件的性能、效率、稳定性分析与优化。 任职要求: 1. 熟悉Hadoop/Kafka/Presto/Kudu等大数据技术和组件,有5-7年大数据组件的使用和二次开发经验。 2. 具备扎实的计算机基础,熟悉分布式系统开发,熟悉云原生技术。 3. 精通Java开发语言,具有良好的编程开发能力。 4. 对新技术敏感,有一定独立分析,技术研究能力,具有良好的团队合作精神。 5. 能够深刻理解业务,善于利用技术实现相关业务价值。 6. 具备一定云原生技术经验(kubernetes ,Docker)者优先
-
岗位职责: 1、在数仓负责人带领下,针对BI,算法,数据产品的需求,负责公司多业务数据仓库建设与模型设计,制定和落实数据仓库规范以及数据治理工作; 2、进行ETL设计,数据集市建设,落地及后续的运维; 3、负责各条业务线的数据整合方案设计及日志规范,数据分析指标体系建设及元数据管理; 4、稽查和监控数据质量,数据报表系统及相关数据产品的研发和数据需求的沟通及数据开发项目管理。 岗位要求: 1、掌握数据仓库(DW)商业智能(BI)理论知识,具备2年以上数据仓库建设经验,有数据中台、数据治理呼吁等相关经验优先; 2、精通SQL,熟悉mapreduce原理,有hive调优经验,具备一定的python和java开发能力,有Hadoop, Spark, Flink等大数据开发相关经验优先 3、具有高度的责任感,思路清晰,有良好的沟通能力; 4、本科以上学历,计算机、信息管理等相关专业
-
职位职责: 1、负责公司大数据平台的搭建、升级、扩容及迁移工作,支撑业务和数据量的快速增长; 2、负责公司大数据集群的日常监控、权限管理、资源管理、数据备份及故障处理,保障平台服务7*24稳定可靠高效运行; 3、负责Hadoop/Yarn/Hbase/Hive/Kafka/Spark等大数据相关组件的底层运维与调优工作; 4、根据部门需求制定运维技术方案,开发自动化运维工具和运维辅助系统,提升大数据运维自动化水平。 任职要求: 1、***本科及以上学历,计算机相关专业,3年及以上大型分布式系统实施和运维相关经验; 2、熟悉 Linux/Unix 系统、网络、硬件等相关知识,精于容量规划、架构设计、性能优化,能够独立解决系统问题; 3、熟悉Hadoop大数据生态圈,包括但不限于HDFS、YARN、Hive、HBase、Spark等; 4、至少使用过一种自动化部署工具:Ansible、Saltstack等,能够完成 Hadoop、Redis、Spark等开源系统的高可用部署; 5、对新技术有较强的追求欲望; 6、具有良好的沟通能力和组织协调能力,有一定的抗压性
-
"岗位职责: 1、负责部署和维护内部大数据系统,如:Hadoop、EleasticSearch、ClickHouse等; 2、负责日志系统的维护和优化; 3、负责大数据分析平台的规划与设计工作; 4、负责大数据相关开发工作,如数据处理、数仓设计等工作; 5、负责进行数据抽取、清洗、数据接口服务等; 6、深入理解大数据平台架构、发现并解决重大故障及性能瓶颈,打造一流的大数据平台; 任职要求: 1、本科以上学历,计算机或相关专业; 2、3年以上大数据平台的运维相关经验,精于容量规划、架构设计、性能优化。 3、具备一定的开发能力,精通一门以上脚语言(Shell/Perl/Python等),有Java 和 Scala 基础尤佳。 4、对Hadoop原理有深刻认识,具备相关产品(MapReduce、HDFS、Hbase、Spark、Flume、Zookeeper、ES、Kafka)的应用经验,具备底层Hadoop集群实际搭建及运维经验。 5、精通Hadoop、Spark等相关生态圈系统的搭建、管理、配置优化。 6、良好中文沟通能力。
-
【工作职责】 1、 协助研发总监制定数据对接、清洗、底层重构、分析规范并实施; 2、 负责并实施公司大数据新技术的调研工作,设计并优化公司数据架构; 3、 负责评估大数据开发的技术可行性,根据业务需求,提供大数据技术解决方案; 4、 根据项目或产品开发计划,制定大数据模块的开发计划并分解任务; 5、 负责并实施公司大数据系统的设计、开发,对接工作; 6、 负责大数据相关的技术文档的编写; 7、完成领导交代的其他任务。 1、大学本科,计算机、数学、统计学等相关专业毕业; 2、一年以上大数据架构设计及开发经验,具有团队意识; 3、精通java开发,熟悉Hadoop/MapReduce、HBase、Hive等系统开发; 4、熟练掌握大数据的相关算法,对数据结构、算法有深刻理解; 5、熟练使用阿里云产品,包括DataWorks、MaxCompute、RDS等优先。
-
岗位职责: 1、参与大数据架构的规划设计,参与业务建模及数据化运营平台的搭建、运维,对业务流程与大数据的结合提出建议和解决方案; 2、完成基于大数据平台的业务项目的应用及框架开发、实施和维护工作; 3、负责解决大数据应用开发运维过程中的技术难点和性能调优工作; 4、参与数据仓库设计,根据业务需求实现高效率高灵活性的查询,数据分析,数据挖掘; 5、负责高吞吐高可用数据实时和离线采集,高并发的大数据业务架构设计; 6、负责研发技术发展方向,新技术领域的探索,引入并验证数据平台领域新技术,提供系统效能。 任职要求: 1、计算机、统计学等相关专业本科及以上学历,具有深厚的数学、统计学和计算机相关知识,精通数据仓库和数据挖掘的相关技术; 2、具有非常扎实的Java基础,熟悉Shell、Python、R、Scala等一种以上语言; 3、算法基础扎实,熟悉常见的数据结构,了解分布式算法和分布式系统的技术原理; 4、精通Hive/Spark/Flink等主流组件,并且有实践经验,能解决应用中的复杂问题,具备机器学习算法实际编程经验优先; 5、熟悉大数据处理相关技术,包括但不限于Hadoop、Hive、Hbase、Spark,Kafaka、Flume、Sqoop、Redis等; 6、具备使用大数据技术创新性解决具体业务问题的能力。
-
岗位职责: 1. 负责海量数据离线、实时处理系统的开发建设; 2. 负责大数据平台资源规划、权限控制、运维架构设计,为各产品业务提供稳定、高效、安全的运行环境; 3. 负责大数据数据底层技术研究及开发,技术能力输出、技术引导、技术风险识别; 4. 负责大数据平台建设工作,实践平台战略,包括:平台建设、数据架构实施、数据开发等; 5. 负责研究自动化数仓流程,推动流批一体,湖仓一体技术落地 6. 跟踪大数据前沿技术和产品,与业界先进技术保持同步。 7. 跨团队项目协调。 职责要求: 1. 5年及以上大数据架构工作经验,作为架构师主导实施过2个以上大数据平台项目,熟练使用Flink,并且对Flink的底层原理有很深的理解,包括Runtime、SQL&Connectors、State、CK等,有结合 Iceberg 应用优先; 2. 熟练掌握数据仓库方法论,具备多种数据建模方法的实施经验 3. 熟悉大数据领域生态,如:Spark、Hive、HDFS、StarRocks、Kylin、ES、Trino、Iceberg; 4. 熟练使用java、python、scala等编程语言,熟练操作linux系统,具备上述工具在linux下的部署实施经验; 5.具有良好文档编写能力,能输出标准、准确的手册供部门实施人员参考; 6.良好的团队协作与沟通能力。
-
职责描述: 1、负责公司大数据平台(CDH)的搭建、升级、扩容及迁移工作,支撑业务和数据量的快速增长; 2、负责公司CDH集群的日常监控、权限管理、资源管理、数据备份及故障处理,保障平台服务7*24稳定可靠高效运行; 3、负责Hadoop/Yarn/Hbase/Hive/Spark/Impala/Kafka/Sqoop/Sentry等大数据相关组件的底层运维与调优; 4、根据部门需求制定运维技术方案,开发自动化运维工具和运维辅助系统,提升大数据运维自动化水平。 任职要求: 1、计算机相关专业本科及以上学历,5年左右大数据运维实际工作经验; 2、熟悉Hadoop大数据生态圈各组件的原理,熟练掌握CDH各个组件的安装部署、升级迁移、权限管理、故障诊断及性能调优; 3、精通Shell编程,熟悉Python或Java,熟悉Ansible或其他自动化运维工具; 4、很强的责任心和自驱力,良好的抗压能力,良好的发现和解决问题能力,注重团队合作。
-
职位描述: 我们是谁: 1. MRS(mrs.ai)是一家初创企业,主要为大型跨国企业设计与开发下一代的智能服务,现在仍在Stealth mode; 2. 我们对人工智能的解读请看《人工智障2:你看到的AI与智能无关》https://mp.weixin.qq.com/s/KF4DgF9FPYW2D_M-uacNaw 3. 我们做的方向请看《智能客服终将被颠覆,进化为下一代智能服务》https://mp.weixin.qq.com/s/Bu0PIUDe4QxrqWw9so8wKA 4. 更多职位请关注招聘官网https://mrsapient.jobs.feishu.cn/ 你会得到: 1. 你将从 Mentor (CTO来自纽约彭博NLP实验室,有近15年深度学习、弱人工智能和通用人工智能研究经历)获得成为一个具备国际视野的工程师所需的一切; 2. 直接参与世界**品牌最前沿的智能化项目的经验,类似“xx的**个人工智能服务”; 3. 通过你的产品设计或代码直接影响那些大品牌的终端用户群。 岗位职责 1. 参与MRS核心产品的底层开发,包括后端异步服务器与相关数据库在工程上的实践落地; 2. 参与MRS核心产品在智能网络领域的开发; 3. 与团队一起完成自然语言理解、智能语音技术相关模型的实现、优化与工程落地; 4. 该岗位可远程/异地办公。 职位要求: 任职要求: 1. 3年以上后端开发经验; 2. 本科及以上学历,计算机及相关专业背景; 3. 具有扎实的计算机基础和编程能力,熟悉常见的算法与数据结构; 4. 精通Python语言,熟悉基于Python协程的异步编程; 5. 熟悉HTTP/HTTPS与Websocket协议,熟悉RESTful API设计规范; 6. 熟练掌握MySQL、MongoDB等主流数据库; 7. 熟练使用Linux操作系统,熟悉软件开发流程,理解敏捷开发理念优先; 8. 具有优秀的逻辑思维和辨析思维的能力; 9. 有强烈的学习欲望和学习能力,有工作责任心和良好的沟通能力; 10. 有良好的编程风格,能够书写规范、优质的代码、测试用例及文档。 11. 加分项: 1. 商业API开发的经验 2. 流利的英文读写能力 3. 常住地重庆(Mentor常住地,方便线下交流) 12. 不相关经验/技能请勿投递: 1. 无Python,websocket开发经验 2. 机器学习、大数据、算法开发经验 面试流程 如果你对我们感兴趣,并且喜欢在国际化团队中工作: 1. 仔细阅读《人工智障2:你看到的AI与智能无关》https://mp.weixin.qq.com/s/KF4DgF9FPYW2D_M-uacNaw ; 2. 确认符合上述【任职要求】,并投递简历; 3. 投递简历后,完成线上笔试; 4. 面试通过后,即可加入MRS!
-
大数据运维 工作职责 1、负责大数据平台的建设及运维管理工作(部署、扩容、监控、优化、故障处理等); 2、负责部分业务平台MySQL数据库管理和维护工程; 4、参与Hadoop/hive/spark/Kudu/Elasticsearch/Kafka/impala/Zookeeper/kafka/flink等系统的架构设计、容量规划、成本优化; 5、参与大数据平台及相关组件的用户管理、权限分配、资源分配; 6、参与数据平台的相关工具开发(包括自动化部署、监控、ETL等); 任职资格 1、掌握Linux操作系统的配置,管理及优化,能够独立排查及解决操作系统层的各类问题; 2、熟练掌握Python, Shell中的至少一门语言,有Python运维工具开发经验优先; 3、熟悉 Hadoop生态及大数据生态圈组及有实战经验,包括但不限于Hadoop、HBase、Hive、Spark、impala、zookeeper、kafka、Elasticsearch、flink、Yarn、Flume、Storm、sqoop等; 4、熟悉zabbix/Prometheus/grafana等监控的组件及使用,有zabbix监控插件开发经验; 5、熟悉Mysql、TiDB等组件的管理及维护工作 6、***大专学历或以上
-
说明:公司的数据量PB级别,非常有挑战,机遇难得。 岗位职责: 1.负责大数据主流技术组件的基准测试以及与业务结合的性能测试。 2.负责主流实时、离线大数据架构体系研究及分享。 3.负责或参与大数据项目底层业务需求的分析、沟通、确认及实现。 4.负责或参与大数据项目底层的架构设计、设计评审、代码实现和评审。 5.参与项目上线后的性能监控、分析、调优等工作,保障系统的正常运行。 岗位要求: 1、计算机或相关专业,本科以上学历,1年或1年以上java开发经验。 2、熟悉JAVA编程,熟悉多线程开发、分布式开发,具备较扎实的编程基础和良好编程习惯。 3、熟悉Linux,熟悉Shell命令操作,执行安装部署程序及简单运维。 4、熟悉HaDoop生态,能熟练使用JAVA进行MapReduce、Spark等技术开发,熟悉分布式性能调优者优先考虑。 5、具备主人翁精神和团队精神,沟通协调表达较好,有上进心,能承受一定压力。 6、优秀java开发经验者或优秀的毕业生可考虑培养。
热门职位