-
岗位职责: 1. 负责分布式大数据平台架构建设、数据建模和数据应用后端开发; 2. 负责大数据相关组件OLAP引擎、实时计算,文件存储等相关研究和开发; 3. 负责大数据系统及组件的性能、效率、稳定性分析与优化。 岗位要求: 1. 熟悉Hadoop/Kafka/Presto/Kudu等大数据技术和组件,有3年以上大数据组件的使用和二次开发经验; 2. 具备扎实的计算机基础,熟悉分布式系统开发,熟悉云原生技术; 3. 精通Java开发语言,具有良好的编程开发能力; 4. 对新技术敏感,有一定独立分析,技术研究能力,具有良好的团队合作精神; 5. 能够深刻理解业务,善于利用技术实现相关业务价值; 6. 具备一定云原生技术经验(kubernetes ,Docker)者优先。
-
职责描述: 1. 负责分布式大数据平台架构建设、数据建模和数据应用后端开发。 2. 负责大数据相关组件OLAP引擎、实时计算,文件存储等相关研究和开发。 3. 负责大数据系统及组件的性能、效率、稳定性分析与优化。 任职要求: 1. 熟悉Hadoop/Kafka/Presto/Kudu等大数据技术和组件,有5-7年大数据组件的使用和二次开发经验。 2. 具备扎实的计算机基础,熟悉分布式系统开发,熟悉云原生技术。 3. 精通Java开发语言,具有良好的编程开发能力。 4. 对新技术敏感,有一定独立分析,技术研究能力,具有良好的团队合作精神。 5. 能够深刻理解业务,善于利用技术实现相关业务价值。 6. 具备一定云原生技术经验(kubernetes ,Docker)者优先
-
岗位职责: 1、在数仓负责人带领下,针对BI,算法,数据产品的需求,负责公司多业务数据仓库建设与模型设计,制定和落实数据仓库规范以及数据治理工作; 2、进行ETL设计,数据集市建设,落地及后续的运维; 3、负责各条业务线的数据整合方案设计及日志规范,数据分析指标体系建设及元数据管理; 4、稽查和监控数据质量,数据报表系统及相关数据产品的研发和数据需求的沟通及数据开发项目管理。 岗位要求: 1、掌握数据仓库(DW)商业智能(BI)理论知识,具备2年以上数据仓库建设经验,有数据中台、数据治理呼吁等相关经验优先; 2、精通SQL,熟悉mapreduce原理,有hive调优经验,具备一定的python和java开发能力,有Hadoop, Spark, Flink等大数据开发相关经验优先 3、具有高度的责任感,思路清晰,有良好的沟通能力; 4、本科以上学历,计算机、信息管理等相关专业
-
职位职责: 1. 负责抖音直播业务的离线与实时数据仓库的构建; 2. 负责数据模型的设计,ETL实施,ETL性能优化,ETL数据监控以及相关技术问题的解决; 3. 负责指标体系建设与维护; 4. 深入业务,理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作; 5. 参与大数据应用规划,为数据产品、挖掘团队提供应用指导; 6. 参与数据治理工作,提升数据易用性及数据质量。 职位要求: 1. 熟悉数据仓库实施方法论、深入了解数据仓库体系,并支撑过实际业务场景; 2. 熟练使用Hadoop及Hive,熟悉SQL、Java、Python等编程语言; 3. 善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力。
-
岗位职责: 1、支撑用户数据分析、用户画像、推荐系统等系统的研发、参与到数据产品的决策; 2、负责大数据系统整体架构的持续优化和改进; 3、指导初级工程师,与业务方沟通,跨团队合作。 岗位要求: 1、计算机相关专业,有扎实的数据结构和算法基础; 2、熟练掌握Python/Go/Java中的一种或多种; 3、熟悉Kafka, Hadoop, SparkSQL,熟悉Clickhouse优先 4、了解业务方常用数据库PostgreSQL、MongoDB 4、了解数据分析和数理统计的常用方法 4、良好的团队沟通协作能力,自我驱动,有较强的问题解决能力。 ---我们为你提供--- 1.无上限年终奖+带薪年假+定期体检; 2.舒适电竞椅办公+周末双休拒绝996,身体才是革命的本钱; 3.周三尖叫之夜,大家一起开黑、桌游、switch.. 4.办理工作居住证; 5.零食下午茶、无限量饮料必不可少; 6.小黑屋电竞馆尽享员工优惠,同事也是最强队友..
-
岗位描述: 1、负责公司大数据平台的整体架构的规划,以及相关的设计、实现、优化与演进,为公司业务发展提供支持 2、负责公司大数据平台的选型、平台建设和运行维护 3、参与各类大数据组件如Clickhouse/Kafka/HBase管理平台的建设、以及工具的二次开发 3、负责Hadoop生态大数据组件的维护,包括但不限于HDFS、Hive、Yarn、Kafka、Flink、HBase等 5、负责大数据集群的性能分析和优化调整,提高大数据集权的处理能力 6、结合公司各业务场景,持续分析并改进数据服务的需求和质量 7、负责大数据组件的各类文档的整理和操作规范制定 任职资格: 1、***本科及以上学历,具备1年以上java、数据、数据仓库或ETL开发设计工作经验 2、熟练掌握 Java, Python, Scala等**开发语言 3、熟悉大数据组件的高可用架构、性能监控指标,有一定的集群优化经验 4、熟悉大数据的技术生态环境,掌握Hadoop,Hive,Kafka、Redis、Flink等大数据技术栈 5、熟练掌握至少一种主流的关系型数据库,如MySQL、Oracle或是Postgresql,具有一定的SQL优化经验 6、数联掌握 Java, Python, Scala等**开发语言 7、熟悉Unix及Linux操作系统,以及shell脚本编程 8、工作积极主动, 思路清晰,具有扎实的独立分析问题、沟通协调能力和团队合作精神; 具有高度的责任感和耐心细致的工作态度,积极向上,乐观进取
-
【岗位职责】 1、负责公司大数据产品的测试工作,把好质量关 2、负责根据需求利用xmind等工具进行测试方案的指定,编写测试用例 3、熟悉使用各类测试工具高效执行测试用例,并提交测试报告 4、善于发现并定位问题、协助研发人员解决问题,能从测试角度提供优化建议 【岗位要求】 1、计算机相关专业毕业,本科及以上学历,2年以上大数据测试经验 2、熟悉阿里云平台,至少一种分布式计算/存储系统的基本操作和原理 3、熟练使用常见的数据库,较强的sql基础 4、熟练使用excel进行数据分类汇总 5、有大数据产品测试经验;有基于大数据平台的数据仓库产品测试经验更加 6、有解决问题、钻研新技术的兴趣和能力,善于交流和表达,有良好的团队合作意识、抗压能力,能接受临时突发性的工作安排
-
职位描述 1. 负责大数据平台的运维,包括部署、管理、优化等,保障平台稳定运行; 2. 负责大数据集群的架构升级、容量规划、资源管理、成本优化、业务管控; 3. 理解大数据平台架构和业务流程,发现并解决系统问题或瓶颈; 4. 开发自动化运维、监控报警、故障处理脚本和工具,优化整个运维的流程; 岗位要求: 1. 本科及以上学历,5年以上规模集群管理和运维经验; 2. 熟悉Linux操作系统,熟悉TCP/IP基本原理,有系统调优经验; 3. 掌握Shell、Python等至少一门常见脚本语言; 4. 熟悉常用的监控工具,熟悉自动化运维工具(如Saltstack/Ansible/Puppet等),有二次开发能力者优先; 5. 熟悉hadoop/hbase/elasticseach等大数据组件的架构及基本原理; 6. 对运维体系有一定认识,善于思考总结,做事积极主动,责任心强、细心谨慎,能独立解决问题。
-
职位职责: 1、负责字节跳动大数据产品相关的数据迁移、监控、备份、性能优化及故障处理等工作; 2、负责制定并不断完善大数据产品的运维规范、故障应急流程和售后服务规范; 3、参与建设开发大数据产品的运维管控平台,提高运维自动化率、数据决策效率。 职位要求: 1、计算机相关专业本科以上学历,2年以上系统运维或研发经验; 2、精通linux文件系统、内核、linux性能调优、TCP/IP、HTTP等协议,有良好的网络、数据存储、计算机体系结构方面的知识,对常见的系统隐患、系统故障有系统性总结和实际处理经验; 3、有两年以上HDFS/Yarn/Flink/Spark/Presto运维管理经验; 4、基于大数据产品的使用场景,深入优化提供最佳服务治理实践,包含不局限于关键链路性能瓶颈分析、业务问题定位排障、推进系统高可用架构改造升级等; 5、有较好的沟通技巧和很强的责任心,具备优秀的推动力,做事追求**。在提供改进和落地的同时,提供可量化的手段和指标; 6、计算机基础知识扎实, 熟悉Python/Java/GO中至少一种开发语言。
-
大数据开发工程师,西安 岗位职责: 1.负责Hadoop管理平台/数据应用平台/图数据库的开发和维护; 2.负责Hadoop内核问题分析,定位,修改及开源社区的动态跟踪; 任职要求: 1.本科及以上学历,3年及以上工作经验; 2.精通Java/Scala/Python/C/C++/JavaScript/JSP中的一种或多种; 3.有完整的项目开发经验,系统核心模块看护经验者优先; 4.有大数据Hadoop/HBase/Flume/Kafka/Flink/Hive/Spark/ES等开源大数据技术相关经验者优先。
-
大数据开发工程师(浏览器 岗位职责: 1、制定数据仓库设计与开发规范,推动落地; 2、设计并实现链上全域业务(地址信息,defi业务信息,标签)的数据仓库模型; 3、重点建设链上标签体系和特征工程; 4、数据治理相关的规划和建设,提高数仓数据质量; 5、与合作部门共同建设实时数仓和落地应用; 6、日常告警监控运维。 任职要求: 1、大学本科及以上学历,计算机、软件、信息等相关专业; 2、相对丰富的数据开发或数据仓库经验; 3、精通Hive Sql; 4、熟悉数据仓库建模、ETL过程、ETL和BI工具、技术和开发流程,一定的调优经验; 5、熟悉常用的shell命令,掌握java语言,能够开发udf/udtf等简单程序者优先; 6、熟悉阿里云大数据产品MaxCompute、DataWorks、Flink等经验优先; 7、熟悉AWS大数据产品经验优先; 8,了解机器学习(决策树、随机森林、聚类、逻辑回归)者优先
-
大数据测试工程师 (JMP8V)
[深圳·科技园] 07:00发布12k-20k 经验1-3年 / 本科数据服务|咨询,人工智能服务 / 不需要融资 / 500-2000人岗位职责 1、测试公司爬虫等数据的完整性、准确性,并推动数据问题的解决; 2、检验数据有无监控、监控指标是否正常,告警是否能正确触发; 3、配合项目组完成数据质量检验工作。 职位要求 1、本科及以上学历,计算机或数学相关专业,半年以上大数据行业相关工作经验; 2、精通 SQL 语句; 3、熟悉数据获取及处理流程、常用工具; 4、了解大数据相关数据库,比如 Hadoop / Impala / Hive / HBase 等,至少熟悉一种常见数据库如 MYSQL、SqlServer ; 5、掌握编程基础,能使用 Python 操作数据者优; 6、有较强的数据敏感度和逻辑思维能力,认真、细心、严谨,有责任感; 7、理解能力强,能快速理解项目规范和业务逻辑 -
岗位职责: 1、本科及以上学历,计算机、数理统计、金融工程相关专业。 2、3年及以上软件开发工作经验,1 年及以上大数据系统开发、设计经验,熟练掌握java、c/c++等程序开发技能;具备金融行业业务分析、模型设计、数据挖掘、金融统计等相关工作经验的优先。 3、熟悉SAS、R、Python等主流挖掘分析工具;掌握机器学习基本理论以及多种机器学习算法,具备模型调优能力。 4、具备良好的团队合作能力、沟通能力和综合分析能力,学习能力强,承压能力强,工作责任心强。有创新思维,对数据技术和业务发展有高度敏感性。 任职要求: 1、负责大数据相关系统平台的设计、开发及快速迭代; 2、负责平台数据模型、指标、生命周期的设计和管理; 3、基于对商业银行业务模式的深入理解,发掘数据价值; 4、承担所负责系统生产问题定位和问题处置。 5、负责上级领导安排的其他工作
-
岗位职责: 1、Hadoop大数据平台架构及组件的优化; 2、数据分析平台的开发和优化; 3、数据展示系统的开发和优化; 4、大数据集群的监控、管理、性能优化; 5、数据计算性能瓶颈的定位及优化。 这样的你是我们的理想型: 1、国家**本科及以上学历; 2、熟练使用C/C++/Java; 3、熟练掌握计算机数据结构和算法; 4、熟悉Hadoop架构,有大数据、分布式存储及计算等相关经验者优先。
-
岗位职责 : • 负责流批一体数仓规划、建设与维护以及OLAP建设 • 基于公司海量数据进行实时/离线等数据开发工作,包括但不限于数据清洗、数据治理、业务画像数据开发 • 保证大规模的离线、实时任务的正常平稳运行和相关优化工作 • 负责相关线上ETL任务的线上问题定位排查 • 负责基于Flink的相关Connector/LookUp组件优化和二次开发,以及Flink SQL 算子性能定制开发等 职位描述: • 熟悉主流开源大数据工具的使用和调优,包括但不限于Hadoop、ClickHouse、Kafka、HBase、Redis等 • 熟悉数据建模和数据报表的设计工作,能较好的归纳业务逻辑,设计出合理的数据和计算逻辑 • 有大数据处理分析经验,熟悉Flink/Spark/Hadoop等大数据处理引擎的原理和使用,有相关调优经验更优 • 有java开发相关经验,熟悉shell/scala/python/go等不少于2种语言的使用,掌握JVM、并发编程、网络编程等技术,熟悉JVM相关性能问题调优。