-
职责描述: 1. 负责分布式大数据平台架构建设、数据建模和数据应用后端开发。 2. 负责大数据相关组件OLAP引擎、实时计算,文件存储等相关研究和开发。 3. 负责大数据系统及组件的性能、效率、稳定性分析与优化。 任职要求: 1. 熟悉Hadoop/Kafka/Presto/Kudu等大数据技术和组件,有5-7年大数据组件的使用和二次开发经验。 2. 具备扎实的计算机基础,熟悉分布式系统开发,熟悉云原生技术。 3. 精通Java开发语言,具有良好的编程开发能力。 4. 对新技术敏感,有一定独立分析,技术研究能力,具有良好的团队合作精神。 5. 能够深刻理解业务,善于利用技术实现相关业务价值。 6. 具备一定云原生技术经验(kubernetes ,Docker)者优先
-
岗位职责: 1、在数仓负责人带领下,针对BI,算法,数据产品的需求,负责公司多业务数据仓库建设与模型设计,制定和落实数据仓库规范以及数据治理工作; 2、进行ETL设计,数据集市建设,落地及后续的运维; 3、负责各条业务线的数据整合方案设计及日志规范,数据分析指标体系建设及元数据管理; 4、稽查和监控数据质量,数据报表系统及相关数据产品的研发和数据需求的沟通及数据开发项目管理。 岗位要求: 1、掌握数据仓库(DW)商业智能(BI)理论知识,具备2年以上数据仓库建设经验,有数据中台、数据治理呼吁等相关经验优先; 2、精通SQL,熟悉mapreduce原理,有hive调优经验,具备一定的python和java开发能力,有Hadoop, Spark, Flink等大数据开发相关经验优先 3、具有高度的责任感,思路清晰,有良好的沟通能力; 4、本科以上学历,计算机、信息管理等相关专业
-
岗位职责: 1、基于业界常用的大数据开源组件,设计和构建云原生的大数据处理平台。 2、 提供统一的异构数据源接入集成,数据离线、实时计算,元数据管理和数据服务等全链路智能数据构建与管理的大数据能力,为公司现有和未来业务赋能。 3、基于大数据技术,配合产品经理优化现有业务中对数据处理、存储和查询等需求的流程及性能优化。 4、 持续对大数据系统技术架构进行优化,降低成本,提升系统的性能和用户体验,打造面向未来的批流一体的计算和存储。 岗位要求: 1、计算机、通信、数学等相关专业,具备良好的计算机技术基础。 2、熟悉java/c++/python/go等至少一种编程语言,具备扎实的数据结构和算法基础。 3、熟悉主流数据库,熟练运用SQL,并熟练运用Python进行ETL开发; 4、了解数据仓库OLAP,熟悉多维分析优先,及了解数据分析、数据挖掘常用算法; 5、熟悉多个大数据领域内的开源框架,如Flink/Spark/HDFS/Hive/Kafka/ElasticSearch/ClickHouse/RocksDB等; 6、具备良好的沟通表达和自我学习能力,崇尚数据说话; 7、有PB级数据处理经验加分。
-
岗位职责: 1、参与大数据项目的需求分析、系统架构设计、并完成需求设计相应文档的编写; 2、深入理解数据业务,负责业务模型抽象、数据模型的设计开发,特征提取、分析和挖掘工作; 3、参与数据仓库建设,负责数据仓库模型设计,开发高质量可扩展的底层数据仓库体系; 4、负责运营商、金融、交通、智慧公园等大数据中台数仓项目和数据治理类项目建设。 任职要求: 1、本科及以上学历,计算机或者数学等相关专业,具备5年以上大数据和数据仓库相关工作经验。 2、熟练掌握大数据开发工具的使用(hdfs、hive、hbase、spark、flink、kafka等) 3、熟悉SQL开发,复杂SQL优化,熟练使用mysql、oracle、hive等。 4、熟悉java/scala、python开发语言。 5、具有良好的沟通、理解及表达能力,具有良好的抗压能力,可接受出差。 6、具有大数据系统架构能力、及有团队管理经验的优先考虑。
-
职位职责: 1、负责字节跳动电商相关业务数据仓库的开发与优化; 2、基于Hive/Flink等平台建设数据仓库,实时数仓建设; 3、负责数据模型的设计,etl实施,etl性能优化以及相关技术问题的解决; 4、负责面向业务的olap,报表,数据提取工具等开发工作。 职位要求: 1、熟悉大数据相关技术:Kafka/Flink/Hadoop/Druid/HBase/Hive 等; 2、熟练使用 Java、Go、Python语言中的一种或者多种; 3、具备数据库系统理论知识,掌握主流数据库管理和应用,精通SQL; 4、了解统计以及数据挖掘、机器学习、人工智能技术,会使用关联分析、分类预测、聚类分析等常用分析方法; 5、有高性能分布式平台开发经验,有电商行业经验优先。
-
职位职责: 1、负责字节跳动电商相关业务数据仓库的开发与优化; 2、基于Hive/Flink等平台建设数据仓库,实时数仓建设; 3、负责数据模型的设计,etl实施,etl性能优化以及相关技术问题的解决; 4、负责面向业务的olap,报表,数据提取工具等开发工作。 职位要求: 1、熟悉大数据相关技术:Kafka/Flink/Hadoop/Druid/HBase/Hive 等; 2、熟练使用 Java、Go、Python语言中的一种或者多种; 3、具备数据库系统理论知识,掌握主流数据库管理和应用,精通SQL; 4、了解统计以及数据挖掘、机器学习、人工智能技术,会使用关联分析、分类预测、聚类分析等常用分析方法; 5、有高性能分布式平台开发经验,有电商行业经验优先。
-
1、负责公司大数据平台总体架构顶层设计;2、负责数据治理体系的规划和建设,提升数据质量,加速分析效率,建立数据信心;3、负责业务分析和数据应用体系的规划和建设,驱动业务的增长;4、负责数据开发、分析、挖掘人才梯队的建设;5、结合业界大数据最佳实践持续优化大数据架构。岗位要求;1、计算机、数学、统计相关专业***本科及以上学历,5年以上大数据工作经验,3年以上大数据架构经验;2、对高可用的分布式架构运行机制有深入了解,有丰富的离线及实时架构搭建经验;3、熟练掌握编程语言Scala、Java,熟练掌握至少一种脚本语言python、shell;4、精通大数据生态系统Spark、Flink、Hadoop、hive、Kafka、Yarn等的架构、底层原理和技术细节,并有丰富开发、调优、维护经验;5、了解ElasticSearch、Spark、Kafka等技术工作原理,熟悉Storm、Spark、Impala等分布式计算平台的应用;6、熟练使用ETL工具进行数据抽取,清洗,转换,关联等操作;7、对数据敏感,能从数据中发现问题、解决问题;具备敏锐的洞察力,清晰缜密的结构化思维,以及独立分析的能力;8、较强的人际关系能力、有团队精神,较强的执行与推动能力,有一定抗压力。
-
岗位职责: 1. 负责分布式大数据平台架构建设、数据建模和数据应用后端开发; 2. 负责大数据相关组件OLAP引擎、实时计算,文件存储等相关研究和开发; 3. 负责大数据系统及组件的性能、效率、稳定性分析与优化。 岗位要求: 1. 熟悉Hadoop/Kafka/Presto/Kudu等大数据技术和组件,有3年以上大数据组件的使用和二次开发经验; 2. 具备扎实的计算机基础,熟悉分布式系统开发,熟悉云原生技术; 3. 精通Java开发语言,具有良好的编程开发能力; 4. 对新技术敏感,有一定独立分析,技术研究能力,具有良好的团队合作精神; 5. 能够深刻理解业务,善于利用技术实现相关业务价值; 6. 具备一定云原生技术经验(kubernetes ,Docker)者优先。
-
大数据开发工程师(浏览器 岗位职责: 1、制定数据仓库设计与开发规范,推动落地; 2、设计并实现链上全域业务(地址信息,defi业务信息,标签)的数据仓库模型; 3、重点建设链上标签体系和特征工程; 4、数据治理相关的规划和建设,提高数仓数据质量; 5、与合作部门共同建设实时数仓和落地应用; 6、日常告警监控运维。 任职要求: 1、大学本科及以上学历,计算机、软件、信息等相关专业; 2、相对丰富的数据开发或数据仓库经验; 3、精通Hive Sql; 4、熟悉数据仓库建模、ETL过程、ETL和BI工具、技术和开发流程,一定的调优经验; 5、熟悉常用的shell命令,掌握java语言,能够开发udf/udtf等简单程序者优先; 6、熟悉阿里云大数据产品MaxCompute、DataWorks、Flink等经验优先; 7、熟悉AWS大数据产品经验优先; 8,了解机器学习(决策树、随机森林、聚类、逻辑回归)者优先
-
岗位职责: 负责大数据开发。 任职资格: 1、熟悉Python或Java,熟悉Hive,shell脚本; 2、熟悉ES(Elasticsearch )、Hbase等nosql数据库应用,掌握hadoop及Spark数据加工及处理机制; 3、熟悉关系数据库标准SQL及存储过程基本理论知识,掌握mysql数据库管理及应用; 4、参与数据治理工作,能够按源数据管理、元数据管理及数据质量管控等要求完成数据整合及加工工作; 5、具有数据仓库工作经验优先。 地点:深圳福田区华强地铁口/深圳南山区深大地铁口
-
说明:公司的数据量PB级别,非常有挑战,机遇难得。 岗位职责: 1.负责大数据主流技术组件的基准测试以及与业务结合的性能测试。 2.负责主流实时、离线大数据架构体系研究及分享。 3.负责或参与大数据项目底层业务需求的分析、沟通、确认及实现。 4.负责或参与大数据项目底层的架构设计、设计评审、代码实现和评审。 5.参与项目上线后的性能监控、分析、调优等工作,保障系统的正常运行。 岗位要求: 1、计算机或相关专业,本科以上学历,1年或1年以上java开发经验。 2、熟悉JAVA编程,熟悉多线程开发、分布式开发,具备较扎实的编程基础和良好编程习惯。 3、熟悉Linux,熟悉Shell命令操作,执行安装部署程序及简单运维。 4、熟悉HaDoop生态,能熟练使用JAVA进行MapReduce、Spark等技术开发,熟悉分布式性能调优者优先考虑。 5、具备主人翁精神和团队精神,沟通协调表达较好,有上进心,能承受一定压力。 6、优秀java开发经验者或优秀的毕业生可考虑培养。
-
Essential: Strong data science/engineering interest and background Strong development experience in Scala, Hadoop, Spark, Java, Python Strong experience and understanding in big data processing systems or functional programming paradigm Has good development habits such as writing quality Technical Design documents, High level Conceptual Data Process designs for review by data analysts. Overall good general technical knowledge in Java or Hadoop platforms. Useful: Experience in JVM, data structure & algorithms Experience in graph computing or social network analysis Experience on Google Cloud Platform Essential Technical Skills: Scala, Spark/Java Development with Hadoop platform Essential Interpersonal Skills: Excellent communication skills English and Chinese, verbal and written Ability to navigate a complex organisation. Ability to be self-directed/motivated. Keen to learn new skills and approaches. Inquisitive nature. Excellent organisation skills and capability to manage multiple parallel activities. Strong problem solving and analytical skills Useful Skills/Knowledge: Elastic Search Hive/SparkSQL Ansible/Jenkins Shell Script/Python Google Cloud Platform
-
岗位职责: 1、Hadoop大数据平台架构及组件的优化; 2、数据分析平台的开发和优化; 3、数据展示系统的开发和优化; 4、大数据集群的监控、管理、性能优化; 5、数据计算性能瓶颈的定位及优化。 这样的你是我们的理想型: 1、国家**本科及以上学历; 2、熟练使用C/C++/Java; 3、熟练掌握计算机数据结构和算法; 4、熟悉Hadoop架构,有大数据、分布式存储及计算等相关经验者优先。
-
岗位职责: 1. 大数据组件开发。 2. 基于Python 体系下的数据质量引擎开发; 3. 基于Java及Linkis开源框架的质量引擎开发; 4. 大数据资产应用的开发、部署、调优; 5. 数据稽核引擎开发,数据共享交换能力对接。 任职要求: 1. 本科及以上学历,计算机相关专业; 2. 3年以上互联网或软件行业工作经验,熟悉Linux环境;熟悉Linux和Python开发; 3. 熟悉Spring,Spring boot,Spring Cloud等框架、熟悉Eclipse或IntelliJ IDEA开发工具等使用 以下满足其一即可: 4. 熟悉Hadoop,MapReduce,Hbase,Flink等大数据部署、运维、开发; 5. 熟悉数据治理理论概念、架构,有元数据、数据质量、数据标准、主数据等相关数据治理经验; 6. 有分布式相关项目(分布式存储/分布式计算/高性能并行计算/分布式cache)经验; 7. 对数据库的架构、扩展特点非常熟悉,能熟练进行SQL优化、集群部署、数据同步等。
-
岗位职责 : • 负责流批一体数仓规划、建设与维护以及OLAP建设 • 基于公司海量数据进行实时/离线等数据开发工作,包括但不限于数据清洗、数据治理、业务画像数据开发 • 保证大规模的离线、实时任务的正常平稳运行和相关优化工作 • 负责相关线上ETL任务的线上问题定位排查 • 负责基于Flink的相关Connector/LookUp组件优化和二次开发,以及Flink SQL 算子性能定制开发等 职位描述: • 熟悉主流开源大数据工具的使用和调优,包括但不限于Hadoop、ClickHouse、Kafka、HBase、Redis等 • 熟悉数据建模和数据报表的设计工作,能较好的归纳业务逻辑,设计出合理的数据和计算逻辑 • 有大数据处理分析经验,熟悉Flink/Spark/Hadoop等大数据处理引擎的原理和使用,有相关调优经验更优 • 有java开发相关经验,熟悉shell/scala/python/go等不少于2种语言的使用,掌握JVM、并发编程、网络编程等技术,熟悉JVM相关性能问题调优。