-
岗位职责: 1. 负责分布式大数据平台架构建设、数据建模和数据应用后端开发; 2. 负责大数据相关组件OLAP引擎、实时计算,文件存储等相关研究和开发; 3. 负责大数据系统及组件的性能、效率、稳定性分析与优化。 岗位要求: 1. 熟悉Hadoop/Kafka/Presto/Kudu等大数据技术和组件,有3年以上大数据组件的使用和二次开发经验; 2. 具备扎实的计算机基础,熟悉分布式系统开发,熟悉云原生技术; 3. 精通Java开发语言,具有良好的编程开发能力; 4. 对新技术敏感,有一定独立分析,技术研究能力,具有良好的团队合作精神; 5. 能够深刻理解业务,善于利用技术实现相关业务价值; 6. 具备一定云原生技术经验(kubernetes ,Docker)者优先。
-
大数据开发工程师(浏览器 岗位职责: 1、制定数据仓库设计与开发规范,推动落地; 2、设计并实现链上全域业务(地址信息,defi业务信息,标签)的数据仓库模型; 3、重点建设链上标签体系和特征工程; 4、数据治理相关的规划和建设,提高数仓数据质量; 5、与合作部门共同建设实时数仓和落地应用; 6、日常告警监控运维。 任职要求: 1、大学本科及以上学历,计算机、软件、信息等相关专业; 2、相对丰富的数据开发或数据仓库经验; 3、精通Hive Sql; 4、熟悉数据仓库建模、ETL过程、ETL和BI工具、技术和开发流程,一定的调优经验; 5、熟悉常用的shell命令,掌握java语言,能够开发udf/udtf等简单程序者优先; 6、熟悉阿里云大数据产品MaxCompute、DataWorks、Flink等经验优先; 7、熟悉AWS大数据产品经验优先; 8,了解机器学习(决策树、随机森林、聚类、逻辑回归)者优先
-
职责描述: 1. 负责分布式大数据平台架构建设、数据建模和数据应用后端开发。 2. 负责大数据相关组件OLAP引擎、实时计算,文件存储等相关研究和开发。 3. 负责大数据系统及组件的性能、效率、稳定性分析与优化。 任职要求: 1. 熟悉Hadoop/Kafka/Presto/Kudu等大数据技术和组件,有5-7年大数据组件的使用和二次开发经验。 2. 具备扎实的计算机基础,熟悉分布式系统开发,熟悉云原生技术。 3. 精通Java开发语言,具有良好的编程开发能力。 4. 对新技术敏感,有一定独立分析,技术研究能力,具有良好的团队合作精神。 5. 能够深刻理解业务,善于利用技术实现相关业务价值。 6. 具备一定云原生技术经验(kubernetes ,Docker)者优先
-
岗位职责: 1、在数仓负责人带领下,针对BI,算法,数据产品的需求,负责公司多业务数据仓库建设与模型设计,制定和落实数据仓库规范以及数据治理工作; 2、进行ETL设计,数据集市建设,落地及后续的运维; 3、负责各条业务线的数据整合方案设计及日志规范,数据分析指标体系建设及元数据管理; 4、稽查和监控数据质量,数据报表系统及相关数据产品的研发和数据需求的沟通及数据开发项目管理。 岗位要求: 1、掌握数据仓库(DW)商业智能(BI)理论知识,具备2年以上数据仓库建设经验,有数据中台、数据治理呼吁等相关经验优先; 2、精通SQL,熟悉mapreduce原理,有hive调优经验,具备一定的python和java开发能力,有Hadoop, Spark, Flink等大数据开发相关经验优先 3、具有高度的责任感,思路清晰,有良好的沟通能力; 4、本科以上学历,计算机、信息管理等相关专业
-
1.7年以上经验,有金融领域知识图谱平台项目经验 2.熟练Java 3.熟练Hadoop、hive、spa 4.**本科(学信网可查) PS:必须得有知识图谱经验,后端和大数据都会, 人物画像主要还是高级Java+大数据会用就行,不需要精通+图谱项目经验(图数据库使用经验)+7年以上经验
-
岗位职责: 1.负责公司大数据基础架构规划、运维保障、性能监控等,为海量数据和业务系统提供可靠的基础设施 2.参与大数据生态相关技术的调研落地和二次开发,和业务方一起解决存储、计算、性能等问题 3.关注开源技术发展趋势,为快速发展的业务提供最佳解决方案 职位要求: 1.5年以上大数据相关研发和运、维经验 2.熟悉java/scala,熟悉至少一门脚本语言(shell、python等)。 3.有hadoop生态相关技术(spark、kylin、impala)源码研究、二次开发经验优先 4.精通hadoop、Hbase、Hive、Kylin、kudu等技术,熟悉flink、或spark streaming等流式框架中的一种或多种; 5.乐于挑战未知,对新技术有强烈热情
-
岗位职责: 1.负责大数据平台集群的运维工作(Hadoop/Hbase/Hive/Flink/Yarn/Spark/Presto/kafka等),确保高可用; 2.负责大数据相关集群的监控/保健/扩容/升级和调优; 3.负责大数据平台相关系统的维护; 4.负责Mysql/oracle数据库的维护; 5.负责应用程序的维护。 任职要求: 1.***学信网本科及以上学历,计算机相关专业,有2年以上的大数据运维经验。 2.熟悉Hadoop/Hbase/Spark/kafka/Presto/Flume等大数据相关组件,并由实际部署维护经验。 3.熟悉Linux操作系统的配置/管理和优化,能够独立排查和解决操作系统层面的问题。 4.熟悉Mysql/oracle/sqlserver等关系性数据库。 5.熟练Shell/Python/Java等编程语言的一种,并有相关开发经验。 6.了解Nginx/Redis/K8s原理,并灵活应用。 7.熟悉网络基本架构和基本的操作。 福利待遇: 五险一金 做五休二 早九晚六(弹性工作时间) 下午茶 带薪年假 年度体检 定期团建 享受临港新片区落户和购房政策 工作地址:上海临港新片区创晶科技中心(介意地址者勿投)
-
岗位职责 负责公司大数据、容器平台业务运维,保障业务稳定; 负责运维团队管理,以及运维体系规划建设,持续提升服务质量、运维效能; 负责跨团队沟通,持续推动系统架构、服务模式的持续演进及迭代; 负责新技术调研及落地,带领团队解决海量业务面临的各种挑战。 岗位要求 本科及以上学历,3年以上团队管理经验; 精通Linux系统,熟悉大规模分布式系统,熟悉主流虚拟化技术与开源组件架构,熟悉业内常用的监控解决方案; 具备运维相关流程、工具、平台建设的能力,具备识别共性/重复性问题并转化为开发需求,实现通用性的运维平台或服务的能力,有DevOps实践经验; 熟悉集群高可用性和容灾方案,有海量系统运维和调优项目经验,有较好的成本优化经验,能出具系统优化的整体解决方案; 具备良好的开发经验,有实际的运维系统、自动化系统的建设经验; 有技术热情,关注运维技术发展方向,并具备良好的沟通以及协同能力。
-
职位职责: 1、负责字节跳动电商相关业务数据仓库的开发与优化; 2、基于Hive/Flink等平台建设数据仓库,实时数仓建设; 3、负责数据模型的设计,etl实施,etl性能优化以及相关技术问题的解决; 4、负责面向业务的olap,报表,数据提取工具等开发工作。 职位要求: 1、熟悉大数据相关技术:Kafka/Flink/Hadoop/Druid/HBase/Hive 等; 2、熟练使用 Java、Go、Python语言中的一种或者多种; 3、具备数据库系统理论知识,掌握主流数据库管理和应用,精通SQL; 4、了解统计以及数据挖掘、机器学习、人工智能技术,会使用关联分析、分类预测、聚类分析等常用分析方法; 5、有高性能分布式平台开发经验,有电商行业经验优先。
-
岗位职责: 1.负责汽车安全业务大数据产品研发,实现分布式数据采集和大数据分析计算; 2.配合数据产品经理完成数据应用开发需求,为安全运营决策优化提供数据支撑。 岗位要求: 1.本科及以上学历,信息安全/计算机/通信或网络等相关专业,3年以上工作经验; 2.熟悉信息安全技术/网络管理和汽车相关知识优先; 3.熟悉国内外网络安全相关的标准法规,对汽车相关的安全标准、隐私合规要求有一定了解; 4.熟悉常见的网络安全攻防技术、威胁与风险评估技术,对车辆相关的网络安全技术有了解更佳,如:加密与PKI技术、APP安全、车内网络安全、汽车硬件安全等; 5.具有汽车网络安全测试经验者优先; 6.具有汽车TBOX/网关/BMS/OTA升级测试经验者优先。
-
岗位职责: 1.开展大数据、机器学习相关应用的研究和设计; 2.负责或参与省、市相关科技项目课题工作,并撰写部分或阶段性的研究成果报告; 3.完成单位安排的其他工作; 任职要求: 1. 具有计算机、数学相关专业博士毕业; 2. 熟悉和掌握机器学习等基础理论和专业技术知识,能独立开展研究工作; 3. 善于沟通,具有缜密的逻辑思维能力和较强的问题分析能力; 4. 有良好的沟通能力和团队协作精神。
-
岗位职责 1、负责项目的数据平台的主题模型设计,根据业务本质,构建清晰的数据分层体系架构; 2、负责数据平台的指标计算框架的建设,按照业务指标的定义,实现一套灵活、通用的指标计算、分发和展示解决方案: 3、负责各类离线和实时数据的抽取、转换和加载等数据开发工作: 4、负责数据服务核心应用的开发,包括数据分发、查询、展示接口和界面等: 5、建设数据开发的标准和规范,降低数据的获取、加工、使用门槛。 任职要求 1、大专及以上学历,计算机、软件相关专业2年以上大数据研发从业经验,并有带领团队能力者: 2、使用过大数据基础平台建设中的至少4种及其以上技术(如Hadoop、Hive、HBase Spark、Storm、Kafka、Kylin、ES等): 3、熟悉数据仓库模型设计与ETL(kettle等)开发,对复杂业务逻辑的数据处理有一定经验: 4、熟悉Linux常用操作、Shell脚本: 5、了解JavaEE相关技术,对基于springcloud相关的微服务开发框架及技术有实际的实践项目: 6、具有良好的沟通能力、学习能力、团队合作精神 工作积极主动、有责任心,严谨的编码风格。
-
【岗位职责】 1. 负责大数据系统整体架构设计 2. 负责海量数据和大规模业务系统设计,并实现合理的在线&离线架构 3. 参与核心编码 【岗位要求】 1. 数据挖掘、计算机科学相关专业***本科及以上学历; 2. 有较强的大数据处理架构、计算理论、编程模型等领域知识,对大数据领域的技术研究有浓厚兴趣; 3. 掌握分布式系统原理,对存储、计算、消息队列、集群管理中的一项或多项有深入的理解和认识; 4. 乐于挑战没有明显答案的问题,能快速理解业务场景,从具体问题中抽象出通用的解决方案; 5. 对Elastic Search/MySQL/HDFS/Hive/Redis/HBase//Kafka/Flink/Spark等其中几项有相关经验者优先; 6. 有较强的独立科研能力,良好的团队合作意识,较强的沟通能力,以及敬业和钻研精神。
-
岗位职责: 1、负责数据安全平台产品开发及其相关实时/离线数仓体系建设; 2、负责数安平台产品开发与系统设计工作,包括需求分析、设计编码、测试运维、文档撰写、技术支持等; 3、负责攻克平台技术难题、对突发问题及时响应并解决。 任职要求: 1、精通Java语言,有强悍的ownership及trouble-shooting能力,对netty,juc,jvm,io模型等有较深理解; 2、乐于挑战没有明显答案的问题,对新技术有强烈的学习热情,有PB级别数据处理经验加分; 3、有low latency(包括spark-streaming、flink、kafka等)实时流处理经验,有实时数仓开发经验者优先; 4、精通Linux文件系统、内核、Linux性能调优、TCP/IP、DNS、HTTP等协议,有良好的网络方面的知识储备; 5、精通starrocks、es相关技术,具有丰富的开发、性能优化实战经验; 6、熟悉Spring、SpringBoot、SpringCloud、mybatis等开源框架,热爱开源技术; 7、精通Pg、Mysql等关系型数据库的使用,熟练掌握SQL语句,熟悉数据库设计与性能调优; 8、有python开发经验者优先考虑;大数据开发经验者优先考虑; 9、熟悉k8s、微服务概念者优先考虑;参与过网络安全项目者优先考虑。
-
岗位职责: 1、利用大数据相关技术,根据业务需求,对海量数据进行处理、分析、统计等; 2、数据组件性能调优运维及问题解决。 任职要求: 1、计算机及相关专业毕业,三年以上相关工作经验; 2、熟悉Java语言,精通SQL,熟悉至少一种主流数据库MySQL等; 3、熟悉Linux系统及常用命令,熟悉Shell脚本编程; 4、熟悉大数据生态圈,不限于HDFS、Hive、Hbase、Redis等组件,有Spark相关经验更优; 5、具有良好的沟通能力,工作态度积极主动,有良好的团队合作意识。