-
职位描述: 1、基础组件、基础设施的二次开发、L2支撑、交付; 2、围绕大数据组件服务平台开发,围绕组件进行串联部署、功能组合/抽象,给上层数据开发人员提供组件级平台服务 3、对Hadoop、Hbase、Hive、Flink等组件/系统进行持续研究、开发和交付,满足部署、集成、扩展、监控、高可用等生产需求; 4、根据理论与技术研究、产品对标和相关需求,持续产品规划与迭代; 5、根据现场信息搜集,分析、定位和解决现场问题,承担L3支撑 职位要求: 1、计算机相关专业,本科及以上学历; 2、3年及以上hadoop生态的基础设施开发经验,熟悉国内主流大数据平台; 3、熟练掌握Java,熟悉Linux开发环境及常用工具; 4、以下优先: (1)985/211(必备条件,不符合请勿投递,谢谢) (2)深入阅读过相关组件内核源代码 (3)深入理解分布式资源调度系统技术及原理 (4)深入理解linux系统能够独立排查及解决操作系统层问题 (5)有数据仓库经验者 (6)有运维经历者 (7)有C/C++开发经验 (8)有论文阅读、理论研究爱好与能力
-
1.熟悉Hadoop,有过大数据开发经验 2.熟悉大数据开源技术,对Spark,flink,Hive, Hdfs等分布式计算存储引擎有实战经验 3.**本科,双证齐全
-
岗位职责: 1.负责反欺诈系统大数据相关架构的搭建 2.参与集群的部署及搭建,监控与优化 3.参与新技术的调研及预研工作 4.参与当前大数据架构的业务功能开发及优化 技能要求: 1.精通hadoop部署框架及原理,并有落地的部署场景经验 2.熟练掌握flink或者spark之一的应用,并有落地的部署及开发场景经验 3.熟练掌握java开发语言,python脚本或者shell脚本 4.熟练掌握linux的基本知识 5.掌握elasticsearch以及实时数据湖技术的优先
-
岗位职责: 1、负责公司各产品线服务可靠、稳定、高效运行,提供K8S,Hadoop技术支持。 2、负责运维平台建设 通过技术手段提升工作效率; 3、负责公司各类基础设施监控、自动化、监控体系的持续建设与完善; 4、参与公司各类产品自动化实现,满足严格的质量与效率要求; 岗位要求: 1、***大学本科(计算机专业,获得***书、***书) 2、能熟练编写 Shell或Python脚本,有go/python/shell编程能力者优先 熟悉devops理念 3、熟悉自动化运维工具(saltstack/ansible/Jenkins)的原理及使用,有二次开发经验优先 4、具备kubernetes、docker、HDFS、spark、Hive运维经验者优先。 5、具备一定JAVA/GO开发经验优先。 6、具备良好的学习能力,能够快速掌握一门新的技术。
-
工作内容: 1.负责hadoop基础技术规划,编制相关规范文档; 2.负责Hadoop数据应用相关的数据存储、查询、计算、元数据管理的架构设计与实现; 3.负责hadoop的实际规划建设,包括环境与框架的规划搭建及部分核心编码工作; 4.负责hadoop相关技术发展方向的预研; 5.独立负责具体功能开发与实现、性能优化,保证系统健壮稳定及临时性数据处理工作的支持; 6.负责数据应用相关的数据存储、查询、计算、元数据管理等方面的架构设计。 岗位要求: 1.1年以上大数据开发经验,熟悉分布式的设计与应用。 2.熟悉hadoop大数据平台框架,包括不限于hadoop、hive、hbase等大数据生态平台组件的部署升级与调优。 3.熟悉hadoop、spark、flink、hbease、es等相关计算机存储框架的底层理论,并能应用至实际开发当中。 4.熟悉至少一款ETL工具,例如kettle、logstash等。 5.熟悉关系型及非关系型数据库的使用及优化,包括但不限于Oracle、PG、hive、clickhouse等。 6.熟悉各类大数据处理组件,sqoop、flume、kafka、azkaban等。 7.根据计划完成模块的编码开发工作,保证开发质量。 8.有良好的沟通能力,积极为项目建设提供建设性意见。 9.本科及以上学历,计算机相关专业,有银行工作、财务会计、管理会计业务经验优先。
-
1. 熟悉大数据云平台经验,再加Java开发 Java基础扎实,熟练掌握多线程编程,熟悉JVM,以及常规性能优化。 2. 熟悉spring,springboot,springcloud,nacos,mybatis,mybatis-plus等常⻅开源框架。 3. 熟悉redis,RocketMQ等常见中间件。 4. 熟练使用MySQL数据库,良好的数据库设计,SQL编写,索引性能分析能力。 5. 熟练掌握linux系统的使用。 6. 熟练掌握EKL系统的使用。 7. 有良好的逻辑思维能力,沟通能力,有责任心能独立完成需求。 1、本3专4,计算机/互联网/通信相关专业 2.熟悉java开发常用框架组件,能熟练运用到具体项目中 3.配合项目完成研发计划,有独立完成需求的能力
-
职位职责: 1、负责风控数据链路开发工作,参与业务数据仓库架构设计、建模和ETL开发; 2、参与数据治理工作,提升数据易用性及数据质量,与算法团队紧密合作; 3、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作。 职位要求: 1、3年以上大数据研发经历,计算机相关专业本科及以上学历; 2、丰富的大数据生态系统开发经验,熟悉Spark、Flink、Clickhouse、Hadoop等技术; 3、精通Go/C++/Java/Python等至少一门编程语言,熟练运用各种常用算法和数据结构,有独立实现能力; 4、具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于解决问题和分析问题; 5、具备一定数据分析能力,具有数据仓库落地经验、数据治理经验者优先; 6、熟悉流式计算,有大流量系统开发经验者优先。
-
【岗位职责】 1.协助进行国家重点项目中的ETL、指标计算、数据治理等的研发工作; 2.协助进行数据中台设计和研发,为知识图谱、人物建模、搜索推荐等提供高质量数据,开发灵活可扩展的处理流程以及直观易用的数据界面; 3.协助进行全球多语言技术数据的抓取/补全; 4.协助进行数据正确性/完整性自动化检查; 5.协助进行自动抓取入库流程框架开发; 6.数据统计框架开发; 7.相关数据文档的撰写。 【岗位要求】 1.硕士,计算机/数学相关方向专业,可确保每周3天实习; 2.熟练掌握python编程,了解常用的数据处理库如pandas等; 3.熟悉mysql数据库,能够熟练编写sql语句并优化; 4.有数据清洗、数据处理、数据自动化监测经历者优先; 5.熟悉一种或多种主流开源大数据平台组件者优先,如Flume、Kafka、Hadoop、Hive、Spark、Flink; 6.了解数据分析/挖掘常用方法者优先,如序列分析、关联分析、异常点挖掘、分类、聚类等; 7.有编程竞赛获奖经历者优先,如 ACM、中国大学生程序设计大赛、蓝桥杯、CCF 相关竞赛或 CCF 等级考试相关、PAT 等级考试; 8.良好的团队合作,较强的沟通能力、学习能力,对解决具有挑战性问题充满激情。
-
岗位职责: (1)参与制定兴业银行系统架构整体规划; (2)参与兴业银行系统架构管控,审核系统架构合规性; (3)负责兴业银行系统技术可行性研究、架构设计、整体实施方案设计等工作。 岗位要求: (1)具备应用架构、数据架构、技术架构、安全架构设计能力中的一个或多个; (2)具备宏观架构设计思维,具有主导大型复杂系统架构设计和开发编码经验。了解银行业务概貌,具备银行大型系统开发经验者优先; (3)具备良好的技术前瞻性研究能力,具备优秀的技术方案设计能力和文档能力,能独立完成重要信息系统整体方案的设计; (4)精通Java或C语言,熟悉Hadoop、MySQL、TDSQL、OpenGauss等一种或多种。 工作地点:上海、福州、成都
-
岗位职责: (1)负责兴业银行大数据应用服务的研发工作,进行数据服务方案设计、开发及上线后运营维护; (2)根据应用情况和研究情况进行提炼优化,形成稳定可复用的数据服务产品。 岗位要求: (1)精通Python/Scala/Java等至少一种编程语言,能够针对大数据环境进行高效编程; (2)熟练使用Hadoop生态体系中的核心组件,能够进行集群部署、配置和优化;掌握Mapreduce、Spark批处理框架;掌握Storm/Flink/Spark Streaming等至少一个流处理框架,能够实现实时或准实时数据流处理。 工作地点:上海
-
岗位一: 主要工作数据仓库开发 1. 三年以上数据仓库开发工作经验,***本科及以上学历,计算机、数学相关专业优先。 2. 熟悉数据仓库开发流程,有GAUSS等数据仓库开发经验优先。 3. 熟悉Hadoop等大数据相关技术,熟练的SQL数据处理能力,具备Python/Spark/Flink开发能力者优先。 4. 关注大数据相关新技术、新趋势的信息及应用,有很强的兴趣和深入研究能力。 5. 工作踏实认真、责任心强,具备良好的学习能力,能够承受工作压力。 6. 具备良好团队协作精神及沟通能力。 7. 有银行、互联网金融公司等金融行业大数据开发经验优先。 注:优先尽快到岗,重点考察对技术、业务等方面理解和逻辑思维能力,有监管报送经验优先。 岗位二: 岗位职责: 1、对业务问题进行合理抽象和设计,设计开发高质量的底层数据体系,驱动业务快读健康发展; 2、在数据仓库内 实施收集、清洗和规约等工作; 3、提供面向业务的数据服务,完成数据指标的统计、多维分析和展示; 任职要求: 1、熟悉SQL/HQL/PLSQL之一,有SQL性能调优经验者优先; 2、熟悉Mysql/Oracle等至少一种关系型数据库; 3、熟悉数据仓库,使用过主题建模、维度建模理论者优先; 4、熟悉MapReduce/Hive/Spark/Flink等,熟悉大数据离线和实时处理,熟悉Hadoop生态者优先; 5、2年以上数据开发经验,有互联网、金融行业应用经验者优先。
-
20k-40k·15薪 经验3-5年 / 本科科技金融,人工智能服务 / 上市公司 / 500-2000人岗位职责: 1、负责公司内部自研中间件、公共组件、技术框架以及其它自研技术系统的质量保障工作。 2、独立参与产品需求和技术评审,设计并执行测试方案和测试用例,与各方密切配合一同推动项目进度。 3、运用各种白盒、黑盒测试技术,从功能、性能、可靠性、兼容性等全方位保障被测对象的质量。 4、编写自动化测试工具,探索新的测试方法,提高测试效率与质量。 5、完成组内安排的其它工作。 岗位要求: 1、本科及以上学历,计算机、通信等相关专业,3年以上测试开发或开发经验。 2、掌握全面计算机基础知识,包括:操作系统原理,计算机网络技术,数据结构,设计模式,计算机组成原理,软件工程等。 3、熟练掌握Java,可以独立review各类Java程序,编写Java测试代码,有java单元测试经验者优先。 4、熟悉各种常见的中间件、技术框架、网络通信协议,以及对应的优缺点和使用过程中存在的风险,包括但不限于:redis,hadoop,es,rabbitmq,palsur,grpc,istio。 5、精通测试流程,能把控整体项目进度和开发质量。掌握各种白盒黑盒测试方法,能独立完成性能、可靠性、兼容性等专项测试。 6、拥有较强的学习能力和问题解决能力,有良好的团队沟通和协作能力,较强的自驱力、执行力强、工作责任心强,以及有较强的抗压能力。 7、热爱技术,有钻研精神。在面对各种技术问题时能积极主动且有耐心地进行深入的研究学习。 8、熟悉微服务架构及其各组件者优先,例如:Spring Cloud,ServiceMesh,k8s,istio等。
-
岗位要求: 1、教育背景要求:本科及以上; 2、技能要求: 1)需求理解和解决方案设计能力; 2)客户沟通与引导能力; 3)销售项目运作能力; 3、知识要求: 1)熟悉云服务产品和HCS解决方案; 2)具备客户数字化转型或云架构设计,OpenStack、K8S、Hadoop、数据库、AI等专业知识。 岗位职责: 岗位职责: 1、负责对腰部各行业成熟场景化解决方案以及产品专项进行专项拓展,对接与培育生态伙伴,发展开发者生态创新能力,包括项目管道管理,技术方案输出、竞争分析、商务报价、客户交流、POC测试、生态赋能等相对确定的工作,达成3-N的复制规模与数量要求; 2、作为销售项目解决方案的支撑者,负责成熟场景解决方案答标及POC支持、demo演示、培训赋能等相对确定活动,对销售项目落单结果负责; 3、根据解决方案拓展或服务伙伴管理规则,开展服务解决方案或服务伙伴的拓展与运营工作,做为服务解决方案和服务生态发展建设的使能者和支撑者,通过合作流程平台建设及优化、解决方案与生态资产管理及运营、合作营销活动等,支撑部门业务目标达成。
-
数据研发岗: 岗位职责: 1、负责业务需求承接和相关数据及报表研发工作; 2、承接业务需求,按照业务要求,按质按量完成需求交付,沉淀数据资产; 3、可独立完成需求拆解,数据模型设计,数据研发和开发及测试工作。 岗位要求: 1、计算机相关专业本科以上学历。 2、1年以上工作经验。 3、熟悉主流分布式计算工具,hadoop, spark, hbase等,精通SQL开发,熟悉MapReduce原理; 4、有一定的数据仓库开发经验,对各类数据模型设计方法有比较全面和深入的了解。 5、掌握java/python编程中的至少一种; 6、具备较好的数据抽象能力和主观能动性,能够从实际问题出发,提出数据解决方案并跟进方案落地;
-
美团骑行事业部在全国各个城市开展美团单车、电单车业务,提供绿色、便捷的共享出行服务,是美团出行板块重要的组成部分。我们力求为城市可持续发展提供低碳智能的解决方案,通过技术创新和硬件升级,不断优化全流程骑行体验,为低碳出行提供更好的服务。其中,美团单车旨在为城市居民提供通勤接驳服务,满足用户短途接驳出行需求;美团电单车则满足用户中短途多场景低碳出行需求。 我们有开放的工作氛围,也有充满韧劲和创造力,心系低碳出行的伙伴。加入我们,一起为用户创造更好的出行体验。 岗位职责 1. 负责美团骑行业务数据仓库的建模和ETL开发工作,为单车和电单车精细化运营提供数据支持 2. 提高数据时效性,优化数据生产链路,参与骑行实时数仓建设工作 3. 持续数据治理,以完善骑行数据资产管控能力,提升数据质量,降低数据成本 4. 深入理解业务逻辑,探索数据应用,让数据赋能业务; 岗位基本需求 1. 计算机相关专业本科及以上学历,3年以上数据仓库相关经验 2. 熟悉数据仓库各类模型建模理论,了解数据仓库数据分层架构,精通3NF和多维数据模型设计 3. 具备大型数据仓库架构设计、模型设计、ETL设计的相关经验,具备海量数据处理、性能调优经验 4. 熟悉大数据相关计算开源框架及组件,包括但不限于Spark、Flink、Hive、Hadoop、Doris等; 5. 具备较强的业务理解能力和团队协作沟通能力 具备以下者优先 1. 海量数据数仓建模经验; 2. 实时数仓建设经验; 岗位亮点 1. PB级数据规模,日订单千万量级 2. 业务场景复杂度高挑战大,实践先进的数仓建设方法论