-
岗位职责 : 1、数据仓库和数据处理:负责大数据平台的数据仓库、数据治理和数据模型的设计与开发工作。进行日常数据报表开发,理解业务需求,发挥数据价值。 2、数据服务开发:负责离线和实时数据服务的设计、开发、性能调优和效果优化。构建和维护数据管道,处理ETL过程,确保数据质量和准确性。 3、技术研究和应用:参与相关项目的数据需求的实现,设计和编码工作。参与开发过程中相关技术的研究和验证。 4、平台运维和质量管理:负责大数据平台的数据及相关的应用开发、调优及维护。完成日常数据质量的监控,参与大数据平台的日常运维工作。 5、针对数据一致性、准确性、及时性,制定数据管理与治理机制,提升数据易用性、可用性及稳定性; 任职要求 : 1、本科及以上学历,计算机相关专业,3-5年以上数据开发经验; 2、具备至少一个完整的大数据平台和BI系统实施经验,熟知平台建设各环节工作,包括数据采集、数据落地、仓库建设、数据平台搭建、数据应用产品开发 3、熟悉基于推荐系统的数据仓库建设方法论,有数仓模型设计及ETL开发经验;有数据仓库分层架构设定经验者优先; 4、熟悉Hadoop生态相关技术,如Hive、HDFS、Impala、Spark、Presto、Flink、Hudi、Elasticsearch、HBase、Druid、Kylin等,有基于分布式数据存储与计算平台应用开发经验,有较为系统的海量数据性能处理经验; 5、熟悉java、scala、python等语言,熟悉微服务,分布式架构,熟悉springcloud,springboot等技术开发; 6、熟悉数据仓库原理,有离线数仓、实时计算、数据挖掘、ETL、用户画像、数据可视化等设计与开发经验; 7、熟悉MySQL、PostgreSQL、NoSQL等数据库中至少一种数据中心建设方案,可以进行产品的独立部署、高可用架构和性能优化,熟悉开源社区解决方案; 8、熟悉阿里云大数据组件E-MapReduce、Dataworks、MaxCompute和国际AWS的EMR相关数据产品等,市场常见BI产品(superset、FineBI、神策数据)等相关组件者优先; 9、较强的学习能力和技术钻研能力、有自我驱动意识,对数据采集、数据治理、数据开发、数据分析、数据建模、算法等有深刻认识和实战经验。 期待您的加入哟,我们为您准备丰厚福利待遇: 【法定福利】:公司按国家规定购买五险一金+商业保险(员工本人及子女商业保险)+带薪年假; 【节日关怀】:节日福利礼品,以及节日礼金; 【公司福利】: 机场及高铁的贵宾服务(龙腾卡权益)+年度员工健康体检+平安360服务(在线问诊、VIP挂号及重疾紧急入院服务)+年度2次免费洁牙服务 公司提供咖啡、零食、下午茶 员工活动、旅游及团建,不定期举办聚餐、唱K、电竞赛、篮球赛、拓展、旅游、生日Party等 【学习与培训】:助力职业发展与提升,内外训双引擎发力助你高速发展 【晋升机会】:公司设立良好的晋升机制和广阔的发展空间。
-
【岗位职责】 1、负责基于hive、spark、flink技术的大数据平台需求分析、设计及开发工作; 2、负责基于datax、HQL、传统ETL 或基于spark、flink的大数据平台数据抽取、清洗、转换、加工等入仓的开发,优化大数据平台跑批作业; 3、负责使用Dolphinscheduler(海豚调度)批量配置跑批调度任务及调度优化工作; 4、负责使用flink采集并加工kafka、binlog等数据源。 【岗位要求】 1、能熟练使用大数据基础组件,不限于hdfs/kudu、hive、impala、yarn、Tez/spark、flink、hbase、sqoop、flume、datax、elasticsearch、kafka等,熟悉相关架构和原理,有一定的组件性能调优能力; 2、有CDH/CDP平台使用经验,熟悉基于Cloudera Manager的平台使用管理; 3、具有airflow/azkaban/xxl-job/Dolphinscheduler等一种基几种调度工具的开发使用经验,有Dolphinscheduler使用经验优先; 4、具备海量数据采集、加工、分析处理、高并发查询等数据平台的开发设计能力,并有具体的构建海量数据存储、离线/实时数仓等项目实施经验; 5、具有金融行业大数据平台实施项目经验; 6、了解常见的大数据产品和技术路线,如:ClickHouse、Doris、GBase、Kylin、Linkis、Flink CDC、Hudi/Iceberg等更优; 7、学习能力强,适应能力好,有强烈的责任心,主动关注数据发现问题并提出解决方案,具备良好的沟通能力及团队合作精神。
-
Scala大数据开发(英语良好)
[天河区] 2024-04-1017k-20k·13薪 经验1-3年 / 本科IT技术服务|咨询,专业服务|咨询,软件服务|咨询 / 未融资 / 2000人以上工作职责: 1、负责云平台产品的功能开发,基于大数据平台完成数据统计、分析、报表生成任务; 2、负责各类大数据组件的持续性能优化与改进。 岗位要求: 1、本科及以上学历; 2、2年及以上大数据开发经验,熟练掌握Scala编程语言; 3、具备Hadoop/Spark等大数据开源工具的使用经验,熟悉分布式系统的工作机制; 4、熟练掌握SQL及数据库相关知识; 5、学习能力强,责任心强,抗压力强,具有较强的思考和解决问题的能力,具有较强的团队沟通和协作能力。 -
岗位职责: 1、负责大数据平台的技术预研,同时编写技术预研文档 2、负责大数据平台的架构设计,同时完成核心代码的编写 3、负责大数据平台的实施发布工作,完成开发,测试环境的大数据部署方案 任职要求: 1、计算机、数学相关专业,相关开发工作4年以上; 2、熟悉JAVA开发语言、有Go开发经验更优; 3、熟悉大数据相关离线和实时计算框架、Flink、Spark等,并相应的项目实践经验; 4、熟悉Hadoop生态圈架构,如Hive、Hbase、Phoenix、Hudi、Impala等开源组件,熟悉源码者更佳; 5、有大数据相关基础组件的维护及调优经验者优先; 6、有大数据相关技术平台的研发经验者优先,如:数据资产、可视化ETL、可视化数据开发、可视化建模等。 7、对大数据生态至少一个组件的源码有深度了解等优先。 8、对K8S容器有深入了解得更优
-
岗位职责: 1、协助数据中台技术架构设计,协助相关子模块设计; 2、协助业务分析师工作,完成数据业务需求梳理及分析; 3、负责业务数据的数据分析工作及ETL任务及数据仓库开发,部署和管理; 任职要求: 1.大数据、数学或计算机相关专业本科以上学历; 2.了解数据处理、数据建模、数据分析等过程; 3.了解一个主流ETL工具,如Kettle,Infomatica,Datastage,SSIS等; 4.了解一个主流大数据产品,如spark、Flink、EMR、Hadoop等; 5.了解一个主流的数据库产品,如Oracle,SQL Server,Maxcompute、GP等;
-
岗位职责: 1、熟练掌握公司数据治理、数据可视化、数据大屏、等产品,完成数据分析类客户项目的的实施工作; 2、组织并完成客户培训; 3、在项目实施过程中发现产品问题、收集客户需求,反馈给公司产品研发改进产品; 任职要求: 1、计算机、大数据相关专业,本科及以上学历,2年数据治理、数据分析类项目实施工作经验; 2、有扎实的数据库SQL编写功底,了解linux基本命令; 3、具有良好的数据敏感度、数据分析思维,理解数仓分层架构的优先; 4、持有PMP或项目经理证书(软考)优先; 5、接受出差; 6、有政务和公安项目经验者优先;
-
工作职责: 1. 参与公司内部数据模型设计、开发并服务下游,数据解释,问题答疑; 2. 跟进IT需求,对接各源系统数据调研,评估,模型设计,离线及实时ETL开发等工作; 岗位要求: 1、数学、统计、计算机等相关专业本科及以上学历,2年以上相关工作经验(数据/业务分析、BI、数据模型、决策支持、数据挖掘) ; 2、扎实的数据仓库理论基础,熟悉数据仓库范式模型设计 3、熟悉Hadoop、HIVE的基本原理,精通SQL,能熟练运用 ORACLE/MY SQL/HIVE/PostgreSQL等获取分析所需数据; 4、根据需求可以通过flink、kafka、spark等大数据组件进行开发与调测; 5、具备良好的沟通能力、团队合作精神及抗压能力 ;
-
岗位职责: 1、数据探索:结合业务需求,使用SparkSql对数据仓库进行数据挖掘分析,通过数据洞察用户行为; 2、数据提取:全面理解数据的特征信息,能结合业务需求快速提取相应数据,并按需进行统计分析; 3、编写报告:围绕数据分析过程及结论,编写数据专题分析报告,并按场景固化分析经验; 岗位要求: 1、本科及以上学历,一年以上工作经验,可考虑优秀应届毕业生(统计学相关专业优先); 2、具备体系化的数据分析方法论、熟练使用SQL、EXCEL、PPT的使用; 3、具备较强的数据分析能力,对数据敏感,善于发现和挖掘数据价值; 4、了解数据建模、机器学习基础理论,有较强的逻辑思维能力; 5、拥有奋斗者心态,敢于面对挑战,性格稳重开朗,工作积极主动,责任心强。 注:该岗位为大数据运营方向。 工作地点:中国移动南方基地
-
岗位职责: 1.负责大数据平台搭建、服务器及BI等系统的基础运维工作; 2.负责制定基于大数据体系的开发流程、开发规范等工作; 3.负责调研各业务部门的数据需求,采集业务需要的各类数据; 4.负责数据仓库模型设计和ETL开发,支撑上层数据应用; 5.负责数据接口开发及对接,整合并优化数据应用流程,实现数据到业务的标准化运行; 6.负责从海量数据中挖掘偏好、构建相关维度的标签体系; 7.负责BI可视化开发,及账号权限运维等工作; 8.负责重点技术攻关,深入研究大数据相关技术和产品,跟进行业发展。 任职要求: 1. ***本科及以上学历,计算机相关专业,4年以上工作经验; 2. 2年以上大数据行业经验,熟悉Hadoop、Hive、spark、flink、kafka、ElasticSearch等常用大数据组件,有实际开发、优化、运维经验; 3. 熟悉Java/Scala语言,有2年以上后台开发经验; 4. 熟悉Oracle、MySQL等关系数据库,精通sql; 5. 熟练使用Linux系统,具备Shell脚本开发能力; 6. 熟练掌握数据仓库理论,有数据模型设计经验,熟练使用ETL工具进行数据抽取,清洗,转换等; 7. BI可视化开发经验。
-
岗位要求: 1.负责大数据项目解决方案及架构规划设计,挖掘客户业务痛点,调研、引导客户需求,提供以公司产品为核心且具有竞争力的解决方案,并推动项目向前进展; 2.提供整个销售流程中所需的技术销售支持,包括产品介绍,需求调研,设计解决方案,支持PoC测试,编写技术方案建议书支持投标流程; 3.完成包括数据模型设计、数据采集、数据存储等方面的大数据系统架构的设计; 4.参与项目架构设计文档和详细设计文档的编写与评审; 5.参与大数据相关项目的咨询服务。 任职要求: 1.计算机相关专业**本科及以上学历,5年以上相关工作经验; 2.有丰富的大数据行业解决方案经验,熟悉大数据组件及平台架构,熟悉数据库及相关方案; 3.数据大数据相关技术:Hadoop、Hive、Hbase、Storm、Flink、Spark、Kafka等; 4.精通大数据和数据中台应用架构,主导过大数据产品架构设计和实施,具有政企领域大数据研发经验优先; 5.良好的客户交流及沟通能力; 6.具有优秀的团队合作精神,富有激情和创造力,善于沟通协调,能够有效的组织和推进跨职能、跨团队的合作项目。
-
1.大数据开发经验3年+ 2.具备扎实的数据结构和算法基础,能够使用 Java 编程语言进行业务开发 3.熟悉Flink原理与技术应用场景,有业务落地经验,能够熟练使用FllinkSQL和DataStreanAPI,能合理应用状态和算子 4.熟悉 Hadoop\Hive\Kafka\Clickhouse\ElasticSearch\MongoDB 等开源组件且有使用经验,清楚原理和优化 5.熟悉数据参考各类模型理论,了解数仓分层架构、维度模型设计 6.有百TB级别及以上数据处理经验,有电商经验,熟悉用户画像体系者优先,有阿里云产品 DataWorks\Hologres\MaxCompute 使用经验者优先
-
工作职责: 1、负责公司的数据BI建设和实时数仓的设计、建模和开 发,参与数据模型评审; 2、负责公司数据BI的设计、开发和维护企业级大数据平台、和解决方案,包括数据采集、数据存储、数据处理和数据分析等 3、进行数据模型设计和数据架构优化,提高数据存储和计算的性能和可扩展性 4、建立和维护技术文档和标准,确保大数据开发的规范和一致性。 5、完成上级交代的工作任务。 任职要求: 1、3年以上数据仓库、数据BI或大数据开发,丰富的数据体系建设经验; 2、具备良好的数据库和SQL技能,熟悉关系型数据库和NoSQL数据库。 3、了解各种不同类型数据库的内部原理,如mysql,es,mongodb, hive, hbase等 4、熟练掌握大数据开发框架,并有大型项目建设经验者优先, 5、熟悉Linux平台及shell处理命令; 6、善于学习新知识,有强烈的主动性及责任心,对解决挑战性问题充满激情
-
【岗位职责】 1. 负责公司大数据平台各个子系统的架构设计, 开发,优化工作; 2. 能够支持百亿级别数据秒级别交互查询场景、数据分析等业务场景工作; 3. 参与公司大数据平台数据存储,计算,数据治理,质量建设等系统优化工作; 4. 能够和团队一起探索大数据前沿技术,落地和推广到业务。 【岗位要求】 1. 计算机及相关专业本科或者本科以上学历 2. 具有5年以上大数据相关工作经验; 3. 熟悉Linux/Unix系统,对java/golang编程有一定了解,熟悉脚本编程和sql编程; 4. 熟悉掌握hadoop技术生态,对大数据常用组件(hdfs、yarn、hive、flink、spark)技术架构有一定深入了解和调优经验,能够快速分析定位一些性能瓶颈场景给出优化方案; 5. 熟悉数据平台架构相关包括(数据平台、调度系统、数据同步、BI、分布式计算、OLAP),有开源组件二次开发经验者优先 6. 具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于分析和解决问题; 7. 良好的团队合作精神,较强的沟通能力和学习能力、业务产品意识。 我们提供具有竞争力的薪资和福利待遇,包括弹性工作时间、培训和职业发展机会等。如果你对这个职位感兴趣并且符合要求,请提交你的简历和个人陈述,我们期待你的加入。
-
工作职责: 1.负责PB级工业互联网数据的实时计算、实时数仓、离线分析等。 2.负责核心业务逻辑设计和实现、生产环境问题的快速诊断和处理。 3.深入理解业务需求,结合业务场景分析和发现系统的优化点、完成平台能力沉淀和组件框架沉淀。 4.持续优化flink平台的稳定性和性能及数据服务能力。 任职资格: 1.计算机相关专业本科及以上学历、7年以上互联网/大数据相关工作经历。 2.精通Java开发体系,扎实的编程基础、优秀的编码能力、对代码质量有**的追求。 3.精通flink框架及原理,对Flink源码有深入的研究,具有极强的架构和开发能力。 4.熟悉常用的大数据组件及中间件,如:Flume、Sqoop、Hdfs、Hive/Hudi、Kafka、Rabbitmq等。 5.深入理解常用关系型及非关系型数据库的使用、原理,如:Mysql、Mongodb、influxdb等。 6.具有良好的系统化思考能力,沟通协作能力,抗压能力。 7.有工业互联网/物联网行业工作经验者优先。
-
职责描述: 1、负责大数据相关项目产品的实施,包括部署安装、应用探索、性能调测和监控,输出相应报告; 2、负责应用各模块研发阶段从联调、部署到上线发布全流程工作,以及日常运维监控工作; 3、负责对产品进行容器化部署并适配相应的持续集成/部署环境,监控容器运行状态、数据库监控、服务器运行状态等; 4、负责大数据相关集群、组件等搭建运维,故障处理,及时响应等,维护其高可用、高并发、负载均衡等。 任职要求: 1、熟悉各类自动化运维工具,3年以上自动化运维工作经验; 2、熟悉Linux开发环境,熟练使用Shell/Java/Python中的一门脚本语言; 3、熟练掌握Linux基本命令、熟悉TCP/IP协议、基础网络路由协议、熟悉交换机、防火墙等设备基础原理以及用途; 4、对容器化部署有相关应用实践,熟悉docker、及K8S容器编排体系以及周边生态,能熟练搭建管理集群; 5、学习能力强,吃苦耐劳、团队协作性好、责任心强。


