-
岗位职责: 1、负责电商财务域数据模型调研、设计、开发工作,与业务部门紧密配合,提供数据支持 2、负责电商财务域数据运营&治理工作,保障数据质量 3、参与电商财务域数据体系化建设,提升数据服务稳定性 任职要求: 1、计算机相关专业,大学本科及以上学历,5年以上大数据开发相关工作经验 2、熟悉大数据相关组件(如Hive、Spark、Flink、Kafka等),具备编写、优化复杂SQL的能力 3、有扎实的数据仓库理论功底和丰富的数据治理实战经验,能够围绕业务和产品特性建模并解决实际问题 4、熟悉Python/Java/Scala/Shell其中一种语言 5、具备电商领域业务开发经验优先;具备财务领域业务开发经验优先 6、负责过数据平台或数据仓库设计优先;有带团队经验优先。
-
岗位职责 : 1、数据仓库和数据处理:负责大数据平台的数据仓库、数据治理和数据模型的设计与开发工作。进行日常数据报表开发,理解业务需求,发挥数据价值。 2、数据服务开发:负责离线和实时数据服务的设计、开发、性能调优和效果优化。构建和维护数据管道,处理ETL过程,确保数据质量和准确性。 3、技术研究和应用:参与相关项目的数据需求的实现,设计和编码工作。参与开发过程中相关技术的研究和验证。 4、平台运维和质量管理:负责大数据平台的数据及相关的应用开发、调优及维护。完成日常数据质量的监控,参与大数据平台的日常运维工作。 5、针对数据一致性、准确性、及时性,制定数据管理与治理机制,提升数据易用性、可用性及稳定性; 任职要求 : 1、本科及以上学历,计算机相关专业,3-5年以上数据开发经验; 2、具备至少一个完整的大数据平台和BI系统实施经验,熟知平台建设各环节工作,包括数据采集、数据落地、仓库建设、数据平台搭建、数据应用产品开发 3、熟悉基于推荐系统的数据仓库建设方法论,有数仓模型设计及ETL开发经验;有数据仓库分层架构设定经验者优先; 4、熟悉Hadoop生态相关技术,如Hive、HDFS、Impala、Spark、Presto、Flink、Hudi、Elasticsearch、HBase、Druid、Kylin等,有基于分布式数据存储与计算平台应用开发经验,有较为系统的海量数据性能处理经验; 5、熟悉java、scala、python等语言,熟悉微服务,分布式架构,熟悉springcloud,springboot等技术开发; 6、熟悉数据仓库原理,有离线数仓、实时计算、数据挖掘、ETL、用户画像、数据可视化等设计与开发经验; 7、熟悉MySQL、PostgreSQL、NoSQL等数据库中至少一种数据中心建设方案,可以进行产品的独立部署、高可用架构和性能优化,熟悉开源社区解决方案; 8、熟悉阿里云大数据组件E-MapReduce、Dataworks、MaxCompute和国际AWS的EMR相关数据产品等,市场常见BI产品(superset、FineBI、神策数据)等相关组件者优先; 9、较强的学习能力和技术钻研能力、有自我驱动意识,对数据采集、数据治理、数据开发、数据分析、数据建模、算法等有深刻认识和实战经验。 期待您的加入哟,我们为您准备丰厚福利待遇: 【法定福利】:公司按国家规定购买五险一金+商业保险(员工本人及子女商业保险)+带薪年假; 【节日关怀】:节日福利礼品,以及节日礼金; 【公司福利】: 机场及高铁的贵宾服务(龙腾卡权益)+年度员工健康体检+平安360服务(在线问诊、VIP挂号及重疾紧急入院服务)+年度2次免费洁牙服务 公司提供咖啡、零食、下午茶 员工活动、旅游及团建,不定期举办聚餐、唱K、电竞赛、篮球赛、拓展、旅游、生日Party等 【学习与培训】:助力职业发展与提升,内外训双引擎发力助你高速发展 【晋升机会】:公司设立良好的晋升机制和广阔的发展空间。
-
【岗位职责】 1、负责基于hive、spark、flink技术的大数据平台需求分析、设计及开发工作; 2、负责基于datax、HQL、传统ETL 或基于spark、flink的大数据平台数据抽取、清洗、转换、加工等入仓的开发,优化大数据平台跑批作业; 3、负责使用Dolphinscheduler(海豚调度)批量配置跑批调度任务及调度优化工作; 4、负责使用flink采集并加工kafka、binlog等数据源。 【岗位要求】 1、能熟练使用大数据基础组件,不限于hdfs/kudu、hive、impala、yarn、Tez/spark、flink、hbase、sqoop、flume、datax、elasticsearch、kafka等,熟悉相关架构和原理,有一定的组件性能调优能力; 2、有CDH/CDP平台使用经验,熟悉基于Cloudera Manager的平台使用管理; 3、具有airflow/azkaban/xxl-job/Dolphinscheduler等一种基几种调度工具的开发使用经验,有Dolphinscheduler使用经验优先; 4、具备海量数据采集、加工、分析处理、高并发查询等数据平台的开发设计能力,并有具体的构建海量数据存储、离线/实时数仓等项目实施经验; 5、具有金融行业大数据平台实施项目经验; 6、了解常见的大数据产品和技术路线,如:ClickHouse、Doris、GBase、Kylin、Linkis、Flink CDC、Hudi/Iceberg等更优; 7、学习能力强,适应能力好,有强烈的责任心,主动关注数据发现问题并提出解决方案,具备良好的沟通能力及团队合作精神。
-
岗位职责: 1、负责大数据平台的技术预研,同时编写技术预研文档 2、负责大数据平台的架构设计,同时完成核心代码的编写 3、负责大数据平台的实施发布工作,完成开发,测试环境的大数据部署方案 任职要求: 1、计算机、数学相关专业,相关开发工作4年以上; 2、熟悉JAVA开发语言、有Go开发经验更优; 3、熟悉大数据相关离线和实时计算框架、Flink、Spark等,并相应的项目实践经验; 4、熟悉Hadoop生态圈架构,如Hive、Hbase、Phoenix、Hudi、Impala等开源组件,熟悉源码者更佳; 5、有大数据相关基础组件的维护及调优经验者优先; 6、有大数据相关技术平台的研发经验者优先,如:数据资产、可视化ETL、可视化数据开发、可视化建模等。 7、对大数据生态至少一个组件的源码有深度了解等优先。 8、对K8S容器有深入了解得更优
-
工作职责: 1. 参与公司内部数据模型设计、开发并服务下游,数据解释,问题答疑; 2. 跟进IT需求,对接各源系统数据调研,评估,模型设计,离线及实时ETL开发等工作; 岗位要求: 1、数学、统计、计算机等相关专业本科及以上学历,2年以上相关工作经验(数据/业务分析、BI、数据模型、决策支持、数据挖掘) ; 2、扎实的数据仓库理论基础,熟悉数据仓库范式模型设计 3、熟悉Hadoop、HIVE的基本原理,精通SQL,能熟练运用 ORACLE/MY SQL/HIVE/PostgreSQL等获取分析所需数据; 4、根据需求可以通过flink、kafka、spark等大数据组件进行开发与调测; 5、具备良好的沟通能力、团队合作精神及抗压能力 ;
-
岗位职责: 1.负责大数据平台搭建、服务器及BI等系统的基础运维工作; 2.负责制定基于大数据体系的开发流程、开发规范等工作; 3.负责调研各业务部门的数据需求,采集业务需要的各类数据; 4.负责数据仓库模型设计和ETL开发,支撑上层数据应用; 5.负责数据接口开发及对接,整合并优化数据应用流程,实现数据到业务的标准化运行; 6.负责从海量数据中挖掘偏好、构建相关维度的标签体系; 7.负责BI可视化开发,及账号权限运维等工作; 8.负责重点技术攻关,深入研究大数据相关技术和产品,跟进行业发展。 任职要求: 1. ***本科及以上学历,计算机相关专业,4年以上工作经验; 2. 2年以上大数据行业经验,熟悉Hadoop、Hive、spark、flink、kafka、ElasticSearch等常用大数据组件,有实际开发、优化、运维经验; 3. 熟悉Java/Scala语言,有2年以上后台开发经验; 4. 熟悉Oracle、MySQL等关系数据库,精通sql; 5. 熟练使用Linux系统,具备Shell脚本开发能力; 6. 熟练掌握数据仓库理论,有数据模型设计经验,熟练使用ETL工具进行数据抽取,清洗,转换等; 7. BI可视化开发经验。
-
【岗位职责】 1. 负责公司大数据平台各个子系统的架构设计, 开发,优化工作; 2. 能够支持百亿级别数据秒级别交互查询场景、数据分析等业务场景工作; 3. 参与公司大数据平台数据存储,计算,数据治理,质量建设等系统优化工作; 4. 能够和团队一起探索大数据前沿技术,落地和推广到业务。 【岗位要求】 1. 计算机及相关专业本科或者本科以上学历 2. 具有5年以上大数据相关工作经验; 3. 熟悉Linux/Unix系统,对java/golang编程有一定了解,熟悉脚本编程和sql编程; 4. 熟悉掌握hadoop技术生态,对大数据常用组件(hdfs、yarn、hive、flink、spark)技术架构有一定深入了解和调优经验,能够快速分析定位一些性能瓶颈场景给出优化方案; 5. 熟悉数据平台架构相关包括(数据平台、调度系统、数据同步、BI、分布式计算、OLAP),有开源组件二次开发经验者优先 6. 具备优秀的逻辑思维能力,对解决挑战性问题充满热情,善于分析和解决问题; 7. 良好的团队合作精神,较强的沟通能力和学习能力、业务产品意识。 我们提供具有竞争力的薪资和福利待遇,包括弹性工作时间、培训和职业发展机会等。如果你对这个职位感兴趣并且符合要求,请提交你的简历和个人陈述,我们期待你的加入。
-
职责描述: 1、 负责大数据平台技术架构设计和构建、以及大数据平台技术架构演进的规划。 2、 负责大数据平台关键技术的研究,结合公司实际业务情况进行技术选型,及把控平台的发展方向。 3、 主导技术难题攻关,持续提升系统在高并发、海量请求下的高处理性能,保证系统的安全、稳定、高效运行。 任职资格: 1、具备扎实的Java基础知识,掌握使用Java主流框架(Spring Boot,Sping cloud,Spring Data JPA等)的开发。 2、负责ElasticSearch、Hadoop/Spark/Yarn/Hive/Kafka/Hbase/Flink/Doris/等集群的设计、搭建和维护,保证高效运行。 3、精通大数据集群组件参数调优、错误定位,出现问题时能够快速排查并解决; 4、熟悉Flink、spark计算引擎的架构和原理,熟悉Flink SQL等批流处理,有过实际开发经验, 5、具备ETL、数据治理、数据仓库等开发经验和能力,参与过大数据平台或中台的开发; 6、有不断的学习新知识的能力,掌握大数据技术发展趋势。 7、精通数据库优化,语句优化和服务器优化。 8、本科及以上,计算机或数据领域相关专业,5年以上大数据架构经验。
-
工作职责: 1、负责大数据平台开发、大数据计算、数据清洗、数据分析; 2、负责银行大数据计算和管理平台的开发,应用与维护; 3、负责大数据安全组件的开发; 任职要求: 1、英语听说读写良好,3年以上实际项目开发经验。 2、熟练python 3、熟悉hadoop,hive,spark , kafka 等大数据组件的开发 英语流利,工作经验3-9年。
-
岗位职责: * 负责核心产品的开发 * 使用Java/Scala进行程序开发、数据处理。 * 根据产品需求负责产品功能模块功能的设计、开发、部署、调试、故障分析和排除等 * 对已上线系统进行定期巡检,持续改进服务端架构和优化,增强系统稳定性 * 严格测试,及时维护,保证产品服务器稳定运行 * 协同相关人员完成平台的测试工作,并持续对其进行优化。 任职要求: * 计算机相关专业,扎实的Java/Scala基础,有自主阅读开发文档的能力 * 有CDH、HDP等大数据管理平台使用的相关经验 * 对Hadoop、Hive、Spark、Flink等大数据组件熟悉,有单个或多个组件相关的开发经验 * 拥有Mysql、MongoDB或相关数据库开发经验 * 熟悉Linux,能动手调试和解决Linux中遇到的各种问题,会编写shell脚本优先 * 具备良好的git代码管理,代码风格,解决问题的能力以及团协作能力 * 有良好的代码开发规范习惯,以及需要对开发思路清晰,能处理一定的项目上问题,并提出开发建议 * 满足以上条件,有spring开发经验者优先
-
游戏发行方向、广告业务 职位描述 1、负责公司业务部门的数据需求识别,参与需求调研,报表设计,开发;参与数据仓库的搭建和完善; 2、负责公司项目的BI开发工作,包括需求沟通、建模、ETL开发、数据验证、上线部署等; 3、负责数据仓库系统中ETL 流程的优化以及运维过程中ETL 相关技术问题的解决; 4、参与数据集成、底层业务数据的维护和建设; 5、基于数据仓库、数据中心的ETL开发、BI数据分析; 任职资格: 1、**大专及以上学历,数学、统计学、计算机相关专业; 2、有2年以上数据仓库项目经验,了解数据仓库相关理论知识,熟悉发行行业者优先考虑; 3、熟练使用ETL工具、存储过程进行ETL开发,如Kettle 工具; 4、熟悉主流调度工具的使用与优化,如airflow、Azkaban等 5、精通SQL,有较好SQL性能调优经验,熟悉hive/druid/mysql/至少一种数据库系统; 6、熟悉hadoop大数据常用开发组件及其核心原理(hive、spark、yarn等)。
-
职位描述 岗位职责 1、负责数据模型设计、数仓建设,维护和优化工作; 2、负责对接部门内数据采集、数据治理、数据分析需求,参与制定和执行对应大数据开发开发工作和对应计划文档输出; 3、负责对接部门外数据需求,参与制定和执行对应大数据开发开发工作和对应文档输出; 4、主导数据经营分析领域项目的实施,推进项目的实施与落地。 任职要求 1、5年以上大数据开发经验,有金融数据开发经验优先; 2、了解常用数据挖掘的原理,有数据建模经验优先; 3、有较为丰富SQL、ETL开发及调优等数据开发经验,至少熟悉Java,Scala,Python,任一种编程语言; 4、熟悉Hadoop、Hive、Sqoop、Kylin、Hbase、Spark等大数据架构经验; 5、能够独立负责数据平台子模块的设计、开发、及部分管理工作。
-
1. 熟悉大数据云平台经验,再加Java开发 Java基础扎实,熟练掌握多线程编程,熟悉JVM,以及常规性能优化。 2. 熟悉spring,springboot,springcloud,nacos,mybatis,mybatis-plus等常⻅开源框架。 3. 熟悉redis,RocketMQ等常见中间件。 4. 熟练使用MySQL数据库,良好的数据库设计,SQL编写,索引性能分析能力。 5. 熟练掌握linux系统的使用。 6. 熟练掌握EKL系统的使用。 7. 有良好的逻辑思维能力,沟通能力,有责任心能独立完成需求。 1、本3专4,计算机/互联网/通信相关专业 2.熟悉java开发常用框架组件,能熟练运用到具体项目中 3.配合项目完成研发计划,有独立完成需求的能力
-
大数据开发工程师
[天河区] 2024-04-1018k-27k 经验3-5年 / 本科IT技术服务|咨询,专业服务|咨询,软件服务|咨询 / 未融资 / 2000人以上This role will carry out some or all of the following activities: • Contributing into the delivery of a data platform related operational enhancements. • Extraction, Transformation and Loading (ETL) of data in the data lake • Responsible for creation of Data Quality dashboards specific to a business area. • Data modelling works • Optimising consumption of data from the data repositories. • Address functional and non-functional requirements relevant to data in large applications. • Experience on Spark ( Scala). Pyspark , Delta Lake , GCP , Ali will be plus -
岗位职责: 1. 基于大数据平台对用户、资讯、行为相关数据进行分析,梳理需求指标的口径,并开发上线; 2. 负责数据指标与上下游系统的对接,开发相应的离线、实时接口; 3. 推进公司数字化运营,并承担相应的数据统计、分析和报表开发工作。 技术要求: 1.优秀的业务逻辑理解能力、思维能力及沟通表达能力,对数据敏感; 2.熟练运用Hive/Oracle/MySQL/Python等工具进行数据开发和分析; 3.有推荐系统数据分析相关经验的优先; 4.有实时数据处理相关经验的优先。 岗位福利: 工作环境舒适,周末双休,法定节假日遇周末无需补班,五险一金,年终奖,带薪年假,节日礼品/礼品卡,每年体检,下午茶等福利齐全。
热门职位


