-
岗位职责 : 1、数据仓库和数据处理:负责大数据平台的数据仓库、数据治理和数据模型的设计与开发工作。进行日常数据报表开发,理解业务需求,发挥数据价值。 2、数据服务开发:负责离线和实时数据服务的设计、开发、性能调优和效果优化。构建和维护数据管道,处理ETL过程,确保数据质量和准确性。 3、技术研究和应用:参与相关项目的数据需求的实现,设计和编码工作。参与开发过程中相关技术的研究和验证。 4、平台运维和质量管理:负责大数据平台的数据及相关的应用开发、调优及维护。完成日常数据质量的监控,参与大数据平台的日常运维工作。 5、针对数据一致性、准确性、及时性,制定数据管理与治理机制,提升数据易用性、可用性及稳定性; 任职要求 : 1、本科及以上学历,计算机相关专业,3-5年以上数据开发经验; 2、具备至少一个完整的大数据平台和BI系统实施经验,熟知平台建设各环节工作,包括数据采集、数据落地、仓库建设、数据平台搭建、数据应用产品开发 3、熟悉基于推荐系统的数据仓库建设方法论,有数仓模型设计及ETL开发经验;有数据仓库分层架构设定经验者优先; 4、熟悉Hadoop生态相关技术,如Hive、HDFS、Impala、Spark、Presto、Flink、Hudi、Elasticsearch、HBase、Druid、Kylin等,有基于分布式数据存储与计算平台应用开发经验,有较为系统的海量数据性能处理经验; 5、熟悉java、scala、python等语言,熟悉微服务,分布式架构,熟悉springcloud,springboot等技术开发; 6、熟悉数据仓库原理,有离线数仓、实时计算、数据挖掘、ETL、用户画像、数据可视化等设计与开发经验; 7、熟悉MySQL、PostgreSQL、NoSQL等数据库中至少一种数据中心建设方案,可以进行产品的独立部署、高可用架构和性能优化,熟悉开源社区解决方案; 8、熟悉阿里云大数据组件E-MapReduce、Dataworks、MaxCompute和国际AWS的EMR相关数据产品等,市场常见BI产品(superset、FineBI、神策数据)等相关组件者优先; 9、较强的学习能力和技术钻研能力、有自我驱动意识,对数据采集、数据治理、数据开发、数据分析、数据建模、算法等有深刻认识和实战经验。 期待您的加入哟,我们为您准备丰厚福利待遇: 【法定福利】:公司按国家规定购买五险一金+商业保险(员工本人及子女商业保险)+带薪年假; 【节日关怀】:节日福利礼品,以及节日礼金; 【公司福利】: 机场及高铁的贵宾服务(龙腾卡权益)+年度员工健康体检+平安360服务(在线问诊、VIP挂号及重疾紧急入院服务)+年度2次免费洁牙服务 公司提供咖啡、零食、下午茶 员工活动、旅游及团建,不定期举办聚餐、唱K、电竞赛、篮球赛、拓展、旅游、生日Party等 【学习与培训】:助力职业发展与提升,内外训双引擎发力助你高速发展 【晋升机会】:公司设立良好的晋升机制和广阔的发展空间。
-
职位职责: 1、负责字节跳动所有产品线UG方向的数据流和相关数据服务; 2、面向超大规模数据问题,每天处理千亿增量的用户数据; 3、负责流式数据的实时传递,清洗,转换,计算,并对外提供查询服务; 4、参与数据治理工作,提升数据易用性及数据质量; 5、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作。 职位要求: 1、熟悉Linux操作系统及开发环境; 2、扎实的计算机软件基础知识:数据结构,操作系统等; 3、熟悉 C/C++、Java、Python 等任意一门编程语言; 4、对数据敏感,认真细致,善于从数据中发现疑点; 具备以下条件者优先: 1、研究过开源项目; 2、参加过 ACM 或者其他类型的软件开发大赛; 3、熟悉大数据处理工具/框架中的一项或多项,包括但不限于Hadoop, Mapreduce, Hive, Storm, Spark, Druid, kafka, hbase,ES等。
-
工作职责: 1、负责数据中台/数据仓库的模型架构设计和研发; 2、负责大型金融机构企业数据仓库模型设计,将源系统离散的数据按照各类主题进行建模,通过数据集成和质量管控,解决企业的数据使用问题; 3、参与数据治理工作,推动数据治理体系落地,参与数据标准,元数据管理,数据质量监控等数据管理工作; 4、理解并合理抽象业务需求,发挥数据价值,参与数据仓库/数据集市/数据应用等的设计与数据建模,与业务,BI团队紧密合作; 任职资格: 1,3年以上数据中台/数据仓库/数据平台相关经验;具备乙方或者大型实体企业内部的数据建模项目经验,优先考虑;**本科或以上学历; 2,具备数据中台/数据仓库和数据建模能力;熟悉建模理论与方法,熟悉维度建模,能够按照需求正确划分主题,产出概念模型,业务模型,逻辑模型等;熟悉数据仓库总线矩阵设计和数据仓库项目的实施流程 3、具有1年以上的数据仓库建模经验,了解IBM和teradata的FS-LDM的建模方法,并有至少1个以上的的金融企业数据仓库建模实际落地经验;熟悉保险行业业务更佳; 4,具备团队管理能力,有项目管理经验;个人具有良好的数据分析、逻辑推理能力,良好的学习能力与团队精神,工作热情努力、积极主动、高效负责。 5、了解大数据开发技术,包括Hadoop,Hive,Spark,Flink,Kafka等大数据框架原理及应用,有阿里大数据生态Maxcompute、dataworks项目经验的优先考虑。对常见数仓技术体系:Kylin、Doris、Clickhouse、Hive、Spark、Flink、Kafka等,有其中一个或多个有实际研发经验;
-
岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
-
工作职责: 1、负责集团基于大数据技术的数据平台开发、数仓建设、数据治理、数据统计分析等开发工作; 2、负责数据挖掘领域的分析研究,包括数据挖掘算法的分析研究,特定场景的数据挖掘模型的需求分析、建模及实验模拟工作; 3、研究前沿技术,了解项目需求,制定解决方案,解决实际应用场景中的业务问题,优化离线/实时大数据计算任务的性能。 任职资格: 1、本科及以上学历,计算机、软件技术、数据挖掘、统计学、应用数据等相关专业; 2、至少3年以上大数据开发/数据存储/数据平台/分析挖掘相关经验; 3、熟悉Linux操作系统,掌握Shell/Python/Perl至少一种脚本语言; 4、理解主流大数据处理架构和相关技术,会使用Hadoop、Spark等平台,Hive 、Impala 、Azkaban 、Kafka、Sqoop、 Flume、Zookeeper相关组件和开源系统; 5、熟悉SQL语言,包括MySQL、Oracle等关系型数据库;Redis 、MongoDB、HBase等NOSQL 数据库;了解数据仓库技术,能够使用常用的ETL工具; 6、熟悉Lucene、ElasticSearch等 检索技术; 7、具有优秀的口头和书面表达能力,思维活跃、关注和了解技术发展的最新动态,踏实肯干、有责任心,能适应高强度工作,沟通协作能力较好、学习能力强。
-
我司在招聘大数据工程师的同时也在招聘Java工程师 技能要求: Linux,网络安全,数据库开发 岗位职责: 1. 构建基于网络信息安全的大数据平台,支持数据采集、处理、分析、监控和可视化全过程。 2. 解决数据规模增长带来的技术、异地存储检索和复杂的业务问题。 3. 参与项目的需求分析和设计工作,并完成相关技术文档的编写。 4. 协助项目负责人解决项目中的技术难题; 任职要求: 1. 本科及以上学历,计算机相关专业,5年以上开发经验,2年及以上大数据从业经验。 2. 熟悉分布式编程,精通JAVA语言程序设计,具有良好的架构规划能力。 3. 熟悉Hadoop/Hive/Spark/Storm/Flink/Kafka/等技术,具备实际项目设计及开发经验。 4. 精通SQL,熟悉Mysql/Oracle处理机制及应用场景;熟悉NOSQL,如Redis、Hbase、MongoDB等 5. 有Druid、Clickhouse 或Kylin使用及性能优化经验者优先。 6. linux操作系统操作熟练,有能力进行复杂脚本(shell/PYTHON等)编程。 7. 工作态度端正,对技术充满热情具有钻研精神,有良好的问题分析和追踪能力,团队合作意识较好。 具有以下条件者优先考虑: 1)有Kubernetes/docker/Etcd 等容器技术使用者。 2)有网络信息安全从业经验者。
-
Wind大数据主要涵盖大数据技术在金融行业的应用,对主流大数据业务和技术都有研究和应用,涉及的技术包括Hadoop/Spark/HBase/Hive/Sqoop/Kafka/Flink/ClickHouse等。目前我们已经搭建万得金融大数据中心,建设基于大数据技术的数据仓库,开发各种数据挖掘应用项目。我们欢迎对技术有高追求,具有工匠精神的人才加入。 1、负责研究各类大数据技术和产品,能够引入并实施,包括Hadoop、Flink生态圈的各种主流技术研究与应用等; 2、负责大数据集群管理和维护工作,不断提升系统的稳定性和效率,为公司的业务提供大数据底层平台的支持和保证; 3、设计并实现对BI分析、数据产品开发、算法开发的系统性支持; 4、研究未来数据模型和计算框架的创新与落地,包括但不限于以下领域:大规模数据实时计算、研发模式敏捷化、数据计算框架轻量化、数据模型组织方式业务化等方面,参与制定并实践团队的技术发展路线; 5、建立良好的公司内外的业界技术影响力;参与培养未来数据人才;有效辅导团队,提升数据研发能力。 职位要求: 1、本科及以上学历,数学、计算机、软件工程类、通信类、电子信息、自动化或相关专业,3年以上工作经验; 2、掌握Hadoop、Kafka、Hive、Flink、HBase、ClickHouse、Zookeeper、Oozie、CDH等技术的使用; 3、熟练掌握Java开发,熟悉SpringBoot、SpringCloud等开发框架,有JVM调优经验 4、有大数据和分布式系统开发背景; 5、对用户画像、用户标签、用户行为分析等技术熟悉且有实战经验; 6、有较强的业务分析能力和问题定位能力; 7、性格开朗,勇于挑战;良好的人际关系,对技术追求工匠精神。 有以下经验者优先: 1)熟悉CDH集群调度,有集群搭建部署及管理维护经验优先 2)有Flink实时流处理、实时数仓开发经验优先 3)Java技术功底扎实,对多线程、高并发有深入实战经验
-
1. 负责复杂业务场景下数据体系构建,赋能业务数字化运营,保障数据的质量和数据生产的稳定性; 2. 负责基于大数据技术平台基础上的数据仓库建设,包括数据模型设计、离线/实时计算、性能优化以及相关技术问题的解决; 3. 负责数据质量、稳定性、数据资产管理等数据治理工作,构建全链路数据质量监控治理体系; 4. 参与数据产品的需求沟通、架构设计、数据开发以及系统优化。 任职要求: 1. 扎实的代码编程能力,具备良好的数据结构基础,熟悉常见设计模式,熟练使用Java/Scala/Python等至少一种语言; 2. 熟练掌握Hadoop生态,包括但不限于Hive/Spark/Flink等一种或几种大数据计算框架; 3. 熟悉数仓原理和实施,有实时数仓、离线数仓设计与开发经验; 4. 熟悉SpringCloud,SpringBoot等常用的开源框架优先 5. 熟悉OLAP平台建设或有过经验、熟悉业务指标设计且熟练掌握OLAP的维度建模设计方法优先 6. 熟悉常见数据挖掘、用户画像、搜索推荐、知识图谱、自然语言理解等相关算法及模型优先
-
(理工科专业优先, 岗位职责: 1、负责公司数据仓库建设、数据集成、数据管理的架构设计及开发工作; 2、负责公司各互联网产品的报表开发及版本迭代; 3、对数据有较高敏感性,熟悉互联网数据开发流程,完成从业务模型到数据模型的设计及开发工作。 任职要求: 1.有参与数据开发3-6年经验 2.具备一定的业务理解能力,能够根据业务需求进行数据处理和分析。 3.对数据有较高敏感性,熟悉互联网数据开发流程,完成从业务模型到数据模型的设计及开发工作。熟练掌握Java、Python等编程语言,能够进行大规模数据处理和分析。 4.熟悉关系型数据库和NoSQL数据库,如Postgresql、MySQL、Oracle、HBase、MongoDB等。 5.熟悉Hadoop、Spark、Flink等大数据处理框架,能够进行数据的存储、处理和分析。 3.具备良好的数据开发能力,能够独立完成数据开发工作,包括数据清洗、数据转换、数据集成等工作。
-
大数据开发工程师
[广州·天河区] 2024-04-1018k-27k 经验3-5年 / 本科IT技术服务|咨询,专业服务|咨询,软件服务|咨询 / 未融资 / 2000人以上This role will carry out some or all of the following activities: • Contributing into the delivery of a data platform related operational enhancements. • Extraction, Transformation and Loading (ETL) of data in the data lake • Responsible for creation of Data Quality dashboards specific to a business area. • Data modelling works • Optimising consumption of data from the data repositories. • Address functional and non-functional requirements relevant to data in large applications. • Experience on Spark ( Scala). Pyspark , Delta Lake , GCP , Ali will be plus -
岗位职责: 1、深入理解业务需求,抽象系统数据模型,对数据进行清洗、分析、统计及接口开发; 2、按时按质完成项目分配的任务开发、系统评测等工作任务; 3、定期维护系统程序,快速处理反馈回来的系统bug; 4、负责构建数据仓库(设计、开发、维护),大数据处理架构; 5、负责基于Hadoop、Spark等技术的海量数据自动化分析处理和统计工作。 任职资格: 1.熟悉Hadoop、Hive、Hbase、Spark、Flume、Kafka、Spark Streaming等大数据相关技术; 2.熟悉Java和Python,掌握基本算法和数据结构; 3.掌握至少一种主流关系数据库(Oracle/MySql/SqlServer),有一定的SQL功底; 4.要求两年以上工作经验; 5.有较强的沟通能力,有一定的团队领导能力; 6.专科以上学历,计算机、软件相关专业
-
说明:公司的数据量PB级别,非常有挑战,机遇难得。 岗位职责: 1.负责大数据主流技术组件的基准测试以及与业务结合的性能测试。 2.负责主流实时、离线大数据架构体系研究及分享。 3.负责或参与大数据项目底层业务需求的分析、沟通、确认及实现。 4.负责或参与大数据项目底层的架构设计、设计评审、代码实现和评审。 5.参与项目上线后的性能监控、分析、调优等工作,保障系统的正常运行。 岗位要求: 1、计算机或相关专业,本科以上学历,1年或1年以上java开发经验。 2、熟悉JAVA编程,熟悉多线程开发、分布式开发,具备较扎实的编程基础和良好编程习惯。 3、熟悉Linux,熟悉Shell命令操作,执行安装部署程序及简单运维。 4、熟悉HaDoop生态,能熟练使用JAVA进行MapReduce、Spark等技术开发,熟悉分布式性能调优者优先考虑。 5、具备主人翁精神和团队精神,沟通协调表达较好,有上进心,能承受一定压力。 6、优秀java开发经验者或优秀的毕业生可考虑培养。
-
岗位职责: 1、Hadoop大数据平台架构及组件的优化; 2、数据分析平台的开发和优化; 3、数据展示系统的开发和优化; 4、大数据集群的监控、管理、性能优化; 5、数据计算性能瓶颈的定位及优化。 这样的你是我们的理想型: 1、国家**本科及以上学历; 2、熟练使用C/C++/Java; 3、熟练掌握计算机数据结构和算法; 4、熟悉Hadoop架构,有大数据、分布式存储及计算等相关经验者优先。
-
工作职责: 1)、数据ETL工作; 2)、参与数据产品设计工作:数据分析挖掘:与医疗业务专家配合,承担数据仓库构建、模型构建、数据标签、知识库、画像分析等相关数据产品等设计工作; 3)、数据挖掘分析工作; 4)、数据产品研发工作。 任职要求: 1)、具有深厚的统计学、数据挖掘等相关知识,熟悉数据仓库和数据挖掘的相关技术,精通建模方法并有过独立的建模实践; 2)、熟悉软件产品研发流程:精通SAS,R,SPSS等统计分析软件,具有海量数据挖掘、分析相关项目实施经验,参加过完整的数据挖掘项目并有成功案例; 3)、精通Kettle、pentaho等工具的使用或开发; 4)、熟悉Python、TIDB、关系型数据库、大数据Hadoop生态编程及数据库操作者优先录用。
-
1.两年及以上工作经验 2.熟悉数据仓库各类建模理论、数据仓库分层分域、多维数据模型设计。 3.熟悉数据仓库开发流程,至少熟悉Hive/Hadoop/Spark/Storm/Flink分布式计算框架中的一种。 4.具备大型数据仓库架构设计、数据标准和规范制定、模型设计、数据治理等相关经验优先。 5.对业务有敏锐的洞察能力,可以对复杂业务逻辑快速抽象建模,践行数据驱动。 6.良好的沟通表达和团队协作能力,自我驱动,学习能力强。


