-
职位职责: 1、负责字节跳动所有产品线UG方向的数据流和相关数据服务; 2、面向超大规模数据问题,每天处理千亿增量的用户数据; 3、负责流式数据的实时传递,清洗,转换,计算,并对外提供查询服务; 4、参与数据治理工作,提升数据易用性及数据质量; 5、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作。 职位要求: 1、熟悉Linux操作系统及开发环境; 2、扎实的计算机软件基础知识:数据结构,操作系统等; 3、熟悉 C/C++、Java、Python 等任意一门编程语言; 4、对数据敏感,认真细致,善于从数据中发现疑点; 具备以下条件者优先: 1、研究过开源项目; 2、参加过 ACM 或者其他类型的软件开发大赛; 3、熟悉大数据处理工具/框架中的一项或多项,包括但不限于Hadoop, Mapreduce, Hive, Storm, Spark, Druid, kafka, hbase,ES等。
-
岗位职责 : 1、数据仓库和数据处理:负责大数据平台的数据仓库、数据治理和数据模型的设计与开发工作。进行日常数据报表开发,理解业务需求,发挥数据价值。 2、数据服务开发:负责离线和实时数据服务的设计、开发、性能调优和效果优化。构建和维护数据管道,处理ETL过程,确保数据质量和准确性。 3、技术研究和应用:参与相关项目的数据需求的实现,设计和编码工作。参与开发过程中相关技术的研究和验证。 4、平台运维和质量管理:负责大数据平台的数据及相关的应用开发、调优及维护。完成日常数据质量的监控,参与大数据平台的日常运维工作。 5、针对数据一致性、准确性、及时性,制定数据管理与治理机制,提升数据易用性、可用性及稳定性; 任职要求 : 1、本科及以上学历,计算机相关专业,3-5年以上数据开发经验; 2、具备至少一个完整的大数据平台和BI系统实施经验,熟知平台建设各环节工作,包括数据采集、数据落地、仓库建设、数据平台搭建、数据应用产品开发 3、熟悉基于推荐系统的数据仓库建设方法论,有数仓模型设计及ETL开发经验;有数据仓库分层架构设定经验者优先; 4、熟悉Hadoop生态相关技术,如Hive、HDFS、Impala、Spark、Presto、Flink、Hudi、Elasticsearch、HBase、Druid、Kylin等,有基于分布式数据存储与计算平台应用开发经验,有较为系统的海量数据性能处理经验; 5、熟悉java、scala、python等语言,熟悉微服务,分布式架构,熟悉springcloud,springboot等技术开发; 6、熟悉数据仓库原理,有离线数仓、实时计算、数据挖掘、ETL、用户画像、数据可视化等设计与开发经验; 7、熟悉MySQL、PostgreSQL、NoSQL等数据库中至少一种数据中心建设方案,可以进行产品的独立部署、高可用架构和性能优化,熟悉开源社区解决方案; 8、熟悉阿里云大数据组件E-MapReduce、Dataworks、MaxCompute和国际AWS的EMR相关数据产品等,市场常见BI产品(superset、FineBI、神策数据)等相关组件者优先; 9、较强的学习能力和技术钻研能力、有自我驱动意识,对数据采集、数据治理、数据开发、数据分析、数据建模、算法等有深刻认识和实战经验。 期待您的加入哟,我们为您准备丰厚福利待遇: 【法定福利】:公司按国家规定购买五险一金+商业保险(员工本人及子女商业保险)+带薪年假; 【节日关怀】:节日福利礼品,以及节日礼金; 【公司福利】: 机场及高铁的贵宾服务(龙腾卡权益)+年度员工健康体检+平安360服务(在线问诊、VIP挂号及重疾紧急入院服务)+年度2次免费洁牙服务 公司提供咖啡、零食、下午茶 员工活动、旅游及团建,不定期举办聚餐、唱K、电竞赛、篮球赛、拓展、旅游、生日Party等 【学习与培训】:助力职业发展与提升,内外训双引擎发力助你高速发展 【晋升机会】:公司设立良好的晋升机制和广阔的发展空间。
-
岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
-
岗位职责: 1.负责大数据相关项目的架构设计; 2.负责数据仓库的建设、模型设计及研发工作; 3.负责大数据离线及实时程序的设计.研发及调优工作; 4.负责完成数据治理工作落地要求; 5.负责大数据相关新技术的研究及本地化应用。" 任职要求: 1.具有5年以上大数据平台和相关产品设计研发经验; 2.精通Hadoop、HDFS分布式存储系统原理; 3.精通Hive,精通HQL、SQL,并具有一定的调优能力; 4.熟悉Kafka/Kylin/Elasticsearch/Flume等主流工具; 5.精通数据仓库的体系架构理论,具有数据仓库模型设计和数据治理实战经验; 6.了解数据治理相关领域,能够牵头数据标准制定。"
-
职责描述: 1. 负责分布式大数据平台架构建设、数据建模和数据应用后端开发。 2. 负责大数据相关组件OLAP引擎、实时计算,文件存储等相关研究和开发。 3. 负责大数据系统及组件的性能、效率、稳定性分析与优化。 任职要求: 1. 熟悉Hadoop/Kafka/Presto/Kudu等大数据技术和组件,有5-7年大数据组件的使用和二次开发经验。 2. 具备扎实的计算机基础,熟悉分布式系统开发,熟悉云原生技术。 3. 精通Java开发语言,具有良好的编程开发能力。 4. 对新技术敏感,有一定独立分析,技术研究能力,具有良好的团队合作精神。 5. 能够深刻理解业务,善于利用技术实现相关业务价值。 6. 具备一定云原生技术经验(kubernetes ,Docker)者优先
-
岗位职责: 1. 负责分布式大数据平台架构建设、数据建模和数据应用后端开发; 2. 负责大数据相关组件OLAP引擎、实时计算,文件存储等相关研究和开发; 3. 负责大数据系统及组件的性能、效率、稳定性分析与优化。 岗位要求: 1. 熟悉Hadoop/Kafka/Presto/Kudu等大数据技术和组件,有3年以上大数据组件的使用和二次开发经验; 2. 具备扎实的计算机基础,熟悉分布式系统开发,熟悉云原生技术; 3. 精通Java开发语言,具有良好的编程开发能力; 4. 对新技术敏感,有一定独立分析,技术研究能力,具有良好的团队合作精神; 5. 能够深刻理解业务,善于利用技术实现相关业务价值; 6. 具备一定云原生技术经验(kubernetes ,Docker)者优先。
-
职位需求: 1、参与构建公司数据底盘建设,搭建公司级大数据平台包括并不限于调度平台、监控平台、离线和流式计算平台、智能报表平台。 2、参与优化集群/组件性能。 3、对部分开源大数据组件进行二次开发与部署,支持相关业务开发,支持业务质量保障。 任职要求: 1、本科及以上学历; 2、3年及以上后端开发经验; 3、精通Java/scala,能深刻理解集合,IO,多线程,熟悉JVM的原理和性能调优; 4、熟悉主流后端开发框架,如Spring生态体系; 5、熟悉常用设计模式,有一定的数据结构和算法基础; 6、有大数据分布式系统(Hadoop/Spark/Flink/clickhouse/es/druid/presto等)组件的使用和应用优化经验,参与过大数据平台后端开发的优先;
-
岗位要求: -重点本科以上学历,1-3年工作经验,校招不受限 -熟悉java/c++,java语言优先,有良好的算法和数据结构基础 -熟悉jvm和java应用调试技术,有java后端服务优化经验加分 -熟悉linux,有大型开源项目研究和应用加分 -使用过hadoop/spark相关大数据技术、有底层研究经验加分 -优秀的分析和解决问题能力,良好的团队协作精神,有责任心 加分项: -有大数据全栈经验(hive/hbase/kylin/kafka/storm) -了解cuda/cpu、tensorflow/caffe等 岗位职责: -负责hadoop/spark/hive/hbase等内核研发 -研究大数据相关前沿技术,包括机器学习和深度学习等 -负责大数据相关项目的软件分析、设计和开发工作 -负责底层应用架构调整和系统调优 公司地址: 北京海淀区科学院南路2号院3号楼 搜狐媒体大厦 如果你对我们的职位感兴趣,请尽快发简历到 alaleiwang @sohu-inc.com 我们会尽快安排面试!
-
岗位职责: 1.负责大数据产品的架构设计、解决技术瓶颈和问题; 2.针对大数据平台基于各开源项目进行产品选型; 3.负责基于Hadoop、Spark生态的程序设计、开发和维护 4.保证公司软件产品的技术架构的先进性和实用性,通过对计算机技术和相关应用系统流行方案的研究对比,能够有效、准确地提出公司业务相关的应用系统的基础架构和技术平台,确定基础架构和技术路线,并在此基础上指导系统的总体设计工作; 5. 负责相关技术文档的拟订和管理; 6.跟踪、把握技术发展方向,能够讲先进技术引入到产品开发中; 7.负责开发团队建设与管理;组织开发人员的培训、提高员工整体技术水平;指导以及技术难点突破工作; 8.负责开发团队内部总结分析报告工作,定期进行项目分析、总结经验、找出存在的问题,提出改进工作的意见和建议; 9.负责制定技术团队成员年/月计划,并对团队成员进行绩效考核; 任职资格: 1 **本科及以上学历 2 六年以上工作经验,五年以上大数据开发经验,三年以上管理经验; 3 精通java开发语言、熟悉jvm,web开发、缓存,分布式、消息中间件等核心技术 4 对大数据基础架构和平台有深刻理解,熟练掌握Hadoop、Hive 、Kafka、Spark、HBASE、ES等,有大数据技术相关的工作经验; 5 熟悉Oracle/MySql等至少一种关系型数据库技术和MongoDB/Redis等一种NoSQL数据库技术,有实际生产项目应用经验; 6 熟悉多种机器学习、神经网络算法,有人工智能和数据中台相关的开发经验优先; 7 精通Linux环境,精通Java开发,有视频和地图处理相关经验的优先; 8 思路清晰,有较好的沟通能力与技术的学习能力;
-
职位描述: 1.+结合公司战略业务能力建设优先级,沿公司核心业务价值链对各业务领域数据运营、业务决策诊断、智能领导驾驶舱进行体系化规划与实施路径设计以便保障业务数字化变革推进,达到业务分析数据化、决策数据化、分析体系化与智能化. 2.+结合公司数智化战略与业务数据能力建设优先级,对数据中台与AI平台能力逐层建设节奏与公司内外部数据资产化建设进行路径与落地策略规划,以便保障公司数据资产业务价值化,推动数据分析挖掘敏捷自助化与智能化. 3.+建立数据需求管理、价值评估、架构设计规范、敏捷迭代计划、测试计划贯穿项目生命周期的数据项目制度、流程、架构原则与交付标准。 4.+制定完善的大数据工程研发规范,以规范数据平台与资源能力使用、统一空运数据分层架构,提高研发效率与减少领域数据模型耦合来保证数据开发效率与运维成本。 5.+领导与建设卓越数据中心团队(数据基础设施团队、数据工程团队、数据分析团队、AI团队)达到业务成功。 6.+带领团队,开展公司大数据平台建设,包括领域数据分析建模,数据地图建设,报告类数据分析能力建设,探索类数据分析能力,数据中台、BI系统的规划、建设与交付,包含数据采集规范、数据仓库等基础设施建设,技术核心攻坚等。 职位要求: 1.+本科及以上学历,5年及以上大数据、5年及以上团队管理经验。 2.+较强的对上管理,横向协作,以及对下教练经验。 3.+对数据分析领域有较强理解,主导设计过数据分析、数据挖掘相关产品建设,深入了解主流大数据技术、产品的现状和发展趋势; 4.+较深了解云生态的大数据系统及传统数据仓库技术; 5.+具备数据建模和分析经验,熟悉数据挖掘、机器学习、智能推送等常用算法; 6.+对数据敏感,条理清晰,具有较强的分析问题和解决问题的能力; 7.+学习能力强,乐观坚韧工作理念。
-
岗位职责: 1、负责数据仓库建模、数据ETL处理过程。 2、参加产品需求评审,将产品方案通过程序或者BI工具进行呈现。 3、为数据分析师提供技术支持,利用BI工具完成一些实时数据的分析。 任职要求: 1、本科及以上学历,3年以上大数据相关工作经验; 2、熟悉Hadoop/Hbase/Hive/Hudi/Spark/Flink/Druid等大数据开源框架与云服务大数据产品(AWS、华为云),清楚原理和机制; 3、至少熟练应用一种python/java/scala等编码能力; 4、熟悉常用的数据挖掘算法,例如聚类、回归、决策树等; 5、有数据分析系统、用户画像等产品开发经验者优先; 6、至少熟悉一种BI报表开发工具。
-
职位描述 1. 负责管理公司大数据集群的技术开发与运维,提供高可用、高性能大数据集群系统,并保障系统稳定运行。 2. 负责大数据集群各服务自动化运维与监控工具,日常监控、数据备份、数据监控、数据报警及故障处理。 3. 负责管理公司大数据内部系统的开发与迭代。 职位要求 1. 深入了解 Hadoop 生态系统,掌握 Hive、Spark、Kafka、Hdfs、Hudi、Flink等数据处理 核心组件。 2. 具备非常强的开发能力,至少能精通Java、Python、Golang中一种语言。 3. 需要有参与过大数据集群优化经验,资源调度优化经验,有相关成功案例者优先。 4. 熟练掌握Linux类操作系统的命令操作,能够编写脚本开展日常运维工作。 5. 有大型互联网公司分布式数据仓库和数据产品开发经验者优先。
-
岗位职责 1、负责基础数据的开发与迭代,包括数据采集,数据清洗,数据ETL,数据治理等。 2、负责用户标签,用户事件,特征库等大数据基础组件的开发与维护。 3、负责大数据平台上相关功能的开发,为精细化运营和数据分析提供支持。 4、负责管理和维护大数据服务,并保证数据服务的可靠性。 任职要求 1、本科及以上学历,计算机相关专业。 2、具备较强的编码能力,熟练掌握至少一种编程语言。 3、责任心强,工作踏实认真,善于沟通和协调,有出色的执行力。 4、具有良好的逻辑思维能力和数据洞察力,善于从数据中发现问题,热衷于钻研技术。
-
岗位职责: 1、数字政府城市大数据平台规划设计; 2、城市大数据平台规划验证及落地实现,包括大数据框架选型、评测、配置、调优; 3、数据存储模型设计、工具产品及应用设计; 4、工具产品及应用开发; 5、数据接入、预处理、清洗、转换、校验、存储等过程脚本开发; 6、城市大数据平台日常运行监控、管理与维护。 任职要求: 1、计算机、数学相关专业本科及以上学历; 2、3年以上架构师、高级研发工程师、运维工作经验; 3、有大数据平台、数据中台、大数据工具产品规划、研发或运维经验; 4、熟练使用HBase、Hive、Spark、Flink、Kafka等主流大数据相关工具、框架,DolphinScheduler等调度系统,有海量数据处理经验; 5、熟练使用mysql、PostgreSQL、Doris、ClickHouse、达梦等数据库; 6、SQL调优经验丰富; 7、精通Python、Java、C++中至少一种编程语言; 8、熟练使用linux、Power designer,Axure,具备较强的文档能力; 9、责任心强、良好的逻辑能力和良好的团队意识。
-
工作地点杭州之江实验室新园区 岗位职责: 1.基于人工智能方法,研发新一代智能传感大数据处理平台; 2.研究、设计与开发基于FPGA、GPU、CPU异构计算硬件框架的智能计算软件框架,研究异构架构环境的性能优化与数据高速存取方案; 3.研发异构架构环境下安全机制与产品保护方案; 4.研发基于人工智能技术的传感大数据处理软件。 职责要求: 1.计算机、数据算法、数学等相关专业,硕士及以上学历; 2.精通C语言,熟悉Linux系统; 3.具备大系统开发经验,算法平台开发经验与大数据开发相关经验; 4.具备性能优化经验者优先,具备机器学习、深度学习算法实现基础者优先,熟悉GPU编程者优先,具备安全与产品保护相关开发经验值优先,具备QT开发经验者优先; 5.极强的工作责任心,良好的团队协作精神,优秀的表达和沟通能力,乐于挑战,抗压力强。


