-
职位职责: 1、负责字节跳动所有产品线UG方向的数据流和相关数据服务; 2、面向超大规模数据问题,每天处理千亿增量的用户数据; 3、负责流式数据的实时传递,清洗,转换,计算,并对外提供查询服务; 4、参与数据治理工作,提升数据易用性及数据质量; 5、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作。 职位要求: 1、熟悉Linux操作系统及开发环境; 2、扎实的计算机软件基础知识:数据结构,操作系统等; 3、熟悉 C/C++、Java、Python 等任意一门编程语言; 4、对数据敏感,认真细致,善于从数据中发现疑点; 具备以下条件者优先: 1、研究过开源项目; 2、参加过 ACM 或者其他类型的软件开发大赛; 3、熟悉大数据处理工具/框架中的一项或多项,包括但不限于Hadoop, Mapreduce, Hive, Storm, Spark, Druid, kafka, hbase,ES等。
-
职位职责: 1、综合收入和支出,预测用户生命价值,打造渠道投放和内容采买评估体系; 2、基于用户表现,建立用户衰减模型,打造DAU预测和多产品互导平台; 3、整合业务、财务、人力数据,提供一站式查询平台。 职位要求: 1、强悍的编码、系统设计和troubleshooting能力; 2、熟悉至少一个分布式框架,如Hadoop、Hive、Spark、Storm、Kafka、Flink等; 3、有扎实的数据结构和算法功底,熟悉统计学习、机器学习、深度学习中一项或多项; 4、有数据挖掘、指导业务策略的经验(如渠道投放、内容采买和产品互导等)优先。
-
岗位职责 : 1、负责数据中台项目规划、设计、建设,夯实大数据技术中台底座,支撑基于中台的各类数据及业务应用; 2、按照公司业务方向及战略规划,同业务需求和产品团队高度协同,深入融合,依据客户业务场景和需求,进行产品的设计开发,产品可落地,可复制推广,并交付各部门使用; 3、根据业务模型,制定实时数仓和离线数仓的规划与实现,数据模型的建立和数据流程建设,包括元数据管理、ETL调度系统、数据集成系统、OLAP等子系统的设计和开发等; 4、针对数据一致性、准确性、及时性,制定数据管理与治理机制,包括元数据管理、数据质量检查、数据分级管理等系统的设计、开发及应用,提升数据易用性、可用性及稳定性; 5、带领并指导数据开发团队,进行数据中台的架构设计、模块拆分、功能实现,技术难题的解决; 6、研究大数据技术领域最新进展,并应用到业务中。 任职要求 : 1、本科及以上学历,计算机相关专业,5-10年工作经验数据架构相关的实践工作经验;具有5年及以上的数据库/DW/BI架构体系建设、管理和开发经验,精通主流数据库原理、深入理解内核优化、存储引擎等。 2、具备至少一个完整的大数据平台和BI系统实施经验,熟知平台建设各环节工作,包括数据采集、数据落地、仓库建设、数据平台搭建、数据应用产品开发。 3、熟悉基于推荐系统的数据仓库建设方法论,有数仓模型设计及ETL开发经验;有数据仓库分层架构设定经验者优先。 4、熟悉Hadoop生态相关技术,如Hive、HBase、Spark、Storm、Flink、Elasticsearch、Impala、Druid、Kylin等,有基于分布式数据存储与计算平台应用开发经验,有较为系统的海量数据性能处理经验。 5、熟悉java、python、scala等语言,熟悉微服务,分布式架构,熟悉springcloud,springboot等技术开发。 6、熟悉数据仓库原理,有实时数仓和离线数仓设计与开发经验。 7、熟悉MySQL、PostgreSQL、NoSQL等数据库中至少一种数据中心建设方案,可以进行产品的独立部署、高可用架构和性能优化,熟悉开源社区解决方案。 8、较强的学习能力和技术钻研能力、有自我驱动意识,对数据采集、数据治理、数据开发、数据分析、数据建模、算法等有深刻认识和实战经验。 期待您的加入哟,我们为您准备丰厚福利待遇: 【法定福利】:公司按国家规定购买五险一金+商业保险(员工本人及子女商业保险)+带薪年假; 【节日关怀】:节日福利礼品,以及节日礼金; 【公司福利】: 机场及高铁的贵宾服务(龙腾卡权益)+年度员工健康体检+平安360服务(在线问诊、VIP挂号及重疾紧急入院服务)+年度2次免费洁牙服务 公司提供咖啡、零食、下午茶 员工活动、旅游及团建,不定期举办聚餐、唱K、电竞赛、篮球赛、拓展、旅游、生日Party等 【学习与培训】:助力职业发展与提升,内外训双引擎发力助你高速发展 【晋升机会】:公司设立良好的晋升机制和广阔的发展空间。
-
【岗位描述】 1.结合大模型能力与业务数据,深度挖掘处理互联网海量结构化及非结构化数据,应用先进的统计建模、数据挖掘、机器学习等方法构建数据模型,优化算法,提升数据分析效率; 2.负责业务数据分析、采集与预处理,数据可视化对接,开发数据接口,对接数据可视化工具或其他展示系统; 3.负责数据分析任务的开发工作,包括定时批处理分析及流式实时计算。 【任职资格】 1.硕士及以上学历,计算机、软件工程、通信、自动化、信息管理等相关专业; 2.具有较强的需求分析及代码开发能力,有数据分析或大数据领域工作经验者优先; 3.熟练使用至少一种主流数据库(如Oracle、MySQL、PostgreSQL); 4.熟悉大数据生态及业界数据分析相关产品,深度了解Hadoop、Hive、Spark、Storm、Flink等组件,具备Hadoop/Spark代码级的调优经验; 5.了解ETL及前端可视化,有流式数据处理经验优先; 6.熟练掌握Python或Java开发语言,熟练使用Linux操作系统。
-
岗位职责: 1. 负责京东搜索引擎推广账号-计划-单元-关键词结构搭建研发,以及拓词&OCPC能力对接等; 2. 负责关键词查询检索服务的研发,优化目前系统中的检索瓶颈; 3. 参与需求分析,为业务提供切实可行的解决方案及开发实现; 任职资格: 1. 有扎实的Java基础,熟悉io、多线程、集合等基础框架,熟悉分布式、缓存、消息等机制; 2. 熟悉J2EE规范,熟悉常用的设计模式;熟悉高并发、高性能的分布式系统的设计及应用、调优; 3. 熟悉主流开源框架,如Maven、Spring、ibatis、Jenkins、MapReduce、Spark、Storm等技术; 4. 熟悉大数据相关知识,合理使用脚本工具:shell、pig、python、hivesql。 符合京东价值观:客户为先、创新、拼搏、担当、感恩、诚信,具备广告研发经验者优先。
-
1、协同政府交通管理部门及技术团队,推进智慧交通解决方案落地。 2、负责项目数据治理制度体系、数据管理规范、数据管理实施细则及管理流程等,推动项目数据规范化管理提升。 3、负责项目实施过程中的资源整合协调管理,各部门及用户的协调沟通管理,项目干系人管理,负责项目实施过程的用户日常和阶段性汇报。 4、负责项目实施的质量管理,从业务流程设计、原型、测试等方面跟踪和管理项目质量。 5、负责项目业务目标的制定和执行,确定项目业务目标,并在项目框架设计、概要设计中进行落地,负责梳理业务的详细流程和需求设计。 6、归纳整理智慧交通行业及客户业务需求,同时可提出交通信息化产品优化及升级改善的建议。 任职资格 1、交通专业本科以上学历,3年以上交通行业信息化项目或数据分析经验; 2、熟悉交通领域特有技术(实时交通数据处理、路径规划算法等),熟悉交通行业数据标准(GB/T 26773、JT/T 809等),熟悉交通流量预测、路径规划优化、异常事件检测等业务内容; 3、熟悉使用至少2种编程语言(Java/Shell/Python/SQL),能设计数据采集、清洗、存储及分析全链路解决方案,处理TB级交通数据; 4、熟悉数据仓库的建设方法论,有大型数据仓库的设计和落地经验; 5、熟悉oracle/mysql/MongoDB等多源数据库,以及大数据实时计算生态(Storm、Spark、Flume、Kafka等); 6、熟悉达梦数据/GuessDB/星环大数据平台优先;从事过省级以上TOCC项目、具备丰富的交通行业大数据分析者优先。
-
技能要求: Hive,Hadoop,Spark,kafka,Python,数据架构 技能要求: 数据分析,Web安全,数据处理,Hive 岗位职责: 1.负责基于Hadoop/Spark/Hbase/Kafka等平台的批量处理和实时计算开发; 2.负责公司大数据平台数据模型的设计及开发,包括数据需求的沟通、离线/实时模型设计与开发、质量管理监控等工作; 3.负责大数据数据中台开发。负责大数据端与web端的对接; 4.负责对接各事业部及其他团队相关技术规划及管理工作。 任职资格: 1.本科及以上学历,计算机及相关理工科专业; 2.5年及以上相关工作经验,具有扎实的数据结构与算法的理论知识; 3.熟练使用shell、perl、 python、Java、C、C++等至少2门脚本语言; 4.了解Hadoop、Hbase、 Kafka、 Hive、 Spark、 ES、 Storm等组件的工作原理; 5.近3年从事 大数据研发、大数据处理技术架构、数据中心性能评估设计研究等相关岗位; 6.有较强的自学能力、钻研精神和动手能力,具有良好的逻辑思维能力、沟通能力和团队协作能力,做事认真、踏实、负责; 7.有团队管理及人员培养经验优先。
-
岗位职责: 1.支持Hadoop集群底座的运维故障分析、解决、性能优化;大数据集相关组件主要包括:Yarn、HDFS、ZooKeeper、Storm、Kafka、Hbase、Hive、Spark、Kerberos、Spark、Flink、Flume、MySQL等组件运维; 2.开发数据采集、清洗、分析、挖掘及可视化功能,需熟悉ES、milvus、pgsql等。 3.熟悉国产数据库,包括doris等; 4.配合开展HDFS存储、Hive元数据治理优化,建立并完善存储治理方案; 5.配合开展Hive、Spark作业优化,对业务侧提出优化建议。如:作业小文件问题、数据倾斜治理方案等; 6.提出集群优化建设方案,配合建设和优化大规模分布式集群的自动化运维、监控等工具和管理平台。 任职要求: 1.***本科及以上学历,通信/计算机等相关专业,具有良好的学习能力、沟通能力、团队合作能力及一定的抗压能力; 2.熟悉Hadoop、Hive、Hbase、Spark等开源项目,理解组件架构及原理; 3.对大数据运维开发有浓厚兴趣,熟悉Apache Hadoop部署、性能调优; 4.能阅读/理解Hadoop等相关开源组件源码; 5.对HQL、SparkSQL等有较深入的研究,能解决实际业务性能问题; 6.熟练掌握LDAP、Kerberos等安全认证体系; 7.熟练掌握Linux命令与工具进行问题定位,熟悉常规的互联网技术架构; 8.具备一定的Java开发能力; 9.有信控平台开发经验者优先录取。
-
我司在招聘大数据工程师的同时也在招聘Java工程师 技能要求: Linux,网络安全,数据库开发 岗位职责: 1. 构建基于网络信息安全的大数据平台,支持数据采集、处理、分析、监控和可视化全过程。 2. 解决数据规模增长带来的技术、异地存储检索和复杂的业务问题。 3. 参与项目的需求分析和设计工作,并完成相关技术文档的编写。 4. 协助项目负责人解决项目中的技术难题; 任职要求: 1. 本科及以上学历,计算机相关专业,5年以上开发经验,2年及以上大数据从业经验。 2. 熟悉分布式编程,精通JAVA语言程序设计,具有良好的架构规划能力。 3. 熟悉Hadoop/Hive/Spark/Storm/Flink/Kafka/等技术,具备实际项目设计及开发经验。 4. 精通SQL,熟悉Mysql/Oracle处理机制及应用场景;熟悉NOSQL,如Redis、Hbase、MongoDB等 5. 有Druid、Clickhouse 或Kylin使用及性能优化经验者优先。 6. linux操作系统操作熟练,有能力进行复杂脚本(shell/PYTHON等)编程。 7. 工作态度端正,对技术充满热情具有钻研精神,有良好的问题分析和追踪能力,团队合作意识较好。 具有以下条件者优先考虑: 1)有Kubernetes/docker/Etcd 等容器技术使用者。 2)有网络信息安全从业经验者。
-
岗位职责: 1.协助后台数据库存储过程开发及问题定位优化; 2.负责数据处理调度开发与维护; 3.协助数据探索及临时数据提取需求; 4.协助编写项目需要的需求文档。 岗位要求: 1、计算机、软件工程、通信工程相关专业本科及以上学历。 2、掌握至少一种数据库开发技术:Oracle、Hive、DB2、SQLServer、Mysql等,熟悉存储过程编写或shell、Python等脚本编写。 3、有AI大模型、智能体相关经验优先。 4. 熟悉数据开发的原理和技术,具有SPARK、STORM、KAFKA等开发经验者优先。 5、责任心强,工作细致,性格开朗,善于沟通,团队协作力强。
-
中高级JAVA研发工程师岗位描述:1、 参与大数据商业产品的设计和开发,并完成相应设计文档;2、 负责完成业务和产品的对接,支持业务需求研发;3、 负责完成产品的迭代升级以及底层架构的升级研发。4、 完成团队安排的其他相关日常工作任职要求岗位职责:1、计算机相关专业,本科及以上学历,五年以上J2EE开发经验;2、熟练使用Spring、Ibatis、redis、Mysql等技术;3、具有分布式系统架构开发能力。熟悉hadoop,storm,hbase,Elasticsearch等大数据技术。4、有大数据商业产品研发经验优先,具有数据分析产品研发经验者优先。5、了解数据分析,具有olap产品研发经验优先。具有外网系统调优经验优先。6、精益求精的钻研精神,思维严谨,高度责任心,具有高执行力;7、良好的文档写作能力,沟通能力和团队协作精神。
-
岗位职责: 1、参与基于Hadoop的大数据平台的研发工作与持续优化工作。 2、参与大数据平台的容量规划、持续交付、业务监控、应急响应,保证平台正常运行。 3、利用大数据相关技术实现对数据的分析、挖掘、处理、及数据可视化等相关工作。 4、学习和研究新技术以满足系统需求。 岗位要求: 1、拥有数据处理相关专业背景。 2、对互联网产品有见解,关注前沿技术,有较强的学习能力、分析能力和动手能力。 3、熟悉常用分布式计算和存储框架,如Hadoop/HDFS/Spark等。 4、至少熟悉以下一种大数据技术组件,Hive、Impala、Hbase、Flume、Kafka、Zookeeper、Storm、Flink。熟悉资产管理、资金业务和金融工程相关领域业务者优先。 5、个性乐观开朗,沟通能力强,具备良好的团队协作精神,能利用自身技术能力提升团队整体研发效率。 6、工作经历需满2年。最短工作经历不少于一年。
-
岗位职责: 1.支持Hadoop集群底座的运维故障分析、解决、性能优化;大数据集相关组件主要包括:Yarn、HDFS、ZooKeeper、Storm、Kafka、Hbase、Hive、Spark、Kerberos、Spark、Flink、Flume、MySQL等组件运维; 2.开发数据采集、清洗、分析、挖掘及可视化功能,需熟悉ES、milvus、pgsql等。 3.熟悉国产数据库,包括doris等; 4.配合开展HDFS存储、Hive元数据治理优化,建立并完善存储治理方案; 5.配合开展Hive、Spark作业优化,对业务侧提出优化建议。如:作业小文件问题、数据倾斜治理方案等; 6.提出集群优化建设方案,配合建设和优化大规模分布式集群的自动化运维、监控等工具和管理平台。 任职要求: 1.本科及以上学历,通信/计算机等相关专业,具有良好的学习能力、沟通能力、团队合作能力及一定的抗压能力; 2.熟悉Hadoop、Hive、Hbase、Spark等开源项目,理解组件架构及原理; 3.对大数据运维开发有浓厚兴趣,熟悉Apache Hadoop部署、性能调优; 4.能阅读/理解Hadoop等相关开源组件源码; 5.对HQL、SparkSQL等有较深入的研究,能解决实际业务性能问题; 6.熟练掌握LDAP、Kerberos等安全认证体系; 7.熟练掌握Linux命令与工具进行问题定位,熟悉常规的互联网技术架构; 8.具备一定的Java开发能力; 9.有信控平台开发经验者优先录取。
-
Java开发 1、熟悉并至少精通一种Java Web框架(如Spring Boot/Spring MVC)、ORM框架(如Hibernate/MyBatis)以及常用的中间件(如Redis、Kafka) 2、熟悉SQL和NoSQL数据库,如MySQL、MongoDB。 3、熟悉大数据技术栈,包括但不限于Hadoop、Spark、Hive。 4、了解实时数据处理技术,如Apache Kafka、Storm或Flink。 5、良好的数据结构和算法基础. 6、具有至少2-3年的Java开发经验,参与过中大型项目的开发和维护。 7、有成功交付的项目案例,能够独立在项目中承担核心模块的开发工作。
-
一、职位描述 1、对指定的多个网站进行网页抓取、数据提取;负责网络数据抓取规划、清洗以及汇总的开发工作; 2、负责特殊网页采集任务的分析及采集方案设计; 3、参与爬虫架构设计和研发,满足产品中数据抓取的要求; 4、参与爬虫核心算法和策略优化研究; 5、抓取调度和策略优化,实时监控爬虫的进度和警报反馈; 6、爬虫核心系统, 数据平台的研发维护。 二、职位要求 1、 本科及以上学历,计算机相关专业;3年以上开发经验,2年以上Hadoop相关工作经验; 2、具有数据挖掘、信息检索、机器学习开发经验; 3、精通HTML语言,熟悉JS,Ajax,熟悉Lucene、Nutch、Heritrix、larbin、HtmlParse、Scrapy、Crawler4j、WebMagic、WebCollector等开源工具; 4、精通网页抓取原理及技术,从结构化的和非结构化的数据中获取信息; 5、熟练使用一门以上脚本语言(PHP/PYTHON/JAVA/Node.js/SQL/R语言 等); 6、熟练Hadoop大数据平台的核心框架 (HDFS, Pig, Hive, Sqoop, oozie, Zookeeper, Spark, Storm, Kafka 等); 7、精通网络编程,熟悉HTTP传输协议,能模拟浏览器操作爬虫; 8、有丰富Java /Python开发经验者优先;熟悉MySQL、Oracle及有集群数据库开发经验者优先。 9、具备web挖掘等搜索引擎相关知识,有从事网络爬虫、网页去重、网页信息抽取的经验。以解决技术难题为乐,对程序完美有偏执追求;具有团队精神,有想法,敢于挑战自我。


