-
岗位职责: 1.支持Hadoop集群底座的运维故障分析、解决、性能优化;大数据集相关组件主要包括:Yarn、HDFS、ZooKeeper、Storm、Kafka、Hbase、Hive、Spark、Kerberos、Spark、Flink、Flume、MySQL等组件运维; 2.开发数据采集、清洗、分析、挖掘及可视化功能,需熟悉ES、milvus、pgsql等。 3.熟悉国产数据库,包括doris等; 4.配合开展HDFS存储、Hive元数据治理优化,建立并完善存储治理方案; 5.配合开展Hive、Spark作业优化,对业务侧提出优化建议。如:作业小文件问题、数据倾斜治理方案等; 6.提出集群优化建设方案,配合建设和优化大规模分布式集群的自动化运维、监控等工具和管理平台。 任职要求: 1.***本科及以上学历,通信/计算机等相关专业,具有良好的学习能力、沟通能力、团队合作能力及一定的抗压能力; 2.熟悉Hadoop、Hive、Hbase、Spark等开源项目,理解组件架构及原理; 3.对大数据运维开发有浓厚兴趣,熟悉Apache Hadoop部署、性能调优; 4.能阅读/理解Hadoop等相关开源组件源码; 5.对HQL、SparkSQL等有较深入的研究,能解决实际业务性能问题; 6.熟练掌握LDAP、Kerberos等安全认证体系; 7.熟练掌握Linux命令与工具进行问题定位,熟悉常规的互联网技术架构; 8.具备一定的Java开发能力; 9.有信控平台开发经验者优先录取。
-
岗位职责: 1.支持Hadoop集群底座的运维故障分析、解决、性能优化;大数据集相关组件主要包括:Yarn、HDFS、ZooKeeper、Storm、Kafka、Hbase、Hive、Spark、Kerberos、Spark、Flink、Flume、MySQL等组件运维; 2.开发数据采集、清洗、分析、挖掘及可视化功能,需熟悉ES、milvus、pgsql等。 3.熟悉国产数据库,包括doris等; 4.配合开展HDFS存储、Hive元数据治理优化,建立并完善存储治理方案; 5.配合开展Hive、Spark作业优化,对业务侧提出优化建议。如:作业小文件问题、数据倾斜治理方案等; 6.提出集群优化建设方案,配合建设和优化大规模分布式集群的自动化运维、监控等工具和管理平台。 任职要求: 1.本科及以上学历,通信/计算机等相关专业,具有良好的学习能力、沟通能力、团队合作能力及一定的抗压能力; 2.熟悉Hadoop、Hive、Hbase、Spark等开源项目,理解组件架构及原理; 3.对大数据运维开发有浓厚兴趣,熟悉Apache Hadoop部署、性能调优; 4.能阅读/理解Hadoop等相关开源组件源码; 5.对HQL、SparkSQL等有较深入的研究,能解决实际业务性能问题; 6.熟练掌握LDAP、Kerberos等安全认证体系; 7.熟练掌握Linux命令与工具进行问题定位,熟悉常规的互联网技术架构; 8.具备一定的Java开发能力; 9.有信控平台开发经验者优先录取。
-
岗位职责: 1、负责公司各产品线服务可靠、稳定、高效运行,提供K8S,Hadoop技术支持。 2、负责运维平台建设 通过技术手段提升工作效率; 3、负责公司各类基础设施监控、自动化、监控体系的持续建设与完善; 4、参与公司各类产品自动化实现,满足严格的质量与效率要求; 岗位要求: 1、***大学本科(计算机专业,获得***书、***书) 2、能熟练编写 Shell或Python脚本,有go/python/shell编程能力者优先 熟悉devops理念 3、熟悉自动化运维工具(saltstack/ansible/Jenkins)的原理及使用,有二次开发经验优先 4、具备kubernetes、docker、HDFS、spark、Hive运维经验者优先。 5、具备一定JAVA/GO开发经验优先。 6、具备良好的学习能力,能够快速掌握一门新的技术。
-
岗位职责:1.参与大数据中心大数据相关(不限)的软件项目需求分析、架构设计、功能研发等;2.负责各主要模块的功能设计和编码实现。 任职资格:1.**本科以上学历,1-5年工作经验,校招不受限;2.熟悉java/jvm, 熟悉java应用开发软件栈;3.熟悉java web服务常见框架,有丰富的web service开发项目经验;4.熟悉linux,有良好的算法和数据结构基础;5.关注性能、有分布式系统或者高并发开发经验者优先;6.熟悉关系型数据库技术,有性能调优的加分;加分项:7.有分布式应用软件(hadoop/kafka/redis等)经验加分。
-
岗位职责: 1.负责广告流量反作弊系统的规划&建设,包括但不限于相关数据收集、风控规则&算法挖掘与落地、风险等级建设与报警等; 2.基于业务需求以及日常问题识别,制定业务场景反作弊策略和解决方案,确保各业务场景反作弊效果; 3.探索反作弊场景的算法模式,例如半监督/无监督/自监督/小样本学习/强化学习/对比学习等,并且将之应用到反作弊业务场景中; 4.在流量质量评估的基础上,反哺广告投放、用户增长等业务场景; 任职资格: 1. 熟练使用python、sql、java等语言,工程落地能力强; 2. 有良好的业务sense,熟悉数据分析、数据挖掘,能够自主挖掘有效的反作弊规则; 3. 熟悉反作弊相关机器学习算法,有实际业务落地经验者优先; 4. 熟悉大数据工具Hadoop、Spark、kafka、flink等的使用; 5. 具备良好的理解能力和沟通能力,数据敏感度高,善于将业务问题转化为技术问题。
-
岗位职责: 1.负责腾讯音乐集团相关产品推荐算法的设计实现与优化; 2.负责完善现有推荐系统的基础算法及并行计算框架; 3.负责音乐平台业务的基于用户/音乐特性的数据挖掘及推荐策略设计实现; 4.负责能够根据业务数据变化不断设计并调整算法策略来提升算法质量,并最终提升用户体验。 岗位要求: 1.硕士及以上学历; 2.计算机,统计,信息,数学等相关专业毕业优先; 3.扎实可靠的编程能力,精通C/C++/GO至少一门编程语言; 4.熟悉业内推荐算法及数据挖掘领域的技术热点和进展,对互联网在线音乐的推荐系统架构设计有深入了解; 5.了解Hadoop/Spark生态相关技术优先; 6.具备规模分布式数据存储与计算开发经验者优先; 7.沟通能力佳,表达能力出众者,音乐爱好者优先。
-
职位职责: 1、负责直播业务的机器学习算法的模型建设,优化直播侧主播体验和增长; 2、负责提供直播业务场景下的策略解决方案,包括但不限于数据挖掘、序列识别、诊断归因、活动和任务策略设计等; 3、负责调研先进的机器学习模型,通过数据发现直播业务的增长问题并应用算法解决问题。 职位要求: 1、掌握机器学习、因果推断、概率统计等领域的基础知识,了解前沿算法; 2、熟悉常用机器学习、运筹优化算法,具备以下两种及以上能力:机器学习分类、聚类、序列识别、深度学习分类、回归、数学规划和启发式算法; 3、具备优秀的编码能力,扎实的数据结构和算法功底,至少熟练掌握C/C++/Go/Python一种开发语言; 4、熟悉常用的大数据开发工具 (Spark/Hive/Hadoop等),模型开发框架(Tensorflow/PyTorch/Scikit-learn/XGBoost等); 5、具有良好的团队合作意识、理解沟通能力及独立解决问题的能力。
-
职位职责: 1、负责字节跳动所有产品线UG方向的数据流和相关数据服务; 2、面向超大规模数据问题,每天处理千亿增量的用户数据; 3、负责流式数据的实时传递,清洗,转换,计算,并对外提供查询服务; 4、参与数据治理工作,提升数据易用性及数据质量; 5、理解并合理抽象业务需求,发挥数据价值,与业务团队紧密合作。 职位要求: 1、熟悉Linux操作系统及开发环境; 2、扎实的计算机软件基础知识:数据结构,操作系统等; 3、熟悉 C/C++、Java、Python 等任意一门编程语言; 4、对数据敏感,认真细致,善于从数据中发现疑点; 具备以下条件者优先: 1、研究过开源项目; 2、参加过 ACM 或者其他类型的软件开发大赛; 3、熟悉大数据处理工具/框架中的一项或多项,包括但不限于Hadoop, Mapreduce, Hive, Storm, Spark, Druid, kafka, hbase,ES等。
-
职位描述: 1、构建热点的数据库管理系统,设计方便业务使用的关键状态管理,以及各类属性的实时存储,以及查询服务功能。 2、围绕海量微博UGC文本数据,通过聚合选优,挖掘大众讨论热点。 3、围绕热点,通过数据分析,建设热点内容评估的各项重要特征,包括热度、内容价值、类别,关系特征等 任职要求: 1、扎实的编码能力与算法基础,熟练使用Linux下的python/shell/c++/php中2门以上的语言开发。 2、具有良好的沟通能力和良好的团队合作精神,学习能力强 3、熟悉hadoop、hbase、hive的使用,并了解基本原理。 4、参与过大模型,个性推荐的项目方向,优先选用。 5、工作以业务发展为导向,积极负责。
-
岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
-
岗位职责 负责自然语言处理(NLP)相关算法的研究、设计与实现,包括但不限于文本分类、情感分析、实体识别、语义理解、机器翻译、问答系统等。 参与大规模语料库的预处理、特征提取、模型训练与优化,提升算法性能与效果。 跟踪学术界与工业界最新NLP技术动态,探索并落地前沿算法,解决实际业务问题。 与产品、数据团队紧密合作,理解业务需求,设计并开发高效的NLP解决方案。 负责NLP模型的部署与性能优化,确保算法在高并发、低延迟场景下的稳定性。 编写技术文档,分享技术经验,推动团队技术能力的提升。 任职资格 计算机科学、人工智能、数学、统计学或相关专业本科及以上学历,硕士或博士优先。 熟悉自然语言处理基础理论,掌握常见的NLP算法与模型,如BERT、Transformer、LSTM、CRF等。 具备扎实的编程能力,熟练掌握Python,熟悉常用深度学习框架(如TensorFlow、PyTorch)。 熟悉NLP相关工具库(如NLTK、spaCy、Hugging Face Transformers等),并具备实际项目经验。 具备良好的数学基础,熟悉概率论、线性代数、优化算法等知识。 有大规模数据处理经验,熟悉Hadoop、Spark等分布式计算框架者优先。 具备较强的学习能力与问题解决能力,能够独立完成算法研究与开发任务。 良好的团队合作精神与沟通能力,能够与跨部门团队高效协作。 有NLP相关领域论文发表或开源项目贡献者优先
-
岗位职责: 1.负责公司业务系统数据库的性能维护、安全性管理; 2.负责公司数据可靠性维护、数据备份和数据容灾; 3.对开发项目提供数据库技术支持; 4.负责数据库运维自动化脚本编写。 任职要求: 1.计算机、软件相关专业本科及以上学历; 2.3-5年相关工作经验; 3.较强的沟通学习能力,对技术有热情,有能力直接跟踪和学习最新的技术和知识; 4.有python或者shell编程能力; 5.有oracle、mysql、mongodb、hadoop至少一种运维能力。
-
此岗位需要在深圳办公。 岗位职责: 1、电商场景下的流量分发体系建设; 2、电商场景下的广告平台建设。 任职要求: 1、计算机及相关专业本科及以上学历,具有扎实的代码功底,熟悉常用的算法和数据结构; 2、精通C++或者Java语言和框架,熟悉了解Python语言,具有良好的编程习惯,熟悉Linux开发环境,掌握设计模式; 3、掌握多线程及高性能的设计编码及性能调优,有高并发应用开发经验,对服务治理体系有充分的理解和应用; 4、熟悉Hadoop/Hive/HBase/Spark/Flink/ES等计算框架,熟悉Docker技术及Kubernetes容器调度系统; 5、具备互联网广告业务的系统架构开发经验; 6、具备大容量、高性能、分布式系统的设计开发经验。
-
职位描述 1、加入高德地图的商业智能BI团队,深入理解高德核心业务,为决策层评估业务价值、进行业务决策等提供数据支撑; 2、数据研发:参与高德地图打车、搜索等核心业务的数据仓库、数据产品建设,参与数据治理并沉淀业务数据资产; 3、数据挖掘:基于高德地图的海量日志,通过算法模型挖掘有价值的业务信息,指导高德地图的产品迭代。 职位要求 1、计算机、数学、统计或者相关专业本科以上学历; 2、熟悉Java/Python,精通SQL,具有5年以上数据研发经验; 3、熟悉HADOOP大数据平台架构:HDFS/HBase/Hive/MapReduce,熟练掌握MapReduce程序开发,了解实时计算,有使用过Flink、Spark Streaming等开源实时流引擎的优先; 4、对数据仓库系统架构具有良好的认知,理解数据分层、数据倾斜、错峰调度等理念,并具有相关实战经验。
-
岗位职责 1.行情,特征等数据的清洗和开发工作 2.k8s容器编排和调优 3.设计并实施系统运维自动化流程,确保交易系统的稳定性与效率 4.构建投研各个环节的可观测性,构建日报与监控体系 任职要求 1.计算机及相关专业本科及以上学位,有5-10年及以上python开发经验 2.精通 Python3编程 3.熟悉 Linux 操作系统及常用命令,具备脚本编写能力 4.具有 K8s,Hadoop等集群的运维和调优经验 5.良好的团队协作精神和沟通能力,能够在跨职能团队中有效工作


