-
Hbase运维工程师 职责描述: 1、负责数据集群/Hadoop/hbase等运维保障; 2、负责hbase平台各组件服务的监控及故障处理; 3、对hbase平台运维不断优化,提升数据产品的质量和响应速度; 任职要求: 1、一年以上大数据平台的运维相关运维经验,精于容量规划、架构设计、性能优化; 2、具备一定的开发能力,精通一门以上脚本语言(shell/python等),有java 和 scala 基础尤佳; 3、对hadoop原理有深刻认识,具备相关产品(MapReduce、HDFS、Hbase、Flume、Zookeeper、ES、Kafka)的应用经验,具备底层hadoop集群实际搭建及运维经验。 4、精通hadoop相关生态圈系统的搭建、管理、配置优化。 5、有Lindorm运维经验优先。 6、此岗位为合作方岗位。
-
职位职责: 团队介绍:国际化内容安全平台团队致力于为字节跳动国际化产品的用户维护安全可信赖环境,通过开发、迭代机器学习模型和信息系统以更早、更快发掘风险、监控风险、响应紧急事件,以人工智能技术支持业务发展,力求更高效、更敏捷、更全能地维护站内生态安全。 1、负责国际化机审平台服务端研发工作,包括但不限于:规则引擎、策略平台、特征平台、风险感知、风控数据等系统建设; 2、承接视频审核、直播审核、用户审核等核心链路需求开发工作; 3、建设面向亿级日投稿及亿级日活的高并发、高稳定性系统; 4、持续对系统架构进行改造和优化; 5、参与平台产品研发,针对不同流程进行模块抽象。 职位要求: 1、三年以上的Golang/Java/Python开发经验,具有较强的责任心,自驱力和成长型思维; 2、熟练掌握Golang/Java/Python常用框架,深入了解框架提供的特性及其实现原理细节; 3、具有良好的业务梳理和抽象能力,掌握重构代码基本功; 4、具备良好的编码习惯,结构清晰,命名规范,逻辑性强,代码冗余率低; 5、有分布式系统的设计和开发经验,能独立完成系统的设计及开发;熟练掌握MySQL数据库和一种以上非关系型数据库,如Redis、Cassandra、HBase,理解其使用场景及限制; 6、有以下经验者优先:风控或内容安全相关系统经验;熟悉分布式系统架构设计;有机器学习算法和数据分析经验;主导过系统重构升级项目;主导过平台型产品建设项目等。
-
职位职责: 1、负责国际化内容安全平台机审平台服务端研发工作,包括但不限于:规则引擎、策略平台、特征平台、风险感知、风控数据等系统建设; 2、深入发掘和分析业务需求和产品一起寻找内容安全问题的解决方案; 3、建设面向亿级日投稿+亿级日活的高并发、高稳定性系统; 4、持续对系统架构进行改造和优化; 5、针对多个业务的实际情况,抽象建设统一、高效的机审平台。 职位要求: 1、五年以上的Golang/Java/Python开发经验,具有较强的责任心,自驱力和成长型思维; 2、熟练掌握Golang/Java/Python常用框架,深入了解框架提供的特性及其实现原理细节; 3、具有良好的业务梳理和抽象能力,掌握重构代码基本功;具备良好的编码习惯,结构清晰,命名规范,逻辑性强,代码冗余率低; 4、有大规模分布式系统的设计和开发经验,能独立完成系统的设计及开发; 5、熟练掌握MySQL数据库和一种以上非关系型数据库,如Redis、Cassandra、HBase,理解其使用场景及限制; 6、有以下经验者优先:风控或内容安全相关系统经验;熟悉大规模分布式系统架构设计,熟悉CAP、Quorum、Consistent Hashing等原理和算法;有机器学习算法和数据分析经验。
-
岗位职责: 1、负责账务、线上业务运营相关服务的设计和开发; 2、深入分析业务需求,撰写技术方案和系统设计; 3、完成详细设计和编码的任务,确保项目的进度和质量; 4、能快速分析解决复杂的技术问题; 任职要求: 1、本科及以上学历,专业基础扎实,计算机及相关专业优先; 2、为人踏实,协作能力强,能接受一定的工作压力; 3、具有较强的自我驱动能力和自学能力,沟通能力强; 4、Java Web开发3年以上经验,熟悉面向对象开发模式,了解常用的设计模式; 5、精通Java面向对象开发模式,了解常用的设计模式、熟练使用J2EE开源框架如Spring/SpringBoot/MyBatis-plus/Maven等,并了解其架构和实现原理; 6、精通Java集合包和并发包。或者精通Guava等第三方集合包; 7、熟悉MySQL数据库,能独立完成MySQL的数据库设计、性能调优等; 8、熟悉Kafka、RabbitMQ、Redis、HBase等常用MQ和非关系型数据库; 9、有Hadoop、Hive、Spark、Flink等大数据工具使用经验者优先; 10、有支付、账务系统、清结算、RPA、电子券、BI及数据可视化项目或行业工作经验优先。
-
岗位职责: 1.负责搜狐智能媒体垂直业务服务端研发;2.对业务需求进行技术方案设计、实现以及优化,持续提升服务性能和稳定性,承接用户端流量;3.改进和优化开发流程、技术框架、服务设施性能;4.跟踪新技术发展并运用到实际项目中。 任职资格: 1.**本科以上学历,计算机科学、电子工程、信息工程或其它相关理工科专业学士以上学位,有2年以上互联网服务端开发经验;2.Java基础扎实,熟悉主流的Java开发框架,如SpringBoot,Mybatis,gRPC等;3.熟练使用MySQL、Redis的使用,并了解其原理,具备SQL调优经验;4.熟悉Linux、Tomcat,Nginx等开源的服务器和Web服务中间件,有调优经验;5.对Hadoop,Hbase,Hive有一定的了解;6.责任心强,有良好的沟通能力,团队合作能力以及推进工作执行能力。
-
职位描述: 1、构建热点的数据库管理系统,设计方便业务使用的关键状态管理,以及各类属性的实时存储,以及查询服务功能。 2、围绕海量微博UGC文本数据,通过聚合选优,挖掘大众讨论热点。 3、围绕热点,通过数据分析,建设热点内容评估的各项重要特征,包括热度、内容价值、类别,关系特征等 任职要求: 1、扎实的编码能力与算法基础,熟练使用Linux下的python/shell/c++/php中2门以上的语言开发。 2、具有良好的沟通能力和良好的团队合作精神,学习能力强 3、熟悉hadoop、hbase、hive的使用,并了解基本原理。 4、参与过大模型,个性推荐的项目方向,优先选用。 5、工作以业务发展为导向,积极负责。
-
岗位职责: 参与美团核心本地商业的统一搜索引擎建设,具体包含以下方面: 1. 支撑搜推核心业务的统一检索引擎建设,包含核心存储引擎建设(正倒排索引、向量化检索、KV存储等)、检索引 擎建设(SQL化的查询引擎)、索引构建系统、在线召回系统。 2. 负责流批一体的数据处理系统建设,支撑美团全业务线供给、数百数据源、百亿数据的接入处理、实时索引构建和更新。 3. 从离线数据处理、索引构建、在线召回的一站式平台研发,支持业务的一站式迭代、支持大规模存储服务的自动化运维、auto-resharding、弹性伸缩、离在线混布。 岗位要求: 1. 本科及以上学历,3年以上工作经验,2年以上搜索、推荐、广告相关领域工作经验。 2. 熟练掌握 Java 或 C++ 语言,具备优秀的编码能力。具有强烈的好奇心,能够发现业务中的痛点,并通过架构改进解决问题。 3. 具备大规模在线系统开发经验,具有优秀的问题分析和解决能力。 4. 责任心强、积极主动、有良好的沟通能力和团队合作能力。 岗位亮点: 1. 美团APP的搜索、推荐、营销等场景,流量大,业务复杂,挑战多,发展空间大。 2. 支撑搜索推荐系统的核心引擎建设和从0到1的平台建设和从1到N的深度优化,兼具深度和广度。 具备以下优先: 1. 有大规模分布式计算或存储系统研发经验,能够深度理解相关领域关键问题和主流架构者优先。 2. 熟悉检索系统、熟悉常见的向量检索算法,了解FAISS、ScaNN、HNSWLIB等相关开源组件者优先。 3. 熟悉 HA3、Lucene、ElasticSearch 等开源搜索引擎实现者优先,了解 GPU、SSD 等硬件并有相关经验者优先。 4. 熟悉 Spark、Flink等计算引擎,熟悉 HBase、TiDB 等存储系统,并有相关调优经验者优先。 5. 面对复杂系统、复杂问题有化繁为简的能力者优先。
-
【必备技能】1、熟悉大数据研发生态,有基于hive、hbase做研发的工作经验等。 2、熟悉Oracle/mysql等数据库。 3、能读懂java、python、shell代码 【重要技能】1、熟悉大数据研发生态,有基于hive、hbase做研发的工作经验等。 2、熟悉Oracle/mysql等数据库。 3、能读懂java、python、shell代码 4、3年左右开发经验。
-
岗位职责: 1.负责CDH大数据平台的安装和部署; 2.负责CDH大数据平台各组件的性能优化; 3.负责CDH大数据平台各组件的运行维护和状态监控; 4.负责新技术调研,并能在团队内进行推广应用。 任职资格: 1.理解大数据计算原理,精通Hadoop/Spark体系,了解大数据平台运营基本思路; 2.熟悉HDFS、HBASE、KUDU、SPARK、HIVE等hadoop核心组件,具有两年以上hadoop/Spark技术的运维经验; 3.理解MapReduce计算框架的思想,熟悉分布式计算模型; 4.至少精通一种大数据开发语言,如JAVA、scala等; 5.至少熟练使用一种脚本语言,如Shell、Python等; 6.热爱技术,工作认真、严谨,有团队精神。
-
岗位职责: 1. 数据战略与规划: a) 制定企业3-5年数据战略规划,明确数据能力建设路径(如数据治理成熟度提升、数据产品孵化)。 b) 设计数据管理组织架构,建立跨部门协作机制(如数据治理委员会、数据管家体系),推动数据文化落地。 c) 管理年度数据预算,平衡资源投入(如工具采购、团队培训、合规审计),优化数据管理ROI。 2. 数据管理体系落地: a) 主导数据治理框架(DAMA/DCMM)实施,建立数据标准、质量规则、主数据(MDM)及数据生命周期管理制度。 b) 监督数据血缘追踪、元数据管理及数据目录(Data Catalog)建设,提升数据可发现性与可信度。 c) 构建数据质量监控体系,通过自动化工具(如Informatica、Collibra)实现异常检测与闭环修复。 d) 主导并参与数据治理与数据开发工作。 3. 合规与风险管理: a) 确保数据管理符合GDPR、《数据安全法》、行业监管(如金融业BCBS 239)等要求,制定数据分类分级与脱敏策略。 b) 主导数据安全审计与风险评估,建立数据访问权限审批流程及操作日志追溯机制。 c) 应对数据泄露、隐私侵权等突发事件,制定应急预案并协调法务、公关部门处理。 4. 团队管理与赋能: a) 领导数据治理工程师、数据质量分析师、元数据管理专员等团队,制定KPI并推动目标达成。 b) 设计数据管理培训体系,提升团队专业技能(如数据建模、合规知识)与跨部门协作能力。 c) 引入外部资源(如咨询公司、技术供应商),优化数据管理工具链与行业最佳实践融合。 d) 关注AI增强数据库等新兴数据库技术发展。 5. 数据价值驱动: a) 推动数据资产登记与价值评估(如数据变现潜力、成本节约量化),支持数据交易与商业化探索。 b) 协同业务部门挖掘数据应用场景(如客户分群、供应链预测),通过数据服务(API、BI看板)赋能业务增长。 c) 建立数据管理成效指标体系(如数据质量达标率、治理流程效率),定期向高层汇报价值成果。 6. 完成领导交代的其他工作。 岗位要求: 1. 本科及以上学历,数据科学、计算机科学、大数据专业毕业; 2. 8年以上大数据行业相关经验,5年以上数据团队管理经验,有从事生产制造业大数据体系建设经验者优先考虑; 3. 精通数据管理框架(DAMA DMBOK、DCMM)、数据治理工具(Collibra、Alation)及数据安全合规体系 4. 熟悉Hadoop、Spark、Flink、Kafka、Hive等主流大数据系统原理及源码; 5. 熟悉关系型数据库:如MySQL、Sql Server、 PostgreSQL、Oracle等; 键值数据库:如MongoDB、Redis、Couchbase等;列式数据库:如HBase等,时序数据库 如InfluxDB等;日志分析,如Elasticsearch; 6. 掌握数据建模方法(维度建模、Data Vault)及数据分析基础(SQL、Python); 7. 熟悉Spring Cloud,Dubbo等微服务框架,有微服务、中间件等技术积累和实战经验; 8. 对数据采集、数据开发、数据分析、数据建模、算法等有深刻认识和实战经验,具备大规模系统的故障诊断与性能优化能力; 9. 负责过企业级数据仓库建设项目,有大型企业数据治理项目经验者优先; 10. 在大数据架构、产品、技术等方面有深入思考和中长期的产品和技术视野,对技术架构演进有清晰、成熟的思路; 11. 有较强的逻辑思维能力,思路清晰,善于分析、归纳、解决问题,能够独立或带队进行项目开发。 12. 卓越的跨部门协调能力,能化解业务与技术团队的认知冲突,推动大数据分析落地。
-
数据研发岗: 岗位职责: 1、负责业务需求承接和相关数据及报表研发工作; 2、承接业务需求,按照业务要求,按质按量完成需求交付,沉淀数据资产; 3、可独立完成需求拆解,数据模型设计,数据研发和开发及测试工作。 岗位要求: 1、计算机相关专业本科以上学历。 2、1年以上工作经验。 3、熟悉主流分布式计算工具,hadoop, spark, hbase等,精通SQL开发,熟悉MapReduce原理; 4、有一定的数据仓库开发经验,对各类数据模型设计方法有比较全面和深入的了解。 5、掌握java/python编程中的至少一种; 6、具备较好的数据抽象能力和主观能动性,能够从实际问题出发,提出数据解决方案并跟进方案落地;
-
职位描述: 1. 从事工业数据的采集、传输、分析、集成等技术研究及开发应用; 2. 负责但不限于生产制造管理主题领域的指标体系、数据模型和治理逻辑设计,从业务应用的视角,构建数据驱动的运营管理平台方案; 3. 作为大数据专家角色,充分与内外部合作,负责项目数据类的方案架构设计和技术规划并确保最终落地, 4. 牵头项目关键架构设计和组织技术难点攻关; 5. 参与工业数据标准制订,并且推动团队应用标准; 任职要求 1. 计算机、软件工程及相关专业,本科及以上学历,至少3年以上大数据项目相关工作经验; 2. 掌握Hadoop、HBase、Kafka、Hive、Flink、Spark、datav等组件中至少2项的工作原理,熟悉Hadoop生态系统; 3. 精通Java,Python中的一种或多种语言,熟练掌握海量数据分析的相关模型、算法,有制造行业大数据分析模型经验者优先; 4. 熟悉数据库开发,精通面向对象设计、设计模式,熟练MySQL、Redis等数据库; 5. 有指标系统和数据可视化系统开发经验优先; 7. 具备开发项目管理经验。
-
13k-20k 经验3-5年 / 本科工具类产品,软件服务|咨询,IT技术服务|咨询 / 不需要融资 / 500-2000人【岗位1】 岗位职责 1、负责支付宝开放产品/行业方案的技术支持、技术咨询等工作; 2、对一线技术支持升级的疑难问题进行兜底,对客户问题的最终解决负责,提高客户接入效率; 3、从客户咨询数据中敏锐地发现优化机会,并进行深入分析,为产品优化提供数据支撑和行动建议; 4、不断提升问题解决效率,包括但不限于通过智能服务、文档、排查工具等方式,提高客户问题自助解决和排查效率; 岗位要求 1、计算机相关专业本科及以上学历,2年以上Java/小程序研发或者技术支持经验; 2、Java基础扎实,熟悉Java虚拟机原理、Java高级特性和类库、Java网络与服务器编程、Java多线程编程以及常见开源产品,同时具备一定前端技术背景优先考虑; 3、有良好的信息总结归纳能力,及技术文档撰写能力; 4、责任心强,具备客户服务意识,善于团队协作,有良好的思维逻辑性、语言表达能力; 5、业内各大开放平台从事研发支持工作背或有较长实际集成经验优先考虑; 【岗位2】 我们团队主要负责蚂蚁国际钱包科技售后技术支持服务,在这里你可以学习到最前沿的电子支付技术架构以及产品。 我们主要业务方向是将国内成熟的移动支付的技术服务到海外不同的国家和地区,为当地用户带来移动支付的便利。 包括东南亚 印尼Dana, 马来TNGD,菲律宾GCash,韩国Kakaopav. 印度Paytm,南非Vodapay 岗位职责 1、负责对蚂蚁金服国际的本地合作伙伴提供微服务的售后支持,及平台组件的相关咨询支持服务 2、带领团队负责对蚂蚁金服国际的本地合作伙伴提供技术赋能后的技术支持咨询服务和合作伙伴的关系管理; 3、能够带领团队建立紧急事件响应体系及时响应和高效处理本地合作伙伴的紧急重要业务事件,确保本地合作伙伴关键业务系统稳定 健康的运行在蚂蚁技术平台上; 4、在通过和本地合作伙伴的工作中,可以捕捉,识别对合作伙伴重要的的技术产品资源和流程需求,协调蚂蚁金服内部相关团队有 效支持和赋能本地合作伙伴; 5、能够通过远程服务的方式,定位分析技术服务请求,快速解决问题,并提供让本地合作伙伴 信服的技术支持服务和服务体验。 岗位要求 1.掌握Linux操作系统的配置,管理及优化,能够独立排查及解决系统层的各类问题;熟悉容器的使用以及运维 2.了解Hadoop/HBase/Hive/Spark/Katka/Zookeeper/ELK等开源项目的安装与调试,升级扩容和优化; 3. 至少熟练掌握 Java/Shel/SQL脚本语言;
-
工作职责: 1、负责云端仿真业务核心模块的微服务体系研发、性能调优。 2、负责仿真业务大数据处理平台的研发、部署及维护。 3、负责在特定业务场景下进行技术选型。 4、负责业务研发过程中的技术攻关、对一些技术难题提出解决方案。 任职要求: 1、本科及以上计算机及相关专业;3年及以上工作经验。具有强烈的责任心、使命感、协作精神。 2、精通Java,熟悉Spring等相关技术栈。 3、精通数据库原理及相关性能调优技术,熟悉mybatis框架,熟悉postgresql、mysql等主流数据库。 4、精通常用微服务开发框架。 5、对实时、批处理大数据平台、数据中台等高并发及高可用分布式系统有相关研发或使用经验。 6、精通不同业务场景下的存储和计算技术选型,如高速缓存、分布式存储、实时计算等。 7、具有较强的学习能力、严谨的逻辑思维能力、工程实现能力,良好的编码规范。能够灵活高效地解决研发过程中的技术问题。 加分项: 1、互联网背景,微服务架构、大数据平台、数据中台等研发或使用经验。 2、拥有但不限于下述分布式技术框架的二次开发、部署或使用经验:SpringCloud、Dubbo、Flink、Storm、Spark、ES、Redis、HBase、MongoDB。 3、C++、Python语言相关经验。 4、K8S、Docker相关技术经验。
-
职责描述: 负责实现和优化公司的产品功能,以及构建和维护关键服务与基础设施。 1. 深入理解业务需求和产品设计,高效地实现并优化产品功能; 2. 通过引入新的工具和流程,提升团队的开发效率和代码质量; 3. 通过与产品和前端工程师的紧密合作,共同推进产品的迭代与优化; 4. 对线上问题进行快速定位并解决,对服务性能进行监控与优化; 5. 参与新技术的研究和探索,为团队的技术进步和产品创新提供支持。 岗位要求: 1. 本科及以上学历,从事相关行业3—8年优先,; 2. Java基础扎实,深入理解Java多线程编程及JVM原理、理解IO; 3. 熟悉网络编程,熟悉TCP/IP协议,熟悉互联网应用协议; 4 .熟悉MySQL数据库,对数据库事务、锁、索引有较好理解; 5. 熟悉Redis、MongoDB、HBase等NoSQL存储; 6. 具备逻辑推理思维和分析问题能力;客观开放,自我驱动,良好的团队协作能力。