• 10k-20k·13薪 经验1-3年 / 本科
    移动互联网 / A轮 / 50-150人
    大数据性能测试主要做的事情是测试评估目前客户的大数据环境的吞吐能力。 主要是2大场景:实时数据仓库同步性能测试和大数据跑批任务加工性能测试 主要测试内容:负载测试、压力测试、疲劳强度测试、基准测试 具备能力: 1、具有2-3年以上的性能测试实践经验; 2、熟练掌握Loadrunner,JMeter性能测试工具,要能进行二次开发 3、掌握常用的监控工具,例如Nmon、Nagios、visualvm等,实现指标采集监控 4、需要具备编码能力,独立完成测试工具的开发,熟悉脚本语言,如Python,Perl或Shell; 岗位优势:本公司不是外包公司,该岗位为公司与大众合作的项目,在项目期需要派驻到大众工作,项目结束在公司杨浦区国际设计中心工作。在大众工作期间可与大众内部员工直接交流、工作,提升个人能力及就业竞争力。
  • 18k-35k·14薪 经验5-10年 / 本科
    电商 / 不需要融资 / 150-500人
    if (your_passions.includes('coding')) { switch(your_stacks) { case 'Java': case 'Python': case 'Kubernetes': case 'Serverless': console.log('Join AfterShip'); break; } } 岗位职责 1、负责公司各产品线数据收集、集成、传输、清洗、落地数仓; 2、负责构建数据开发平台,高效支撑数据任务开发,赋能数据能力,保障数据质量; 3、负责构建可靠的数据服务,支撑公司各产品数据功能和服务; 4、负责系统的 SLA 代码维护、迭代更新,保证任务质量和交付及时性; 5、负责编写相关的技术文档、单元测试,对产品质量负责; 岗位要求 1、**本科及以上学历,具备英语读写能力,具备扎实的计算机基础和编程能力;; 2、熟悉 Git/GitHub,通信协议 TCP/HTTP 及 RESTful 标准,理解JVM工作原理; 3、三年以上Java开发经验,一年及以上大数据开发经验,对数据敏感,具有一定的数据问题排查经验; 4、深入了解大数据计算平台架构和产品组件原理和应用场景,如 Spark, Hadoop, Hive, HBase, AWS Redshift, AWS Kinesis, GCP BigQuery, GCP Cloud Dataflow 等。 5、熟练使用 Spring Boot, MyBatis, Hibernate, Spring Cloud 等常用开发技术; 加分项 1、有英语听说能力,以及海外电商、SaaS服务项目开发经验优先; 2、有 CI/CD 自动化测试经验; 3、有使用 Docker、Kubernetes、AWS 或 GCP 云计算经验; 4、有写 Blog 的习惯,活跃技术社区,参与开源项目等; 5、有代码洁癖,对代码精益求精,对技术有极客热情; 6、有软件著作权申请,有专利发明申请。 为什么加入我们 1、极客氛围: 拥抱开源技术,实践敏捷开发; 2、新技术: Kubernetes, Serverless, TensorFlow, Microservice; 3、特色福利: 每天下午茶,学习成长基金, 提供 MacBook Pro; 4、多元文化: 团队来自全球十几个国家; 5、头部企业: 海外驰名企业,细分领域领跑者; 6、朝阳行业: B2B 企业级系统,国际性 SaaS 平台。
  • 15k-25k 经验3-5年 / 本科
    金融 / 未融资 / 500-2000人
    工作职责 1. 担任软件测试工程师,负责健康险大数据专项测试; 2. 根据大数据项目进行需求分析、报表分析、制定合理有效的数据测试方案。 任职要求 1、2年以上大数据相关平台,产品,应用测试经验; 2、熟悉hadoop相关组件以及生态圈,了解hdfs,hive等 3、熟悉java等语言尤佳; 4、熟悉linux以及shell脚本,熟悉Oracle; 5、熟悉selenium,Jmeter等自动化,性能测试尤佳。
  • 金融 / 上市公司 / 2000人以上
    工作职责 1.参与大数据相关项目开发流程,针对流程中可能带来缺陷的设计和实现提出建议; 2.能够主导大数据项目数据准确性验证和性能测试; 3.负责制定测试计划,设计测试方案、测试用例、执行测试并进行分析; 4.负责大数据项目的质量管理工作,提升团队质量水平。 任职要求 1. 计算机相关专业毕业,本科及以上学历,1年以上Hadoop及大数据生态圈产品实践经验,如Kafka/HBase/Presto/YARN/Spark等; 2. 3年以上软件测试、开发相关经验,精通测试理论; 3. 有丰富的数据分析、数据仓库、大数据测试经验,对数据有较高敏感性,能熟练编写各种主流数据库sql语句; 4. 熟悉linux系统,掌握常用命令,有一定的测试开发能力,至少会使用Java、python语言中的一种进行自动化脚本开发
  • 40k-80k 经验不限 / 本科
    文娱丨内容 / D轮及以上 / 2000人以上
    职位职责: 1. 离线与实时数据仓库的构建; 2. 深入业务,理解并合理抽象业务需求,发挥数据价值,与算法业务团队紧密合作; 3. 构建数据采集业务以及数据采集自动化; 4. 负责数据挖掘,基于若标注或者无标注的数据进行大规模数据聚类、挖掘的工作,生产训练集,并进行算法验证; 5. 负责数据团队规划建设,打造行业领先的数据团队,发挥数据价值。 职位要求: 1. 熟悉数据仓库以及大数据开发实施方法论、深入了解数据仓库体系,并支撑过实际业务场景; 2. 善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力; 3. 有机器学习相关经验、数据挖掘数据聚类相关经验、无监督、自监督等相关经验这优先; 4. 有大数据团队负责人角色经验者优先; 5. 有复杂业务场景的数据体系建设经验优先; 6. 有视觉相关经验者优先。
  • 数据服务、软件开发 / 未融资 / 50-150人
    工作职责: 1)负责支持大数据平台、风控系统及金融创新业务系统的后端开发工作,处理包括高并发场景or复杂业务逻辑下的开发设计工作 2)参与项目的架构设计、评审、技术攻坚及优化;参与系统文档的撰写、维护。 工作要求: 1)本科及以上学历,计算机相关专业,年龄30岁以下,两年及以上Linux/Unix系统下C/C++/Java开发经验,有大数据平台开发或高性能网络系统方面相关工作经验更优; 2)开发语言golang、php、java不限,至少精通掌握一种; 对一些开发框架的原理&源码都有一定的了解(如laravel);熟悉至少一种脚本语言,如shell、python等,掌握常用linux命令; 3)具有大数据应用支撑框架(Hadoop/Spark/Hive/Flink/Impala/Kafka等)的研发经验者优先; 4)熟悉NoSQL,如mongodb /memcache/redis更优; 熟悉TCP/IP、HTTP等通信协议,具有Socket网络编程和大规模并发服务器开发经验优先; 5)有推荐相关工作经验者优先,熟悉大数据平台相关技术,有相关经验者为佳; 6)良好的学习能力、沟通能力、适应能力,责任心强,能在压力下独立解决问题;热爱互联网,喜欢挑战者优先。
  • 15k-20k 经验1-3年 / 本科
    金融 / 上市公司 / 2000人以上
    工作职责 1、参与完善现有基于CDH的大数据平台,研究大数据组件并进行升级换代,优化开源工具并实现本地化改造,打造有特色、自动化、智能化的先进数据平台。 2、结合公司数据治理项目以及现有的数据管控平台,深入研究和开展元数据管理、数据标准管理、数据质量管理,持续提升公司整体数据质量。 3、根据公司业务需求并结合Kettle和大数据技术实现批量/实时数据交换、数据清洗、数据整合、数据加工、数据模型等实际应用。 任职要求 1、本科及以上学历,有2年及以上大数据开发经验。 2、熟悉Java/Scala/Python语言以及Linux操作系统,熟悉传统关系型数据库。 3、熟悉Hadoop、Hive、Spark、Flink等分布式大数据技术。 4、有较强的逻辑思维能力和创新精神,具备良好的沟通和文字表达能力。 5、有较强的学习能力,对技术有钻研精神,热衷于新技术的学习和实践。 6、有较强的团队合作意识,对工作有热情,能够承受压力、接受挑战。
  • 20k-35k·15薪 经验5-10年 / 不限
    金融 / 上市公司 / 2000人以上
    工作职责 : 1.负责基于大数据技术研究、架构的设计及平台开发,构建可扩展的,负责内容平台数据体系建设,制定端到端的数据解决方案,参与数据建模、研发、数据治理等工作,包括元数据管理、数据质量检查、数据分级管理等系统的设计、开发及应用; 2、对数据产品的全周期负责,覆盖数据产生、清洗、传输、建模、统计、聚合、查询、归因、可视化的全流程; 3、设计良好的数据流、数据仓库、调度系统、查询引擎、数据服务、分析系统、流程规范,降低数据的使用门槛,保证系统稳定高效运行; 4、打造业界最佳实践,构造相对于领域内最好的平台的独特竞争力 任职资格 : 1、精通业务建模、数据仓库建模、ETL设计开发(实时&离线),具备体系化的数据质量与数据治理相关经验; 2、掌握一门或多门编程语言,如Java、Python、Go等,熟悉常用大数据分析框架,如Hive、Spark、Flink等; 3、熟悉MPP数据库(如TeraData、GreenPlum等)架构和原理,有丰富的数据库开发及一定调优经验。 4、具备良好的业务意识,对数据业务场景非常敏感,能够横向协同、跨界整合资源,有效结合业务和技术创新,形成完整的数据解决方案,全局地规划或完善数据服务体系以解决业务的问题; 5、热爱大数据,具备较好的语言表达能力,能够自我驱动,有强烈的求知欲与进取心,有团队合作精神,敢于挑战
  • 12k-20k·13薪 经验1-3年 / 本科
    移动互联网,企业服务 / 不需要融资 / 15-50人
    任职要求: 在大数据领域工作3-5年,精通大数据生态体系,熟悉大数据架构,熟练掌握物联相关技术,对物联数据采集、物联数据标准化、数据加工、数据服务有独到见解。 岗位职责: 负责大数据平台的搭建,物联数据的接入,分析与展示,大数据平台运维。
  • 20k-25k 经验3-5年 / 本科
    移动互联网 / 上市公司 / 500-2000人
    岗位职责: 1.负责公司大数据业务集群的运维工作(如:hdfs/Hbase/Hive/kudu/Yarn/Spark等),确保高可用性运行; 2.负责集群容量规划、扩容及集群性能和资源利用率,持续对大数据平台进行优化; 3.参与或主导业务架构设计,在设计阶段给出运维性改进建议; 4.研究大数据业务相关运维技术,持续优化集群服务,探索新的大数据运维技术及发展方向。 任职要求: 1.**本科及以上学历,计算机等相关专业,4年以上大数据运维相关经验 ; 2.可以进行分布式系统设计,有问题处理、故障、可靠性、性能、优化、升级预案的经验; 3.学习能力强,可以对各产品新组件的调研安装选型使用,将未接触过的新组件快速的落实; 4.逻辑性强,有明确的问题排查方式,对部署的步骤理解深刻,熟悉运维标准; 5.掌握flume/spark/zookeeper/Yarn/Hive/hbase/redis等的部署与优化,熟悉容器和服务部署维护,自动化构建; 6.精通linux,精通shell脚本、python、Go,精通常用的运维工具,精通puppet/ansible/terraform等自动化部署工具。
  • 10k-20k 经验3-5年 / 本科
    金融,物流丨运输 / 不需要融资 / 2000人以上
    岗位职责 1.主要负责大数据平台的测试和质量保证工作; 2.根据产品设计或需求,制定测试计划,完成需求测试、接口测试、系统集成测试、自动化测试、性能测试、安全 测试等工作; 3.在项目中遇到问题,能快速分析和定位,主动与研发、产品等人员进行有效沟通,推动问题解决,并善于总结分 析问题; 4.深入理解业务需求,确保线上数据的数据质量和数据性能; 职位要求 1.熟练掌握测试理论与方法,有3年以上大数据或数仓测试经验; 2.熟悉大数据仓库系统架构,熟练测试理论及方法,能够针对不同场景完成不同测试方案的设计、实施; 3.熟悉Linux操作系统,熟悉Java,Python等任意一⻔编程语言,熟悉大数据编程 4.熟悉大数据处理工具/框架中的一项或多项,包括但不限于Hadoop, Mapreduce, Hive, Spark, Druid, kafka, hbase, Clickhouse,kylin,ES等 5.对工作认真负责,自我驱动能力强,工作积极主动,对新知识、新技术有不断的学习和探索能力; 6.有对实时计算,流式计算有测试经验者优先
  • 10k-15k 经验5-10年 / 大专
    移动互联网,企业服务 / 未融资 / 150-500人
    工作职责: 1、负责大数据平台架构、组件架构、技术架构、数据架构的辅助规划与设计; 2、负责大数据集群安装、组件调优、版本升级与节点扩展,整体提升集群的高可用性、高性能、高扩展特性; 3、负责新增组件的探索学习、安装部署、参数调优与版本升级; 4、根据需求,提出最优的运维技术解决方案;分解需求或工单任务,制定安全规范,认证与权限授权规范,上线&回退计划、上线&运维文档、流程图等; 5、负责大数据自动化运维计划的建立与推动,大数据运维知识学习&探索等; 6、制定大数据运维的实施标准和规范,并确保得到有效的执行,同时保障数据以及文档的质量达到预定的标准; 7、整理现有资料并结合更为先进的运维知识&理念,提出建议或实际推动大数据运维工作更为高效&稳定的执行。 基本要求: 1、熟练操作CentOS、RedHat等Linux操作系统;熟练掌握Mysql、Oracle等传统RDBMS数据库操作;具备基本的网络知识; 2、精通CDH hadoop商业发行版 与 Apache Hadoop开源版的安装部署、组件调优、集群扩展、组件开发、功能开发等知识技能。 3、了解Java、C、Scala等高级编程语言;精通Shell、Python等脚本编程语言; 4、能够独立或带领团队解决大数据生态圈内的组件故障; 5、具备整理、汇总、撰写、汇报、培训等相关文档材料的能力。 素质要求: 1、具有高度责任心,超强的思维能力,强劲的理解力与沟通力。 2、具备快速学习新知识的素养。 3、具备独立思考与探索能力。 4、具备独挡一面的勇气与能力。
  • 30k-60k 经验3-5年 / 本科
    文娱丨内容 / D轮及以上 / 2000人以上
    职位职责: 1、负责字节跳动电商相关业务数据仓库的开发与优化; 2、基于Hive/Flink等平台建设数据仓库,实时数仓建设; 3、负责数据模型的设计,etl实施,etl性能优化以及相关技术问题的解决; 4、负责面向业务的olap,报表,数据提取工具等开发工作。 职位要求: 1、熟悉大数据相关技术:Kafka/Flink/Hadoop/Druid/HBase/Hive 等; 2、熟练使用 Java、Go、Python语言中的一种或者多种; 3、具备数据库系统理论知识,掌握主流数据库管理和应用,精通SQL; 4、了解统计以及数据挖掘、机器学习、人工智能技术,会使用关联分析、分类预测、聚类分析等常用分析方法; 5、有高性能分布式平台开发经验,有电商行业经验优先。
  • 11k-18k 经验3-5年 / 本科
    数据服务 / D轮及以上 / 150-500人
    职位要求: 1、4年以上java使用经验,精通java/scala编程,熟悉常用算法,熟悉多线程原理;有分布式开发的实践经验; 2、熟悉linux平台,了解、会写shell脚本; 3、有hbase、hive、spark、flink、spark streaming、kafka、kudu、impala等hadoop组件(包括但不限于)的实际开发经验;4、了解mysql,oralce,redis的使用; 5、了解kafka、hive、spark、hbase、flink等hadoop体系的大数据组件,了解基本的配置,能解决开发工作中的日常问题;  6、了解ansible实现自动化运维开发;7、有一定Python开发经验;8、工作习惯良好,自驱动,擅合作,代码清晰整洁,具备较好的沟通能力;9、熟悉容器化操作,对k8s,docker 有实际项目实战经验。岗位职责:1、参与大数据平台组件开发;2、参与Spark、hive、flink、kafka、hbase、kudu、impala等组件的大规模集群应用开发工作;3、参与大数据离线平台、大数据实时平台、数据湖平台等性能改进、功能扩展、故障分析等工作;4、参与设计、开发、优化批量处理平台、准实时应用开发平台、数据中台等项目的产品开发工作;5.负责公司大数据基础架构平台的规划、设计。6、参与其他项目任务;
  • 15k-30k 经验5-10年 / 本科
    数据服务 / D轮及以上 / 150-500人
    职位要求: 1、6年以上java使用经验,精通java/scala编程,熟悉常用算法,熟悉多线程原理;有分布式开发的实践经验; 2、熟悉linux平台,了解、会写shell脚本; 3、有hbase、hive、spark、flink、spark streaming、kafka、kudu、impala等hadoop组件(包括但不限于)的实际开发经验、二次开发经验;4、熟悉mysql,oralce,redis的使用 5、了解kafka、hive、spark、hbase、flink等hadoop体系的大数据组件,了解基本的配置,能解决开发工作中的日常问题;  6、熟悉ansible实现自动化运维开发;7、有一定Python开发经验;8、工作习惯良好,自驱动,擅合作,代码清晰整洁,具备较好的沟通能力。9、熟悉容器化操作,对k8s,docker 有实际项目实战经验,对容器代码调优等有一定经验优先。岗位职责:1、参与大数据平台组件开发、新组件调研、调优等2、参与Spark、hive、flink、kafka、hbase、kudu、impala等组件的大规模集群应用开发工作;3、参与大数据离线平台、大数据实时平台、数据湖平台等性能改进、功能扩展、故障分析等工作;4、参与设计、开发、优化批量处理平台、准实时应用开发平台、数据中台等项目的产品开发工作;5.负责公司大数据基础架构平台的规划、设计。6、参与其他项目任务;
展开