-
岗位职责: 1、负责基于hadoop大数据技术数仓建设,包括数仓整体架构设计、数据治理,数据标准建设及维护模型的设计等;完成设计类技术文档。 2、根据业务部门提出的需求进行数据仓库模型设计并进行大数据作业的开发。 3、完成数据批处理、数据调度、异常处理(作业优先级、依赖度、日志追踪)等问题的解决。 任职要求: 1、本科及以上学历,统计学、数学、计算机相关专业; 2、3年以上数仓实施经验,对数据仓库各类建模理论有深入的理解,具备大型数据仓库架构设计、模型设计和处理性能调优等相关经验; 3、具有丰富的基于Hadoop/Flink/Hive/Spark等分布式系统的大数据开发经验,具备海量数据加工处理(ETL)相关经验; 4、熟悉airflow,Kettle、DataStage、Informatica等至少一种ETL工具,以及至少一种任务调度工具。 5、具备数据治理开发经验者优先。 6、有较强的性能优化及问题排查、解决能力;对开源技术非常感兴趣并具有一定的研究能力。 7、有强烈的责任心、良好的沟通协调能力、团队合作精神、优秀的执行能力。 8、良好的语言沟通与表达能力和自我驱动动力,具备较强的逻辑思维能力,能承受工作压力。
-
岗位职责: 1、在数仓负责人带领下,针对BI,算法,数据产品的需求,负责公司多业务数据仓库建设与模型设计,制定和落实数据仓库规范以及数据治理工作; 2、进行ETL设计,数据集市建设,落地及后续的运维; 3、负责各条业务线的数据整合方案设计及日志规范,数据分析指标体系建设及元数据管理; 4、稽查和监控数据质量,数据报表系统及相关数据产品的研发和数据需求的沟通及数据开发项目管理。 岗位要求: 1、掌握数据仓库(DW)商业智能(BI)理论知识,具备2年以上数据仓库建设经验,有数据中台、数据治理呼吁等相关经验优先; 2、精通SQL,熟悉mapreduce原理,有hive调优经验,具备一定的python和java开发能力,有Hadoop, Spark, Flink等大数据开发相关经验优先 3、具有高度的责任感,思路清晰,有良好的沟通能力; 4、本科以上学历,计算机、信息管理等相关专业
-
职位职责:负责字节跳动相关产品线的风控&反作弊工作,持续和作弊用户斗智斗勇。1、熟悉系统安全及恶意攻击链条的运作模式和各类作弊手段,制定有效的策略阻止作弊行为;2、通过综合用户反馈、平台内容数据,建设风险用户挖掘模型;3、负责反作弊相关的需求分析、产品规划、产品设计,以及项目管理;4、快速了解公司相关业务及战略,并能过滤、分解来自不同业务方的需求,良好的平衡内部需求及线上效果;5、深入调查系统安全及恶意攻击变化趋势,正确引导反作弊发展方向,能从产品发展趋势中把握反作弊业务发展的新增长点。职位要求:1、本科及以上学历,计算机/信息安全/统计学/数学及相关专业优先,有技术背景优先;2、3年以上互联网产品工作经验,有风控、反作弊、反欺诈、策略及相关领域工作经验优先,具有较强的数据分析能力和逻辑判断能力,目标导向;3、拥有强烈的责任心和团队合作精神,出色的学习能力;4、具备强烈的好奇心和自我驱动力,喜欢接受挑战,追求**。加分项:- 熟悉移动端各类安全、性能知识;- 熟悉大数据、机器学习等技术;- 有海外留学背景,英文熟练。
-
岗位职责: 1、本科及以上学历,计算机、数理统计、金融工程相关专业。 2、3年及以上软件开发工作经验,1 年及以上大数据系统开发、设计经验,熟练掌握java、c/c++等程序开发技能;具备金融行业业务分析、模型设计、数据挖掘、金融统计等相关工作经验的优先。 3、熟悉SAS、R、Python等主流挖掘分析工具;掌握机器学习基本理论以及多种机器学习算法,具备模型调优能力。 4、具备良好的团队合作能力、沟通能力和综合分析能力,学习能力强,承压能力强,工作责任心强。有创新思维,对数据技术和业务发展有高度敏感性。 任职要求: 1、牵头项目的大数据平台建设实施,涉及大数据相关系统平台的设计、开发及快速迭代; 2、负责平台数据模型、指标、生命周期的设计和管理; 3、基于对商业银行业务模式的深入理解,发掘数据价值; 4、承担所负责系统生产问题定位和问题处置。 5、负责上级领导安排的其他工作
-
职位职责: 1、负责字节跳动大数据产品相关的数据迁移、监控、备份、性能优化及故障处理等工作; 2、负责制定并不断完善大数据产品的运维规范、故障应急流程和售后服务规范; 3、参与建设开发大数据产品的运维管控平台,提高运维自动化率、数据决策效率。 职位要求: 1、计算机相关专业本科以上学历,2年以上系统运维或研发经验; 2、精通linux文件系统、内核、linux性能调优、TCP/IP、HTTP等协议,有良好的网络、数据存储、计算机体系结构方面的知识,对常见的系统隐患、系统故障有系统性总结和实际处理经验; 3、有两年以上HDFS/Yarn/Flink/Spark/Presto运维管理经验; 4、基于大数据产品的使用场景,深入优化提供最佳服务治理实践,包含不局限于关键链路性能瓶颈分析、业务问题定位排障、推进系统高可用架构改造升级等; 5、有较好的沟通技巧和很强的责任心,具备优秀的推动力,做事追求**。在提供改进和落地的同时,提供可量化的手段和指标; 6、计算机基础知识扎实, 熟悉Python/Java/GO中至少一种开发语言。
-
岗位职责: 1、本科及以上学历,计算机、数理统计、金融工程相关专业。 2、3年及以上软件开发工作经验,1 年及以上大数据系统开发、设计经验,熟练掌握java、c/c++等程序开发技能;具备金融行业业务分析、模型设计、数据挖掘、金融统计等相关工作经验的优先。 3、熟悉SAS、R、Python等主流挖掘分析工具;掌握机器学习基本理论以及多种机器学习算法,具备模型调优能力。 4、具备良好的团队合作能力、沟通能力和综合分析能力,学习能力强,承压能力强,工作责任心强。有创新思维,对数据技术和业务发展有高度敏感性。 任职要求: 1、负责大数据相关系统平台的设计、开发及快速迭代; 2、负责平台数据模型、指标、生命周期的设计和管理; 3、基于对商业银行业务模式的深入理解,发掘数据价值; 4、承担所负责系统生产问题定位和问题处置。 5、负责上级领导安排的其他工作
-
工作职责: 1、使用机器学习算法解决常见的业务问题,工作内容可能包括但不限于:预测技术、推荐算法、运筹优化、机器学习、仿真系统等; 2、对快狗打车数据进行挖掘、分析,通过对复杂业务或系统问题进行建模,分析影响系统的关键因素,规划、设计和实现新的解决方案,评估并优化模型; 3、能构建较完善的反作弊算法体系,合理利用常见的机器学习算法识别各种作弊行为; 岗位要求: 1、计算机、数据挖掘、统计学、运筹学、机器学习相关专业本科以上学历; 2、熟悉常用机器学习和数据挖掘算法,具有数据快速建模和场景构建的能力,有反作弊模型场景构建经验者优先; 3、精通java/Python等编程语言,熟悉Hadoop, spark, Hive等大数据处理工具; 4、优秀的沟通能力,有创新精神,乐于接受挑战,能承受工作压力。
-
岗位职责 : • 负责流批一体数仓规划、建设与维护以及OLAP建设 • 基于公司海量数据进行实时/离线等数据开发工作,包括但不限于数据清洗、数据治理、业务画像数据开发 • 保证大规模的离线、实时任务的正常平稳运行和相关优化工作 • 负责相关线上ETL任务的线上问题定位排查 • 负责基于Flink的相关Connector/LookUp组件优化和二次开发,以及Flink SQL 算子性能定制开发等 职位描述: • 熟悉主流开源大数据工具的使用和调优,包括但不限于Hadoop、ClickHouse、Kafka、HBase、Redis等 • 熟悉数据建模和数据报表的设计工作,能较好的归纳业务逻辑,设计出合理的数据和计算逻辑 • 有大数据处理分析经验,熟悉Flink/Spark/Hadoop等大数据处理引擎的原理和使用,有相关调优经验更优 • 有java开发相关经验,熟悉shell/scala/python/go等不少于2种语言的使用,掌握JVM、并发编程、网络编程等技术,熟悉JVM相关性能问题调优。
-
工作职责: 1、负责数据中台相关工具(大数据治理中心/网警系统/BI系统等)的架构设计与开发; 2、负责数据建模工作,并完成ETL开发; 3、负责大数据领域前沿技术在公司内的调研与落地建设。 任职要求: 1. 计算机或相关专业本科及以上学历,有3年及以上大数据开发工作经验; 2. 熟练掌握Java语言、熟悉Java企业应用开发技术栈,如Spring boot,Dubbo等,熟悉前端开发更佳(Vue+ElementUI); 3. 熟悉Flink+Kafka实时流式计算开发,熟悉FlinkSQL更佳; 4. 熟悉基于Hive的数据仓库技术,具备较好的问题定位能力,参数调优能力; 5. 熟悉Hadoop、Spark的架构及工作原理; 6. 熟悉数仓分层方法、了解维度建模理论; 7. 工作积极主动、团队协作能力强、对大数据开发领域新技术有较高的兴趣。
-
岗位职责: 1、负责公司的数据平台的主题模型设计,根据业务本质,构建清晰的数据分层体系架构; 2、负责数据平台的指标计算框架的建设,按照业务指标的定义,实现一套灵活、通用的指标计算、分发和展示解决方案; 3、负责各类离线和实时数据的抽取、转换和加载等数据开发工作; 4、负责数据服务核心应用的开发,包括数据分发、查询、展示接口和界面等; 5、建设数据开发的标准和规范,降低数据的获取、加工、使用门槛。 任职要求: 1、教育背景:计算机相关专业本科及以上学历; 2、专业领域经验:丰富的数据仓库及数据平台的实战经验,不少于3年的大数据相关岗位经历; 3、行业背景经验:有金融行业数据仓库建设、互联网企业大数据平台建设经验者更佳; 4、工作所需技能:熟悉数据仓库相关的理论如Inmon、Kimbol等的理论体系,了解OLAP总线模型、雪花模型等建设标准,清楚数据生命周期相关概念。有实际的企业数据仓库建设经验;熟练使用hadoop生态的相关工具,包括离线数据开发、实时数据开发的实际工作经验。清楚在不同场景下的数据抽取、加载、转化所需要的工具和处理流程。熟练掌握SQL,包括基于SQL的各类高级函数的应用、存储过程、UDF开发等。丰富的SQL调优、MR调优经验。有传统RDBMS的索引优化、存储优化等工作经验。有java web开发的经验,掌握spring MVC、spring Boot等框架,有实际的应用开发经验;有BI 报表开发的经验,有帆软、Tableau等工具的使用经验; 5、职业意识:优秀的业务理解能力,能快速理解业务背景,对数据敏感,崇尚数据说话,能阐述数据在驱动业务、支撑决策上的价值; 6、职业行为能力:有高度的责任心和积极的工作态度,能承受较大的压力。
-
### 职责描述 1. 负责人工智能与大数据领域的企业级应用软件产品的总体设计,涉及产品形态、业务逻辑、用户体验等设计。 2. 负责用户需求沟通、挖掘与分析,为产品和项目的决策提供指导依据。 3. 负责调研、实验与分析,为产品和项目的决策提供参考信息。 4. 负责产品设计文档的撰写和整理工作,参与团队内部知识交流与传承。 5. 参与产品立项、开发、交付、运营、跟踪等全流程,与团队成员密切配合,共同确保项目成功实施。 ### 任职要求 1. 热爱产品设计工作,视野开阔、思维灵活、逻辑缜密。 2. 具有优秀的沟通、表达、学习和理解能力,乐于与客户及团队其他成员交流。 3. 熟练使用Axure RP、Visio、墨刀等原型设计工具,熟悉UML、E-R图、数据流图等形式化建模方法。 4. 熟悉典型的企业级软件产品(例如BI、OA、ERP、数据科学、公有云服务)的设计思想及使用方法。 5. 在产品经理或相关岗位有2年以上工作经验者优先;从事过人工智能、大数据领域工作者优先。 6. 大学本科或以上学历。
-
岗位职责: 1、基于业界常用的大数据开源组件,设计和构建云原生的大数据处理平台。 2、 提供统一的异构数据源接入集成,数据离线、实时计算,元数据管理和数据服务等全链路智能数据构建与管理的大数据能力,为公司现有和未来业务赋能。 3、基于大数据技术,配合产品经理优化现有业务中对数据处理、存储和查询等需求的流程及性能优化。 4、 持续对大数据系统技术架构进行优化,降低成本,提升系统的性能和用户体验,打造面向未来的批流一体的计算和存储。 岗位要求: 1、计算机、通信、数学等相关专业,具备良好的计算机技术基础。 2、熟悉java/c++/python/go等至少一种编程语言,具备扎实的数据结构和算法基础。 3、熟悉主流数据库,熟练运用SQL,并熟练运用Python进行ETL开发; 4、了解数据仓库OLAP,熟悉多维分析优先,及了解数据分析、数据挖掘常用算法; 5、熟悉多个大数据领域内的开源框架,如Flink/Spark/HDFS/Hive/Kafka/ElasticSearch/ClickHouse/RocksDB等; 6、具备良好的沟通表达和自我学习能力,崇尚数据说话; 7、有PB级数据处理经验加分。
-
职位描述: 1.与产品经理协作,对各种数据源进行ETL处理导入数据仓库,优化大数据计算作业的性能和效率 2.设计数据仓库的数据的标准化和分层建设,完善数据仓库中作业调度/监控等基础设施,保证数据SLA 3.处理其他数据汇聚,数据集成,数据处理相关的探索性工作,以及开源框架的调研 职位要求: 1.**研究生学历,985或211高校大数据和人工智能相关专业毕业,工作经验1-2年; 2.熟练使用Mybatis/Spring等基本框架,对JVM调优有一定经验,熟悉多线程、数据结构和基本算法等知识 3.熟练使用mysql/hive/mongodb,并了解其原理 4.熟练使用ELK,并了解其原理 5.熟悉hadoop生态相关开发,了解mr/spark/flink的具体实现 6.熟悉redis/kafka等 7.使用linux,能够编写shell脚本 加分项: 1.有大型数据平台、数据仓库设计、以及任务调度经验者优先; 2.有NLP、机器学习背景,对开源机器学习框架有实践经验者优先;
-
岗位职责: 1、负责大数据平台的架构设计、核心代码开发等任务;根据项目要求编写相关技术文档。 2、负责大数据平台的架构评审,代码评审,上线评审;参与数据应用需求、设计、审核和评审。 3、负责核心模块研发,负责大数据平台的搭建,完成系统调试、集成与实施。 4、负责开发大数据开发,如大数据采集产品、调度平台、ETL产品、离线和实时计算平台、多维分析工具、数据模型的研发。 5、负责建立和维护大数据平台技术标准规范,指导开发人员编写代码。 6、跟踪业界前沿技术,应用到实际项目中。负责培训公司大数据开发工程师技能的培训。 任职要求: 1、**本科以上学历,计算机相关专业毕业,5年以上相关工作经验; 2、精通离线和实时数据处理流程,熟练掌握hive、impala/presto/druid、spark、es、clickhouse等其中或多个组件; 3、熟悉大数据技术生态圈,精通大数据技术架构,有大数据平台构建经验; 4、熟悉大数据数仓模型、可视化分析,各种BI算法和产品等; 5、熟练掌握基本的Linux操作系统和某种脚本语言编程(如Shell等); 6、有实际大规模数据(TPB级以上)处理经验优先,有互联网工作经验优先; 7、负责主导大数据ETL、调度系统的研发工作。 8、工作认真、负责、仔细,有良好的团队合作精神,良好的分析能力、沟通技巧。 【工作地址】广州市荔湾区龙溪大道410号(大参林集团总部园区) 【工作时间】8:30-12:00,13:30-18:00 周末双休 【公司福利】 周末双休、免费住宿、班车接送、免费停车位、员工食堂、五险一金、法定假日、带薪年假、进阶培训、年终奖、生日礼物、婚育假期及慰问金、员工内购折扣、员工旅游、接收党组织关系、代办落户广州等专项服务
-
Java开发工程师(大数据中心) 职位描述: 1:参与后台服务开发; 2:参与测试,对测试中发现的问题进行及时的修改和跟踪; 3:对技术有热情,学习能力强; 4:有责任心和团队协作精神 任职要求: 1:**本科及以上,1年以上java开发经验; 2: 熟悉JVM 原理、MySQL使用及优化等 2:熟练使用基于Spring boot、Spring Cloud、Thrift等微服务架构; 3:熟练使用常见的KV存储,如Redis等; 4:熟练使用常用Linux命令以及Git等版本控制工具; 5:熟练使用MyBatis等持久层框架; 6:严谨的逻辑思维,强烈的技术热情善于合作喜欢有挑战性的工作