-
公司亮点: 公司目前还处于高速发展扩张期,上升空间大,未来有更大的团队搭建。 截止2018年10月,公司产品用户数超过1.5亿,有大量明星入驻。 公司业务涵盖互联网内容社区短视频电商等热门赛道,大平台,公司目前估值超过200亿美金。 主要职责: 1、负责公司集团整体基础数据建设(涵盖社区、电商、广告等业务方向),提供通用、稳定、丰富、高效的公共数据能力,提升数据支持业务的效率,探索数据的增量价值; 2、面向社区、电商、广告等业务方向,建设专题数据,提供丰富易用的数据服务,直接支持公司业务决策分析,赋能业务; 3、建设公司全站数据治理和管理体系,结合业务+元数据+技术,推进资源成本的优化,提高数据服务的数据质量,保障数据产出的稳定性。 岗位要求: 1、大学**或以上学历,3年以上数据研发经验,有互联网大厂背景数仓相关工作背景优先; 2、有较为丰富的数据仓库研发经验,熟悉数据仓库、数据体系和数据价值的建设及优化; 3、掌握数据管理治理的相关理论,熟悉数据治理、数据标准、企业级数据建模、主数据、元数据管理等方法论; 4、熟悉大数据架构,具备实时或离线数据研发能力,熟悉Hive,Kafka,Spark,Storm,Hbase,Flink等相关技术并有相关开发经验; 5、具备快速学习能力、跨团队沟通协作能力,有较强的逻辑思维能力和解决问题能力。 方向: 数仓数据治理(成本治理or数据血缘经验) 基础数仓(基础数仓\公共数仓、熟悉流量域数仓建设等) 业务数仓(比如电商、社区内容、短视频、增长等) 职级对标阿里P7或P7+
-
职位职责: 1、负责字节跳动面向企业客户的实时数据体系建设,对长中短期工作目标、工作方法和结果负责; 2、深入理解企业客户的业务场景,建立并不断优化面向企业客户的整体离线、实时数仓、数据服务解决方案,降低开发、运维成本; 3、具备客户现场交付能力,负责大数据架构拆解落地、技术侧沟通协调工作。 职位要求: 1、具有3年以上数据开发经验,并且具有复杂场景的方案设计和开发经验; 2、精通并行计算或者分布式计算原理,熟悉高并发、高稳定性、可线性扩展、海量数据的系统特点和技术方案; 3、深入了解Spark、Flink或Spark Streaming,有大规模实践经验; 4、对数据湖、MPP引擎有落地实践经验; 5、拥有扎实的计算机和Java语言基础,熟悉主流的Java框架,包括Spring、Netty、Mybatis、Guava等等,了解JVM的基本实现原理; 6、善于沟通,对业务敏感,能快速理解业务背景,具备优秀的技术与业务结合能力; 7、有任一行业的企业客户技术服务经验优先。
-
职位职责: 1、 作为架构师,负责短视频产品数据中心、数据本地化场景下的大数据架构,包括数据仓库的顶层设计、数据权限系统的设计等; 2、主导短视频产品的大数据技术攻坚工作,包括大规模分布式存储的数据删除、海量数据的自动化分类分级等新技术探索及工程攻坚工作,与兄弟团队一起攻坚行业技术难题; 3、深入理解业务,负责短视频产品的隐私与安全领域数据仓库的需求对接、架构设计,提升数据价值; 4、 负责构建围绕隐私保护、数据安全的数据治理治理体系、并推动相关治理工具的产品化落地; 职位要求: 1、计算机、数学相关专业本科及以上学历,五年以上大数据开发经验,有较强的数据抽象能力; 2、熟悉大数据生态环境,掌握Hadoop,Hive,Kafka,Spark,Flink等大数据技术栈; 3、精通数据仓库实施方法论、深入了解数据仓库体系,并支撑过实际业务场景; 4、善于沟通,主动性强,具备优秀的技术与业务结合能力,有较强的项目推进能力; 5、较好的英文沟通能力是加分项。
-
工作职责 1、负责企业级数据平台整体架构,包括计算引擎、存储引擎、数据开发平台等方向的技术体系规划、架构设计及方案落地,为业务产品和算法开发提供高效的数据系统支撑; 2、负责大数据服务体系的环境、流程、规范和配套工具系统建设,保证数据研发体系的高效性与生产服务体系的稳定性、高性能、高可用性和可扩展性; 3、负责实时&离线计算框架的创新与落地,包括但不限于以下领域:大规模数据实时化、数据模型组织方式业务化等方面,参与制定并实践团队的技术发展路线; 4、负责与业务团队协同规划大数据平台能力开发,为业务平台提供数据交换,数据服务,数据开发等能力,参与制定并实践团队的技术发展路线; 5、关注业界最新技术,深入理解业务特征,前瞻性的进行技术预研与引入,支持业务的高速发展;建立良好的公司内外的业界技术影响力;参与培养未来数据人才;有效辅导团队,提升数据研发能力。 任职要求 1、计算机相关专业本科以上学历优先;8年以上大数据系统开发、设计经验,5年以上架构设计经验,金融行业从业经验; 2、精通大数据全栈架构,精通一种或多种分布式计算、存储、调度框架或工具(Yarn/Hive/MapReduce/Spark/Flink等),通读过其中之一的源码,有分布式系统的开发经验; 3、具有扎实的编程功底,熟悉常用的算法和数据结构,精通Java/GO/Python其中一门编程语言,有较强的分布式计算基础和算法工程能力,并具备丰富的实战经验; 4、负责过PB级别大数据平台整个产品线的业务架构工作,负责过海量数据平台上高可用、高性能分布式系统的架构开发,组织过中等以上规模项目,有互联网大数据平台建设等技术背景者优先; 5、熟悉常见的互联网,大数据、云计算、人工智能等技术和知识,优秀的业务理解和分析能力,有关键技术攻关的决心和能力; 6、有良好的团队沟通和协作能力,良好的自驱力和学习能力;主动积极,富有热情,能主动积极的思考和推动数据价值的落地。
-
1、负责公司大数据平台产品建设(包括可行性分析,需求调研、方案设计、技术实现、持续迭代等) 2、负责大数据相关项目的技术交付工作,解决软件项目开发、实施中遇到的各种问题 3、负责大数据系统架构,数据建模、清洗算法设计、数据维护 4.深入分析公司数据治理需求,规划数据治理框架和数据标准,设计数据治理的增值应用服务场景和实施路线,包含数据标准管理、主数据管理、元数据管理、数据质量管理、数据生命周期管理等领域的规划。 5、与公司各部门的沟通,团队协作和客户技术沟通。 任职要求: 1、本科或本科以上学历,计算机相关专业; 2、5年以上的数据开发经验;有数据系统架构设计经验优先 3、熟悉大数据相关存储和离线、实时计算技术,如:hadoop、hive、kudu、hbase、hdfs、spark、flink、sqoop、Oozie、kafka等; 4、具备大数据研发能力,熟悉至少一门大数据开发语言,如:java、scala、shell、python、sql等; 5、逻辑清晰,有工程师思维和较强的协作能力; 6、快速学习能力,较强自我驱动意识。 7、有数据架构、数据ETL、大数据技术栈优化、开源社区贡献、统计学经验者优先;
-
工作职责:1.负责数据中台的架构设计及优化,从系统角度规划平台结构,为客户提供一致的用户体验;2.保持高度行业敏感性,把握领域发展方向和动态,设计出高可用、高可靠、高可扩展性的平台架构;3.评估客户的定制化需求背后所关联的平台能力,对平台在业务各类场景适应性及扩展性方面提出设计思路,保证平台路线健康性和稳定性;4. 负责数据中台的技术可行性分析及技术选型、技术预研,参与可研、立项、研发实现等环节的技术架构和评审;5.提炼和抽象平台的公共能力,结合行业特点打造可复制且具有竞争力的数据中台解决方案,降低产品协同成本和新产品孵化门槛;6.负责数据治理和数据质量管理工作;7.关注行业市场和行业技术,调研并分析用户和市场需求,赋能业务团队;岗位要求:1.计算机相关专业,本科及以上学历;2.10年以上工作经验,不少于5年的云计算、大数据等领域解决方案和架构设计工作经验,具备技术前瞻性和广阔的领域视野;3.对中台架构、业务架构有足够的敏感度和深入的理解,具有成熟的ToB产品结构化思维、较好的功能抽象提炼、复用意识;4.熟练使用常见开源框架 例如Spring、SpringBoot、SpringCloud,MyBatis、Netty等,熟悉分布式架构;5.精通Hadoop,Hive,Kafka,Spark,Flink等大数据技术技术栈,对数据治理、数据质量、元数据管理、数据安全有深入理解和实践;6.具备目标管理和任务督导能力,良好结果导向型管理意识和丰富的实践经验,重视团队合作,能够协调各方资源跨团队推进项目落地;7.具备优秀的逻辑思维和创新能力,极强自我驱动力、执行力及结果交付能力。
-
岗位职责: 1、负责大数据平台的架构设计、核心代码开发等任务;根据项目要求编写相关技术文档。 2、负责大数据平台的架构评审,代码评审,上线评审;参与数据应用需求、设计、审核和评审。 3、负责核心模块研发,负责大数据平台的搭建,完成系统调试、集成与实施。 4、负责开发大数据开发,如大数据采集产品、调度平台、ETL产品、离线和实时计算平台、多维分析工具、数据模型的研发。 5、负责建立和维护大数据平台技术标准规范,指导开发人员编写代码。 6、跟踪业界前沿技术,应用到实际项目中。负责培训公司大数据开发工程师技能的培训。 任职要求: 1、**本科以上学历,计算机相关专业毕业,5年以上相关工作经验; 2、精通离线和实时数据处理流程,熟练掌握hive、impala/presto/druid、spark、es、clickhouse等其中或多个组件; 3、熟悉大数据技术生态圈,精通大数据技术架构,有大数据平台构建经验; 4、熟悉大数据数仓模型、可视化分析,各种BI算法和产品等; 5、熟练掌握基本的Linux操作系统和某种脚本语言编程(如Shell等); 6、有实际大规模数据(TPB级以上)处理经验优先,有互联网工作经验优先; 7、负责主导大数据ETL、调度系统的研发工作。 8、工作认真、负责、仔细,有良好的团队合作精神,良好的分析能力、沟通技巧。 【工作地址】广州市荔湾区龙溪大道410号(大参林集团总部园区) 【工作时间】8:30-12:00,13:30-18:00 周末双休 【公司福利】 周末双休、免费住宿、班车接送、免费停车位、员工食堂、五险一金、法定假日、带薪年假、进阶培训、年终奖、生日礼物、婚育假期及慰问金、员工内购折扣、员工旅游、接收党组织关系、代办落户广州等专项服务
-
岗位职责: 1.负责公司大数据基础架构规划、运维保障、性能监控等,为海量数据和业务系统提供可靠的基础设施 2.参与大数据生态相关技术的调研落地和二次开发,和业务方一起解决存储、计算、性能等问题 3.关注开源技术发展趋势,为快速发展的业务提供最佳解决方案 职位要求: 1.5年以上大数据相关研发和运、维经验 2.熟悉java/scala,熟悉至少一门脚本语言(shell、python等)。 3.有hadoop生态相关技术(spark、kylin、impala)源码研究、二次开发经验优先 4.精通hadoop、Hbase、Hive、Kylin、kudu等技术,熟悉flink、或spark streaming等流式框架中的一种或多种; 5.乐于挑战未知,对新技术有强烈热情
-
岗位职责: 1. 负责公司整体数据架构设计和规划,协调各方面资源推动落地实施 2. 针对各种业务增长和业务需求,制定实施技术方案,解决业务问题 3. 参与数据仓库和数据平台的架构规划、模型设计、平台设计,输出相关设计文档 4. 负责公司数据中台的设计和研发,制定数据架构规范,指导团队落地 5. 跟踪行业动态,引入新的技术组件,推广新技术应用 岗位要求: 1. 本科及以上学历,5年及以上大数据数仓和平台架构实际工作经验 2. 熟悉hadoop大数据生态和常用组件,例如:Hive\MR\sqoop\Spark\Flink\hudi\Iceberg 3. 对海量数据计算处理、性能调优、计算任务优化有深入研究,精通Hive Sql计算优化 4. 精通数据仓库模型设计方法,同时具备实际经验,对数据模型具有深刻见解 5. 跟踪、监控、维护及优化数据模型,确保数据模型被有效使用 6. 负责制定企业数据中台数据规范、管理规范、数据标准、技术管理流程等 7. 优先考虑:主导或参与数据中台,数据仓库,独立负责完成相关模块;熟悉python、java至少一种语言;
-
工作职责: 1、负责大数据系统平台规划、开发、建设扩容、运营、运维工作;负责实时关联计算中台的规划、开发、建设、运营工作 2、负责海量数据采集、处理及存储、应用方案的技术选型及架构实现,利用Hadoop、Spark等大数据技术对海量数据进行处理,支持建模(算法)的工程化实现 3、负责整理数据资产,对数据进行统一管理;根据项目需求,进行内外部数据引入,并按需设计模型和算法;制定大数据管理规范,保障数据安全合规使用; 4、负责开发数据统计系统,各类统计程序报表,海量数据分析/查询、分布式存储、流式/实时计算等应用层架构搭建及核心代码实现 5、参与其他工作任务 任职资格: 1、本科以上,计算机或相关专业,具有千万级dau以上用户数据系统的数仓和系统开发经验; 做过olap多维分析,对业务敏感;能抽象行业数据模型 2、精通Hadoop、Hive、HBase原理及优化,熟悉大数据生态技术圈,如Storm、Spark、Flume、Sqoop、Kafka、Zookeeper、ES等,有大规模集群架构设计、开发及管理经验。 3、有主流大数据计算引擎(包括但不限于Spark、Flink、Hive、Impala等)实际应用经验,对原理有比较深入的理解,有调度(或ETL)系统、引擎平台的产品化、二次开发的经验。 4、实操 hadoop集群规模在50台+机器以上;熟悉hadoop 开源版本调优;有实时数据开发经验,研读过Hadoop、Spark等源代码,能够在特定业务中进行定制改造 5、对大数据、云计算、开源软件、传统数据仓库类产品有一定的深度和广度,熟悉常用中间件、算法、通信、分布式、存储、安全、设计模式等 加分: 6.对数据处理(实时/离线)、数据仓库(数据湖)、数据分析等业务处理过程有深刻体会,对业界的发展趋势有独立见解的加分 7.熟悉掌握通用大数据数据合并、建模、抽取、分析挖掘机、展示等挖掘算法,具有在实际项目中结合业务场景开发大数据算法的经验者的加分
-
产品架构师 岗位职责: 1、协助产品负责人制定大数据产品或系统的技术架构方案和实施路线,对整体软件方案、内部系统优化方案建议及决策,参与系统设计方案评审 2、子系统或模块的设计与开发,包括接口、业务逻辑定义、数据模型的设计与开发等 3、负责组织研发数据质量、数据分析整体方案,根据要求进行文档与代码的设计、编写、评审、维护工作 4、组织编写相关技术文档,协调和培训开发人员,辅助完成产品或系统开发 技能要求: 1、有5年以上IT行业技术研发类从业经验,独立系统设计、架构设计和研发经验 2、熟悉大数据系统技术架构及关键技术、软件研发过程,熟练掌握设计模式、开发语言、算法基础、数据结构等基本知识 3、熟悉领域设计理论,熟悉UML建模语言。 4、熟悉JAVA/Go/C++等开发语言及相关技术,熟悉各种数据分析框架架构原理。 5、熟练掌握Mysql、Oracle、Hdfs、Hive等主流数据库,较强的数据库及SQL能力,熟练使用Linux系统。 6、具有较强的技术风险把握能力和识别能力、应用系统架构及从技术角度分析业务的能力 7、沟通能力优秀,具备良好的逻辑思维,思路清晰,善于思考,能独立分析和解决问题,善于在强压下推进项目
-
工作职责: 1、负责大数据领域的产品、项目架构指导及评审; 2、负责大数据领域相关公共及底座能力架构设计、技术难题攻关、核心代码编写及开发指导; 3、参与大数据领域相关的技术标准规范制定及技术引进; 4、上级交办的其他事项。 岗位要求: 1、计算机相关专业,本科以上学历,8年以上开发经验,2年以上的大数据项目架构经验; 2、深入理解大数据产品和数据分析相关技术和实现方法; 3、熟练使用hadoop及hadoop生态圈中的常用组件,如Spark、Hive、HBase 等;理解MapReduce、HDFS、spark RDD/DataFrame原理; 4、熟悉Flink或者Spark Streaming等实时计算框架; 5、至少熟悉Java,Python,Scala一种或者多种语言,熟悉Oracle\MySQL,熟悉Linux及Shell; 6、熟悉数据挖掘、可视化分析,各种BI算法和产品等; 7、有机器学习或深度学习经验优先; 8、熟悉Spring Boot,有Spring Cloud等微服务相关项目开发经验优先; 9、具有良好的沟通协调能力和团队合作精神。
-
岗位职责 1.负责公司大数据/数据中台类项目的整体架构设计与实现; 2.编写解决方案及技术文档; 3.技术方案选型、相关技术实现,分析并协助解决数据开发过程中的问题; 4.根据当前团队技术瓶颈、评估技术栈短板,开展相关技术预研及针对性培训; 5.开展创新探索工作,持续优化整体架构; 任职要求: 1.***本科及以上学历,计算机或相关专业, 2.5年以上大数据平台架构、设计等经验; 3.精通大数据生态及阿里、华为、星环等主流大数据平台; 4.精通数据仓库/业务建模/分析模型/数据挖掘等设计与实现; 5.精通Java等编程语言,具备2个以上大型分布式应用系统设计经验,有超大数据量,超高并发等场景处理经验 6.具备良好的语言沟通和自我驱动力,良好的逻辑思维以及问题分析能力; 具备较强的文档基础能力,善于总结。
-
岗位职责: 1、负责大数据中台长远规划,并进行落地应用 2、负责大数据中台整体架构设计与核心代码研发 3、负责大数据平台日常调度管理、资源监控、集群日常维护 4、负责团队成员培训,提升团队效率 任职要求: 1、5年以上大数据平台经验,2年以上大数据集群经验 2、熟练掌握Java开发语言,能够独立设计和架构。熟悉高并发,多线程编程 3、熟悉主流SQL数据库(MySql),缓存数据库(redis),消息队列rabbitmq,kafka 4、熟悉大数据离线生态(hive\sqoop\impala\hdfs\mapreduce)和实时生态技术(flink\doris),能够独立安装部署优先 5、具备shell、python 等脚本编程能力 6、思路清晰,工作规范,良好的沟通能力、有较强的团队协作精神和责任心
-
岗位职责: 1.负责大数据平台架构设计、技术选型; 2.负责海量数据的处理分析的性能支撑; 3.负责实时处理系统的设计和开发工作; 4.对系统扩展、安全、性能等负责,解决开发,运行中出现的各种技术难题; 5.主导大数据平台技术架构规范、标准的制定,为应用设计、开发及部署提供架构指导原则。 岗位要求: 1.计算机或相关专业本科以上学历,5年大数据平台架构设计经验,2个以上大数据类项目开发经验; 2.精通常用大数据技术、数据处理架构,熟悉 Hadoop/Spark/Flink/Hive/Hbase、Greenplum、PostgreSQL、Clickhouse、Vertica等大数据技术至少一种,并能结合业务场景进行架构设计; 3.具有较强的编程能力,至少熟练使用Python/Java其中的一种开发语言; 4.熟悉高可用、高并发、高性能的分布式系统的设计及应用,有丰富的线上调优经验。