岗位职责
1、负责数据处理及相关脚本开发测试工作；
2、负责数据开发需求调研及分析工作；
3、负责大数据以及数据资源中心相关项目的数据抽取、转换等维护工作;
4、负责按照要求完成各类数据开发文档编写;
5、负责按照要求完成数据报表、数据接口等配置开发工作;
6，依据维度建模调整数仓分层搭建，重构维度表、事实表和实体表;
7，保证数据公共层的数据质量，管理公司资产数据，完成业务数仓数据的存储、容灾、导入导出，数据维护;

任职资格
1、 **本科以上学历，计算机相关专业，3年以上数据建模、数据仓库开发项目经验；
2、熟练掌握Java、Python、Scala开发，熟练使用linux操作系统；
3、熟练掌握SQL语法，熟悉MySQL、Oracle数据库操作；
4、熟悉大数据存储、查询组件，如HDFS、HBase、Kafka、ES等；
5、熟悉常用批处理计算框架和实时计算框架，如MapReduce、Spark、Flink、Flume；
6、精通数据仓库和建模，了解用户画像，能够独立的根据数据需求、接口集、指标集等进行维度建模；
7、具备数据分析能力；
8、熟悉Spark 原理和流程，能用 scala 或 java 进行Spark 离线/实时程序开发，熟悉 SparkSQL、SparkStreaming组件。