工作内容

基于数据仓库在销售，交付，售后以及CRM领域进行数据开发与分析；设计维护不同层级的数据表；

开发维护数据应用，对数据pipeline进行优化，维护报表层数据，校验数据准确性，监控数据任务的资源分配以及运行情况

基于Spark和Flink构建ETLpipeline

基于Kafka，Spark构建实时数据应用

与核心业务部门沟通，根据业务需求创建对应的数据表，对核心表的查询进行调优

要求

三年以上数据开发经验

熟练掌握SparkSQL，了解HDFS，Hive，Vertica

熟练掌握Postgresql,Mysql的相关特性，了解MongoDB的相关特性

熟练掌握Scala，Python,Shell，了解Java

有后端开发经验（SpringBoot，FastAPI），Docker，K8S经验者优先