岗位职责：

1、负责基于Spark技术的海量数据的处理、分析、统计、挖掘工作；

2、基于Spark框架的数据仓库的设计、开发、维护；

3、根据业务需求使用Flinksql/Spark SQL/JAVA/SCALA进行数据处理、查询、统计等工作

4、能够使用关系型数据库的存储过程进行业务实现

任职要求：

1、计算机相关专业本科及硕士以上学历，985/211优先，3年以上大数据开发。

2、熟练使用linux，能够使用shell脚本编写代码

3、熟练掌握SQL开发语言，了解Scala或Java语言；懂得SQL优化，掌握窗口函数、自定义函数、explode等函数运用；

4、熟悉Spark、Hadoop、MapReduce，了解ETL性能优化；熟悉大数据Hadoop生态系统，熟练使用主流大数据平台进行数据的处理，具备其中一种或多种产品(Spark、Hive、Hbase、Kafka、ES、Flink等)使用经验。。

5、熟练使用一种数据库，包括不限于oracle、sql server、mysql、sybase等，且能够熟练使用存储过程、函数、触发器等

8、喜欢开发，热爱技术，有较强的责任心，耐心及大局观，逻辑思维缜密活跃。