岗位职责：

1、负责HDFS、HBase、Hive、Yarn、Flume，Kafka、ES等大数据平台的规划、部署、监控和系统优化等工作；
2、负责Hadoop平台的用户管理、权限分配、资源分配；
3、负责Flink集群的部署维护、资源调度及任务上线等；
4、负责Airflow、Azkaban等大数据任务调度平台的部署、维护、开发支持等；
5、处理大数据平台各类异常和故障，确保系统平台的稳定运行；
6、研究业界前沿的大数据运维技术，负责各种运维工具和系统的设计开发；


任职要求：

1、本科以上学历，计算机或相关专业，具备至少3年以上hadoop及相关组件的运维经验；
2、掌握HDFS、HBase、Kafka、Hive、Yarn、Flink、ES等组件的工作原理；
3、熟练掌握至少一种脚本语言（Shell、Python、Java）；
4、对Hadoop各组件的权限、安全、Kerberos有一定的经验；
5、熟悉MapReduce算法，能够编写和提交分布式计算任务；
6、对分布式开源项目有技术兴趣，能跟踪Hadoop开源社区的发展方向，自学能力较强，不断改进和优化集群；
7、具备高度的责任心，较强的故障分析及排除能力；
8、具备良好的团队合作精神，工作认真、细心、虚心好学、沟通能力好。