岗位职责
1. 负责爬虫的开发、维护和优化；
2. 搭建数据采集系统，页面化管理维护爬虫任务和状态，展示爬取情况
3. 进行爬取数据进行清洗和质量校验，为业务部门提供数据支持；
4. 支持数据部门内部应用和系统的开发

岗位要求
1. 熟练使用python语言，熟悉常见的爬虫框架，1年以上的爬虫开发经验
2. 熟悉常见的反爬机制并具有实际解决问题的反反爬经验
3. 熟悉tcp/http/ws协议等，能用常见抓包工具进行分析
4. 有web端和app端数据抓取能力，熟悉两端的数据抓取方法
5. 具备一定的web开发能力，了解前后端分离，能用主流前端框架开发相应的工具和管理系统
6. 有大数据相关经验优先：flink、spark、hdfs、hive、kafka、hbase等
7. 有舆情类项目优先
8. 有网络安全及逆向相关知识和经验优先