岗位职责：
1.负责公司爬虫系统的设计、开发、维护等;
2.负责数据清洗，满足业务系统的数据需求;
3.负责网络爬虫相关技术的攻关，如:网络反爬、加密破解、验证码识别、ip池搭建、cookie池搭建等;
4.监控和优化爬虫系统，提升性能和增强功能;
岗位要求：
1、精通 Python，熟练使用 Requests 、Scrapy 进行爬虫开发
2、熟练调用模拟浏览器进行数据抓取，数据采集
3、熟练使用各类抓包工具，如 Charles 、Fiddler 、Wireshark 等等
4、熟练应对 IP 封禁、参数加密、验证码、字体反爬、人机检测、账号封禁等反爬措施
5、熟悉 Linux 平台开发，能完成爬虫程序的部署。
6、会使用python处理各种数据，对数据规格化有一定经验。
7、熟悉爬虫的各种更新数据的策略。
8、喜欢钻研技术，喜欢阅读优秀开源项目源码，热衷于解决各类技术问题