岗位职责：
1. 负责爬虫产品的开发与维护；
2. 参与爬虫系统架构的设计和开发；
3. 优化爬虫系统代码、算法，提高爬虫系统的稳定性和扩展性；
4. 研究网站的反爬策略，并给出反爬措施；
5. 对抓取的数据进行清洗、预处理、入库，包括去除重复数据、处理缺失值、规范化数据格式等；
6. 维护爬虫项目代码仓库；

测试网站：
1.http://cx.cnca.cn/CertECloud/resultSn/skipResultSnFull?currentPosition=%E9%A3%9F%E5%93%81%E5%86%9C%E4%BA%A7%E5%93%81%E8%AE%A4%E8%AF%81

2.https://www.nmpa.gov.cn/datasearch/home-index.html?3jfdxVGGVXFo=*************#category=yp

岗位要求：
1. 要求至少2-3年工作经验，千万级数据采集经验
2. 熟练使用 Pyhton，熟练使用常用的爬虫框架( 比如 scrapy 等 )，了解反爬套路及破解方法
3. 熟悉 web 前端技术，对 cookie 管理、登录等流程有深入理解，熟练使用 bs4、xpath 等文本解析工具
4. 熟悉各种网络协议，熟悉 web 前端，熟悉 js、html 等
5. 熟悉 Linux 开发环境，熟悉 git 工具
6. 熟悉 Oracle、Mysql 数据库，对 Mongodb、Redis 有一定的使用经验
7. 有了解过瑞数，有验证码破解经验者优先