一、岗位职责
1、负责爬虫和数据采集系统的维护和开发；
2、负责网络数据抓取规划、清洗以及汇总的开发工作；
3、定期爬取指定网站的数据，为业务部门提供数据支持；
二、任职要求
1、不低于一年的爬虫经验；
2、掌握Python，掌握爬虫技术，熟悉Python主流类库使用；
3、熟悉Scrapy、requests、Selenium等框架（深入了解其中一种）；
4、熟悉基于正则表达式、XPath、CssSelector、beautifulsoup等网页信息解析技术；
5、有分布式爬虫、反爬机制经验者优先