岗位职责：
1、编写抓取互联网爬虫代码，负责数据采集，参与需求分析和梳理，爬虫采集策略制定和实现；
2、研究各种网页、小程序端接口，提高网页抓取效率和质量；
3、攻克爬虫难题。

任职资格：
1、熟练使用python，熟练爬虫开发，熟练使用scrapy开源框架，3年及以上python爬虫经验，至少一年海量互联网数据采集经验；
2、熟悉fiddler，charles，mitmproxy等抓包工具（其中一种即可）。熟悉pyppeteer，WebDriver等技术；
3、对HTTP协议及HTML有深入理解，精通正则，xpath等，熟练从结构化和非结构化的数据中获取信息；
4、熟悉js解密逆向反混淆，有电商网站及其他大型网站爬取经验；
5、积极主动，愿意接受挑战，抗压性强。