岗位职责：
1、负责相关网站、App的爬虫设计和开发，定制实现批量采集，增量采集以及采集策略持续优化；
2、分析结构化和非结构化数据，并对数据抓取、信息提取、去重、清洗；
3、解决反爬疑难问题;
任职要求：
1、能够熟练使用Python或者Go等开发语言，了解网络爬虫开发原理，了解相关爬虫框架；
2、掌握HTML，JS，熟悉JS逆向；了解常见的反爬虫技术如文本混淆反爬虫、验证码等；
3、了解App逆向，反编译，抓包等。对于抖音、微信、小红书App、YouTube、Facebook至少有两种每天大数据量爬取的经验；
4、具备良好的沟通能力和团队协作能力。