岗位职责:

1、分布式爬虫系统和数据采集的规划、设计、开发;
2、爬虫策略和防屏蔽规则研究，提升网页抓取的效率和质量;
3、理解系统数据处理流程以及业务功能需求;
4、负责核心算法的设计与开发。

岗位要求:

1、了解各种加密算法，在破解验证码方面有丰富经验，能够独立解决js反爬和模拟登陆问题;
2、熟悉常见反爬机制，验证码识别，IP代理池、应用Ip池、headers认证和cookie等;
3、熟悉 Appium.Selenium.PhantomJS.Web Driver等技术;
4、熟悉熟练使用charles、fddler等抓包工具;
5、熟悉MySQL、MongoDB、Redis、Elasticsearch、Kafka等常用的中间件;
6、有国外社交网站Instagram、Youtube、Facebook、Tiktok爬虫经验优先。