岗位职责：
1、负责多源、海量数据的采集、清洗、入库，负责互联网站、网页、链接的特征挖掘；
2、采集文本、图像等结构化/非结构化数据，能根据业务需求及技术规划优化爬虫方案；
3、设计爬虫策略，对账号封禁、IP封锁、验证码等针对性地设计解决方案；
4、针对性破解各类反爬等疑难问题，探索高效的爬取方案，提升程序稳定性和准确性；
5、负责爬虫程序的维护工作，实时监控爬虫的进度和警报反馈，提升爬虫系统稳定性、可扩展性。
任职资格：
1、本专及以上学历，不低于二年的爬虫经验,有国内短视频数据爬虫经验优先；
2、扎实的Python基础，熟悉多线程编程环境，熟悉常见开源框架；
3、熟悉基于正则表达式、XPath、CssSelector、beautifulsoup等网页信息解析技术；
4、熟悉Scrapy、feapder等主流爬虫框架框架，能够解决封账号、封IP、验证码、网页限制爬取等问题，且有实际经验
5、熟悉常见的反爬机制，并对反爬具有一定的应对措施策略且有一定研究，如协议破解、模拟点击等；
6、熟悉代理IP池、Headers认证和Cookie等