负责：
负责设计和开发分布式网络爬虫系统scrapy-redis，提取分析各种国内外千形万态的平台页面内容；
研究各种网站、链接、APP的形态，发现它们的特点和规律；
解决技术疑难问题，包括反爬、压力控制等，提升网页抓取的效率和质量；
要求：
精通python、计算机网络，熟练使用多线程，熟悉Scrapy等常用爬虫框架；
熟悉Linux操作、正则表达式，MongoDB、Redis、MySQL等常用数据库，了解各种Web前端技术；
能够解决封账号、封IP、验证码识别、图像识别等问题；