岗位职责：
1. 设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析工作，实时监控爬虫的进度和警报反馈
2. 网页信息和APP数据抽取、清洗、消重等工作

任职资格：
1. 本科以上学历，计算机相关专业，3-5年经验，至少有2年以上爬虫经验；
2. 有扎实的算法和数据结构能力，熟悉爬虫原理，熟悉常见的反爬虫技术
3. 熟悉常用开源爬虫框架，如 scrapy / pyspider
4. 掌握http协议，熟悉html、dom、xpath等常见的数据抽取技术
5. 有大规模数据处理、数据挖掘、信息提取等经验者优先
6. 良好的学习、分析总结能力，同时具备良好的组织协调能力及团队合作意识。