岗位职责：
1.负责设计和开发网络爬虫系统，进行电商或社会媒体等平台信息的抓取和分析；
2.设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；
3.能独立解决实际开发过程中碰到的各类问题，能主动学习掌握最新反反爬技术手段；
4.有良好的学习习惯和团队沟通协作能力，有自驱力理解好业务需求场景的落地实现；

任职资格：
1.本科及以上学历，2年以上爬虫相关工作经验；
2.熟练python等编程语言，有1年以上的scrapy框架开发经验；
3.熟练运用正则表达式和xpath，JavaScript；
4.熟练使用mysql数据库，熟悉redis等nosql数据库；
5.熟悉linux操作系统，了解web及相关技术和原理，有过后台开发经验者优先；
6.构建过分布式爬虫系统，参与过数据分析者优先。