工作职责：
1.配合公司业务，负责设计和开发分布式网络爬虫系统；
2.负责多平台信息的数据采集、抽取、去重、分类、垃圾过滤、质量识别等工作；
3.关注数据质量，建立完整的数据获取、解析、入库和监控流程。

职位要求
1.大专及以上学历，3年及以上Python相关岗位工作经验；
2.熟悉Linux系统，熟悉Python语言，熟悉常用爬虫框架，如Scrapy等，并有实际项目经验；
3.熟悉JavaScript/xpath/Ajax等web知识, 熟悉WebDriver，phantomjs等工具；
4.掌握网页抓取原理及技术，了解基于Cookie的登录原理，熟悉基于正则表达式、XPath、CSS等网页信息抽取技术；
5.熟悉mysql，redis，mongodb，ES等数据库，以及对应数据的抽取入库等；
6.熟悉整个爬虫的设计及实现流程，有从事网络爬虫、网页信息抽取开发经验，熟悉反爬虫技术，有分布式爬虫架构经验。