岗位职责：
1.负责维护现有数据源爬虫系统；
2.配合业务，负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和分析工作；
3.负责管理并持续优化数据结果，协助数据处理，配合完善基础数据库建设；
4.负责协助相关业务开发落地；

任职要求：
1.大专及以上学历，计算机软件相关专业，或数学相关专业，3年及以上Python相关岗位工作经验；
2.熟悉Linux系统，熟悉Python语言，熟悉常用爬虫框架，如Scrapy等，并有实际项目经验；
3.熟悉JavaScript/xpath/Ajax等web知识, 熟悉WebDriver，phantomjs等工具；
4.掌握网页抓取原理及技术，了解基于Cookie的登录原理，熟悉基于正则表达式、XPath、CSS等网页信息抽取技术；
5.熟悉mysql，redis，mongodb，ES等数据库，以及对应数据的抽取入库等；；
6.有解决封账号、封IP、网页抓取、信息抽取等问题的经验，可构建完善的网络信息收集平台；
7.熟悉整个爬虫的设计及实现流程，有从事网络爬虫、网页信息抽取开发经验，熟悉反爬虫技术，有分布式爬虫架构经验；
8.有数据分析、数据挖掘相关经验者优先，有良好的沟通能力和责任感，能够承担工作压力，独立分析和解决问题者优先；
9.有数据分析产品全生命周期经验的优先；