工作职责：
1、独立负责网络爬虫系统的设计与开发；
2、负责和业务沟通抓取需求，满足业务的发展需要；
3、负责大数据产品所需网站的信息抓取、解析、清洗等研发与优化工作；
任职要求：
1. 计算机或相关专业，本科及以上学历；
2. 熟悉软件工程，熟悉常用数据结构和算法；
3. 熟悉Python语言 、掌握爬虫框架scrapy , 熟悉分布式爬虫管理框架Gerapy, 爬虫管理scrapyd ,分布式爬虫scrapy-redis
4. 熟悉Linux操作系统以及shell脚本；
5. 熟悉HTML，JavaScript，xpath，css selector，熟悉HTTP协议；
6. 英语水平达到CET6或以上；
7. 工作细心，认真负责，具备较强的学习能力；
8.了解Git版本管理工具。