工作职责：

1.负责规划、设计和开发爬虫相关系统，进行多平台多终端信息的抓取和分析。

2.基于抓取系统的数据抓取、清洗等设计开发。

3.配合业务线，完成实时数据与离线数据的爬取与对接。

任职要求：

1.精通Python语言\MYSQL，熟练使用常用模块，使用过Flask web框架；

2.能够解决封账号、封IP采集等问题，解决网页抓取、信息抽取等问题

3.熟悉爬虫工作原理，深入了HTTP协议内容

4.至少了解一种主流爬虫框架的架构及原理，有具体工程经验，如 scrapy / pyspider等

5.了解基于Cookie的登录原理，熟悉常用的信息抽取技术，如正则表达式、XPath等

6.对常见各类反爬方式（如账号/IP封禁、验证码、js混淆加密、滑块验证、数据混淆等）有一定解决经验