职责描述：

1、负责采集信源配置管理、采集模板编写维护；

2、新闻、APP、智库等相关网站、app采集程序开发；

3、负责网页信息抽取、清洗；

任职要求：

1.熟悉Python编程语言；

2.有一定的爬虫经验,熟悉主流反爬策略并能够突破反爬限制（防屏蔽规则，解决封账号、封IP、验证码等）；

3.熟悉HTTP、HTTPS等网络协议及数据抓包、分析；

4.熟练掌握使用正则表达式、XPath、CSS等方式抽取网页元数据；

5.熟悉Scrapy开源爬虫框架,熟悉队列,调度等

6.主动性和责任心强,有良好的团队合作精神,善于沟通

7.熟悉针对新闻APP客户端内容爬取经验者优先。