工作职责：

1、负责设计和开发分布式网络爬虫系统，进行多平台信息的抓取和清洗工作；

2、负责网页信息数据抽取、清洗、消重等工作，提升平台的抓取效率；

3、设计和开发爬虫的监控和报警系统，提高问题发现能力；

4、研究爬虫策略和防屏蔽规则，解决封账号、封IP、页面跳转等难点，提升网页抓取的效率和质量。

5、参与爬虫核心算法和策略优化，熟悉采集系统的调度策略；

6、能完成领导临时交办的任务并能很好完成突发、紧急事件的处理；



任职要求：

1.本科以上学历，两年以上相关工作经验；

2.计算机相关专业；

3.熟练使用Python语言、Java等编程语言，使用基于Selenuim、Scrapy、puppeteer、appium其中一种，进行过爬虫项目；

4.熟悉xpath、html、CSS、JS等前端技术；

5.熟练使用re、json、lxml、requests、numpy、pandas等第三方库；

6.熟悉Python多线程、多进程及爬虫机制，使用过一种分布式框架；

7.熟练使用SQL语言，使用过SQLServer、MySQL、Mongodb任一种数据库；熟练使用Linux；

8.使用过fiddler进行过抓包和请求分析；

9.具有反爬经验，对封IP、封账号、JS逆向等，有过实际经验；

10.具有团队精神、积极的工作态度和对工作的责任心，有一定的稳定性。