职位描述
- 根据业务需求，负责设计和开发分布式网络爬虫系统，并进行清洗提取；
- 设计爬虫策略和防屏蔽规则，提升网页爬取的效率和质量；
- 能独立解决实际开发过程中遇到的各类问题；
任职资格
- 计算机相关专业，本科以上学历，2年以上爬虫开发经验；
- 熟悉Python、计算机网络，熟悉使用多线程，熟悉Scrapy等常用爬虫框架；
- 熟悉Linux操作、正则表达式、Mysql、MongoDB、Redis等常用数据库及缓存；
- 能解决封账号、封IP、验证码识别、图像识别等问题；
- 具有良好的沟通能力和团队合作意识

加分项
- 熟悉docker容器技术者，加分；
- 对php/nodejs/go等其他编程语言有实际开发经验者，加分；