岗位职责：
1、负责网络爬虫系统的设计与开发工作；
2、负责多平台的信息抓取、解析等研发与优化工作；
3、负责对现有采集渠道功能的扩展;
4、负责对其它工作的支持。

岗位要求：
1、计算相关相关专业，有扎实的计算机基础知识和编程功底，3年及以上开发工作经验；
2、熟练网页抓取原理、技术及正则表达式，熟练使用浏览器方式采集,熟练从结构化和非结构化的数据中获取信息；
3、熟练使用python技术；
4、有较丰富的分布式爬虫系统开发经验，熟悉HTML、JavaScript等前端技术；
5、精通scrapy、scrapy-redis等开源框架，对scrapy-redis有深入了解;
6、熟练使用django、flask等后台服务框架；
7、熟悉反爬虫、验证码识别技术者优先；
8、熟悉mq、kafka、docker、ES技术者优先；
9、熟练使用mysql、mongoDB等数据库。