岗位描述：
1、分布式网络爬虫系统的设计及开发
2、互联网站、网页、链接的特征挖掘，进行网页抓取、数据提取、清洗、入库
3、负责爬虫核心算法的策略优化研究，充分利用资源，避免限制
4、优化搜索、匹配、抓取等关键程序的性能及效率

任职要求：
1、3年以上爬虫独立开发经验，熟练应用多线程技术
2、熟练使用正则表达式、css path、xpath等，能够从结构化的和非结构化的数据中获取信息
3、熟练使用MongoDB，Mysql，Redis数据库
4、精通一种开源爬虫框架，如scrapy、scrapy-redis、requests、selenium、puppeteer等
5、熟练使用docker，会部署容器化爬虫
6、熟悉至少一种消息队列