工作职责：
1、负责设计、开发、维护分布式爬虫系统；
2、负责爬虫系统自动爬取、数据提取的核心算法和性能效果调优；
3、负责爬虫系统的后台监控、报警模块的开发。


任职要求：
1、计算机相关专业；
2、熟练掌握 Python/Java/JavaScript 任意语言，Python 优先；
3、3年以上python及相关技术开发经验，熟悉爬虫抓取原理，了解反爬策略；
4、熟悉Scrapy、WebMagic、Flask、Spring Boot等框架；
5、熟悉 HTML、XPath、正则表达式、AJAX、HTTP协议等；
6、熟悉关系型数据库(MySQL/PostgreSQL)、非关系型数据库(MongoDB/HBase/Elasticsearch)、缓存数据库(Redis/Memcached)；
7、有良好的逻辑思维能力、沟通能力、学习能力、团队合作精神。



加分项：
1、有爬虫开发经历，掌握各种爬虫技巧；
2、具有分布式、多线程/协程/进程的编程经验；
3、有自己的一套"兵器库"。