"1、负责网络爬虫系统的设计与开发工作；
2、负责多平台的信息抓取、解析等研发与优化工作；
3、负责抓取信息的深度提取与挖掘，对全量数据有深刻理解及方案;
4、负责抓取技术难点攻克 "

"1、大专学历及以上，计算相关相关专业，有扎实的计算机基础知识和编程功底，3年及以上开发工作经验；
2、熟练网页抓取原理、技术及正则表达式，熟练从结构化和非结构化的数据中获取信息；
3、熟练使用python技术；
4、有较丰富的分布式爬虫系统开发经验，熟悉HTML、JavaScript等前端技术；
5、精通scrapy、scrapy-redis等开源框架，对scrapy-redis有深入了解;
6、熟练使用django、flask等后台服务框架
7、熟悉反爬虫、验证码识别技术者优先；
8、熟悉mq、kafka、docker、ES技术者优先；
9、熟练使用mysql、mongoDB等数据库"