具体职责:
1、参与公司爬虫项目的开发和维护
2、确保对爬取的数据完整性和正确性，对爬虫结果负责
3、负责对爬取数据进行分类，清洗，入库等工作
4、系统解决动态网页内容抓取、网页内容深度抓取关键技术；

任职要求:
1、熟练使用python编程、爬虫相关库进行网络爬虫开发
2、熟悉多线程、多进程、协程，有分布式爬虫架构，数据分析经验者优先
3、熟练使用常用爬虫框架和工具：scrapy,selenium等
4、熟练掌握SQL，并熟练使用mysql、mongodb等
5、掌握网页抓取原理及技术，熟悉html,dom,xpath,beautifulsoup,动态js数据解析，精通正则等，可以从结构化和非结构化的数据中获取信息
6、熟练使用常用 Linux 命令，有一定的Shell脚本编写能力。
7、具备良好的沟通、合作和问题解决能力，具备独立分析和解决问题的能力。