岗位职责
1.负责对已有爬虫的维护。
2.负责对新的目标网站抓取数据(使用公司自研框架)
3.负责对数据进行分析统计，探索数据价值。
4.负责对公司已有产品的支撑。
5.负责部分漏洞审核工作。
岗位要求
1、熟悉爬虫工作原理，熟悉常见的反爬虫技术
2、熟练掌握 Python 语言，熟练掌握至少一种主流爬虫框架，如 Scrapy3、熟悉 HTTP、TCP/IP 等网络通信协议
4、熟悉正则表达式、XPath 等常见的数据抽取技术
5、具有扎实的计算机基础和编程能力，熟悉常见的算法与数据结构
6、有分布式爬虫系统设计、工程化和运维经验者优先
7、有Python Web框架 (如Django/TornadoFlask)经验者优先
8、有java、javascript等编程语言经验者优先