一、 岗位职责
1、负责爬虫和数据采集系统的维护与开发，包括内外大型电商平台信息爬取和页面内容的提取分析；
2、负责定期爬取指定网站的数据，完成关键信息的数据抽取、清洗、去重、分析，并转换成业务需求所需要的格式；
3、负责爬虫相关技术的研究和实现工作，比如APP破解、小程序破解、分布式爬虫、验证码破解、JS逆向反爬机制的研究等；
4、负责公司爬虫的核心算法以及策略优化，熟悉数据采集系统的调度策略；
5、设计爬虫策略和防屏蔽规则，提升网页抓取的效率和质量；
6、负责现有部分爬虫的完善、维护工作，实时监控爬虫的进度和警报反馈，提升爬虫系统稳定性、可扩展性、实用性。
二、岗位要求
1、 有3年以上大型平台及海量数据的爬取经验，例如* 聘、*宝、*东、易贝、亚马逊等，能独立完成爬虫任务；
2、 精通Mysql，Redis，常见的算法与数据结构，具有优秀的逻辑思维能力和扎实的计算机基础和编程能力，有过数据库调优和海量数据存储经验优先；
3、本科及以上学历，计算机或相关专业；
4、熟悉HTTP、HTTPS原理，理解Cookie机制，能够进行请求抓包；
5、熟悉常见的反爬机制，并对反爬具有一定的应对措施策略且有一定研究；
6、熟悉APP逆向、JS逆向、验证码破解、图像识别等技术;熟悉常用网络协议、数据存储和数据处理技术；
7、熟悉linux系统环境、命令，shell、python脚本编写。