岗位职责：
1、主导和参与爬虫系统的架构设计、开发与优化；
2、负责海内外各种平台数据爬虫的开发与维护；
3、负责进行前沿技术研究 ，难点攻关；
4、实时监控爬虫任务的执行状况，及时处理爬虫异常；

岗位要求：
1、专科及以上学历，计算机软件或相关专业，2年及以上python开发经验；
2、熟练掌握python，掌握selenium、scrapy等爬虫相关框架，爬虫基础扎实，有分布式爬虫经验；
3、掌握爬取的各类实现方式和技术细节，包括不限于：熟悉常见的反爬策略、掌握网络协议分析、有APP反爬/逆向，JS反爬/逆向、精通JS防护、混淆、逆向分析等技能，熟悉各种浏览器检测/反检测手段；
4、熟悉各类代理的使用，有海量代理池搭建经验；
5、熟悉前沿的反爬风控手段，对电商行业的反爬对抗有深入的理解；
6、熟练掌握正则表达式、XPath等信息抽取技术，
7、熟悉Redis、Mysql、MongoDB等常用的数据库
8、熟练使用各类抓包工具，如 Charles、Fiddler、Wireshark、Mitmproxy 等；
9、具有较强的分析和解决问题的能力，工作认真细致、积极主动、责任心强；