岗位职责：
1、解决各类反爬问题，如JS混淆逆向、APP逆向、字体加密、极验验证码、瑞数等以及采集其它疑难杂症；
2、负责相关爬虫相关技术调研与应用，包括但不限于web/app的数据采集；
3、维护采集平台中站点的稳定采集；
4、开发和维护爬虫脚本和数据处理接口，确保系统稳定运行；
5、协助团队解决爬虫相关技术问题，完成上级安排的其他任务；

任职要求：
1、本科及以上学历，计算机相关专业；
2、3年以上大规模网页爬虫项目经验，2年以上Python开发经验，熟练掌握爬虫底层框架，如scrapy、scrapy-redis、feapder，阅读过如Scrapy-redis等底层代码实现，能够进行改写；
3、精通HTTP/HTTPS协议，能熟练使用Charles、Fiddler等抓包工具分析请求；
4、能够解决封账号、封IP、JS加密、JS混淆逆向、极验验证码、瑞数等采集等问题，具备较强的反爬能力，具备较强的提升爬虫效率的意识；
5、熟练掌握Redis及MongoDB等非关系型数据库，MySQL等关系型数据库的使用；
6、熟悉多种数据提取方法，能灵活运用JsonPath、XPath、CSS选择器和正则表达式；了解ES，Kibana；
7、熟悉HTTP/HTTPS和TCP/UDP协议以及数据抓包和分析、熟悉Linux系统和shell多线程编程；
8、优秀的分析问题和解决问题的能力、思维清晰，对解决具有挑战性问题充满激情，有极强的责任心。