岗位职责：
1、参与设计、开发、维护爬虫系统；
2、参与多平台信息的抓取和分析；
3、建立完整的数据获取、解析、入库和监控流程，并不断优化迭代完善；
4、设计爬虫反屏蔽规则,提升网页抓取的效率和质量；
5、利用主流的大数据相关技术，对抓取后的网页数据进行清洗、存储等；并持续优化平台，以便满足各种爬取业务需求。

任职资格：
1、熟练掌握js反混淆，熟悉Rust语言有实操经验者优先；
2、实操过akamai,datadom,cloudflare等国外cdn供应商防护优先；
4、熟悉linux开发环境，熟悉js语言；
5、熟悉web常见的反爬机制，精通各种反爬破解，包括但不限于：js防护、混淆、逆向分析、App防破解、防逆向、加固技术等技能。

p.s. 如是**时间对于爬虫有更深度社群交流或项目实践的小伙伴，也欢迎分享项目简历，一同交流~