工作职责:
1、负责设计、开发、维护分布式爬虫系统；
2、负责爬虫系统性能效果调优；
3、负责爬虫系统的后台监控、报警模块的开发。
任职资格:
1、精通Python ，3年以上爬虫及相关技术开发经验；
2、有1年以上App爬取经验，对so逆向有一定经验并独立做过相关分析；
3、 熟练掌握js逆向，熟悉js各种反爬措施，能解决js混淆等问题；
4、了解常见的App反爬策略，能解决IP封禁、参数加密、验证码、账号封禁等问题;
5、有大型爬虫平台开发经验，单个数据源爬取数量超过千万级；
6、工作积极主动、责任心强，具有较强的分析和解决问题的能力。

任职本岗位，你将获得如下技能：
1、如何设计实现大规模分布式爬虫系统(执行效率、资源调度策略、架构设计与优化)；
2、如何处理海量数据(存储、清洗、分析)；
3、如何进行特殊目标的定向分析；
4、其他不外传的技术秘笈。