岗位职责
1、负责设计和开发分布式的网络爬虫，数据的采集与爬取、调度、监控、自动化运行等；
2、负责反爬虫策略研究，代理IP、验证码识别等采集支撑服务建设；
3、负责Android、iOS 应用的逆向工作；
4、负责网页/APP 的数据抓取和爬取链路优化（包括 Android APP 反编译、脱壳、加密参数破解、抓取攻防等），提升抓取能力；
5、负责手机群控采集数据；
5、破解主流网站和app的反爬机制。

任职要求
1、熟练掌握Python，javascript,熟悉numpy，pandas和skiearn的使用,并有实际开发经验；
2、具备大规模通用爬虫开发经验，熟悉目前主流的一些爬虫框架；
3、熟悉HTTP、TCP等网络协议及数据抓包、分析；
4、熟练掌握至少一种数据库，有 MongoDB 或MySQL开发和维护经验者优先；
5、熟悉hive，Hadoop，spark，Hook，能独立解决实际开发过程碰到的各类问题；
6、加分项：精通软件逆向工程，精通软件加密解密知识，精通各种软件逆向工程开发工具的使用； 熟悉软件逆向分析流程，能够独立完成软件逆向工作；有成功逆向过的经历。