岗位职责:
1、从事网页及APP数据采集的技术工作；
2、负责设计爬虫策略及反爬规则，提升数据采集效率、完整度和稳定性；
3、负责智能采集系统设计与研发，如采集任务调度，页面解析和结构化抽取，海量数据存储和读取等。
4.、负责持续跟踪分析爬虫系统的技术缺陷，对策略架构做出合理地调整和改进，提升公司相关产品与服务的竞争力。
任职资格:
1、5年左右爬虫开发经验；能够独立承担爬虫工作；
2、熟悉JAVA/Python/go任意语言，熟悉常用的数据结构和算法；熟悉分布式、缓存、消息、搜索等机制；
3、熟悉爬虫原理、分布式架构，精通一种开源爬虫框架，熟练scrapy、feapder等一个或多个爬虫框架及原理，熟悉主流爬取技术，如协议破解、模拟点击、AST解混淆、app逆向等，能够解决封账号、封IP、验证码等问题；
4、熟悉Mysql、ES 和 kafka等使用；
5、有淘宝、拼多多等电商数据获取相关经验者优先。
6、熟悉Android逆向，有主流app逆向、风控对抗、算法破解经验