岗位职责：

1、负责各类主流电商平台、短视频平台的数据抓取和平台搭建；

2、负责反爬虫策略研究，代理IP、验证码识别等采集支撑服务建设；

3、负责大规模文本、图像数据的抓取、抽取，去重、分类，垃圾过滤，质量识别等工作；

4、负责公司爬虫的技术调研以及策略优化；

任职要求：

1、熟悉app端数据抓取（有逆向、脱壳等经验），掌握Apktool、dex2jar、JD-GUI、frida、ida等工具，能独立完成主流电商平台和主流app软件大量级的数据抓取；

2、三年以上大规模爬虫/反爬经验，熟悉HTTP协议/浏览器原理/前端JS/APP抓取，有大数据量、大并发项目经验者优先，有电商网站和移动端数据爬取技术经验者优先；

3、熟悉至少Python、Java、JavaScript中的一种语言；精通一种开源爬虫框架，如scrapy、webmagic、nutch、heritrix等等，有开发爬虫框架经验优先；

4、有解决复杂的反爬限制实践经验， 能解决如图片验证码/滑块/账号限制/ip限制等问题，熟悉反爬虫、签名破解、验证码识别技术者优先；

5、具有数据挖掘、自然语言处理、信息检索、机器学习背景者优先