岗位职责：
1.负责电商平台（包括网站和APP）的数据采集，制定高效、稳定的爬取方案，并确保数据完整性和时效性；
2.研究并绕过电商平台的反爬机制，包括验证码识别、IP封锁、JS混淆、动态加载等，提升爬虫的稳定性和成功率；
3.进行APP逆向分析，利用反编译、静态分析、Hook等技术破解数据加密、API接口加密等防护措施；
4.设计、开发和优化爬虫架构，提高数据抓取效率，优化爬虫并发、任务调度、代理池、分布式爬取等模块；
5.使用AI爬虫技术（如自动化识别网页结构、智能解析动态内容等）优化数据获取流程；
6.研究HTTP、TCP等网络协议，进行数据抓包和分析，构建高效的抓取策略；
7.编写清晰的技术文档，记录逆向工程的过程、反爬破解策略及优化方案；
8.持续关注行业发展趋势，优化爬虫系统，并结合AI技术提升数据采集的自动化和智能化程度。
任职要求：
1.本科及以上学历，计算机科学、软件工程、网络安全等相关专业，3年以上爬虫开发经验；
2.熟练掌握Python爬虫开发，精通Scrapy、Selenium、Playwright、Requests等爬虫框架和工具；
3.熟悉HTTP、TCP等网络协议，具备抓包分析能力，掌握Burp Suite、Wireshark等工具；
4.深入理解反爬技术，具备丰富的应对经验，包括但不限于代理IP池、浏览器指纹模拟、验证码识别（OCR、打码平台）、动态加载解析等；
5.具备APP逆向工程经验，熟悉APK反编译、静态分析、动态调试（Frida、Xposed等），能绕过API加密、代码混淆等安全策略；
6.了解ARM指令集，有反汇编、调试能力，能处理花指令、代码混淆等复杂场景；
7.近一年内，有百万级以上电商数据采集经验，有主流电商平台或电商类APP爬取项目经验者优先；
8.具备优秀的代码编写能力、良好的工程化思维和团队协作能力，能够编写高效、可维护的爬虫代码。
加分项：
有电商平台（如Amazon、shopee、Rakuten、Lazada等）爬虫经验者优先；
有大型分布式爬虫架构经验，熟悉Redis、Kafka、RabbitMQ等任务队列调度机制；
具备AI爬虫经验，熟悉自动化网页解析、深度学习OCR识别等技术；
了解MLOps、大数据存储、数据清洗技术，能与数据工程师协同优化数据处理流程。