岗位职责：
1. 负责采集系统的架构设计,系统搭建
2. 负责各类数据源（API、数据库、网页）的数据采集、清洗、转换与入库；
3. 搭建与维护稳定高效的数据采集系统，确保数据采集的准确性、完整性与时效性；
4. 分析数据源结构与变化，制定字段映射、清洗规则和更新策略；
5. 针对目标站点的反爬策略设计并实现有效的绕过方案；
6. 编写数据采集文档与接口说明，支持数据管理与审计合规需求。
7. 及时解决爬取过程中出现的问题并不断优化程序

任职资格：
1. 计算机相关专业毕业，3年以上数据开发经验；
2. 熟练掌握 Python，具备丰富的 HTTP 请求模拟、抓包调试、异步编程、数据解析能力；
3. 熟悉常见数据采集方式（如 RESTful API 调用、网页爬虫、日志采集）与数据清洗与转换技术；
4. 熟悉数据采集相关框架或工具（如 Scrapy、Logstash、NiFi、Flume、Kafka、Flink）；
5. 熟悉 JavaScript 语言，具备 JS 加解密逆向能力，可独立实现复杂参数构造、签名还原、AES/MD5/RSA算法实现等；
6. 熟悉常见反爬机制及绕过方式，如验证码识别（图形/滑动/点选）、UA/IP切换、请求混淆、Headless Browser 等；
7. 具备小程序抓包与接口还原能力，了解小程序数据通信机制；
8. 有 App 采集经验，熟悉抓包工具（如 Charles、Fiddler、Wireshark、mitmproxy）、Hook 工具（如 Frida、Xposed）；
9. 了解数据质量、数据安全与合规相关知识。