岗位描述
1.构建并优化大规模分布式数据采集系统，协助建设统一的数据采集、处理、查询、治理平台。
2.负责多渠道、多平台的各类数据源抓取，持续提升数据质量，包括数据时效性和完整性。
3.研究并分析目标站点/平台的反爬机制，设计策略规避限制；制定反爬策略，包括IP池、账号池、验证码识别等，并持续优化策略。
4.建立爬虫数据质量监控和应急响应机制，发现并解决数据采集中的异常情况（如数据缺失、重复、错误），确保采集的数据符合业务需求和质量标准，确保业务连续性。

岗位要求
1.3年及以上爬虫开发经验，本科及以上学历。
2.熟练使用Python，具备良好的编码和调试能力，具备扎实的计算机网络基础知识，了解HTTP协议和相关技术。
3.熟悉常见的爬虫框架，如Scrapy、feapder等；熟悉常用的消息组件和数据存储工具，如RabbitMQ、Kafka、MySQL、Redis、MongoDB等。
4.熟悉APP逆向，熟练使用抓包、反编译、Hook工具等，具备APP端数据抓取经验。
5.熟悉JS逆向，熟悉WEB常用反爬技术，具备通用网站数据爬取及解析经验。
6.具备良好的团队沟通能力、较强的问题解决能力和学习能力，能够独立思考和解决技术难题。

加分项
1.了解并使用过AI相关技术，有大模型采集框架使用经验的优先。
2.有通用、高效、稳定的分布式采集系统设计和开发经验的优先。