我们正在寻找一位经验丰富的高级爬虫工程师，负责开发和维护高性能的爬虫系统，以支持我们的业务需求。作为高级爬虫工程师，您将承担以下责任职责： 
1. 设计、开发和维护逆向爬虫系统，涵盖抖音、快手、小红书、天猫或饿了么等平台。
2. 进行安卓逆向工程，分析目标应用程序的加密和防护机制。
3.研究和开发创新的爬虫技术和工具，以确保数据的高质量、高效获取。
4.与团队合作，理解业务需求，并开发相应的爬虫策略和规则。
5.优化现有爬虫系统的性能，确保稳定性和可伸缩性。
6.进行爬虫数据的清洗、处理和存储，以支持后续的数据分析和应用。

任职要求：
1.至少3年以上爬虫开发经验，有抖音、快手、小红书、天猫或饿了么等平台逆向经验。
2.深入了解安卓逆向工程，熟悉加密和防护机制。
3.精通Python编程语言，并熟悉Scrapy框架及相关库。
4.具备编写高性能爬虫的经验，能够有效地处理大规模数据抓取和处理。
5.熟悉数据清洗和处理技术，熟练使用SQL或NoSQL数据库。
6.具备良好的问题解决能力和团队合作精神，能够与不同团队进行有效的沟通和协作。
7.具备良好的学习能力和自主研究能力，能够及时跟踪行业最新动态和技术发展。

加分项：
1.在大型互联网公司拥有相关经验，熟悉大规模爬虫系统的设计和架构。
2.熟悉分布式爬虫架构和消息队列等相关技术。
3.有开源爬虫项目或相关技术文章的贡献经验。
4.拥有海外电商数据开发经验。