职位描述：
作为数据开发工程师，您将负责设计、开发和维护数据爬虫系统和数据清洗系统，确保为大模型训练团队提供高质量的数据源。您将与一流的技术团队紧密合作，探索数据采集和处理的前沿技术，为公司的AI战略提供有力支持。

岗位职责：
设计和开发高效、稳定的数据爬虫系统，从各种来源收集数据。
使用多种开源工具和平台，设计并实现数据清洗和整理系统。
深入理解大模型训练的数据要求，确保输出的数据源符合训练需求。
持续优化爬虫和数据清洗流程，确保数据质量和效率。
对爬虫和数据清洗系统进行维护和更新，应对数据源的变化和挑战。

任职要求：
本科及以上学历，专业背景为计算机科学、数据科学或相关领域。
至少3年数据爬虫和数据清洗相关工作经验。
熟悉主流的数据爬虫和数据清洗开源工具，如Scrapy、BeautifulSoup、Pandas等。
能够独立设计和开发完整的爬虫和数据清洗系统。
具有出色的团队合作和沟通技巧，能够在跨部门项目中高效工作。