岗位职责：
1. 负责大模型预训练数据和对齐数据收集和处理链路
2. 持续优化数据处理链路各个环节，包括解析、清洗、去重、分类等，提升数据质量和多样性
3. 配合算法迭代数据清洗中的各类模型，并在通过数据实验在下游任务上验证效果
4. 优化数据清洗和管理平台，提升数据处理效率
5. 持续关注社区进展，跟进最新数据集、数据处理相关论文
任职要求：
1. 本科及以上学历，计算机相关专业优先
2. 良好的编程习惯，熟悉 Python 编程语言，熟悉常见的 NLP 算法
4. 有大数据相关经验优先，有大模型数据处理经验优先
5. 在数据处理方向有开源项目贡献经历、有相关论文经验优先