大模型训练
岗位职责
1、航空领域数据工程
构建航空类领域高质量预训练与微调数据集,设计数据清洗、去噪、增强策略。
开发航空领域知识增强工具,融合专业术语库、行业图谱等结构化知识。
2、航空AI大模型预训练
针对航空领域特点(如长文本、稀疏数据、专业术语),设计领域适配的模型架构(如动态分词器优化、领域注意力机制)。
主导百亿级参数大模型的分布式预训练,优化训练效率与收敛速度。
探索领域持续预训练(Continual Pretraining)技术,实现跨领域知识迁移。
3、任务导向精调
结合航空业务场景,设计多任务联合训练框架。
应用Instruction Tuning、RLHF等技术提升模型任务对齐能力。
开发航空模型评估基准,量化模型在专业场景下的准确性、可靠性与合规性。
4、航空领域知识融合
设计知识注入方案(如实体链接、检索增强生成RAG),解决大模型幻觉问题。
与航空业务专家协作,将行业规则与业务流程编码至模型训练中。
任职要求
1.计算机科学、人工智能或航空信息化领域相关专业本科及以上学历,3年以上NLP/大模型训练经验,至少主导过1个垂类模型预训练项目,具备领域知识图谱构建或行业规则引擎开发经验者优先。
2.精通PyTorch/TensorFlow框架,熟悉Megatron-LM、DeepSpeed等分布式训练工具。
3.深入理解大模型技术细节:Transformer变体优化、位置编码、混合专家(MoE)等。
4.掌握大模型训练全流程优化技术:梯度累积、混合精度训练、Checkpointing策略。
5.熟悉参数高效微调技术(LoRA、Adapter),具备千卡级集群训练调优经验。
6.熟悉航空类数据特性(如业务文本的上下文依赖、逻辑推理要求)
拉勾安全提示