职位职责：
1、调研公开评测方法，并将公开评测集集成至内部平台；
2、探索智能、高效的模型自动化评估方案，制定搜索/医疗等垂类方向的自动评估方案，探索主观题目自动评估链路；
3、制定大模型评估在应用方向的评估标准，制定题库设计方案，制定评测标准，并对题库整体质量负责；
4、和产品研发、标注团队共同合作，分析评估中反映出的负面案例，制定下一步模型优化的策略。
职位要求：
1、本科及以上学历，计算机相关专业优先，英语能力佳者优先；
2、熟悉Python、SQL等编程语言，具备较强的程序开发、数据清洗能力，有运维背景优先；具备PE工程、Agent/Workflow搭建实践经验优先；
3、具备大模型训练或模型评估经验者优先，熟悉大模型评测方法；
4、具备英文文献阅读能力，了解AI领域最近发表的期刊，发表过计算机相关国际期刊优先；
5、了解公开评估集的构建方式以及指标设定；
6、有责任心和较强的团队意识，对人工智能有较强的兴趣，具备优秀的沟通协调能力和团队协作意识，有项目管理或团队负责人经验优先。