职位职责：
1、联动产品、研发团队，对SFT、RL阶段的模型结果评测，定义评估标准、优化评测流程并产出提升模型能力的数据分析报告，同时结合用户行为与相关数据分析，协助产品研发提升模型能力和产品体验；
2、根据业务目标参与评测方案制定、建设评估数据集，并能够站在用户视角和模型视角构建理想态，通过人工或自动评估对模型回复效果进行评测，并自主完成问题拆解和分析，驱动产品研发进行策略优化；
3、可以通过撰写简单PE或搭建Workflow的方法进行辅评来提升团队整体评测效率和准确性；
4、主导评测工作的开展，充分协调整合各方资源，保障内外部高效协作、顺畅沟通。
职位要求：
1、本科及以上学历，具备扎实的中文专业背景，对AI领域有强烈兴趣与探索意愿，具备快速学习能力与跨学科思维，具有良好的抗压能力，有1年以上大模型评测相关经验，有搜索大模型评测经验者优先；
2、在较多垂直领域有很好的涉猎，能够剖析专业、行业领域问题，输出自己的见解；有较好的搜索习惯，或大模型产品使用习惯，善于站在用户视角反馈体验问题，善于结合多角度拆解问题，有产品分析经验优先；
3、具备从业务目标精准拆解标注需求的能力，并拥有以数据为依托的文本分析能力与敏锐的用户洞察力；
4、具备优秀的跨团队协同沟通能力、自驱力与创新意识，并能主动追踪AI技术发展动态。