大模型自动化评测专家-DMC15k-30k

上海经验不限本科及以上运营经理
岗位所属职位类型
全职

  • 运营
字节跳动
分享到微信
微信扫一扫,用小程序打开分享
收藏
职位诱惑:

团队氛围好,大牛带队,免费三餐

职位描述:

职位职责:
1、负责大模型自动化评测体系的建设与迭代,涵盖评测流程设计、指标体系制定、工具与平台开发,确保评测结果科学、稳定、可复用;
2、基于Agent与Workflow等先进技术,搭建自动化评测Pipeline,支持文本、多模态及AI应用的效果评估;
3、深入研究新型大模型评测方法与技术,制定科学合理的评测策略,推动评测体系的智能化与标准化,为模型优化提供有价值的反馈;
4、与研发团队紧密协作,将自动化评测体系嵌入模型训练与产品研发流程,形成评测与优化的闭环支持。
职位要求:
1、本科及以上学历,计算机科学、人工智能、计算语言学等相关专业优先;
2、掌握Python等编程语言,具备PE撰写调优、Agent/Workflow搭建实践经验优先;
3、具备1年以上大模型评测或相关经验,熟悉常见评测指标和方法,了解自动化评测工具或平台的开发与应用;
4、对大模型评测与优化充满热情,关注前沿研究动态,具备快速学习与持续探索能力;
5、思路清晰,逻辑性强,具备跨团队协作与沟通能力,能够在复杂项目环境中独立推进工作优先。

工作地址

上海 - 徐汇区- 中国大陆上海市徐汇区古美路1520号漕河泾中心D座,邮编:200233查看地图

职位发布者:

拉勾安全提示
· 求职中如遇招聘方扣押证件、要求提供担保或收取财物、强迫入股或集资、收取不正当利益或其他违法情形,请立即举报
· 如遇岗位要求海外工作,请提高警惕,谨防诈骗
面试评价
【查看更多评价】
  • 半年前
    • 描述相符
    • 面试官
    • 公司环境
    面试官很nice
    [面试过程]
    暂时一面 面试官很和蔼可亲,专业能力也很强,主要会问一些客户投诉 以及工作处理内容的问题 面试官也很准时的上线
    (15)
  • 评价人头像匿名
    半年前
    • 描述相符
    • 面试官
    • 公司环境
    面试官很nice
    [面试过程]
    自己的简历出错了,拉勾上的电子版未更新,但是我真的很有诚意的……面试官都生气了orz,对不起哦……不过面试官还是不错的……
    (256)
  • 评价人头像匿名
    半年前
    • 描述相符
    • 面试官
    • 公司环境
    欧亨利似的结尾
    [面试过程]
    不合适就不合适,也没必要最后让前台小姐轰人吧? 起码的尊重都不给。。。 这样的为人还配面试别人?
    (699)
抖音视界(北京)有限公司

字节跳动

相似职位