跳到正文
热点事件历史事件

斯坦福论文揭示LLM在医疗评审中偏好自身输出

2 篇报道2 个报道来源3 天前更新

先了解这件事

AI 综述

斯坦福大学一项研究发现,8个主流大语言模型在匿名互评医疗答案时,均显著偏好自己的输出结果。这一自我评分偏差可能导致依赖LLM进行基准测试的评估体系产生系统性偏向。 研究让OpenAI、Anthropic、Google和Qwen等公司的模型回答620个真实临床问题并匿名互评。结果显示,每个评委模型对自己答案的平均排名高出1.22位,其中GPT-5.6 Sol接近3位。即使去除评分细则或公开模型名称,偏差仅轻微缩小。作者建议采用跨模型家族的评委小组以避免此类偏差。

AI 根据报道生成 · 3 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. Turing Post (X)
    斯坦福论文发现 8 个 LLM 在医疗答案评审中均偏好自身输出

    斯坦福一项论文让 OpenAI、Anthropic、Google 和 Qwen 的 8 个模型回答 620 个真实临床问题,再匿名互评,发现每个评委都偏好自己的答案,平均排名高出 1.22 位,GPT-5.6 Sol 接近 3 位。作者指出,医疗 AI 基准常用 LLM 给 LLM 打分,评委偏好自身输出会让基准偏向该模型;即使去掉评分细则,这种偏好依然存在,公开模型名称也只让偏差缩小 0.094 位。作者建议使用跨模型家族的评委小组,并按评委分别报告结果。

  2. Rohan Paul (X)
    斯坦福论文发现 8 个 LLM 在医疗问答评测中偏好自家答案

    斯坦福一篇新论文发现,测试的 8 个 LLM 都把自己生成的医疗答案排得比其他模型给它的排名更高,即使答案匿名也是如此。

本事件热度走势

可比范围当前
3
可比范围峰值
1811月18日 22:00
近 24 小时变化
-72%

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。