斯坦福论文揭示LLM在医疗评审中偏好自身输出
热点事件历史事件
斯坦福论文揭示LLM在医疗评审中偏好自身输出
2 篇报道2 个报道来源3 天前更新
先了解这件事
AI 综述
斯坦福大学一项研究发现,8个主流大语言模型在匿名互评医疗答案时,均显著偏好自己的输出结果。这一自我评分偏差可能导致依赖LLM进行基准测试的评估体系产生系统性偏向。 研究让OpenAI、Anthropic、Google和Qwen等公司的模型回答620个真实临床问题并匿名互评。结果显示,每个评委模型对自己答案的平均排名高出1.22位,其中GPT-5.6 Sol接近3位。即使去除评分细则或公开模型名称,偏差仅轻微缩小。作者建议采用跨模型家族的评委小组以避免此类偏差。
AI 根据报道生成 · 3 天前更新
最新进展11月18日 21:25
斯坦福论文发现 8 个 LLM 在医疗答案评审中均偏好自身输出报道时间线
沿着报道,了解事件的不同侧面。
11月18日
- Turing Post (X)斯坦福论文发现 8 个 LLM 在医疗答案评审中均偏好自身输出
斯坦福一项论文让 OpenAI、Anthropic、Google 和 Qwen 的 8 个模型回答 620 个真实临床问题,再匿名互评,发现每个评委都偏好自己的答案,平均排名高出 1.22 位,GPT-5.6 Sol 接近 3 位。作者指出,医疗 AI 基准常用 LLM 给 LLM 打分,评委偏好自身输出会让基准偏向该模型;即使去掉评分细则,这种偏好依然存在,公开模型名称也只让偏差缩小 0.094 位。作者建议使用跨模型家族的评委小组,并按评委分别报告结果。
- Rohan Paul (X)斯坦福论文发现 8 个 LLM 在医疗问答评测中偏好自家答案
斯坦福一篇新论文发现,测试的 8 个 LLM 都把自己生成的医疗答案排得比其他模型给它的排名更高,即使答案匿名也是如此。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 1811月18日 22:00
- 近 24 小时变化
- -72%
05101520
11月19日12:0011月20日12:00
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。