跳到正文
机器之心·· 10 小时前AI 评分38

VideoMemBench 评测:Claude Opus 5 获 45.7 分,25 个大模型视频记忆大考

Claude Opus 5拿到45.7分,25个大模型视频记忆大考

AI 导读

Sydney Tech 等机构发布 VideoMemBench 数据集,通过场景依赖与答案依赖评估多模态大模型在视频对话中的长期记忆能力。评测涵盖 326 段视频和 2,476 轮问答,Claude Opus 5 以 45.7 分综合得分位居榜首,Gemini 3.8 Flash 和 Kimi K3 紧随其后。结果显示模型在长距离回指和多轮关联任务中表现普遍较弱,且早期回答错误会显著影响后续判断。

正文

设想我们正看一场篮球比赛,并持续询问大模型有关的画面。对话一开始,我们问:“刚才完成那次突破得分的是谁?” 模型给出了球员的名字。又经过几轮关于其他回合的问答,我们追问:“我们第一次聊到的那名球员,这场比赛最后一共得了多少分?” 这时,模型需要先从早先的回答中找回那名球员,再结合比赛信息确定得分。即使它能看懂最终统计,只要把 “那名球员” 认错,仍然会答非所问。

看电影时也有类似的需求。我们先讨论开头的某个场景,之后又聊到其他角色和情节。几轮问答后,我们指着当前画面中的一个角色问:“这个角色在我们最开始聊到的那个场景里出现过吗?” 此时,模型需要回忆最初讨论的是哪一幕,再判断这个角色是否出现在那一幕。仅仅理解眼前的画面,还不足以回答这个问题。

这样的追问在真实交流中很自然,要求模型把当前问题与先前的对话联系起来:比如前一个例子需要找回早先答案确定的人物,后一个例子需要找回最初讨论的场景。

来自悉尼科技大学、香港中文大学、香港科技大学和浙江大学的研究者联合提出

VideoMemBench

,关注大模型在围绕同一视频持续对话时,能否记住并正确使用前面讨论过的信息。

项目主页(Project):https://videomembench.github.io/

论文(arXiv):https://arxiv.org/abs/2610.40131

代码(GitHub):https://github.com/Oliiveralien/VideoMemBench

数据集(Dataset):https://huggingface.co/datasets/VideoMemBench/data

论文标题:

VideoMemBench: How Well Do MLLMs Remember in Video Conversations?

目前许多视频问答评测采用相互独立的问题:模型依靠视频和眼前这一道题,就能给出回答,未必需要回顾对话历史。VideoMemBench 则把问题组织成有前后联系的多轮对话,让后续回答需要用到之前已经建立的信息,并重点考察两种依赖。

第一种是场景依赖(Episodic Dependency)。当问题回指之前讨论的某一幕时,模型需要通过对话确定所指的片段,再利用画面回答新问题。第二种是答案依赖(Answer Dependency)。问题沿着模型前面识别出的人物、物体或事件继续追问,模型需要接着自己的已有回答完成判断。前者关注先前看过的场景,后者关注先前给出的答案。

图 2 同一视频中的多轮问答,通过场景依赖与答案依赖连接起来。

怎样确认这些问题确实需要前文?研究团队设置了 Planner、Generator 和 Judger 三类角色,依次承担依赖规划、问答生成和质量检查,并请人工专家复核全部保留对话。检查的重点是:去掉相关历史后,问题应当无法得到确定答案;当前问题也不能把需要从前文找回的场景或答案重新说出来。此外,参考答案必须得到视频画面的支持。

图 3 数据构建流程:规划、生成、质量检查与人工审核。

最终,数据集收录了 326 段视频和 2,476 轮问答,其中 1,387 轮需要借助前文。它既包含跨越多个轮次的回指,也包含同时依赖多条历史信息的问题。

图 4 数据集规模与分布;(d) 中 1,089 为独立轮数,1,200 和 594 分别为两类依赖的边数。

研究团队对 25 个模型进行了评测。输入统一为带时间戳的 128 个采样视频帧,问题按对话顺序逐轮给出,每个模型此前生成的回答保留在上下文中。结果显示,Claude Opus 5 的综合得分为 45.7,Gemini 3.8 Flash 为 42.4,Kimi K3 为 42.2,GPT-5.6-sol 为 41.7,Qwen3.5-27B 为 34.3。下表展示综合得分排名前列的模型。

图 5 按综合得分排序的前 11 个模型;各指标以百分制展示。

综合得分取逐轮回答、场景依赖和答案依赖三项指标的平均值。答案依赖采用更严格的链式计分:当前回答正确还不够,它所依赖的历史答案也都需要正确。因此,这项指标衡量的是整条回答链的可靠性。表现最好的 Claude Opus 5,在答案依赖指标上也仅达到 35.7%。

进一步分析表明,问题回指得越远,或需要同时关联的历史轮次越多,模型通常越难答对。对全部受测模型取平均,当依赖距离由 1 轮增加至至少 5 轮时,依赖问题的准确率从 30.2% 降至 23.1%。

将模型先前生成的回答替换为正确答案后,后续答案依赖问题的评测表现明显改善。这说明,早期回答中的错误可能影响后续判断,而准确的历史信息有助于支持接下来的对话。

图 6 依赖距离、父轮数量、对话位置及历史回答对表现的影响。

VideoMemBench 希望推动模型更充分地利用视频对话中已经建立的信息,使持续追问和跨场景讨论更加连贯、可靠。对于视频助手而言,理解当前画面之外,如何接住前面聊过的内容,同样值得认真评测。

© THE END

转载请联系本公众号获得授权

投稿或寻求报道:liyazhou@jiqizhixin.com

来源:机器之心 · mp.weixin.qq.com