Lehigh等团队提出循环决策模型Lev:四圈准确率提升13个百分点
难题多算、简单题秒答!同个循环决策模型:准确率直升13%
Lehigh University、University of British Columbia和Vector Institute团队提出决策模型Lev,用同一组网络层反复运行、每圈读一次答案来加深思考。
新智元报道
设想一个客服系统,每秒涌进成百上千条用户请求。
每一条都要先过一个「分诊台」:这是退款、查物流,还是投诉?要不要转人工?该调哪个工具?
这类问题有一个共同点:
答案就在给定的几个选项里
。
为此,业界有了专门的
决策模型
,例如Jev和开源的Kev。它们读入请求和候选项,一次前向就给出每个选项的概率,
几十毫秒
就能返回,不生成任何文本。
可问题也随之而来。
「我要退款」和「上个月买的东西换过一次货,这次又坏了,能不能直接退、运费谁出」,
在决策模型眼里花的是同样多的计算
。
简单的请求被「过度服务」,复杂的请求又没法多想一会儿。
让模型先写一段推理再作答?可以,但
每一条请求都要为推理文本付费
,哪怕它只是一句「我要退款」。
有没有一种模型,简单题像小模型一样快,难题又能像大模型一样多想?
为了回答这个问题,来自Lehigh University、University of British Columbia和Vector Institute的研究团队提出了
Lev
:一个
用循环而不是token来加深思考
的决策模型。
论文链接:https://arxiv.org/abs/2610.20951
项目主页:https://openlair.github.io/lev/
代码链接:https://github.com/OpenLAIR/lev
模型与数据集:https://huggingface.co/collections/songdj/lev
Lev逐圈作答:例1第1圈就选中正确答案B,停止器判定可以停下;例2第1圈选4,到第4圈改选正确答案6。(来源:按项目主页记录的逐圈读数重绘,回放实验数据,不是实时推理)
论文图1:按需深度的Lev-2.6B在JevBench简单、标准、难题上分别用的圈数,以及准确率与延迟。
Lev的核心思路可以概括为一句话:
同一组网络层反复运行,每运行一圈就读出一次答案。
作者把这种计算方式称为
System 1.5
:它保留了System 1「直接给出决定」的接口,又能像System 2一样在难题上多花计算,只是这些计算发生在隐藏状态里,而不是写成文字。
结果很直观:
在JevBench的231道公开题上,同一个Lev-2.6B checkpoint从一圈的
63.2%
提升到四圈的
76.2%
,增加
13.0个百分点
;
停止器看不到题目难度,却在简单、标准、难题上平均分别用了
1.2、2.4、3.0圈
;
按需深度在离线统计中
少算15%到24%
的环路计算,准确率损失
不到1个点
;
在
50ms以内
的延迟区间,Lev-1.4B和Lev-3B比同延迟的非循环模型和级联
高5.4到8.8个点
(单张H200、一次一个请求实测)。
额外的算力,只在少数题上有用
Lev的出发点来自一组逐题对比。
作者取来两个公开决策模型
Kev-0.8B
和
Kev-4B
。两者训练数据源相同,在JevBench 231道公开题上,大模型多答对了
28道
。
这28道,
全部来自标准题和难题
。简单题两个模型都已经全对。
而两个模型结果不同的题只有
42道
,大模型却在全部231道题上都多花了计算。
如果用小模型的置信度挑出它最没把握的一半,交给大模型,准确率
几乎就能追平大模型全量作答
。
结论:额外的计算只在少数题上有回报,而一次便宜的初读就能找到它们。
论文图2:(a)Kev-0.8B与Kev-4B的逐题结果;(b)只把最没把握的一半交给大模型的效果;(c)生成推理与单次读出的对比;(d)给普通
预训练模型
加装循环后的准确率变化。
那么现有的三种「加算力」方案为什么不够?
级联
:Kev-0.8B的中位延迟已经是
79ms
,Kev-4B是
108ms
。被转交的题要从头再读一遍,比直接用大模型还慢,还得多部署一个模型。
生成推理文本
:在同一个26B底座的两个开源Jev式服务上,打开思考让难题准确率提高
9到13个点
,但难题中位耗时变成
三到四倍
。
给
预训练模型
加装循环
:作者在Qwen3.5-0.8B上把中间8层接成带门控的循环,准确率变化
不到半个点
,门控始终接近零,循环相当于没开。
最后一条尤为关键。它说明
循环最好在预训练时就学会
,而不是在决策训练中临时补上。
Lev的三个关键设计
最近,循环Transformer再度受到业界关注。基于上面的判断,Lev选择了
原生循环语言模型
作为底座:字节Seed的
Ouro
(1.4B、2.6B,循环4圈)和
Nanbeige4.2-3B
(循环2圈)。
论文图3:Lev的整体结构。同一组解码层循环运行,共享的pointer head每圈读一次选项;停止器决定每道题在哪一圈退出。
设计一:每一圈都读出答案。
请求和所有候选项被打包成一条序列。同一组解码层重复运行,每一圈之后,
同一个pointer head
读取各选项和
位置的隐藏状态,输出一次选项概率。
设计二:所有圈联合训练。
pointer head和LoRA适配器在各圈之间共享,
损失
对所有圈取平均
。于是第1圈、第2圈、第4圈都是能独立使用的决策模型。
用k圈服务时只算前k圈;需要多想一圈时,从上一圈的隐藏状态继续算,
请求不必重新读一遍
。
设计三:停止器预测「与最深一圈是否一致」。
常见的早退规则是「置信度够高就停」。但作者发现,浅层读出在新数据上
严重过度自信
:Lev-2.6B在第一圈停下的题目,在校准集上
94.8%
正确,换到新数据源上只有
78.9%
,置信度却几乎相同。
而且,置信度
分不出「再算一圈就能改对」的错误
,AUROC只有0.46到0.61。
所以Lev的停止器换了目标:
不预测「当前答案对不对」,而是预测「当前答案和最深一圈一不一样」
。
这个目标的「标准答案」就是模型自己的最深输出,
拟合停止器和挑选阈值都不需要人工标注
。部署方可以直接用自家业务的无标签请求来校准。
实验结果
一份权重,多个工作点
作者用完全相同的31,329条训练数据和配方,训练了三个Lev模型,以及Qwen3-1.7B、Qwen3.5-2B、Qwen3.5-4B三个非循环对照。评测包括三个调优集、两个held-out测试集(其中LevBench由作者自建,
在任何模型读取之前就已冻结
)和JevBench的231道公开题。
结论一:深度越深越准,收益递减。
Lev-2.6B在JevBench上一圈到四圈依次为
63.2%、71.0%、75.3%、76.2%
;在held-out平均上依次为51.3%、62.0%、64.8%、65.7%。大部分收益来自第一个额外的圈,第四圈最多再加1个点。
离训练数据越远,深度越有用:训练数据源上提升约7个点,更陌生的测试集上提升
9.0到19.5个点
。
结论二:提升集中在难题上。
从一圈到四圈,Lev-2.6B在111道难题上
净多答对19道
,在72道标准题上净多答对10道。难题里29道被改对、10道被改错。
论文图5:深度在哪里起作用,包括JevBench各难度档、相邻两圈之间的修改,以及各应用领域的提升。
不同任务受益不同:在Kev-Breadth上,深度让语言理解类任务提高
19.0个点
,在幽默和颜色偏好这类「品味」任务上则
没有收益
。作者推测,额外的圈提供了组合多个事实所需的串行计算。
结论三:按需深度少算15%到24%,准确率几乎不掉。
在两个held-out测试集上,停止器只用了最深一圈
76%到85%
的计算,准确率损失
0.3到0.8个点
。在配方和停止器全部定下后只读一次的锁定测试上,损失最多
1.0个点
。
论文图6:准确率与计算成本。灰色为固定深度及其前沿,蓝线为停止器,星号为锁定测试。
结论四:关键在于用目标流量校准。
只要像停止器一样在无标签目标请求上、以「与最深答案一致」为准则来选阈值,
一个简单的最高概率阈值就能与停止器相差不到0.2个点
。每折
500道无标签题
就够用。
结论五:低延迟区间优势明显。
在
39到46ms
的延迟下,按需的Lev-1.4B和Lev-3B比同延迟唯一可用的级联高
7.0到8.8个点
,比最好的非循环方案高
5.4到7.5个点
。
论文图10:LevBench锁定测试上的准确率与平均延迟,星号为按需深度的Lev,数字为它与最好的非循环方案的差距。
作者在论文中对结果的适用范围交代得相当清楚:
与同等成本的固定深度相比,按需深度优势不大
:Lev-2.6B在held-out上只高0.2个点,Lev-3B高1.0个点;锁定测试上Lev-2.6B与固定深度前沿持平。
「少算」是离线统计
:节省的是环路计算量,转化为线上吞吐或延迟,需要服务端支持不同深度请求的打包调度。
优势在延迟,不在计算量
:按浮点运算量算,每个Lev模型都与非循环方案持平或更差,因为每一圈都要跑完整个底座。部分延迟优势也来自非循环方案在22到79ms之间的空档。
延迟测量条件
:单张H200、bf16、一次一个请求,所有系统都没有使用融合算子、图捕获或状态缓存。
多想也会改错
:在LevBench上,第一个额外的圈改对20.4%的题,也改错8.6%;有12.6%的题浅层答对、最深一圈答错。
总结与展望
Lev给出的启示是:
原生循环底座可以把「想多深」从一个训练时的常量,变成服务时按题选择的设置
。同一个决策模型,可以针对每一道题在延迟和准确率之间做取舍,而不是针对每一次部署。
作者提出了两个后续方向:
设计新的停止目标,救回「浅层答对、深层答错」的题目,从而超过最深一圈的准确率;
在更大的循环底座上检验,难题上的收益是否会随规模继续增长。
目前,论文、代码、三个模型和三个数据集均已公开。数据集是按来源再分发条款筛选后的子集,无法托管的来源附有重建说明。
团队介绍
宋定杰
(DingjieSong,共同第一作者):Lehigh University 博士生。
Zhiling Yan
(共同第一作者):Lehigh University 博士生。
Yuxuan Zhang
:University of British Columbia 博士生,Vector Institute。
Lichao Sun
(通讯作者):Lehigh University 助理教授
参考资料:
https://openlair.github.io/
https://arxiv.org/abs/2610.20951
https://openlair.github.io/lev/
编辑:LRST
秒追ASI
⭐
点赞、转发、在看一键三连
⭐
点亮星标,锁定新智元极速推送!
来源:新智元 · mp.weixin.qq.com