跳到正文
新智元· 新智元·· 11 天前AI 评分58

Lehigh等团队提出循环决策模型Lev:四圈准确率提升13个百分点

难题多算、简单题秒答!同个循环决策模型:准确率直升13%

AI 导读

Lehigh University、University of British Columbia和Vector Institute团队提出决策模型Lev,用同一组网络层反复运行、每圈读一次答案来加深思考。

正文

新智元报道

设想一个客服系统,每秒涌进成百上千条用户请求。

每一条都要先过一个「分诊台」:这是退款、查物流,还是投诉?要不要转人工?该调哪个工具?

这类问题有一个共同点:

答案就在给定的几个选项里

。

为此,业界有了专门的

决策模型

,例如Jev和开源的Kev。它们读入请求和候选项,一次前向就给出每个选项的概率,

几十毫秒

就能返回,不生成任何文本。

可问题也随之而来。

「我要退款」和「上个月买的东西换过一次货,这次又坏了,能不能直接退、运费谁出」,

在决策模型眼里花的是同样多的计算

。

简单的请求被「过度服务」,复杂的请求又没法多想一会儿。

让模型先写一段推理再作答?可以,但

每一条请求都要为推理文本付费

,哪怕它只是一句「我要退款」。

有没有一种模型,简单题像小模型一样快,难题又能像大模型一样多想?

为了回答这个问题,来自Lehigh University、University of British Columbia和Vector Institute的研究团队提出了

Lev

:一个

用循环而不是token来加深思考

的决策模型。

论文链接:https://arxiv.org/abs/2610.20951

项目主页:https://openlair.github.io/lev/

代码链接:https://github.com/OpenLAIR/lev

模型与数据集:https://huggingface.co/collections/songdj/lev

Lev逐圈作答:例1第1圈就选中正确答案B,停止器判定可以停下;例2第1圈选4,到第4圈改选正确答案6。(来源:按项目主页记录的逐圈读数重绘,回放实验数据,不是实时推理)

论文图1:按需深度的Lev-2.6B在JevBench简单、标准、难题上分别用的圈数,以及准确率与延迟。

Lev的核心思路可以概括为一句话:

同一组网络层反复运行,每运行一圈就读出一次答案。

作者把这种计算方式称为

System 1.5

:它保留了System 1「直接给出决定」的接口,又能像System 2一样在难题上多花计算,只是这些计算发生在隐藏状态里,而不是写成文字。

结果很直观:

在JevBench的231道公开题上,同一个Lev-2.6B checkpoint从一圈的

63.2%

提升到四圈的

76.2%

,增加

13.0个百分点

;

停止器看不到题目难度,却在简单、标准、难题上平均分别用了

1.2、2.4、3.0圈

;

按需深度在离线统计中

少算15%到24%

的环路计算,准确率损失

不到1个点

;

在

50ms以内

的延迟区间,Lev-1.4B和Lev-3B比同延迟的非循环模型和级联

高5.4到8.8个点

(单张H200、一次一个请求实测)。

额外的算力,只在少数题上有用

Lev的出发点来自一组逐题对比。

作者取来两个公开决策模型

Kev-0.8B

和

Kev-4B

。两者训练数据源相同,在JevBench 231道公开题上,大模型多答对了

28道

。

这28道,

全部来自标准题和难题

。简单题两个模型都已经全对。

而两个模型结果不同的题只有

42道

,大模型却在全部231道题上都多花了计算。

如果用小模型的置信度挑出它最没把握的一半,交给大模型,准确率

几乎就能追平大模型全量作答

。

结论:额外的计算只在少数题上有回报,而一次便宜的初读就能找到它们。

论文图2:(a)Kev-0.8B与Kev-4B的逐题结果;(b)只把最没把握的一半交给大模型的效果;(c)生成推理与单次读出的对比;(d)给普通

预训练模型

加装循环后的准确率变化。

那么现有的三种「加算力」方案为什么不够?

级联

:Kev-0.8B的中位延迟已经是

79ms

,Kev-4B是

108ms

。被转交的题要从头再读一遍,比直接用大模型还慢,还得多部署一个模型。

生成推理文本

:在同一个26B底座的两个开源Jev式服务上,打开思考让难题准确率提高

9到13个点

,但难题中位耗时变成

三到四倍

。

给

预训练模型

加装循环

:作者在Qwen3.5-0.8B上把中间8层接成带门控的循环,准确率变化

不到半个点

,门控始终接近零,循环相当于没开。

最后一条尤为关键。它说明

循环最好在预训练时就学会

,而不是在决策训练中临时补上。

Lev的三个关键设计

最近,循环Transformer再度受到业界关注。基于上面的判断,Lev选择了

原生循环语言模型

作为底座:字节Seed的

Ouro

(1.4B、2.6B,循环4圈)和

Nanbeige4.2-3B

(循环2圈)。

论文图3:Lev的整体结构。同一组解码层循环运行,共享的pointer head每圈读一次选项;停止器决定每道题在哪一圈退出。

设计一:每一圈都读出答案。

请求和所有候选项被打包成一条序列。同一组解码层重复运行,每一圈之后,

同一个pointer head

读取各选项和

位置的隐藏状态,输出一次选项概率。

设计二:所有圈联合训练。

pointer head和LoRA适配器在各圈之间共享,

损失

对所有圈取平均

。于是第1圈、第2圈、第4圈都是能独立使用的决策模型。

用k圈服务时只算前k圈;需要多想一圈时,从上一圈的隐藏状态继续算,

请求不必重新读一遍

。

设计三:停止器预测「与最深一圈是否一致」。

常见的早退规则是「置信度够高就停」。但作者发现,浅层读出在新数据上

严重过度自信

:Lev-2.6B在第一圈停下的题目,在校准集上

94.8%

正确,换到新数据源上只有

78.9%

,置信度却几乎相同。

而且,置信度

分不出「再算一圈就能改对」的错误

,AUROC只有0.46到0.61。

所以Lev的停止器换了目标:

不预测「当前答案对不对」,而是预测「当前答案和最深一圈一不一样」

。

这个目标的「标准答案」就是模型自己的最深输出,

拟合停止器和挑选阈值都不需要人工标注

。部署方可以直接用自家业务的无标签请求来校准。

实验结果

一份权重,多个工作点

作者用完全相同的31,329条训练数据和配方,训练了三个Lev模型,以及Qwen3-1.7B、Qwen3.5-2B、Qwen3.5-4B三个非循环对照。评测包括三个调优集、两个held-out测试集(其中LevBench由作者自建,

在任何模型读取之前就已冻结

)和JevBench的231道公开题。

结论一:深度越深越准,收益递减。

Lev-2.6B在JevBench上一圈到四圈依次为

63.2%、71.0%、75.3%、76.2%

;在held-out平均上依次为51.3%、62.0%、64.8%、65.7%。大部分收益来自第一个额外的圈,第四圈最多再加1个点。

离训练数据越远,深度越有用:训练数据源上提升约7个点,更陌生的测试集上提升

9.0到19.5个点

。

结论二:提升集中在难题上。

从一圈到四圈,Lev-2.6B在111道难题上

净多答对19道

,在72道标准题上净多答对10道。难题里29道被改对、10道被改错。

论文图5:深度在哪里起作用,包括JevBench各难度档、相邻两圈之间的修改,以及各应用领域的提升。

不同任务受益不同:在Kev-Breadth上,深度让语言理解类任务提高

19.0个点

,在幽默和颜色偏好这类「品味」任务上则

没有收益

。作者推测,额外的圈提供了组合多个事实所需的串行计算。

结论三:按需深度少算15%到24%,准确率几乎不掉。

在两个held-out测试集上,停止器只用了最深一圈

76%到85%

的计算,准确率损失

0.3到0.8个点

。在配方和停止器全部定下后只读一次的锁定测试上,损失最多

1.0个点

。

论文图6:准确率与计算成本。灰色为固定深度及其前沿,蓝线为停止器,星号为锁定测试。

结论四:关键在于用目标流量校准。

只要像停止器一样在无标签目标请求上、以「与最深答案一致」为准则来选阈值,

一个简单的最高概率阈值就能与停止器相差不到0.2个点

。每折

500道无标签题

就够用。

结论五:低延迟区间优势明显。

在

39到46ms

的延迟下,按需的Lev-1.4B和Lev-3B比同延迟唯一可用的级联高

7.0到8.8个点

,比最好的非循环方案高

5.4到7.5个点

。

论文图10:LevBench锁定测试上的准确率与平均延迟,星号为按需深度的Lev,数字为它与最好的非循环方案的差距。

作者在论文中对结果的适用范围交代得相当清楚:

与同等成本的固定深度相比,按需深度优势不大

:Lev-2.6B在held-out上只高0.2个点,Lev-3B高1.0个点;锁定测试上Lev-2.6B与固定深度前沿持平。

「少算」是离线统计

:节省的是环路计算量,转化为线上吞吐或延迟,需要服务端支持不同深度请求的打包调度。

优势在延迟,不在计算量

:按浮点运算量算,每个Lev模型都与非循环方案持平或更差,因为每一圈都要跑完整个底座。部分延迟优势也来自非循环方案在22到79ms之间的空档。

延迟测量条件

:单张H200、bf16、一次一个请求,所有系统都没有使用融合算子、图捕获或状态缓存。

多想也会改错

:在LevBench上,第一个额外的圈改对20.4%的题,也改错8.6%;有12.6%的题浅层答对、最深一圈答错。

总结与展望

Lev给出的启示是:

原生循环底座可以把「想多深」从一个训练时的常量,变成服务时按题选择的设置

。同一个决策模型,可以针对每一道题在延迟和准确率之间做取舍,而不是针对每一次部署。

作者提出了两个后续方向:

设计新的停止目标,救回「浅层答对、深层答错」的题目,从而超过最深一圈的准确率;

在更大的循环底座上检验,难题上的收益是否会随规模继续增长。

目前,论文、代码、三个模型和三个数据集均已公开。数据集是按来源再分发条款筛选后的子集,无法托管的来源附有重建说明。

团队介绍

宋定杰

(DingjieSong,共同第一作者):Lehigh University 博士生。

Zhiling Yan

(共同第一作者):Lehigh University 博士生。

Yuxuan Zhang

:University of British Columbia 博士生,Vector Institute。

Lichao Sun

(通讯作者):Lehigh University 助理教授

参考资料:

https://openlair.github.io/

https://arxiv.org/abs/2610.20951

https://openlair.github.io/lev/

编辑:LRST

秒追ASI

⭐

点赞、转发、在看一键三连

⭐

点亮星标,锁定新智元极速推送!

来源:新智元 · mp.weixin.qq.com