Reddit LocalLLaMA 板块热议认为,近期大语言模型在高效解题上的提升主要源于配套系统和累积改进,而非底层解题能力的指数级跃升。有观点指出生产环境中新模型加分有限,较小本地模型已相当能打;也有从业者反驳称近期模型在假设检验和差错率上有明显跳跃,且后期训练内化了部分旧技巧。
Reddit LocalLLaMA 板块热议的一篇帖子:前沿模型变好用,不等于本身解题能力同步跃升?!
他想先把“聪明”说清楚
他指的是:信息、工具和时间都有限时,尽量高效地用手头材料把问题解掉。如果给足时间和工具,更考验的是规划和长程智能体能力,他认为那是另一件事,不宜混在一起比较。
他也承认实打实的改进:工具调用更好、幻觉更少、上下文更长,这些都让模型更有用。他并不认为进步已经停摆,也没说高效解题一定只需要很少参数。
三条观察
第一,生产环境里,配套系统和模型一旦在黄金数据集上达到目标,再换更新的前沿模型很少继续加分。受时间和精度限制时,失败多半出在上下文设计或工具不够用。新模型有时能找到更巧的办法,但往往太慢或不稳,最后还是得改配套系统。
第二,写软件时,新模型更能带来提升,但同一模型在不同配套系统里的表现差很多。复杂代码库里,资深工程师要补多少改、做多少审查,也跟着变。他认为这里同样是配套系统在承担大量工作。
第三,较小的本地模型已经相当能打,让他怀疑高效解题到底需要多少参数。前沿模型显然有更广的知识、分寸和现成技能,但相关知识已经被提供时,他并不总能看到成比例的优势。
据此他归纳:高效解题需要的参数可能比通常以为的少;前沿在本身解题能力上的前移,小于整体收益,也小于“接近超级智能”这类说法;过去 12 到 24 个月的进步,更多来自模型的累积改进和更好的配套系统,而不是解题能力的急剧或指数式跳跃。他怀疑媒体上的热捧和末日叙事,都被即将到来的 AI 上市所助推。
讨论并不一边倒
接近 300 条评论意见有分裂:不少人认同日常工作往往用不上最顶尖的模型,提升更多来自提示和工具;也有人反对,比如有机器学习从业者说近期模型在假设检验上有明显跳跃,有生物学使用者说一年内差错率从几乎不可用降到可用,还有自称做过前沿评测的人认为,后期训练已经把许多以前靠配套系统完成的事内化了,旧的配套技巧现在反而可能干扰。另有人提到模型在长任务上更有韧性,也有人凭印象抱怨发布后质量下滑。
来源:meng shao · x.com