跳到正文
热点事件持续更新

新加坡国立大学发布System One模型评测基准SO-Arena

1 篇报道1 个报道来源12 小时前更新

先了解这件事

AI 综述

新加坡国立大学xML Lab团队发布了针对System One模型的评测基准SO-Arena,旨在从能力谱系与决策可靠性两个维度评估大模型表现。 该基准包含2,919项任务,覆盖语义理解、推理等11个领域,并引入选项重排与正确选项缺失测试以量化决策稳定性。实验结果显示,GPT-6 Sol以82.3分领先;开源模型GLiDE与KnowLine-31B得分均为70.2分,但KnowLine-31B在单张H100上延迟仅约113毫秒,比闭源模型快数十倍。

AI 根据报道生成 · 25 分钟前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月22日
  1. 新智元
    新加坡国立大学发布System One模型评测基准SO-Arena

    新加坡国立大学xML Lab团队发布System One模型评测基准SO-Arena,包含2,919项任务,从能力谱系与决策可靠性两个维度评估模型。该基准涵盖语义理解、推理等11个领域,并引入选项重排与正确选项缺失测试以量化决策稳定性。实验显示GPT-6 Sol以82.3分领先,开源GLiDE与KnowLine-31B均为70.2分,但后者在单张H100上延迟仅约113毫秒,比闭源模型快数十倍。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。