新加坡国立大学发布System One模型评测基准SO-Arena
热点事件持续更新
新加坡国立大学发布System One模型评测基准SO-Arena
1 篇报道1 个报道来源12 小时前更新
先了解这件事
AI 综述
新加坡国立大学xML Lab团队发布了针对System One模型的评测基准SO-Arena,旨在从能力谱系与决策可靠性两个维度评估大模型表现。 该基准包含2,919项任务,覆盖语义理解、推理等11个领域,并引入选项重排与正确选项缺失测试以量化决策稳定性。实验结果显示,GPT-6 Sol以82.3分领先;开源模型GLiDE与KnowLine-31B得分均为70.2分,但KnowLine-31B在单张H100上延迟仅约113毫秒,比闭源模型快数十倍。
AI 根据报道生成 · 25 分钟前更新
最新进展11月22日 07:31
新加坡国立大学发布System One模型评测基准SO-Arena报道时间线
沿着报道,了解事件的不同侧面。
11月22日
- 新智元新加坡国立大学发布System One模型评测基准SO-Arena
新加坡国立大学xML Lab团队发布System One模型评测基准SO-Arena,包含2,919项任务,从能力谱系与决策可靠性两个维度评估模型。该基准涵盖语义理解、推理等11个领域,并引入选项重排与正确选项缺失测试以量化决策稳定性。实验显示GPT-6 Sol以82.3分领先,开源GLiDE与KnowLine-31B均为70.2分,但后者在单张H100上延迟仅约113毫秒,比闭源模型快数十倍。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。