Parallel 开源搜索评测框架 parallel-search-evals,让同一模型分别在关闭工具和允许搜索的条件下答题,再比较答案与成本。模型可调用 Search(最多返回 10 条附正文摘录的结果)和 Extract(从最多 20 个网址提取内容),每题最多 20 次工具调用、25 轮研究。
原文给出了评测框架的工具预算与题目集设计,读者可据此判断模型使用搜索的整体能力与成本差异。
Parallel 开源搜索评测框架:模型接入搜索后,到底强了多少?
给模型接上搜索,不等于它就能把研究任务做好。还需要判断何时搜索、如何提问、哪些网页值得继续读取,以及证据是否够支撑答案。 @p0 开源 parallel-search-evals,就是把这条链路放进可重复运行的评测中,衡量搜索对最终答案的帮助,以及为此付出的成本。
不只测搜索结果,更测模型能否用好搜索
核心方法:让同一个模型分别在关闭工具、允许搜索的条件下答题,再比较结果。每次运行固定一个模型、一套题目和一种搜索模式,支持 turbo、fast、basic、advanced,也支持不使用工具的基线。
模型可以调用两个工具:Search 根据自然语言目标和关键词,返回最多 10 条附带正文摘录的结果;Extract 从最多 20 个指定网址提取内容。每题最多执行 20 次工具调用、进行 25 轮研究,预算用尽后再关闭工具,让模型给出最终答案。参考答案只交给评分器,不进入答题过程。
因此,它衡量的不只是搜索接口的质量,是「模型选择工具、获取证据、形成答案」的整体能力。
可以换上自己的业务问题
项目采用 MIT 许可,支持 OpenRouter,以及 OpenAI、Anthropic、Google 的原生接口,也能接入兼容 OpenAI 的服务。
更重要的是,题目集、Agent 执行流程和评分器相互分离。开发者可以替换问题、参考答案和评分规则,在统一预算下测试自己的业务。仓库还附带供 Claude Code、Codex 使用的技能说明,帮助完成运行、续跑和结果整理。
目前内置 DeepSearchQA 和 Humanity’s Last Exam 的纯文本题,数据需按各自条款准备。评分使用 GPT-6 Sol:前者允许部分得分,后者按严格对错判断。
最高分和最低成本,未必来自同一个模型
Parallel 的公开榜单比较不同模型使用 Parallel Search Fast 与 Extract 的表现。在这组测试中,接入搜索后平均提高 34.4 分;Claude Fable 5.2 以 80.1 的综合分领先,而达到中位数以上的模型中,GPT-6.1 Terra 成本最低,每千道任务约 43.7 美元。
榜单还加入了团队的 WISER 业务研究题,每套各抽取 100 题。因此,它回答的是哪些模型更善于使用这套搜索工具,而不是所有搜索服务之间的排名。
官方博客
https://parallel.ai/blog/parallel-search-eval-harness
https://x.com/i/article/2122817096291856384在 X 查看被引用的帖子
来源:meng shao · x.com