西工大与港科大提出DGP跨层视觉路由方法

西北工业大学与香港科技大学研究团队提出 DGP（动态门控路径）方法，让每个 LLM 层都能访问全部 ViT 层，并按图像—问题上下文动态分配融合权重。团队报告称，在 LLaVA-1.5-7B 上，DGP 的 11 项指标全部超过基线，SQA-I 提升 4.2 分、MM-Vet 提升 3.3 分，VizWiz 与 LLaVA-Wild 均提升 3.1 分。 代价方面，团队称 7B 模型上参数增加 5.29%、FLOPs 增加 4.07%，峰值显存基本不变；13B 模型上参数增加 4.27%，FLOPs 基本持平，峰值显存增加 4.13%。 该方法尚未在 30B 以上语言模型、更广泛的视觉编码器和更大规模多模态语料上完成系统验证。

AI 根据报道生成 · 17 分钟前更新

还没有足够的连续观测数据，暂不绘制趋势。