跳到正文
Ahead of AI· Sebastian Raschka, PhD·· 2026-05-16AI 评分50

近期 LLM 架构进展:Gemma 4 的 KV 共享、DeepSeek V4 的 mHC 与压缩注意力

Recent Developments in LLM Architectures: KV Sharing, mHC, and Compressed Attention

AI 导读

近期开源权重 LLM 的架构更新集中优化长上下文效率,重点包括 Gemma 4 的跨层 KV 共享与逐层嵌入、Laguna XS.2 的逐层注意力预算、ZAYA1-8B 的压缩卷积注意力,以及 DeepSeek V4 的 mHC 与压缩注意力。Gemma 4 分为 E2B、E4B、26B MoE 和 31B 稠密四类,其中 E2B、E4B 复用早期层的 KV 张量以降低长上下文的内存与计算开销。

来源:Ahead of AI · magazine.sebastianraschka.com