智谱开源 GLM-OCR 多模态文档理解模型
智谱发布并开源 GLM-OCR 多模态 OCR 模型,基于 GLM-V 编码器-解码器架构,采用多 Token 预测(MTP)损失和全任务强化学习,在 OmniDocBench V1.5 上得分 94.62,排名第一。
推荐理由:官方给出 0.9B 参数、OmniDocBench V1.5 得分与多框架部署方式,可据此判断轻量 OCR 的落地成本。
技术方向
文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。
37 条精选近 30 天 17 条共收录 75 条
智谱发布并开源 GLM-OCR 多模态 OCR 模型,基于 GLM-V 编码器-解码器架构,采用多 Token 预测(MTP)损失和全任务强化学习,在 OmniDocBench V1.5 上得分 94.62,排名第一。
推荐理由:官方给出 0.9B 参数、OmniDocBench V1.5 得分与多框架部署方式,可据此判断轻量 OCR 的落地成本。
DeepSeek 发布 DeepSeek-V4.1-Flash,称其为新架构家族中参数规模最小的模型,并原生支持视觉理解。官方表示该模型面向更强能力、更快推理和更高吞吐设计,并可扩展至更大模型。
推荐理由:DeepSeek 新架构家族的最小模型,原生支持视觉理解,并强调推理速度与吞吐。
月之暗面发布开源权重模型 Kimi K3,总参数 2.8T、激活参数 104B,基于 KDA 与 AttnRes 架构,原生支持文本、图像、视频并具备 100 万 token 上下文窗口。
推荐理由:月之暗面开源 2.8T 参数原生多模态模型,给出完整架构参数与多榜单对比,可据此判断开源前沿模型的当前水位。
DeepSeek 发布 DeepSeek-V4-Flash-Vision-Exp,这是 DeepSeek-V4 系列首个实验性多模态模型,在 DeepSeek-V4-Flash 架构上加入视觉模块并继续训练。
推荐理由:DeepSeek 首次把视觉模块接入 V4-Flash,并给出多模态与纯文本智能体基准的对照数据。
DeepSeek 在 API 平台上线实验性多模态模型 DeepSeek-V4-Flash-Vision-Exp,调用时使用 model='deepseek-v4-flash-vision-exp'。
推荐理由:官方给出新模型与 V4-Flash 的文本能力对照,以及多模态智能体基准上的提升幅度,便于判断是否值得接入。
字节发布 Bernini-Diffusers-v2,把 Qwen2.5-VL-7B 语义规划器、Bernini 规划权重与 Wan2.2-T2V-A14B 扩散组件打包成一个自包含的 diffusers 格式目录。
推荐理由:字节开源 Bernini-Diffusers-v2 完整语义规划管线,读者可据此判断视频生成与编辑的指令遵循能力边界。
MiniMax 发布全模态生成系统 MiniMax-H3,可统一理解文本、图像、视频和音频,并生成带原生立体声的视频,分辨率最高 2K、时长 4–15 秒。
推荐理由:原文完整披露了 H3 的三模块架构、开源范围与本地部署命令,读者可据此判断哪些能力需要走 API 补齐。
Today, we are releasing Inkling-Small. Inkling-Small achieves comparable performance to Inkling at a quarter of its size. It features 276B total parameters, 12B active. We are making the full weights available. https://thinkingmachines.ai/news/inkling-small/ Fine-tune it on Tinker today, or chat with it in text, image, and audio on Tinker Playground.
推荐理由:Inkling-Small 以四分之一体量达到与 Inkling 相当的性能,并开放完整权重,读者可据此判断小模型的部署与微调空间。
MiniMax 发布原生多模态模型 MiniMax-M3,参数量约 428B、激活参数约 23B,支持 1M 上下文。该模型从训练第一步起就进行混合模态训练,并引入 MiniMax Sparse Attention(MSA),在 1M 上下文下相比 M2 实现 9 倍 prefill 和 15 倍 decode 加速,单 token 计算量降至 1/20。
推荐理由:原文给出参数量、稀疏注意力和长上下文加速数据,读者可据此判断百万 token 场景的部署成本变化。
字节发布 UniVR,一个基于 Emu3.5(34B)的视觉推理框架,直接在视觉空间生成推理轨迹,不依赖中间文本链。模型经 VR-X 数据集 SFT 冷启动和 VR-GRPO 强化学习训练,在 VR-X 基准上较 Emu3.5 基线最高提升 25%,整体得分 58.2,接近 Gemini 3 Pro + Nano Banana 2 的 66.1。
推荐理由:字节开源 34B 视觉推理模型,在自建 VR-X 基准上较 Emu3.5 基线提升最多 25%,并给出可下载权重与训练脚本。
Today, we are introducing Inkling. Inkling reasons efficiently across text, image, and audio modalities. We are making the full weights available. https://thinkingmachines.ai/news/introducing-inkling/ Available today for fine-tuning on Tinker. Play with it in the Inkling Playground. 🧵
推荐理由:Thinking Machines 首款模型从零训练并开放权重,读者可据此了解其多模态推理定位与微调入口。
MiniMax 发布原生多模态模型 MiniMax-M3,并同步提供 MXFP8 量化版本 MiniMax-M3-MXFP8。
推荐理由:原文给出 M3 的参数量、稀疏注意力带来的长上下文加速倍数与三种推理模式,便于判断其部署与调用方式。
字节 Seed 开源 Bernini-Diffusers,将基于 Qwen2.5-VL 的语义规划器、Bernini 规划权重与 Wan2.2 扩散组件打包为自包含目录,官方推荐用于复杂视频编辑请求。
推荐理由:字节开源完整 Bernini 视频生成与编辑管线,读者可据此了解其语义规划加渲染的两段式结构及与 Bernini-R 的差异。
阶跃星辰为 198B 参数稀疏 MoE 视觉语言模型 Step-3.7-Flash 发布 GGUF 量化版本,含 BF16 到 IQ3_XXS 共 7 个语言量化档位及 4 GB 的 F16 视觉投影器。
推荐理由:原文给出各量化档位的体积与三款 128 GB 统一内存设备上的实测吞吐,可据此判断本地私有部署的可行边界。
阶跃星辰发布 Step 3.7 Flash,这是一个 198B 参数的稀疏 MoE 视觉语言模型,由 196B 参数语言主干与 1.8B 参数视觉编码器组成,每 token 约激活 11B 参数,吞吐最高 400 tokens/s,支持 256k 上下文窗口和低中高三档推理等级。
推荐理由:原文给出稀疏 MoE 视觉语言模型的参数规模、三档推理等级与定价,可据此判断高频智能体工作流的成本与部署选择。
月之暗面发布开源原生多模态智能体模型 Kimi K2.6,采用 MoE 架构,总参数 1T、激活参数 32B,上下文长度 256K,视觉编码器为 400M 参数的 MoonViT。
推荐理由:模型卡给出完整架构、评测对比和部署方式,可据此判断开源多模态智能体模型的当前水平。
月之暗面发布开源原生多模态智能体模型 Kimi K2.5,在 Kimi-K2-Base 上以约 15 万亿视觉与文本混合 token 持续预训练而成。模型采用 MoE 架构,总参数 1T、激活参数 32B,上下文长度 256K,配备 400M 参数的 MoonViT 视觉编码器,支持即时与思考两种模式。
推荐理由:月之暗面开源原生多模态智能体模型,1T 总参数与 Agent Swarm 设计给出了与闭源旗舰对比的完整基准。