跳到正文

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

37 条精选近 30 天 17 条共收录 75 条

更新

精选归档 · 第 2 页

9月11日周五第 21–37 条
  1. 智谱 GLM 模型发布60

    智谱开源 GLM-OCR 多模态文档理解模型

    智谱发布并开源 GLM-OCR 多模态 OCR 模型,基于 GLM-V 编码器-解码器架构,采用多 Token 预测(MTP)损失和全任务强化学习,在 OmniDocBench V1.5 上得分 94.62,排名第一。

    推荐理由:官方给出 0.9B 参数、OmniDocBench V1.5 得分与多框架部署方式,可据此判断轻量 OCR 的落地成本。

9月10日周四
9月2日周三
  1. 月之暗面 Kimi 模型发布88

    月之暗面开源 Kimi K3:2.8T 参数原生多模态模型,支持 100 万 token 上下文

    月之暗面发布开源权重模型 Kimi K3,总参数 2.8T、激活参数 104B,基于 KDA 与 AttnRes 架构,原生支持文本、图像、视频并具备 100 万 token 上下文窗口。

    推荐理由:月之暗面开源 2.8T 参数原生多模态模型,给出完整架构参数与多榜单对比,可据此判断开源前沿模型的当前水位。

9月1日周二
8月21日周五
8月13日周四
7月31日周五
  1. Mira Murati78

    Thinking Machines 发布 Inkling-Small,官方称其在四分之一体量下达到与 Inkling 相当的性能。该模型总参数 276B、激活参数 12B,完整权重已开放,可在 Tinker 上微调,并在 Tinker Playground 中体验文本、图像和音频交互。Mira Murati 转发了这一发布消息。

    引用Thinking Machines@thinkymachines

    Today, we are releasing Inkling-Small. Inkling-Small achieves comparable performance to Inkling at a quarter of its size. It features 276B total parameters, 12B active. We are making the full weights available. https://thinkingmachines.ai/news/inkling-small/ Fine-tune it on Tinker today, or chat with it in text, image, and audio on Tinker Playground.

    推荐理由:Inkling-Small 以四分之一体量达到与 Inkling 相当的性能,并开放完整权重,读者可据此判断小模型的部署与微调空间。

7月23日周四
  1. MiniMax 模型发布82

    MiniMax 发布原生多模态模型 MiniMax-M3,支持 1M 上下文

    MiniMax 发布原生多模态模型 MiniMax-M3,参数量约 428B、激活参数约 23B,支持 1M 上下文。该模型从训练第一步起就进行混合模态训练,并引入 MiniMax Sparse Attention(MSA),在 1M 上下文下相比 M2 实现 9 倍 prefill 和 15 倍 decode 加速,单 token 计算量降至 1/20。

    推荐理由:原文给出参数量、稀疏注意力和长上下文加速数据,读者可据此判断百万 token 场景的部署成本变化。

7月20日周一
  1. 字节 Seed 模型发布71

    字节发布 UniVR-34B 视觉推理模型并开源权重

    字节发布 UniVR,一个基于 Emu3.5(34B)的视觉推理框架,直接在视觉空间生成推理轨迹,不依赖中间文本链。模型经 VR-X 数据集 SFT 冷启动和 VR-GRPO 强化学习训练,在 VR-X 基准上较 Emu3.5 基线最高提升 25%,整体得分 58.2,接近 Gemini 3 Pro + Nano Banana 2 的 66.1。

    推荐理由:字节开源 34B 视觉推理模型,在自建 VR-X 基准上较 Emu3.5 基线提升最多 25%,并给出可下载权重与训练脚本。

7月16日周四
  1. Mira Murati78

    Thinking Machines 发布首个模型 Inkling,从零训练,权重开放,即日起可在 Tinker 上微调。据其介绍,Inkling 能跨文本、图像和音频模态进行高效推理,完整权重已公开,并可在 Inkling Playground 中试用。

    引用Thinking Machines@thinkymachines

    Today, we are introducing Inkling. Inkling reasons efficiently across text, image, and audio modalities. We are making the full weights available. https://thinkingmachines.ai/news/introducing-inkling/ Available today for fine-tuning on Tinker. Play with it in the Inkling Playground. 🧵

    推荐理由:Thinking Machines 首款模型从零训练并开放权重,读者可据此了解其多模态推理定位与微调入口。

7月11日周六
6月11日周四
  1. 字节 Seed 模型发布70

    字节开源 Bernini-Diffusers 完整视频生成与编辑管线

    字节 Seed 开源 Bernini-Diffusers,将基于 Qwen2.5-VL 的语义规划器、Bernini 规划权重与 Wan2.2 扩散组件打包为自包含目录,官方推荐用于复杂视频编辑请求。

    推荐理由:字节开源完整 Bernini 视频生成与编辑管线,读者可据此了解其语义规划加渲染的两段式结构及与 Bernini-R 的差异。

6月3日周三
  1. 阶跃星辰模型发布60

    阶跃星辰发布 Step-3.7-Flash GGUF 量化版本

    阶跃星辰为 198B 参数稀疏 MoE 视觉语言模型 Step-3.7-Flash 发布 GGUF 量化版本,含 BF16 到 IQ3_XXS 共 7 个语言量化档位及 4 GB 的 F16 视觉投影器。

    推荐理由:原文给出各量化档位的体积与三款 128 GB 统一内存设备上的实测吞吐,可据此判断本地私有部署的可行边界。

  2. 阶跃星辰模型发布72

    阶跃星辰发布 Step 3.7 Flash 视觉语言模型

    阶跃星辰发布 Step 3.7 Flash,这是一个 198B 参数的稀疏 MoE 视觉语言模型,由 196B 参数语言主干与 1.8B 参数视觉编码器组成,每 token 约激活 11B 参数,吞吐最高 400 tokens/s,支持 256k 上下文窗口和低中高三档推理等级。

    推荐理由:原文给出稀疏 MoE 视觉语言模型的参数规模、三档推理等级与定价,可据此判断高频智能体工作流的成本与部署选择。

5月19日周二
  1. 月之暗面 Kimi 模型发布85

    月之暗面开源 Kimi K2.6 多模态智能体模型

    月之暗面发布开源原生多模态智能体模型 Kimi K2.6,采用 MoE 架构,总参数 1T、激活参数 32B,上下文长度 256K,视觉编码器为 400M 参数的 MoonViT。

    推荐理由:模型卡给出完整架构、评测对比和部署方式,可据此判断开源多模态智能体模型的当前水平。

4月30日周四
  1. 月之暗面 Kimi 模型发布85

    月之暗面开源 Kimi K2.5 原生多模态智能体模型

    月之暗面发布开源原生多模态智能体模型 Kimi K2.5,在 Kimi-K2-Base 上以约 15 万亿视觉与文本混合 token 持续预训练而成。模型采用 MoE 架构,总参数 1T、激活参数 32B,上下文长度 256K,配备 400M 参数的 MoonViT 视觉编码器,支持即时与思考两种模式。

    推荐理由:月之暗面开源原生多模态智能体模型,1T 总参数与 Agent Swarm 设计给出了与闭源旗舰对比的完整基准。