技术方向
文字之外的能力：看懂图片、图文混合理解、音视频输入输出的模型与产品进展。
15 条精选近 30 天 8 条共收录 48 条
可灵 AI 发布 4.0 版本，单次可生成最长 30 秒视频，支持最多 10 张关键帧图像输入，提示词理解扩展到 8,000 tokens。新版本加入双声道立体声和覆盖德语、英语、日语、韩语、西班牙语等十余种语言的改进口型同步，Omni Reference 单次最多接受 15 个参考素材。
推荐理由：可灵 4.0 的升级集中在参考素材、音频与多语言口型，同时给出与 Wan 3.0、Seedance 2.5 的对比观察。
VAST 开源 Project Eden 系列中的实时生成式渲染器 EdenLive，并同步开放 5B、14B 模型权重、实时流式推理代码、EdenGolem v0.1 与前端工作台。
推荐理由：VAST 开源实时世界模型 EdenLive，读者可了解其状态与渲染分工架构及 5B 模型在单卡上的实时表现。
Meta 发布开源权重模型 Muse Spark Open，称其为目前美国最强的开源权重模型。该模型面向编码与智能体任务，主打长程任务、复杂软件工程和多步推理，规格为 816B 总参数、42B 激活参数、1M token 上下文窗口，原生支持文本、图像、视频和音频多模态。
推荐理由：Meta 公布开源权重模型的具体参数与多模态规格，可据此判断其长程编码与智能体任务的定位。
NVIDIA 发布 Nemotron 3.5 Super VL，扩充其 Nemotron 开源模型系列，将视觉理解、推理与工具调用结合，用于帮助 AI 智能体在更短时间内完成更多工作。该模型支持文本、图像、文档和视频理解，总参数 120B、激活参数 12B。NVIDIA 表示开源模型让用户能按自己的方式定制、部署和构建。
推荐理由：官方给出新开源多模态模型的总参数与激活参数，读者可据此判断其本地部署与定制空间。
NVIDIA 发布 Nemotron 3.5 Super VL，这是 120B 参数的开源多模态模型，主打智能体任务的速度与准确率，官方称吞吐量最高可达同类模型的 5 倍。
推荐理由：NVIDIA 一次放出 120B 多模态与两款端侧模型，读者可据此判断本地智能体部署的选型空间。
Google DeepMind 发布 Gemini 4 Argon，通过 Gemini API、AI Studio、Antigravity 及 Gemini 应用向开发者、企业和订阅用户开放，定价为每百万输入 token 2 美元、输出 token 10 美元。
推荐理由：官方披露了 Argon 在编码、科研与安全对齐上的具体案例和基准表现，可据此判断前沿模型在长程任务中的实际边界。
Google DeepMind 发布 EmbeddingGemma 2，这是基于 Gemma 4 架构、采用 Apache 2.0 许可的 740M 参数嵌入模型，可将文本、代码、图像、音频和视频映射到统一嵌入空间。
推荐理由：原文给出参数量、内存占用和基准提升，可据此判断端侧多模态检索的落地条件。
微软研究院推出 Quine，一个由跨模态生物学世界模型和连接模型、科学工具、文献与研究者的交互框架组成的 AI 研究系统。该系统与 Broad Institute 合作用于胰腺导管腺癌研究，从数千个化合物中筛选并优先排序候选分子，湿实验显示排名最高的化合物产生了最大的经典态到基底态细胞状态转变，整个筛选到候选验证过程仅用一个周末。
推荐理由：微软研究院公开 Quine 的生物学世界模型与实验编排框架，并给出胰腺癌化合物筛选的湿实验验证结果。
阿里千问发布新一代实时同声传译模型 Qwen3.8-LiveTranslate，基于 Interleave 架构，在 60 种语言上把平均延迟（LAAL）从 2.8s 降至 2.3s，并提升忠实度、流畅度和简洁度。新能力包括实时说话人分离与更稳定的声音克隆、原文与译文同步双语显示，以及利用对话历史消歧人名和术语的长上下文能力。模型已在 QwenCloud 上线，博客同步发布。
推荐理由：官方给出延迟从 2.8s 降到 2.3s 和三项新能力，可据此判断实时同传的可用边界。
阿里 Qwen 团队发布 Qwen3.8-Omni-Flash，称其为 Qwen 首个围绕智能体能力构建的全模态模型，将原生音视频理解、推理与工具调用整合在一个模型中。
推荐理由：官方给出音视频智能体能力、基准提升与视频输入成本降幅，可据此判断长音视频场景的落地成本。
Google 发布两款 Gemini 音频模型 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking。Gemini 3.8 Live 侧重规模、速度和成本效率，支持句中打断、在 97 种语言间即时切换并理解视觉上下文；3.8 Live Extended Thinking 则边推理边说话，可处理规划活动等多步骤任务。
推荐理由：两款音频模型分别面向低延迟对话与复杂任务推理，读者可据此判断语音交互的适用边界。
DeepSeek 发布 DeepSeek-V4.1-Flash，称其为新架构家族中参数规模最小的模型，并原生支持视觉理解。官方表示该模型面向更强能力、更快推理和更高吞吐设计，并可扩展至更大模型。
推荐理由：DeepSeek 新架构家族的最小模型，原生支持视觉理解，并强调推理速度与吞吐。
DeepSeek 在 API 平台上线实验性多模态模型 DeepSeek-V4-Flash-Vision-Exp，调用时使用 model='deepseek-v4-flash-vision-exp'。
推荐理由：官方给出新模型与 V4-Flash 的文本能力对照，以及多模态智能体基准上的提升幅度，便于判断是否值得接入。
Thinking Machines 发布 Inkling-Small，官方称其在四分之一体量下达到与 Inkling 相当的性能。该模型总参数 276B、激活参数 12B，完整权重已开放，可在 Tinker 上微调，并在 Tinker Playground 中体验文本、图像和音频交互。Mira Murati 转发了这一发布消息。
推荐理由：Inkling-Small 以四分之一体量达到与 Inkling 相当的性能，并开放完整权重，读者可据此判断小模型的部署与微调空间。
Thinking Machines 发布首个模型 Inkling，从零训练，权重开放，即日起可在 Tinker 上微调。据其介绍，Inkling 能跨文本、图像和音频模态进行高效推理，完整权重已公开，并可在 Inkling Playground 中试用。
推荐理由：Thinking Machines 首款模型从零训练并开放权重，读者可据此了解其多模态推理定位与微调入口。