跳到正文

技术方向

多模态 最新动态

文字之外的能力:看懂图片、图文混合理解、音视频输入输出的模型与产品进展。

48 条精选近 30 天 25 条共收录 134 条

更新

精选归档 · 第 3 页

7月16日周四第 41–48 条
  1. Mira Murati78

    Thinking Machines 发布首个模型 Inkling,从零训练,权重开放,即日起可在 Tinker 上微调。据其介绍,Inkling 能跨文本、图像和音频模态进行高效推理,完整权重已公开,并可在 Inkling Playground 中试用。

    引用Thinking Machines@thinkymachines

    Today, we are introducing Inkling. Inkling reasons efficiently across text, image, and audio modalities. We are making the full weights available. https://thinkingmachines.ai/news/introducing-inkling/ Available today for fine-tuning on Tinker. Play with it in the Inkling Playground. 🧵

    推荐理由:Thinking Machines 首款模型从零训练并开放权重,读者可据此了解其多模态推理定位与微调入口。

7月11日周六
6月11日周四
  1. 字节 Seed 模型发布70

    字节开源 Bernini-Diffusers 完整视频生成与编辑管线

    字节 Seed 开源 Bernini-Diffusers,将基于 Qwen2.5-VL 的语义规划器、Bernini 规划权重与 Wan2.2 扩散组件打包为自包含目录,官方推荐用于复杂视频编辑请求。

    推荐理由:字节开源完整 Bernini 视频生成与编辑管线,读者可据此了解其语义规划加渲染的两段式结构及与 Bernini-R 的差异。

6月3日周三
  1. 阶跃星辰模型发布60

    阶跃星辰发布 Step-3.7-Flash GGUF 量化版本

    阶跃星辰为 198B 参数稀疏 MoE 视觉语言模型 Step-3.7-Flash 发布 GGUF 量化版本,含 BF16 到 IQ3_XXS 共 7 个语言量化档位及 4 GB 的 F16 视觉投影器。

    推荐理由:原文给出各量化档位的体积与三款 128 GB 统一内存设备上的实测吞吐,可据此判断本地私有部署的可行边界。

  2. 阶跃星辰模型发布72

    阶跃星辰发布 Step 3.7 Flash 视觉语言模型

    阶跃星辰发布 Step 3.7 Flash,这是一个 198B 参数的稀疏 MoE 视觉语言模型,由 196B 参数语言主干与 1.8B 参数视觉编码器组成,每 token 约激活 11B 参数,吞吐最高 400 tokens/s,支持 256k 上下文窗口和低中高三档推理等级。

    推荐理由:原文给出稀疏 MoE 视觉语言模型的参数规模、三档推理等级与定价,可据此判断高频智能体工作流的成本与部署选择。

5月19日周二
  1. 月之暗面 Kimi 模型发布85

    月之暗面开源 Kimi K2.6 多模态智能体模型

    月之暗面发布开源原生多模态智能体模型 Kimi K2.6,采用 MoE 架构,总参数 1T、激活参数 32B,上下文长度 256K,视觉编码器为 400M 参数的 MoonViT。

    推荐理由:模型卡给出完整架构、评测对比和部署方式,可据此判断开源多模态智能体模型的当前水平。

4月30日周四
  1. 月之暗面 Kimi 模型发布85

    月之暗面开源 Kimi K2.5 原生多模态智能体模型

    月之暗面发布开源原生多模态智能体模型 Kimi K2.5,在 Kimi-K2-Base 上以约 15 万亿视觉与文本混合 token 持续预训练而成。模型采用 MoE 架构,总参数 1T、激活参数 32B,上下文长度 256K,配备 400M 参数的 MoonViT 视觉编码器,支持即时与思考两种模式。

    推荐理由:月之暗面开源原生多模态智能体模型,1T 总参数与 Agent Swarm 设计给出了与闭源旗舰对比的完整基准。