跳到正文
#多模态
今天10月21日周三4 条
  1. AWS Machine Learning Blog50

    TwelveLabs Pegasus 1.5 在 Amazon Bedrock 上线

    TwelveLabs 的视频语言模型 Pegasus 1.5 已在 Amazon Bedrock 上线，可将长视频转为带时间戳的结构化 JSON 元数据。相比 Pegasus 1.2，单次请求可分析视频时长从 1 小时提升至 2 小时，并新增视频分段、参考图多模态提示和免预索引的即时处理。

  2. The Decoder72

    可灵 AI 发布 4.0 版本，新增立体声与多语言口型同步并推出 Flash 轻量版

    可灵 AI 发布 4.0 版本，单次可生成最长 30 秒视频，支持最多 10 张关键帧图像输入，提示词理解扩展到 8,000 tokens。新版本加入双声道立体声和覆盖德语、英语、日语、韩语、西班牙语等十余种语言的改进口型同步，Omni Reference 单次最多接受 15 个参考素材。

    推荐理由：可灵 4.0 的升级集中在参考素材、音频与多语言口型，同时给出与 Wan 3.0、Seedance 2.5 的对比观察。

  3. 钛媒体63

    麻省总医院布莱根团队在《柳叶刀·数字健康》发表研究：AI 凭人脸照片识别癌症患者死亡风险

    10月20日，《柳叶刀·数字健康》发表麻省总医院布莱根医疗集团的研究，其FAHR-Face模型仅凭一张普通脸部照片即可区分癌症患者的死亡风险。在3820名未参与训练的癌症患者中，被评极高风险的122人拍照后90天内64人去世，占比52.5%；评分最低的975人仅20人去世，占比2.1%。

10月20日周二
  4. Google AI (X)58

    Google 介绍 FireSat 卫星星座如何用 AI 识别早期野火

    Google 介绍与 EarthFireAll、MuonSpace 合作的 FireSat 卫星星座如何用 AI 更早、更准确地发现野火。系统通过定制相机和受控燃烧训练数据，可识别小至 5x5 米（约一辆车大小）的火情，而现有卫星图像往往滞后达 11 小时。首批业务卫星已入轨，未来几年将持续增加，到 2030 年预计约 50 颗卫星在轨，每 20 分钟完成一次地球表面成像。

  5. 雷锋网58

    爱奇艺580天AI闯关：从剧本工坊到虚拟制作

    雷锋网梳理爱奇艺自2023年3月全员AI培训以来的580天实践，覆盖剧本工坊、影像工坊、虚拟制作与桃豆世界等应用。截至2024年6月超98%员工调用过大模型，2024年调用量较2023年增长83倍，奇智平台上有64个业务调用6300多个智能体应用。剧本工坊已累计为5000部小说和剧本提供评估提速，2025年4月版本接入DeepSeek等国产大模型，不到30分钟可完成50万字剧本评估。

  6. 极客公园62

    Lovart 2.0 推出个人设计 Agent Arti

    Lovart 迭代到 2.0 后推出个人设计 Agent Arti，通过记忆功能记录设计师的行业、身份与审美偏好，并主动承担调研、找参考和画布检查。Arti 会把反复出现的设计流程沉淀为可复用 Skill，还支持设定时间与频率的设计委托，按快速、均衡、专家三档模式批量执行。作者实测用 Arti 完成攀岩品牌电商物料调研，并发现它提示海报比例不符可一键调整。

  7. 量子位62

    Meshy 推出局部编辑功能 Meshy Edit，一句话指令修改 3D 模型局部

    Meshy 发布局部编辑功能 Meshy Edit，用户圈选 3D 模型区域并用一句话描述改动，约一分钟生成新模型，未选中区域保持原样。该功能已向全部注册用户开放，每次编辑消耗 20 积分，目前支持 Meshy 6 和 Meshy 7.1 生成的高精度模型，带贴图模型会自动切换至未贴图版本编辑。

  9. elvis (X)58

    Viggle 发布 JST-2 世界模型，附带 PINOC MCP server

    Viggle 发布 JST-2，官方称其为全球首个全栈物理原生世界基础模型，整套模型栈在 3D 空间构建，可在数秒内生成 3D 场景并实时扩展。该模型附带 PINOC MCP server，向 Claude Code 发一条提示词即可生成角色、按文本驱动动画并组装场景；角色与动作共用同一骨架，因此智能体无需中途做重定向处理。

10月19日周一
  1. elvis (X)58

    Nace 发布多模态决策模型 Drex Max

    Nace 发布多模态决策模型 Drex Max，支持文本、图像和视频输入，单次决策耗时 34 ms，262K token 下低于 1 秒，输入价格为 $0.06/1M tokens。该模型可直接从截图、录屏、扫描文档、科学图表和照片中做决策，适合 computer-use 与 browser-use 智能体。Nace 称其在 Mind2Web 上达到 88.3%，超过 Jev 1.14，Decision Index 得分为 67.6（Jev 1.14 为 60.70）。

10月17日周六
10月16日周五
  1. AI at Meta (X)80

    Meta 发布开源权重模型 Muse Spark Open，816B 总参数、1M token 上下文

    Meta 发布开源权重模型 Muse Spark Open，称其为目前美国最强的开源权重模型。该模型面向编码与智能体任务，主打长程任务、复杂软件工程和多步推理，规格为 816B 总参数、42B 激活参数、1M token 上下文窗口，原生支持文本、图像、视频和音频多模态。

    推荐理由：Meta 公布开源权重模型的具体参数与多模态规格，可据此判断其长程编码与智能体任务的定位。

10月15日周四
  1. NVIDIA (X)73

    NVIDIA 发布 Nemotron 3.5 Super VL 开源多模态模型

    NVIDIA 发布 Nemotron 3.5 Super VL，扩充其 Nemotron 开源模型系列，将视觉理解、推理与工具调用结合，用于帮助 AI 智能体在更短时间内完成更多工作。该模型支持文本、图像、文档和视频理解，总参数 120B、激活参数 12B。NVIDIA 表示开源模型让用户能按自己的方式定制、部署和构建。

    推荐理由：官方给出新开源多模态模型的总参数与激活参数，读者可据此判断其本地部署与定制空间。

10月14日周三
  1. Google AI (X)25

    Argon 用 antigravity 打造生物视觉图集

    教科书里的生物学，直接在浏览器中活起来 🌿 这个由 Argon 在 @antigravity 中构建的交互式五阶段视觉图集，把密集的教科书生物学变成动手体验。借助流畅动画和科学精度，你可以从阳光下的叶片一路滚动深入到亚细胞级的叶绿体。 该模型将准确性与无缝交互设计相结合，展示了如何构建能让复杂科学可视化、轻松探索的教育工具。

  4. Google DeepMind90

    Google DeepMind 发布 Gemini 4 Argon 前沿模型

    Google DeepMind 发布 Gemini 4 Argon，通过 Gemini API、AI Studio、Antigravity 及 Gemini 应用向开发者、企业和订阅用户开放，定价为每百万输入 token 2 美元、输出 token 10 美元。

    推荐理由：官方披露了 Argon 在编码、科研与安全对齐上的具体案例和基准表现，可据此判断前沿模型在长程任务中的实际边界。

10月9日周五
  1. Google AI (X)50

    Google 本周发布：SynthID 全球上线与 Gemma 4 等

    Google 本周宣布 SynthID 检测门户以英文面向全球开放，任何人可验证图像、视频或音频是否由 Google 及行业伙伴的 AI 生成。同期发布 Nano Banana 2.1，在视觉设计、主体一致性和局部精准编辑上有明显提升；还推出首个原生多模态开放模型 EmbeddingGemma 2，将文本、图像、视频、音频和代码统一到单一空间用于端侧嵌入向量。

10月7日周三
10月2日周五
  1. Andrej Karpathy (X)58

    Karpathy 分享让 LLM 输出更易读的提示词技巧

    Andrej Karpathy 分享理解大语言模型输出的技巧，建议让 LLM 用 ASD-STE100 受控语言规范写作，或要求输出图表、HTML 交互网页和定制讲解视频。他提到可用 ElevenLabs API key 生成 3b1b 风格讲解视频，并认为随着模型变强，人的工作会更多转向监督与理解，可以要求生成以往不划算的大型一次性软件产物。

  2. Google DeepMind (X)25

    Google DeepMind 播客探讨 AI 内容溯源与水印

    当 AI 生成的内容变得如此逼真，我们如何验证哪些是人类、机器或自然创造的？ 我们在播客中探讨溯源的关键作用——以及不可感知的水印如何同时保护数字媒体和生物设计。↓ 时间轴： 00:00 介绍 00:34 什么是水印？ 04:35 SynthID 15:16 图像与视频 19:28 SynthID Bio 28:00 韧性的未来

9月29日周二
  1. Microsoft Research62

    微软研究院推出面向生物学复杂性的 AI 研究系统 Quine

    微软研究院推出 Quine，一个由跨模态生物学世界模型和连接模型、科学工具、文献与研究者的交互框架组成的 AI 研究系统。该系统与 Broad Institute 合作用于胰腺导管腺癌研究，从数千个化合物中筛选并优先排序候选分子，湿实验显示排名最高的化合物产生了最大的经典态到基底态细胞状态转变，整个筛选到候选验证过程仅用一个周末。

    推荐理由：微软研究院公开 Quine 的生物学世界模型与实验编排框架，并给出胰腺癌化合物筛选的湿实验验证结果。

9月26日周六
9月24日周四
  1. AI at Meta (X)48

    Meta 发布 Muse Realtime Avatar

    @finkd 刚刚揭晓了 Muse Realtime Avatar，这是我们能将 Muse Realtime Voice 转化为富有表现力、可交互虚拟形象的实时具身技术。 Muse Realtime Avatar 在 @Muse 中开启了一系列全新的交互方式，首先是实时对话。 🧵👇 #MetaConnect

9月19日周六
  1. Qwen (X)67

    阿里千问发布实时同传模型 Qwen3.8-LiveTranslate

    阿里千问发布新一代实时同声传译模型 Qwen3.8-LiveTranslate，基于 Interleave 架构，在 60 种语言上把平均延迟（LAAL）从 2.8s 降至 2.3s，并提升忠实度、流畅度和简洁度。新能力包括实时说话人分离与更稳定的声音克隆、原文与译文同步双语显示，以及利用对话历史消歧人名和术语的长上下文能力。模型已在 QwenCloud 上线，博客同步发布。

    推荐理由：官方给出延迟从 2.8s 降到 2.3s 和三项新能力，可据此判断实时同传的可用边界。

9月18日周五
9月16日周三
  1. Google AI (X)78

    Google 发布 Gemini 3.8 Live 与 3.8 Live Extended Thinking 音频模型

    Google 发布两款 Gemini 音频模型 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking。Gemini 3.8 Live 侧重规模、速度和成本效率，支持句中打断、在 97 种语言间即时切换并理解视觉上下文；3.8 Live Extended Thinking 则边推理边说话，可处理规划活动等多步骤任务。

    推荐理由：两款音频模型分别面向低延迟对话与复杂任务推理，读者可据此判断语音交互的适用边界。

9月11日周五
  1. Google DeepMind (X)25

    Google DeepMind 用AI重现未拍摄的记忆

    我们如何重建一段从未被拍摄过的记忆？ 我们的团队将修复的档案照片与姿态控制模型相结合，捕捉 Burt 和 Ethelle 的举止习惯与微表情。 这帮助还原了他们初次相遇那天的场景，用于《Love, Rendered》——一部与 @PrimordialSoup_ 和 @StorySyndicate_ 合作的新纪录片。 在 YouTube 上观看完整影片 → https://goo.gle/3V8m94m

9月10日周四
  1. DeepSeek (X)72

    DeepSeek 发布 V4.1-Flash 模型

    DeepSeek 发布 DeepSeek-V4.1-Flash，称其为新架构家族中参数规模最小的模型，并原生支持视觉理解。官方表示该模型面向更强能力、更快推理和更高吞吐设计，并可扩展至更大模型。

    推荐理由：DeepSeek 新架构家族的最小模型，原生支持视觉理解，并强调推理速度与吞吐。