Hugging Face 本地 AI 201 直播
本地 AI 201 https://x.com/i/broadcasts/1kKzDDbaQyeJv
本地 AI 201 https://x.com/i/broadcasts/1kKzDDbaQyeJv
Thinking Machines 发布首个模型 Inkling,从零训练,权重开放,即日起可在 Tinker 上微调。据其介绍,Inkling 能跨文本、图像和音频模态进行高效推理,完整权重已公开,并可在 Inkling Playground 中试用。
推荐理由:Thinking Machines 首款模型从零训练并开放权重,读者可据此了解其多模态推理定位与微调入口。
Mira Murati 回顾 Thinking Machines Lab 成立一年来的方向,聚焦多模态 AI、定制模型与开放科学。她提到团队已预览可像人一样协作的交互模型,Tinker 让任何人都能训练自己的开放权重模型,并发布了关于 Connectionism 的研究。她表示未来几个月将分享首款产品,其中包含重要的开源组件,面向研究者和开发定制模型的初创公司。
UC Berkeley 团队提出,推理成本已从 GPT-4 级约 $30/百万 token 降至不足 $1,部分厂商低于 $0.10,基准测试中推理价格每年下降 9x 至 900x、中位数约 50x。作者据此提出三类数据系统挑战:为智能体设计的数据系统、支撑智能体群体运行的数据系统、以及由智能体合成的数据系统。
伯克利人工智能研究实验室(BAIR)展示 2026 届博士毕业生,研究覆盖机器人、LLM 推理、计算机视觉、生成模型、AI 安全与医疗等方向。毕业生去向包括 OpenAI、Mistral AI、Physical Intelligence、Amazon 等机构,以及 UCLA、芝加哥大学教职和自创初创公司。
Bridgewater 运用其独特的金融知识,与我们在 @tinkerapi 上合作微调了一个模型,帮助他们的分析师专注于真正重要的事。专家改进 AI,AI 赋能专家。 https://thinkingmachines.ai/news/learning-to-replicate-expert-judgment-in-financial-tasks/
Anthropic 推出 Claude Tag,团队可在 Slack 中把 Claude 加为团队成员,让它访问指定频道和工具并委派任务。Andrej Karpathy 认为这是 LLM 交互界面的第三次重大重构,前两次分别是网页和桌面应用,这一次 Claude 成为拥有组织级工具与上下文的持久异步实体。
Andrej Karpathy 评价 Claude Fable 5 发布,称其与 Mythos 是同一底层模型但增加了安全防护,基准测试全面 SOTA 且领先明显。
推荐理由:Karpathy 以第一手使用体验评价 Claude Fable 5 在长任务和复杂问题上的跃升,并给出对软件需求变化的判断。
我们已将折扣永久化!🎉 尽情使用 DeepSeek-V4-Pro 构建,让你的创新想法成为现实!🚀
协作式 AI 建立在交互性之上:机器与人,实时协作,覆盖每一种模态。解决这个问题需要社区的力量,加入我们。
个人动态:我已加入 Anthropic。我认为未来几年处于 LLM 前沿的工作将尤其具有塑造性。我非常兴奋能加入这里的团队,重回研发工作。我依然对教育怀有深厚的热情,并计划适时恢复这方面的工作。
Mira Murati 表示团队正在分享其在交互模型上的工作,这是一类从零训练、原生处理实时交互的新模型,而非在回合制模型上外挂交互能力。推文附有一段视频链接。
Karpathy 称在查询末尾要求 LLM「把回答结构化为 HTML」,再在浏览器中打开生成文件,效果很好,也试过让模型输出幻灯片。他认为 AI 输出正从纯文本、Markdown 走向 HTML,最终可能发展为扩散模型直接生成的可交互视频,并指出输入侧仍需支持指点和手势。
伯克利 AI 研究团队综述并行推理进展,重点分析自适应并行推理——让模型自行决定何时分解并并行化子任务、开多少并发线程以及如何协调。现有方法如 self-consistency、Best-of-N、Tree of Thoughts、MCTS、ParaThinker、GroupThink 和 Hogwild! Inference 的并行结构多由外部设定,而非模型自主选择。
这是我最近经常引用的一句话。
Karpathy 在 Sequoia Ascent 2026 炉边对话中提出,LLM 的价值远不止加速现有编码工作,并给出三个新场景:完全由 LLM 承载、无需传统代码的 menugen 应用;用 .md 技能替代 .sh 安装脚本;以及传统代码无法实现、对非结构化知识做计算的 LLM 知识库。
DeepSeek-V4-Pro 折扣已延长至 2026 年 5 月 31 日 15:59 UTC!
DeepSeek 宣布全系 API 的输入缓存命中价格立即降至原价的 1/10。同时,DeepSeek-V4-Pro 的 75% 折扣活动仍在进行,截止时间为 2026 年 5 月 5 日 15:59(UTC)。
DeepSeek 宣布 DeepSeek-V4-Pro API 在 2026 年 5 月 5 日 15:59(UTC)前享受 75% 折扣。接入方面,Claude Code 需将模型设为 deepseek-v4-pro[1m] 以启用 1M 上下文,OpenCode 需升级到 v1.14.24+,OpenClaw 需升级到 v2026.4.24+,完整信息见官方 API 文档。
DeepSeek 正式发布并开源 DeepSeek-V4 Preview,主打低成本 1M 上下文长度。其中 DeepSeek-V4-Pro 为 1.6T 总参数、49B 激活参数,官方称性能可对标顶级闭源模型;DeepSeek-V4-Flash 为 284B 总参数、13B 激活参数,定位快速经济。
推荐理由:DeepSeek 官方公布 V4 两个版本的参数规模与 1M 上下文,可据此判断开源模型在长上下文上的成本位置。
Berkeley AI Research 提出 GRASP,一种面向学习型世界模型的梯度规划器,通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代上直接注入随机性以促进探索,并重塑梯度让动作获得清晰信号。该方法针对长时程规划中梯度爆炸/消失、非贪心结构导致局部极小值以及高维视觉模型状态-输入梯度脆弱等问题,使基于梯度的长时程规划更稳健。
Mira Murati 宣布 Workshop Labs 的 Luke Drago 与 Rudolf 加入 Thinking Machines,二人将继续推进"让 AI 保持人类主导"的使命。Workshop Labs 同日确认整体加入 Thinking Machines。Murati 称从 Tinker 到研究资助再到前沿研究,均服务于同一目标——让 AI 增强而非取代人类能动性。
Karpathy 认为,对 AI 能力的理解正出现日益扩大的鸿沟。一部分人仍以去年免费版 ChatGPT 的幻觉和 Advanced Voice Mode 的失误来判断 AI,而今年 OpenAI Codex、Claude Code 等前沿智能体模型在编程等任务上已能连续工作 1 小时重构整个代码库。
Karpathy 转发并点评 Farza 用 LLM 把 2,500 条日记、Apple Notes 和 iMessage 记录整理成含 400 篇文章的个人 Wiki(Farzapedia),认为这是个人化 AI 的好范例。
Karpathy 表示看好被 AI 赋能的公众提升政府的可见性、可读性与问责制。他认为政府问责的瓶颈从来不是数据获取,而是处理海量原始数据并提炼洞察的智能,4000 页综合法案对多数人只是名义上透明。AI 可让支出预算核算、立法 diff 追踪、游说关系图谱等分析不再只由调查记者承担,但他也提醒同一工具同样可能被反向利用。
Andrej Karpathy 在推文走红后,把用 LLM 构建个人知识库的方法整理成一份 gist 格式的 idea file,可直接交给智能体按需搭建。该流程把文章、论文、仓库等原始资料索引到 raw/ 目录,由 LLM 增量编译成 .md 维基,包含摘要、反向链接和概念文章,并在 Obsidian 中查看与提问。
Andrej Karpathy 分享了他近期用 LLM 构建个人研究知识库的做法:把文章、论文、仓库、数据集和图片索引到 raw/ 目录,再由 LLM 增量编译成由 .md 文件组成的 wiki,包含摘要、反向链接和按概念分类的文章。
Karpathy 转发安全警报称,npm 上最流行的 HTTP 客户端库 axios 遭遇新的供应链攻击,最新版本 axios@1.14.1 引入了一个当天才出现的包 plain-crypto-js@4.2.1。
推荐理由:作者以自身系统排查为例,说明未锁定版本的依赖如何让一次投毒扩散到普通用户。
Andrej Karpathy 用 LLM 花 4 小时打磨自己的博客论证,觉得极具说服力;随后让 LLM 论证相反观点,结果 LLM 彻底推翻原论证并说服他反面才是对的。他指出 LLM 被问时会给出观点,但极擅长朝几乎任何方向论证,可作为形成个人观点的工具,但要多问不同方向并警惕谄媚。
Andrej Karpathy 回顾约一年前搭建 menugen 的经历,认为最难的不是代码本身,而是服务、支付、认证、数据库、安全、域名等一整套 DevOps 组装。
Berkeley AI Research 提出 SPEX 和 ProxySPEX 算法,用于在大规模场景下识别 LLM 的关键交互。SPEX 利用稀疏性和低阶性把交互搜索转化为稀疏恢复问题,ProxySPEX 进一步利用层级结构,以约 10 倍更少的消融实验达到 SPEX 的性能。在情感分析任务上,SPEX 在上下文扩展到数千个特征时仍保持高忠实度,优于 LIME、Banzhaf 等方法。
感谢 Jensen 和 @nvidia 团队的支持。我们将携手部署至少 1GW 的 Vera Rubin 系统,把可适配的协作式 AI 带给每一个人。 https://thinkingmachines.ai/nvidia-partnership/
Thinking Machines 与 Barret Zoph 分道扬镳,Soumith Chintala 将出任公司新任 CTO。Mira Murati 称 Chintala 是资深领导者,十余年来对 AI 领域有重要贡献,也是团队的重要成员。
Berkeley AI Research 提出一种直接以互信息评估和优化成像系统的框架,无需任务专用解码器。该信息指标在彩色摄影、射电天文、无透镜成像和显微镜四个领域预测了系统性能,优化后的设计达到与端到端方法相当的水平,且内存和算力需求更低。方法利用已知噪声物理直接计算噪声项,仅需从测量数据中学习测量分布,并给出真实信息量的上界。
Thinking Machines 宣布 Tinker 正式开放(generally available),并加入新模型和新功能。引用内容显示,此次新增对高级视觉输入模型和 Kimi K2 Thinking 的支持,同时提供更简单的模型采样方式。
DeepSeek 发布 DeepSeek-V3.2 和 DeepSeek-V3.2-Speciale 两款以推理为先、面向智能体的模型。DeepSeek-V3.2 是 V3.2-Exp 的正式后继版本,已在 App、Web 和 API 上线;DeepSeek-V3.2-Speciale 侧重进一步拓展推理能力,目前仅通过 API 提供。官方同时放出了技术报告链接。
推荐理由:官方给出两个版本的定位差异与开放渠道,可据此判断面向智能体的推理模型如何分层落地。
考虑加入我们 https://job-boards.greenhouse.io/thinkingmachines
⚠️ 提醒所有使用 DeepSeek-V3.2-Exp 推理演示的用户:早期版本在 indexer 模块中存在 RoPE 实现不匹配的问题,可能导致性能下降。Indexer 的 RoPE 期望非交错输入,而 MLA 的 RoPE 期望交错输入。已在 https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/tree/main/inference 修复。
作为我们对开放协作科学承诺的一部分,我们正通过资助计划扩大研究人员和讲师对 Tinker 的免费访问。
结合RL和SFT的优势,采用同策略蒸馏,这是一种有前景的方法,可用于训练小模型以提升领域表现和持续学习能力。