Andrej Karpathy 分享用 LLM 构建个人知识库的实践流程
Andrej Karpathy 分享了他近期用 LLM 构建个人研究知识库的做法:把文章、论文、仓库、数据集和图片索引到 raw/ 目录,再由 LLM 增量编译成由 .md 文件组成的 wiki,包含摘要、反向链接和按概念分类的文章。
Andrej Karpathy 分享了他近期用 LLM 构建个人研究知识库的做法:把文章、论文、仓库、数据集和图片索引到 raw/ 目录,再由 LLM 增量编译成由 .md 文件组成的 wiki,包含摘要、反向链接和按概念分类的文章。
Karpathy 转发安全警报称,npm 上最流行的 HTTP 客户端库 axios 遭遇新的供应链攻击,最新版本 axios@1.14.1 引入了一个当天才出现的包 plain-crypto-js@4.2.1。
推荐理由:作者以自身系统排查为例,说明未锁定版本的依赖如何让一次投毒扩散到普通用户。
Andrej Karpathy 用 LLM 花 4 小时打磨自己的博客论证,觉得极具说服力;随后让 LLM 论证相反观点,结果 LLM 彻底推翻原论证并说服他反面才是对的。他指出 LLM 被问时会给出观点,但极擅长朝几乎任何方向论证,可作为形成个人观点的工具,但要多问不同方向并警惕谄媚。
Andrej Karpathy 回顾约一年前搭建 menugen 的经历,认为最难的不是代码本身,而是服务、支付、认证、数据库、安全、域名等一整套 DevOps 组装。
Berkeley AI Research 提出 SPEX 和 ProxySPEX 算法,用于在大规模场景下识别 LLM 的关键交互。SPEX 利用稀疏性和低阶性把交互搜索转化为稀疏恢复问题,ProxySPEX 进一步利用层级结构,以约 10 倍更少的消融实验达到 SPEX 的性能。在情感分析任务上,SPEX 在上下文扩展到数千个特征时仍保持高忠实度,优于 LIME、Banzhaf 等方法。
感谢 Jensen 和 @nvidia 团队的支持。我们将携手部署至少 1GW 的 Vera Rubin 系统,把可适配的协作式 AI 带给每一个人。 https://thinkingmachines.ai/nvidia-partnership/
Thinking Machines 与 Barret Zoph 分道扬镳,Soumith Chintala 将出任公司新任 CTO。Mira Murati 称 Chintala 是资深领导者,十余年来对 AI 领域有重要贡献,也是团队的重要成员。
Berkeley AI Research 提出一种直接以互信息评估和优化成像系统的框架,无需任务专用解码器。该信息指标在彩色摄影、射电天文、无透镜成像和显微镜四个领域预测了系统性能,优化后的设计达到与端到端方法相当的水平,且内存和算力需求更低。方法利用已知噪声物理直接计算噪声项,仅需从测量数据中学习测量分布,并给出真实信息量的上界。
Thinking Machines 宣布 Tinker 正式开放(generally available),并加入新模型和新功能。引用内容显示,此次新增对高级视觉输入模型和 Kimi K2 Thinking 的支持,同时提供更简单的模型采样方式。
DeepSeek 发布 DeepSeek-V3.2 和 DeepSeek-V3.2-Speciale 两款以推理为先、面向智能体的模型。DeepSeek-V3.2 是 V3.2-Exp 的正式后继版本,已在 App、Web 和 API 上线;DeepSeek-V3.2-Speciale 侧重进一步拓展推理能力,目前仅通过 API 提供。官方同时放出了技术报告链接。
推荐理由:官方给出两个版本的定位差异与开放渠道,可据此判断面向智能体的推理模型如何分层落地。
考虑加入我们 https://job-boards.greenhouse.io/thinkingmachines
⚠️ 提醒所有使用 DeepSeek-V3.2-Exp 推理演示的用户:早期版本在 indexer 模块中存在 RoPE 实现不匹配的问题,可能导致性能下降。Indexer 的 RoPE 期望非交错输入,而 MLA 的 RoPE 期望交错输入。已在 https://github.com/deepseek-ai/DeepSeek-V3.2-Exp/tree/main/inference 修复。
作为我们对开放协作科学承诺的一部分,我们正通过资助计划扩大研究人员和讲师对 Tinker 的免费访问。
结合RL和SFT的优势,采用同策略蒸馏,这是一种有前景的方法,可用于训练小模型以提升领域表现和持续学习能力。