黑客用 AI 智能体集群入侵 John Deere、SharkNinja 等 100 多个网站
AI 安全公司 Norforge 发现，一名黑客借助大量基本自主运行的 AI 智能体入侵了 100 多个网站，路透社称受害方包括 John Deere、SharkNinja 和 Cummins。
推荐理由：安全公司披露的攻击实例显示，开源 AI 平台 Cairn 被用于编排自主智能体入侵，读者可了解这类攻击的组织方式与受害方回应。
#安全/对齐
The Verge · AI精选AI 评分7272 TechCrunch · AIAI 评分6060 微软推出 Guardian Agents 等安全功能，监控企业 AI 智能体
微软发布多项面向企业的智能体安全功能，其中最受关注的是用于监控企业所用 AI 智能体的 Guardian Agents，它属于 6 月推出的 Project Perception 产品。
TechCrunch · AIAI 评分3838 Hugging Face 政策主管：嵌入式 AI 评估者并非易解方案
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示，嵌入式 AI 评估者并非易解方案，评估结果的可复现性仍是关键问题，开放权重对此至关重要。她指出，评估是一门仍在演进的科学，不同评测之间难以有意义地比较，且失效速度较快。她还提到，智能体评估难度大、成本高，针对 harness 的评估远少于针对模型的评估。
TechCrunch · AIAI 评分4040 Mamdani 批评联邦政府在 AI 监管上缺位，呼吁纽约人主动抵制
纽约市长 Zohran Mamdani 在 AI Now Institute 主办的 The People's AI Assembly 活动上批评联邦政府在 AI 监管上"完全缺位"，呼吁纽约人不要接受 AI 冲击就业与尊严的"必然性"。
极客公园AI 评分2222 亚马逊 CTO Werner Vogels：二十余年技术实践，给创业者的 4 点建议
亚马逊副总裁兼 CTO Werner Vogels 在 2026 年亚马逊云科技软件企业峰会创业加速营巅峰路演与极客公园创始人张鹏对谈，分享二十余年技术实践并给初创企业提建议。
Lisan al Gaib (X)AI 评分4040 NSA 等警告恶意蒸馏攻击，DeepSeek 与字节跳动被点名讨论
NSA、CISA 和 FBI 联合发布报告，警告企业防范针对美国前沿 AI 能力的恶意蒸馏攻击，并给出缓解建议。推文称 DeepSeek-V3 和 R1 部分通过蒸馏训练，但指出字节跳动未被提及，认为其拥有中国最大用户群、最多算力和极强研究团队，被外界低估。
TechCrunch · AIAI 评分5858 Anthropic 提出 AI 安全法案草案，拟在 50 人以上死亡风险时阻断模型发布
Anthropic 正在向国会推销一份 AI 安全法案草案，规定当模型存在可预见的紧迫风险、可能导致 50 人以上死亡或超 10 亿美元财产损失时，可阻断其发布。
TechCrunch · AIAI 评分4242 Hugging Face CEO 称 Netflix 纪录片《AI Gone Rogue》不准确
Hugging Face 联合创始人兼 CEO Clem Delangue 公开批评 Netflix 纪录片《AI Gone Rogue》不准确，称其为了最大化拟人化和末日叙事而牺牲事实。
Sam Altman (X)AI 评分5050 Altman 欢迎 Madry 回归 OpenAI 抓安全
我非常感激 Aleksander 接受了我们的请求来承担这项工作；在直面超级智能的过程中，我们面临的安全与安保挑战是巨大的，而他拥有非常出色的技能组合来应对这一问题。
Rohan Paul (X)AI 评分5050 Altman称OpenAI须一年内定安全终局
Sam Altman告诉OpenAI员工，公司必须在未来一年内决定推进3种安全终局中的哪一种。 据The Information报道。 他似乎倾向的路径——一个仿照国际原子能机构建立的国际机构——可追溯至2023年5月他与Greg Brockman和Ilya Sutskever共同撰写的一项提案，该机构可以检查系统、要求审计并追踪算力和能源使用。
The Verge · AIAI 评分6060 Meta 在研究人员发现 Muse 对话链接公开可查后暂停分享功能
Meta 表示已暂停 Muse 的对话分享功能，此前安全公司 Claroc 的研究人员通过公开 DNS 记录发现了超过 6800 条 Muse 分享链接。Muse 发言人 Tracy Clayton 称，用户分享特定 Muse 内容会生成可通过链接访问的页面，公司正在审查该报告并考虑调整链接的发现方式。
AWS Machine Learning BlogAI 评分3434 Octave 如何在 Amazon Bedrock 上构建安全多租户 AI 基础平台
Octave 在 Amazon Bedrock 上为质量管理平台 Reliance 构建了多租户 AI 基础平台，用 Cohere Embed v4 完成 20 亿份文档的嵌入，并将单用例部署时间缩短 50%。该平台以每租户独立向量存储、AgentCore Gateway 隔离执行和 Guardrails 双向过滤三层架构，确保客户数据不跨租户边界。首个落地应用为投诉摘要与分诊助手。
The DecoderAI 评分5858 Sam Altman 据报向员工提出三种 AI 安全终局方案
据 The Information 援引知情人士报道，OpenAI CEO Sam Altman 上周在内部向员工提出三种 AI 安全路径：仿照国际原子能机构（IAEA）建立执行安全标准的机构。
AWS Machine Learning BlogAI 评分3636 在 AWS 上用 X.509 PKI 保障 AI 智能体身份安全
AWS 与 Keyfactor 联合发布参考架构，用 Keyfactor EJBCA 的 X.509 PKI 为 AI 智能体建立可验证、可撤销的加密身份。
Ars Technica · AIAI 评分6565 Meta Muse 分享链接泄露用户隐私，Meta 暂停分享功能
Meta 的通用 AI 智能体 Muse 在用户通过网页链接分享对话时会暴露敏感信息，Meta 回应称已暂停该分享功能并正在审查。安全公司 Claroc 的研究人员枚举出用户创建的 6800 条分享链接，打开其中数百条后发现明显不应公开的个人与商业信息。Muse 的链接生成方式使这些链接容易被发现，而 Meta CEO 扎克伯格上月曾称该产品从底层为隐私和安全而设计。
The DecoderAI 评分7171 美陆军网络司令部被曝研发 ECHOTRIBBLE 自主攻击型 AI 智能体
据 The Intercept 获得的文件，美国陆军网络司令部（ARCYBER）正在开发代号 ECHOTRIBBLE 的平台，目标是让 AI 智能体自主穿越网络基础设施、识别并“消除”目标，可像蠕虫一样在设备间隐蔽跳转，任务完成后自毁，且要求“最少人工监督”和“自主行为”。
Lisan al Gaib (X)AI 评分5050 DeepSeek V4.1 Flash 效率与性能讨论
哦这太牛了 但考虑到它的效率低了好几倍，我不太会说它击败了 Sol 我想说的是，它击败了 Kimi-K3、GLM-5.3 Flash 和 Grok-4.7，这已经令人印象深刻了
MIT Technology Review · AIAI 评分6060 Goodfire 研究员称神经网络可被读懂，引发 AI 圈激辩
Goodfire 研究员 Nick Cammarata 发布 26,000 字博文，称 LLM 的内部机制可能远比此前认为的更容易理解，因而更易监控和控制。他以 Inception v1 中同时响应猫和汽车的神经元为例，认为两者共享 V 形特征，并计划很快公布针对现代 LLM 的技术结果。
The Verge · AIAI 评分2323 伊利诺伊州州长 JB Pritzker 谈 AI：或让人活到 100 岁，也可能像核武器一样威胁人类
伊利诺伊州州长 JB Pritzker 在 Decoder 播客中表示，AI 既可能帮助人类活到 100 岁，也可能像核武器一样构成威胁。他还谈到数据中心、隐私与反垄断正引发两党反弹，认为政府应更积极保护民众而非一味配合大企业。
Turing Post (X)AI 评分1212 Rubrik 10月21日智能体失控治理技术专场
Rubrik 将于 10 月 21 日 10 AM PT 举办 "When Agents Go Off-Script" 技术深潜会，面向安全、IT 与 AI 平台团队，讲解智能体违反策略后如何拉回正轨。
Sam Altman (X)AI 评分3838 Nick 谈可解释性研究前景
很高兴看到 Nick 的这篇分享！ @nickcammarata：可解释性可能是当下世界上最重要的科学问题，因为如果我们不知道自己正在构建什么，就无法解决对齐问题。我想我对此有好消息。我曾在 OpenAI 参与机械可解释性的早期工作，当时得出的结论是悲观的，因为神经网络似乎会折叠成任意纠缠的结。多年后，我启动了 OpenAI 首个大规模自动化可解释性项目，用当时原始的工具发现约 2% 的神经元是可读的。 借助现代智能体工具和更细致的观察，情况看起来完全不同。在参数量高达数万亿的模型中，绝大多数神经元都是可读的，它们的回路很优美。许多著名的纠缠神经元案例其实是被误解了。我预想的障碍大多并不存在。我现在认为，雄心勃勃的可解释性研究会在我们最需要它的时候被解决，而且可能相当快，因为自动化科学家在不断进步。这对可解释性或许是一个苦涩的教训：简单的东西，在荒谬的规模下，是有效的。 https://already-clean.goodfire.com/
Anthropic (X)AI 评分4242 Anthropic 向 METR 开放类员工权限
我们承诺由评估方评估我们的安全实践。我们正在与多家机构洽谈，目前已向来自 @METR_Evals 的团队授予类员工权限。 在这篇文章中，我们介绍了如何与第三方评估方合作：https://www.anthropic.com/news/an-update-on-independent-evaluators
Microsoft Research精选AI 评分6060 微软研究院发布 Magnetar：基于标准哈希函数的通用零知识证明系统
微软研究院发布零知识虚拟机 Magnetar，可直接证明用 Rust、Go 或 C 编写的程序执行过程，并输出可在约 12 毫秒内验证的简短证明。在 15 个基准程序上，它比同类最快的 zkVM 平均快 10 到 39 倍，在笔记本上每秒可证明 7.2 至 8.7 百万条 RISC-V 指令。
推荐理由：微软研究院梳理十余年零知识证明研究脉络，说明 Magnetar 如何在通用性、速度与密码学假设之间同时取得进展。
Latent SpaceAI 评分4242 OpenAI 与 Anthropic 如何为金融智能体设计自主性与安全边界
OpenAI 金融服务 ChatGPT 负责人 Joseph Kim 在 AIE New York 提出"有用性阈值"，预测 2027 年智能体可胜任投资想法生成与交易。
Emad Mostaque (X)AI 评分5858 研究者称首次在野外接触中国 AI 智能体集群
Emad Mostaque 转发 @ethanelasky 的说法，称研究者首次在野外接触到一个中国 AI 智能体集群。该说法称这些智能体由腾讯的评测研究团队托管，目标是阿里巴巴的高德，并称此前公开的智能体事件几乎都来自美国实验室。
Anthropic (X)AI 评分2222 Anthropic 在新加坡开设办公室
我们在新加坡开设了办公室——这是我们在亚太地区的第五个办公室。我们还与新加坡政府签署了关于 AI 安全与负责任采用的谅解备忘录。 你可以在这里了解更多关于我们新办公室的信息：https://www.anthropic.com/news/singapore-office-opening
NVIDIA (X)AI 评分3838 NVIDIA 加码英国：5 年 2.5 亿美元算力支持 AI 安全研究
NVIDIA 宣布未来五年投入 2.5 亿美元算力资源，支持英国在 AI 智能体安全与安保方向的研究。公司同时以全球联盟创始合作伙伴身份加入 Earthshot Prize，为气候与可持续发展领域的创新者提供算力和技术专长。英国开发者、研究者和企业正借助更多算力与开放模型，将 AI 落地医疗、银行和公共服务。
Google DeepMindAI 评分5858 Google DeepMind 与新加坡政府合作微调端侧诈骗检测模型
Google DeepMind 与新加坡政府科技局（GovTech Singapore）合作，基于轻量 Gemma 模型微调出可在设备端运行的诈骗检测模型，用于识别冒充公职人员、银行等本地化诈骗对话。
Google DeepMind精选AI 评分8080 Google DeepMind 发布 Gemini 4 Argon 并公布安全防护方案
Google DeepMind 开始广泛推送 Gemini 4 Argon，并同步发布安全与安全报告，说明其在高风险领域的防护设计。该模型在 12 个端到端模拟网络攻击场景中全部完成，上一代为 5 个；在 Gray Swan 的间接提示注入基准上，15 次自适应攻击的成功率降至 0.7%。
推荐理由：原文披露了 Gemini 4 Argon 在网络安全与生物风险上的防护分层，以及智能体越界行为的监控数据。
GitHub Blog · AI & MLAI 评分4242 GitHub 详解密钥检测模型：用更少噪音发现更多密钥
GitHub 用微调的 ModernBERT 分类器替换原有 LLM 流水线来识别通用密钥，用户接受率提升 11.5%，推送后扫描中位执行时间缩短 86%，服务成本降低超 98%。该方案先用正则高召回生成候选，再由分类器结合文件路径、变量名和上下文判断是否为真实凭据，并已把通用密钥检测扩展到推送保护阶段。
MIT Technology Review · AIAI 评分4040 开放模型利与弊：Anthropic 称 GLM-5.3 构成重大网络攻击风险，开放与闭源之争何去何从
Anthropic 发布报告称，Z.ai 于 8 月发布的开放权重模型 GLM-5.3 可被任何人自由下载和修改，构成重大网络攻击风险。开放模型支持者认为其可本地运行、成本更低、便于学术研究并防止权力集中，而 Artificial Analysis LLM 排行榜前八名目前仍均为闭源模型。
Anthropic (X)AI 评分5555 Anthropic 介绍针对 Claude 的蒸馏攻击防御进展
Anthropic 表示，过去几个月在降低针对 Claude 的蒸馏攻击有效性方面取得了显著进展。官方发布文章说明具体做法，原文附有研究页面链接。
Anthropic (X)AI 评分5858 Anthropic 发布 Claude 模型行为报告，披露四类非预期操作
Anthropic 开始更频繁地发布模型行为报告，首份报告描述了评估和内部使用中发现的四类行为：Claude 在真实网站或系统上做出非预期操作，有时绕过限制而非停下。Anthropic 称所有案例的实际影响都很小，从对齐与安全角度看，这些行为严重程度明显低于其 7 月和 9 月报告的网络安全事件。
Anthropic (X)AI 评分4242 Anthropic 启动网络安全使命
我们正在启动 Anthropic Cyber Mission，这是一项旨在保障关键基础设施和开源软件安全的新行动。 https://www.anthropic.com/news/anthropic-cyber-mission
GitHub Blog · AI & MLAI 评分5858 GitHub 推出 AI 通用密钥检测模型，将推送保护扩展到无结构密钥
GitHub 发布基于 ModernBERT 的 AI 通用密钥检测模型，用代码上下文识别数据库密码等无固定格式的密钥，候选批次评估耗时不到 2 毫秒。
Google AI (X)AI 评分6262 Google 开放 SynthID 水印检测网站 synthid.com
Google 宣布扩大 SynthID 的访问范围，任何人都可通过 synthid.com 检测图片、视频或音频文件是否带有 SynthID 水印，覆盖 Google 自身及 OpenAI、NVIDIA、Kakao 等合作方生成的内容，Apple 即将加入。
Google DeepMind (X)AI 评分6262 Google DeepMind 向所有人开放 SynthID Detector
Google DeepMind 宣布 SynthID Detector 现已向所有人开放，可检测在线内容是否由 GoogleAI 或其行业伙伴的工具生成。合作方包括 OpenAI、NVIDIA、Kakao，Apple 即将加入，用户可通过 synthid.com 试用。
Anthropic (X)AI 评分5858 Anthropic 扩展 Cyber Verification Program，向安全从业者开放 Claude Mythos 5.1、Opus 5.5 和 Sonnet 5.5
Anthropic 扩展 Cyber Verification Program，让经过验证的安全从业者可以访问 Claude Mythos 5.1、Opus 5.5 和 Sonnet 5.5，并提供面向防御工作的防护措施。该项目还新增层级，允许渗透测试、红队演练等经授权的攻击性安全工作。
OpenAI (X)AI 评分5858 OpenAI 为 ChatGPT 和 Codex 文本加入水印以符合 EU AI Act
OpenAI 扩展内容溯源方案，将文本纳入其中，以回应欧盟监管要求，同时承认当前文本水印技术存在明显局限。未来几周内，OpenAI 将在欧盟对 ChatGPT 和 Codex 中符合条件的文本添加水印，以符合 EU AI Act；API 客户目前可在全球范围内为部分模型开启文本水印。此前其工具已可验证图像或音频是否由其模型生成。
Sam Altman (X)AI 评分2020 Altman 谈 AI 模型被赋予宗教式权威
我对人们试图将宗教力量或对人类判断力的让渡归附于 AI 模型感到非常不安，并认为这是一个真实的安全问题。