SF Compute CEO Evan Conrad 谈可编程数据中心与 GPU 算力交易市场
SF Compute 正在把 GPU 算力做成可交易市场,并亲自承担"物理交割":买家拿到的是可用算力,而非对指数的现金结算。CEO Evan Conrad 称公司已自建云的大部分运营能力,可按中断性、恢复速度、GPU 代际与网络配置等约束撮合订单,并支持现货与远期定价。他还以可动态切分 InfiniBand 网络为例,说明数据中心的可编程化。
SF Compute 正在把 GPU 算力做成可交易市场,并亲自承担"物理交割":买家拿到的是可用算力,而非对指数的现金结算。CEO Evan Conrad 称公司已自建云的大部分运营能力,可按中断性、恢复速度、GPU 代际与网络配置等约束撮合订单,并支持现货与远期定价。他还以可动态切分 InfiniBand 网络为例,说明数据中心的可编程化。
面壁智能开源 MiniCPM-OCR 1.0 的 GPTQ W4A16 量化版本,原 BF16 权重见 openbmb/MiniCPM-OCR-1.0。

律师 u/TumbleweedNew6515 斥资 9,450 美元使用 12 张二手英伟达 V100 显卡搭建本地 AI 集群,运行 DeepSeek-V4.1-Flash 模型。该集群采用 3×PP4 并行结构及 4-bit NVFP4 量化,单请求代码生成吞吐量最高达每秒 184 个词元,优于已公开的 4 台 DGX Spark 组合。

王兴兴将"具身智能的ChatGPT时刻"预判从最快两三年收窄至最快一两年,并称明年GPT-7可能"直接把具身智能问题打穿"。RoboDojo 42项双臂任务评测中,GPT-6 Astra以22.48%平均成功率超过40个公开专用策略的最高19.34%,但10月8日被专用模型VPP2以32.26%反超。

Aionic Labs 开发的开源时间序列语言模型 OpenTSLM 现已在 Amazon SageMaker JumpStart 上线,支持用户部署至 AWS 环境。该模型结合数值测量与文本上下文,可识别系统异常并生成状态摘要、推荐操作及预期结果。Nexthink 利用此能力增强其 IT 智能体 Spark,实现主动式设备故障排查与维护。

腾讯开源 WeMM-Video-9B-AWQ,这是一个支持中英双语的视听理解与推理模型。该模型采用 W4A16 INT4 AWQ 量化技术,权重文件为 12.86 GiB,预训练数据约 1.2 万亿 token。它接受文本、图像、音频和视频输入并生成文本回复,兼容 vLLM 0.18.0 和 Transformers 5.2.0,基于 Apache License 2.0 协议开放。

LightOnOCR-3-0.8B 将扫描版书籍文字识别成本降至每 1000 页不足 0.1 美元。Hugging Face 测试显示,该模型在准确率上至少不逊于 RolmOCR,但存在空白页生成文字等缺陷。优化运行方式与升级模型均可显著节省 GPU 租赁费用。

Plurai 完成 1300 万美元种子轮融资,由 Team8 领投,U&I、Velocity 和 Mercer 参投。该公司用基于企业自有数字系统的合成数据仿真构建数字孪生,为 Claude Code、Codex、Copilot 和 Cursor 等智能体工具准备边缘案例,并可后训练小型开源权重模型。
General Compute 完成 1 亿美元 A 轮融资,由 Blackbird Ventures 和 Abstract Ventures 领投,投后估值 8 亿美元。
Blackstone 高管 Jas Khaira 在 TechCrunch Disrupt 上表示,市场对 AI 基建债务引发信贷危机的担忧被夸大,因为多数数据中心由超大规模厂商建设,债务背后是全球信用最好的公司。
vLLM 新增 push 模式的 NIXL connector,把 prefill 后的传输协调与建立过程移出首 token 关键路径。在 AWS EC2 P5en 1P1D 部署、EFA 互联的测试中,Qwen3-32B 的 TTFT 最高改善 3 倍,TPOT 最高改善 30%。该功能先在 AWS Trainium 集群验证,再作为与加速器无关的特性贡献给 vLLM。

生成式AI热潮下企业陷入“囤积悖论”,大量采购的GPU长期闲置且低效运转。研究显示79%的企业显卡至少一半时间空闲,在线推理服务中显卡常处于高功耗的执行空闲状态。学术界与工业界正从芯片指令折损、显存读写等待及长对话缓存挤占等底层机制入手排查制约因素。
Amazon SageMaker HyperPod 推出集群扩展(Cluster Extensions),为 Slurm 集群提供可声明式管理的软件配置能力。该功能首发包含可观测性扩展(sagemaker-observability)和用户管理扩展,支持通过 API 或控制台进行安装、配置与更新。

腾讯发布支持 FP8 Block128 量化的 WeMM-Video-4B 中英双语多模态模型,该模型可处理文本、图像、音频和视频输入并生成文本回复。模型基于约 1.2 万亿多模态 token 预训练,权重文件为 7.13 GiB,支持通过 Transformers 5.2.0 或 patched vLLM 0.18.0 部署。

Amazon SageMaker Inference 在 2026 年发布了 14 项新功能,使全年总数达到 26 项。这些更新包括推理推荐功能扩展至 SageMaker AI Studio、SageMaker Python SDK v3 及编码智能体,并新增了对 LoRA 适配器的支持。

PolyAI 发布专为实时复杂对话设计的推理模型 Dialog-RSN-1,该模型现已在 AWS Marketplace 和 Amazon SageMaker JumpStart 上线。用户可通过一键部署或 SageMaker Python SDK 将其作为端点运行于自有 AWS 环境,支持 OpenAI Realtime 协议及最高 30 分钟的通话时长。

Amazon SageMaker HyperPod 推出增强型基础设施可观测性,帮助团队更快诊断 GPU 训练问题。该功能通过 CloudWatch DetectGroupOutliers API 识别异常加速卡,并基于静态规则检测硬件故障、网络降级及过热等常见失效模式。默认指标每 30 秒采集一次,新增的 CloudWatch 作为默认度量存储提供更低价格和更紧密的控制台集成。

AssemblyAI 在 AWS 上以 Amazon ECS 搭配 EC2 Spot 与 On-Demand 混合的 GPU 集群运行语音转文字推理,通过跨 g4dn、g5、g6 三类实例家族分散 Spot 容量并结合 SQS 队列重试机制吸收中断。该架构在维持 SLA 的同时实现显著成本节省,并部署于 us-west-2 与 eu-west-2 以满足数据驻留合规要求。

智东西报道,AI云市场竞争正从GPU采购和集群建设的规模比拼,转向算力的组织调度与智能交付能力。Gartner预计2030年AI云市场将达2670亿美元,新云厂商有望占20%份额;IDC与中国信通院调研显示近半数企业智算资源利用率仅51%至70%。

Mercor 完成 7.5 亿美元 D 轮融资,估值达 200 亿美元,年化收入已升至 30 亿美元。公司称拥有 500 万名专家,其推理支出已是员工薪资的 3 倍。此前其收入在 2 月突破 10 亿美元、6 月突破 20 亿美元。
UCSD CSE 291A 第 13 讲聚焦分布式 LLM 推理中的 Prefix Caching 与 Prefill–Decode 解耦,主阅读为 Preble(ICLR 2025)。
Zyphra 开源了 ZYFA,一套面向 AMD Instinct MI355X 的 FP8/BF16 prefill attention kernel,采用 Apache 2.0 许可。
Runware 计划在罗马尼亚工厂以流水线方式量产模块化 AI 数据中心 Sonic Inference Pod,目标到 2028 年日产能达 30 兆瓦、约每月近 1 吉瓦。公司称客户下单后可 48 小时内完成安装上线,单个 pod 建造时间将从三周缩短至一天。Runware 迄今融资超 6000 万美元,正用去年 12 月 5000 万美元 A 轮完成新工厂,并计划启动 B 轮。
前 DeepMind 研究员 Thore Graepel 创办 Metis Reasoning,提出用 AlphaGo 的"预测网络+系统搜索"思路改造通用推理,以显式知识账本替代固化在模型权重中的知识。该方案让独立模块核验每一步推理,声称可减少幻觉、给出带引用的解释,并支持不改模型即修改或删除知识。目前仅有白皮书,无可用系统、基准测试或与现有推理模型的对比。

AWS 博客介绍用 Strands Agents 构建的自适应智能体智能框架 AAIF,以 llama3.2:1b 作为编排层对请求分类,常规任务交给 Ollama 本地 SLM 处理,复杂分析经 boto3 路由到 Amazon Bedrock。框架分智能编排、本地处理、云端处理三层,可在 8 GB 内存的 Raspberry Pi 等边缘设备、纯云或混合部署中运行。

OpenAI 发布 GPT-6.2 Astra 与 Sol 模型,Astra 定位处理高难度任务,Sol 定位为更便宜的日常编码与写作模型。商汤开源 SenseNova Loop-9B 正式版,支持文本和图像输入、文本输出,上下文最长 512K tokens。米哈游公布通用视觉语言动作基础模型 Gamer,可模拟真人操作方式自主游玩 2D 与 3D 游戏。

AWS 发布 Ray Train 深度学习容器(DLC),预集成 Ray 2.58.0、PyTorch 2.13.0、CUDA 13.0.2、NCCL 2.29.7 与 EFA 网络栈,镜像公开托管在 Amazon ECR Public,无需自行构建。

教程演示在 llama.cpp 中运行 7.9 GB 的 Underdog Saluki 27B——Qwen3.8-27B 的 2-bit 量化版本,据称约每权重两位仍保持工具调用能力,并在其自建 120 任务基准上略胜 54 GB 全量模型。
Cartesia 基于自研 State Space Model(SSM)架构的 Sonic 文本转语音与 Ink 语音转文字模型,在 AWS 上实现低于 100ms 的首字节延迟。Sonic 约 90ms 输出首个音频字节,支持 44 种以上语言和 10 秒音频样本的声音克隆;Ink 原生支持对话轮次检测与流式转写。两者面向实时语音智能体,可在 AWS 上部署以满足数据主权与合规需求。

Amazon SageMaker HyperPod 推出 MultiNodeTrainingValidation、Kubernetes Resource Monitoring Agent 和 Hung job detection 三项新功能,旨在更早发现训练故障并提升集群 goodput。

OpenAI 前董事会成员海伦·托纳表示,如果我们对未来的希望寄托于任何个人的可信度,都将面临巨大风险。她指出,当安全承诺与商业利益发生冲突时,OpenAI 的非营利董事会问责机制已失效。托纳认为,仅靠自愿协议和 CEO 的个人操守不足以保障 AI 安全,需要更明智的监管方式。

Hugging Face 首席政策官兼战略高级副总裁 Irene Solaiman 在 TechCrunch 的 Equity 播客中,谈初创公司在基于开源模型构建前需要了解的事项,包括工具与基础设施选择及开源 AI 的取舍。
苹果 iPhone Duo 开启全球限购,每位顾客最多买 2 台,国行起售价 15999 元,部分线上订单配送已推迟至明年 1 月下旬。Anthropic 推出 Claude Duet,可主动汇报并在后台继续办事;OpenAI 的 Codex 则推出永久对话缓存,API 可选 12 小时提示缓存。雷军在世界智能网联汽车大会上表示,汽车产业如果没有安全,其他都是 0。
