DeepSeek 开源生产推理栈 DeepInfer,披露单集群 155T tokens/天与单卡每小时 38 美元收入
DeepSeek 开源了支撑 V4.1 Flash 的生产推理栈 DeepInfer,并公布单集群每天处理 155 万亿 tokens、96% 输入缓存命中、单卡每小时 38 美元收入等生产数据。
推荐理由:DeepSeek 开源生产推理栈并披露单集群吞吐与单卡收入,读者可据此对照 vLLM 复现结果判断其可迁移性。
DeepSeek 开源了支撑 V4.1 Flash 的生产推理栈 DeepInfer,并公布单集群每天处理 155 万亿 tokens、96% 输入缓存命中、单卡每小时 38 美元收入等生产数据。
推荐理由:DeepSeek 开源生产推理栈并披露单集群吞吐与单卡收入,读者可据此对照 vLLM 复现结果判断其可迁移性。
钛媒体作者分析DeepSeek于10月20日开源的推理框架DeepInfer,华为昇腾950系列NPU与英伟达SM100同时进入支持名单,来自同一代码树,仅通过一个环境变量即可在两类硬件间切换。
推荐理由:从推理框架对等支持两类芯片切入,梳理国产芯片在推理时代角色变化的依据与尚未验证之处。
Amazon Bedrock 现已在 bedrock-runtime 和 bedrock-mantle 两个端点为所有 Anthropic Claude 模型提供结构化输出,返回符合所定义 JSON Schema 的响应。
推荐理由:原文说明了约束解码如何把输出格式从概率性变为确定性,并给出缓存与性能开销的具体细节。
推荐理由:DeepSeek 公开了支撑自家模型规模化服务的推理框架,读者可据此了解其生产栈的吞吐与延迟取舍。
推荐理由:原文交代了 ChatGPT 中 GPT-6 Astra Pro 的响应速度、插件调用和多智能体并行三项变化,读者可据此判断现有工作流会受何影响。
OpenAI 推出 Rosalind 学术计划,为符合条件的学术实验室提供 GPT-Rosalind 及相关工具的赞助访问,用于推进生命科学研究。
推荐理由:OpenAI 面向学术实验室开放 GPT-Rosalind 的赞助访问,读者可据此了解生命科学研究的准入条件。
NVIDIA 发布面向创作者、游戏玩家和 AI 智能体的 Windows PC 产品 RTX Spark,并在全球多地举办发布活动。
推荐理由:原文给出 RTX Spark 的本地 AI 实测完成时间对比,可据此判断笔记本端侧推理的可用性。
推荐理由:官方给出 Ultrafast 在 API、Codex 与 ChatGPT Work 的上线范围,以及相对 Sol Standard 最高 8 倍的速度对比。
GPT-6 and Intelligent UI, now rolling out in ChatGPT for everyone. Intelligent UI in ChatGPT delivers fast, interactive answers that make everyday questions more visual, complex topics easier to grasp, and interactive tools for your task available on the spot.
推荐理由:ChatGPT 新增按需生成交互界面的能力,读者可了解回答形态从文字转向可视化交互的变化。
推荐理由:官方给出 GPT-6 与 Intelligent UI 在 ChatGPT 全量上线的能力描述,读者可据此了解交互形态的变化。
微软研究院开源 Agent Lightning v1.0,这是一个约 3500 行代码的轻量 Agentic RL 框架,提出 Harnessed Agentic RL 范式,让部署时使用的 agent harness 直接参与强化学习,无需在训练框架内重写 agent。
推荐理由:微软研究院开源约 3500 行的 Agent RL 框架,用真实 harness 参与训练,并给出 6000 样本提升 14.6 个点的完整流程。
阿里发布 Qwen Intelligence,首批上线 Mobile Planner、Mobile-Use、Mobile Creative 三款手机端智能体。
推荐理由:官方给出三个手机端智能体的分工与基准成绩,并同步开放评测套件,便于判断移动端智能体当前能力边界。
Qwen Image 2.1 is here! 🖼️ A 7B params native image generation and editing model, with up to 10 image references The model comes with it's own prompt enhancement LLMs, integrated with diffusers 🧨 and ComfyUI ▶️ on Spaces https://huggingface.co/spaces/hugging-apps/qwen-image-2-1
推荐理由:Qwen-Image-2.1 在 Hugging Face Spaces 上线可直接试用的在线 demo,读者无需配置环境即可体验生成与编辑共用一个 checkpoint 的效果。
推荐理由:官方给出 Google Pics 的图像编辑能力与订阅、Workspace 开放范围,可据此判断可用性。
Meta 发布个人智能体 Muse,由 Muse Spark 1.3 驱动,可在生活各场景中替用户完成任务。官方同时给出介绍页面,说明 Muse 的构建过程与具体能力。
Introducing Muse, your personal AI agent from Meta that gets things done across every part of life. Download the Muse app and get started: https://Muse.ai
推荐理由:Meta 官方发布个人智能体 Muse,并给出构建思路与能力说明的入口。
Google 推出 AlphaGenome Atlas,一个面向基因组学发现的可交互平台,把 AlphaGenome 的预测扩展到人类基因组全部 90 亿个单字母变异,形成约 1PB 数据集。
推荐理由:原文交代了平台如何把 AlphaGenome 的预测扩展成 1PB 数据集,并给出零代码检索入口,便于读者判断它对基因研究流程的改变。
推荐理由:官方给出 Harness 的插件化架构与 MIT 开源仓库,读者可据此判断它能否接入现有智能体工作流。
推荐理由:官方公布 V4-Flash API 公测,并给出 Agent 能力提升与 Codex 适配的配置入口。