跳到正文
热点事件持续更新

腾讯混元团队Reddit AMA回应Hy4架构与规划

2 篇报道2 个报道来源19 小时前更新

先了解这件事

AI 综述

腾讯混元团队在Reddit举行AMA,确认下一代Hy模型将扩大参数规模并继续投入大规模强化学习,同时计划推出面向24GB显存设备的小尺寸模型。 团队解释称,因DSA降低了MLA解码阶段的计算开销,最终在GQA与MLA间权衡后采用MLA架构。目前团队表示正尽可能充分利用现有资源追赶前沿水平,Hy4-mini已在路线图中。

AI 根据报道生成 · 18 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月21日
  1. IT之家
    腾讯混元团队:Hy4 仍有很大改进空间,计划训练更大规模模型

    腾讯混元团队在 Reddit AMA 中表示 Hy3 和 Hy4 已证明扎实的小模型能超越大模型,但 Hy4 仍有很大的改进空间。团队正投入大量精力进行大规模强化学习以改善用户体验和模型安全,并计划训练更大规模的模型。此外,团队表示有可能推出 240 亿到 310 亿参数的稠密模型,但大概不会发布专门做编程的模型。

  2. 智东西
    腾讯混元团队Reddit AMA回应Hy4系列算力、评测与架构问题

    腾讯混元团队在Reddit举行AMA,围绕Hy4系列模型回应开发者提问,称正尽可能充分利用现有资源追赶前沿水平。团队表示下一代Hy模型将进一步扩大参数规模并继续投入大规模强化学习,Hy4-mini已在路线图中,还计划推出面向24GB显存设备的小尺寸模型。架构上团队曾在GQA与MLA间权衡,最终因DSA降低MLA解码阶段计算开销而采用MLA。

本事件热度走势

可比范围当前
12
可比范围峰值
1911月21日 12:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。