跳到正文
爱范儿· 张子豪·· 3 小时前同事件AI 评分78

腾讯混元 Hy4 正式版发布,实测用 WorkBuddy 复刻《王者荣耀》

实测腾讯Hy4:我用它复刻《王者荣耀》,WorkBuddy 真能接大活了

AI 导读

腾讯混元 Hy4 正式版发布,相比 preview 版在 Agent 能力和长程任务上做了优化,并新增视觉理解能力,可上传录屏或图片让模型学习并复刻。作者在 WorkBuddy 中实测,Hy4 用三十分钟按《王者荣耀》视频做出可玩的网页迷你 MOBA,还完成了 14 个 PPT、1 个 Excel 和 19 页 Word 文档的批量办公任务。

同一件事,精选收录的是《腾讯混元 Hy4 正式版发布,首次引入视觉与电脑操作能力》

正文

如果你在用 WorkBuddy,一定不会对 Hy4 preview 这款模型感到陌生。

Image

今天 Hy 4 发布,从预览版到正式版,腾讯混元在 Agent 能力和各类长程任务上进行了优化。面对真实生产任务,Hy 4 的表现比预览版有明显的全面提升,在多个 Benchmark 上拿下了开源的第一。

并且,Hy4 这一次还带来了视觉理解的能力,这意味着我们也可以直接上传一段录屏给它,然后要求它从视频中学习并复刻对应的元素;而 Hy4 生成的产物,现在也可以持续截图,利用视觉理解的能力,自我反馈并优化。

Image

APPSO 提前拿到了 Hy4 的测试资格,照着这段时间国内发布的模型,以及 ChatGPT 和 Claude 模型等常用到的测试案例,我们都让 Hy4 跑了一遍。

就像这个最近突然又火起来的鹈鹕,莫名其妙成了检验大模型的必备基准测试。

不过这一次不再是骑着自行车的鹈鹕,是 360° 立体骑车的鹈鹕、是骑在鹈鹕上的自行车,还有「自行车上有一只鹈鹕,鹈鹕骑着自行车,自行车上还有一只鹈鹕」的究极「鹈鹕骑车」挑战。

我们在 WorkBuddy 内使用 Hy4 模型,只输入一句提示词「画出一只极其逼真的鹈鹕骑自行车可交互 3D 动画」,Hy4 给出的效果完全可以说是已经「上桌」了,和 Opus 5.5、GPT-6 那些模型生成的画面,做到了一致的观感。

图|预览链接:https://www.workbuddy.link/p/7I6DjyunKkjQhzwbKD7UPG

以及无限堆叠的「鹈鹕骑自行车挑战」,Hy 4 的表现基本上都没有什么太大的问题,摆脱了「上一个版本」简陋粗糙的鹈鹕骑车,都和新模型一起顺利来到了新的阶段。

Image

根据 Hy4 的模型技术博客,这次 Hy4 在多个 Benchmark 上的表现都比之前的预览版要更好,直接来到了最强开源模型之列,超过 DeepSeek V4.1 Flash,GLM-5.3,Kimi K3.1 Pro 等多款国产模型。

Image

Hy 4 的模型参数和预览版一样,博客里提到 Hy4 显著扩展了预训练和后训练规模,

目前,Hy4 在 WorkBuddy 已经正式上线,11.4-11.15 号限时免费,API 调用价格则是和 Hy4 preview 一样,缓存命中的情况下 0.3 元的每百万 token 输入,没有命中则是 6 元,输出是每百万 token 18 元。

我们可以把平时的办公生活和各类创意工作交给它试试看,或许会比其他极度拥堵的繁忙模型体验要更好。

用 /goal 确保目标不丢失

对 Hy4 来说,这次更新的长程任务、多模态、推理以及计算机使用等功能,指向的都是同一个变化,即模型不能只在一轮对话里面给出一个漂亮答案。

当 Agent 工作成为常态,模型必须要能读懂真实世界里面的材料,也能学会操作真实世界的使用环境,在连续步骤里保持目标,并在出错之后继续把工作做完。

Image

我们这次也是先测试了 Hy4 在长程任务上的表现,通过用 /goal 来约束模型始终保持具体的目标。而当步骤不断增加时,Hy4 是否还能记得最初的计划,区分已成成和未完成的事项,并在中间结果不符合预期时调整计划。

参考网友分享的提示词,要求 Hy4 帮我们做一个写实的 3D 游戏,这段提示词能让模型从调研、开发、审查、返修,一直做到可玩的游戏和最终交付,很适合用来设计长程 Agent 测试。

模型需要完成游戏场景,是金色黄昏的后院;视觉与手感,能做到玻璃折射反射,慢动作和镜头冲击;声音与玩法,用 Web Audio 合成声音,提供计分和充值;还有工作流程、最终交付总共 5 件事情。

Image

实现的效果确实包括了音效、碎片、声音的叠加以及计分等功能,我们点击对应瓶子,就能看到玻璃破碎和的效果,听到炸开的声音。

但整个场景还是不够游戏化,于是我们继续追加需求,给它一段参考视频,要求它加入更明显的游戏体验和更强的射击感。

Image

当任务变得又长又繁杂,Hy4 依然可以自动调整,实现对应功能,最终把项目交付完整。

Image

类似的能力还体现在具体的应用编程上,我们在 Mac 电脑上安装了 Flighty 这款应用,然后要求 Hy4 使用最新的 REA 逆向工具,帮我们复刻出一个完整 1:1 的 Flighty。

Image

图|Flighty 是一款实时航班追踪应用,凭借其出色的交互和优雅的界面而备受用户喜爱

Hy4 确实利用 REA 逆向了 Flighty 所有的功能,包括那些需要会员才能使用的功能都放在了这个新的 Skyward 应用内,但是整体的 UI 就又会让人觉得有很明显的「AI」味,而不是原版应用里的高级感。

Image

图|体验地址:https://workbuddy.link/p/LxXk77vzJJ97skSHUqzwvj?source=2

于是我们继续要求它修改,参考原版应用的审美,把那些 Pro 功能全部实现,以及做成简体中文的版本。

Image

这一版的效果已经好了很多,但是其中还是有一些错误,像是需要额外的 API 才能处理的航班数据,地图信息等,但该有的信息卡片,地图航线展示等等,都基本上做到了还原。

审美也变高了,也能操作电脑了

在测试长程任务时,我们就试过了直接附上一个视频给 Hy4,它就能利用视觉理解的能力,逐帧分析视频内容,把视觉信息转化为结构化理解,再转化为代码、文档或界面操作。

有了多模态视觉,最明显的变化就是我们可以直接发图片给模型。

在 WorkBuddy 内,选择 Hy4,然后发送一张房间的图片给它,让它把这张照片里的房间做成一个可以在浏览器里玩的微缩空间。

Image

图|预览链接:https://www.workbuddy.link/p/ay2LqHxKSQPXUfqovztX5Z

又或者是发送一段游戏实录视频给它,要求 Hy4 开发一个同款的游戏,保持和视频里面一样的游戏玩法,游戏玩法,网页点开就能玩。

我们找了一个王者荣耀的视频给它,Hy4 很快确认了这是一段《王者荣耀》风格的 MOBA 实机演示,包括俯视 2.5D 峡谷、虚拟摇杆 + 右下技能轮盘、补兵/清线、击杀播报、推塔打水晶。

三十分钟的时间,Hy4 就按这套核心循环做了一个网页直接打开就能玩的完整迷你 MOBA。

Image

图|预览地址:https://workbuddy.link/p/IHJepO2AIDltVJS5zbW7Kh

我们还把最近 Opus 5.5 的热门案例视频发给 Hy4,让它也复刻一个同款,就像这个特斯拉汽车工厂的 3D 装备模拟。

Image

图|预览地址:https://www.workbuddy.link/p/lAEla19XN3ukvZ3iOmSbP7?source=2

除了可以直接发送图片或视频给 Hy4,让模型进行理解,减少我们用文本提示词描述的障碍。多模态的能力还体现在 WorkBuddy 内,Hy4 可以持续地对生成的结果进行截图,对截图进行分析,然后优化画面。

就像这个东京的雨夜街头,我们仅仅就是使用下面这段提示词,Hy4 就做出了这个短片的效果。车水马龙的人行道上,撑着雨伞的行人来去匆匆,上方的轨道交通疾驰而过,和提示词里面描绘的风格一模一样。

Image

图|预览链接:https://www.workbuddy.link/p/plhKUDfdXuvYpSHd5EKw05

Create a silent, autoplaying 20-second film in one self-contained HTML file. A rainy Tokyo crossing comes alive in black, red, teal and white, with rough carved lines and visible print grain. One signal cycle drives the scene: umbrellas wait, surge diagonally across the road, then drain away as traffic resumes. Footsteps break the gouged reflections and a train passes overhead. Keep the crowded movement readable, with a clear contrast between waiting, crossing and the briefly empty street. Draw all artwork in code; no outside visual assets or website UI. 来自 X@petergostev

这些能力的提升,也让 Hy4 在电脑操作上的表现有了大幅提升。现在我们可以直接在 WorkBuddy 内,使用 Hy4,让它进行看屏幕 → 找到按钮和菜单 → 移动鼠标、点击、滚动、输入文字 → 根据页面变化继续操作,直到完成任务等一系列流程。

例如,操作电脑上的 Blender,帮我们做一个花园城市新加坡的 3D 场景建模。Hy4 能识别到电脑上的 Blender 版本,并确保性能足够,然后开始使用脚本进行电脑操作。

Image

最终实现的效果,也是挑不出太多的毛病,使用 Hy4 的 WorkBuddy 给我们交付了以 blend 为后缀名的 3D 资产文件,并且在 Blender 应用内也能直接看到这套完整的「花园城市新加坡」滨海湾概念场景,共计约 4550 个对象。

Image

最日常的 Office 和最难的科学推理

在这里热门测试之外,Hy4 在做 Excel、PPT 这些最日常但是最考验稳定性的办公场景任务里,对于预览版,表现也更加突出。数据、公式、图表的对应,以及模板的统一,最终交付的真实文件都可以直接拿来用。

我们选择了一个放了十多篇论文的文件夹作为 WorkBuddy 的工作环境,并告诉 Hy4 把这些论文总结,每篇论文都要做一个组会报告的 PPT,同时整理这些论文的信息为 Excel 表格,并根据这些论文再帮我写一份研究报告。

14 个 PPT 文档,一个 Excel 文件和一个 19 页的 Word 文档,Hy4 只花了半个小时,就把这些内容都做出来了。

Image

Excel 里面的信息出乎我意料的完整,它没有简单的罗列这些论文基本信息,而是真实地把文档里面的具体信息进行了阅读理解,然后分门别类放在了一起。

Image

PPT 的表现就更不用多说了,14 个文件,PPT 视觉排版和版式都做到了统一,遵循对应的格式规范。

Image

这里也体现了模型与 WorkBuddy 协同的重要性。模型负责理解、规划和判断,工具链负责读取、计算、渲染和写入,一个任务才能确保不出问题,准确完成。

而在复杂的科学推理上,Hy4 已经能完成多学科的科研任务,例如小鼠胚胎的三维重建,完善数学猜想,在和北大数学团队的合作里,Hy4 成功找到了 Méndez–Pinto–Villarreal 猜想的反例,并进行了形式化验证。

Image

此外,Hy4 现在还能参与细胞和物理模型的研发,对比当前的 SOTA 模型,在多个数据集上的表现,都做到了误差更小,保真度更高。

来到最强开源之列的混元

从 4 月的 Hy3 preview 到 7 月的 Hy3 正式版,再到 8 月推出 Hy4 preview,11 月推出 Hy4 正式版,拿下最强开源模型。

混元模型的发布节奏几乎稳定在四个月一个大版本的预览模型,每个预览版本后用三个月的时间根据反馈继续打磨,推出正式版。

Image

这套模式也确实让混元模型的自身能力和用户口碑不断在上升,尤其是配合 WorkBuddy 的情况下。

从能力上限、长程稳定性、执行效率和真实交付成本来看,我们这次 WorkBuddy 实测确实看到了后三项在真实任务中的表现。

在大多数日常的办公和创意任务上已经能够满足我们的需求,基本上做到了一次性交付;在涉及到需要大量电脑操作和复杂流程的工作上,可能就还是需要我们在多轮的交互中帮助它理解我们的意图。

而关于模型的能力上限,一些尚未覆盖的场景,则可能还是更多取决于测试的上限,大家不妨到 WorkBuddy 里面用各种高难度任务去「拷打」一下 Hy4。

相比 preview,长任务能力和视觉理解确实让 Agent 工作起来更加顺心,Hy4 与 WorkBuddy 的协同又要比模型单点的跑分更加有竞争力。

我们也能看到腾讯正在把模型、工具和产品场景放进同一条迭代链路。而用户对 WorkBuddy 的投票,已经说明这个方向正在成立,越来越的人愿意把更多的真实工作交给它,且不需要一直在旁边盯着。

#欢迎关注爱范儿官方微信公众号:爱范儿(微信号:ifanr),更多精彩内容第一时间为您奉上。

来源:爱范儿 · ifanr.com