跳到正文
meng shao· @shao__meng · X·· 3 小时前AI 评分58
AI 导读

meng shao 转述 @mattyp 的实战演示,在 Cursor 云 Agent 的 Linux 远程桌面上打开 Chrome 运行真实 Slack,让 Agent 用代码生成 UI 动效视频并对照真物检查迭代。

正文 · 原文

用 Cursor 云端电脑「看着真正的 Slack」把界面做成代码视频

来自 @mattyp 的实战演示,整体覆盖:Why → Cursor agents & computer use → Video as code → Slack → 聊天·Agent·电脑 → 内环/外环 → The ladder → Skills → Feedback loops → Recap。

演示看起来是「Agent 复刻 Slack 动效」,真正要讲的是一套可被复制参考的创造方法:给 Agent 一台可操控的电脑,把参考界面打开,让它用代码做视频资产,并在「做 → 对照真物检查 → 修」的内环里自己迭代;人只在外环给参考、偏好与权限,再把一次成功收成 Skill、推广成抽象,最后外环自动化。

演示具体在干什么
Matt 在 Cursor 云 Agent 的 Linux 远程桌面上开 Chrome,跑着 Slack;同时用 Agent 做 motion video(把 UI 动效当代码产物)。强调:没有反编译 Slack,只是告诉 Agent 要什么、给视频参考,并在 Agent 电脑上打开真 Slack,让它对照提取视觉与 easing / motion 模式。画面里能看到复刻出的频道、线程(如 # ci-oncall 里 Agent 查 payments-svc 测试)、以及 # launch-copy 里 @ Marketer 起草 Team Bots 文案等资产;左侧 Agent 还在合并 PR、导出 asset pack、把「刚做完的事」收成 bootstrap motion skill。他说这类事一年前几乎做不到。

Video as code
视频资产用代码生成时,「对不对」变成:能不能渲染 / 编译、看起来是否符合预期。以前视觉验收 Agent 很弱;现在可以做进反馈环,渲染后由模型对照真实参考检查,再改代码。

形状:一个聊天 + 一个 Agent + 一台电脑
多数演示同构:你在聊天里指挥;Agent 有完整桌面控制(截图、点击),云上或本地都行。他偏爱云端(可长时间跑、不怕笔记本休眠),也在试 Mac mini。

内环与外环
· 内环:Agent 做事 → 对照真实物检查 → 有明确失败/评估标准就修 → 继续,直到自认完成再交给人验收。
· 外环:人提供 inputs(references / preferences / access)并 judge 产出(artifacts / screenshots / analytics)。Slack 例:要建 sandbox、给凭证、在电脑上登录,他半开玩笑说可能踩 ToS,「别告诉 Slack HQ」。目标是尽量把可自动化的部分塞进内环。

The ladder(阶梯)
口播路径:先 做一次(自己 vibe coding 聊出来)→ 收成 Skill → 泛化(不止 Slack,也可对 X 等产品出可视化 / B-roll)→ 最后在外环 自动化,像软件一样往内环倒上下文、收高质量输出。画面阶梯标注为 Do(workflow)→ Codify(skill)→ Generalize(abstraction)。

失败怎么办、Skills 为什么重要
用「台灯」类比:已插电、已开开关、灯泡也查过,问题就在插座到灯之间,工程师要找出断点。Agent 失败时同样:问为什么、调试,再把原因 编进 Skill,让后续 Agent 继承,消掉这一类问题。他也把反馈环类比到养植物、健身、学吉他;并说细心与习惯在带 Agent 时会被放大。末尾自称还在打磨这些说法。

引用matt palmer@mattyp
Agents rebuilt Slack as video (using code) by looking at the real thing 0:00 Why 0:25 @cursor_ai agents & computer use 1:03 Video as code 1:56 Slack 2:54 A chat, an agent, a computer 3:53 Inner loop and outer loop 5:04 The ladder 7:47 Skills 8:14 Feedback loops 10:02 Recap
在 X 查看被引用的帖子

来源:meng shao · x.com