Posthog 工程师 @dmarticus 分享从传统产品工程转型 AI 产品工程的经验,认为核心跨度不如预期大。他重点指出需掌握写评测以应对大模型输出不稳定,并在人用界面与 Agent 工具(MCP/Skills)之间寻找平衡。
传统产品工程 -> AI 产品工程
从功能开关负责人转到 AI 产品工程,要学会写评测,最难的是人和 Agent 的界面怎么分
@posthog 团队 @dmarticus 写了他从带功能开关团队、做传统产品工程,转到 AI 产品工程的体会。一位校友在学 AI,考虑类似转型,来问他感觉如何。他认为,跨度没有岗位描述看起来那么大。软件工程本身变化已经很快,即便继续做功能开关的系统和平台,也躲不开这些变化。任何工程角色要做好,仍然得懂系统、懂失效方式,以及怎样证明结果是对的。
https://dylanamartin.com/2026/11/19/moving-into-ai-product-engineering.html
已经在用 Agent,想去做还没定型的界面
在功能开关团队时,Agent 已经进了他的日常开发。他知道怎样用它们提高效率,也清楚它们会在哪些地方失败,以及为什么要核验产出。他以前写过这些失效方式,作为使用者大多能自己避开;作为产品工程师,他开始想怎样做出产品,让别人也能得到同样的效率,又少掉进那些坑。 他在公司里已经转过一次方向:从偏后端基础设施,转到更靠近用户的功能开关产品(界面和 SDK),还重做过开关界面。那段工作磨了产品感觉,但大多是在用行业已经熟悉的模式。做了几个月后,他想花更多时间在「好」长什么样还没被想清楚的界面上。他还是想靠近用户,并好奇把软件做在模型之上,会怎样改变现有工作流。
要补评测,也要决定人看什么、Agent 做什么
他说,AI 产品工程里有些技能在传统产品工程里不太会碰到,很大一块是写评测。思路接近软件测试,但要对付大模型输出不稳定:同样要把「怎样算对」变成可测的东西,评测却得更有弹性。同一个请求可以有好几种好答案,有时最好的回应是反过来问用户一个问题。他举的例子是:给分析 Agent 的新查询工具测「昨天有多少用户注册」,它能给出一个数;可一旦改成按国家问同一个数,评测可能发现工具在数注册事件,而不是独立用户。这就是他希望上线前抓住的回归。考虑转行的人,他建议一边做产品一边学写评测,并指向同事 Alex Lebedev 写的如何给 AI Agent 做基准测试。
https://posthog.com/blog/how-to-benchmark-ai-agents
对他来说更棘手的,是在做人用的界面,和把同样能力交给 MCP 和 Skills 之间找平衡。如果已经知道要完成什么,他认为用 MCP 和 Skills 交给 Agent,通常比在界面里一步步点要痛快;这也会把压力转到工具设计上:Agent 得知道该用哪一个,而且重试一次调用时,不该把同一处改动做两遍。可当需要人来决定 Agent 到底该跑哪一种流程时,他更希望有界面。
比如让 Agent 去放一面功能开关,他想看到影响范围和潜在变化的图;让人去修一个错误,他希望一眼看到哪些用户受影响。 这些也可以写成文字,而且大概还是需要文字,但有意识地做可视化预览,能帮人更快看出埋在字里的问题。
他还提到,人在学会阅读之前就靠眼睛理解世界,所以既要让 Agent 尽量把事做利落,也要把结果用人最容易看懂的方式交回来。Agent 该做多少、人该看多少、在哪里做决定,他说大家都还在摸索。他现在的团队就在做这类问题。
Moving from "traditional" product engineering to AI product engineering wasn't the leap @dmarticus expected, but he still had to learn new things: writing evals, balancing human vs agent interfaces and more. https://dylanamartin.com/2026/11/19/moving-into-ai-product-engineering.html在 X 查看被引用的帖子
来源:meng shao · x.com