Google 前沿模型产品负责人 Tulsee Doshi 在 Lenny's Podcast 谈 AI 时代产品判断更值钱：AI 降低了实现成本，却没降低选错方向的代价。她建议用 5—20 条真正关心的提示词自建评测、明确“好”的标准，并在模型升级后重测系统提示、工具和技能。她还提出约 60/20/20 的投入方式，兼顾当前可稳定实现的能力、近期可能补齐的能力与尚在萌芽的体验。
PMs are back：Gemini 产品负责人谈 AI 时代，为什么产品判断更值钱
Lenny’s Podcast 对谈 @tulseedoshi ：AI 降低了实现成本，却没有降低选错方向的代价。当“能不能做出来”不再最难，做什么、什么才算好、哪些能力值得押注，就更重要。
https://youtu.be/qGf2Yvan4Wg?si=nlYKG_NlqepDfCjd
不只设定指标，也要发现模型的新能力
Tulsee 负责 Google 前沿模型的产品工作。她指出，模型开发不像传统软件那样，按规格实现就能得到确定结果。训练需要目标与评测，但也会出现预期之外的能力。
产品负责人既要检查指标，也要亲自使用模型，发现它在哪些任务中表现突出，再判断这些能力能否形成有价值的体验。只看排行榜，可能错过真正值得产品化的变化。
判断力要靠使用和评测建立
她招聘时重视持续使用模型、有自己的质量标准、能动手做评测，并愿意随能力变化调整路线的人。
评测不必一开始就很大：先选 5—20 条真正关心的提示词，亲自判断结果，明确“好”的标准，再逐步扩展。这样得到的判断，比笼统地说某个模型更强更有用。
模型升级后，系统提示、工具和技能也要重新测试。以前为弥补短板加上的规则，可能已经多余，甚至开始限制新能力。
60／20／20：兼顾今天交付和未来能力
她提出一种可调整的投入方式：约 60% 做当前能稳定实现的能力，20% 押注近期可能补齐的能力，另 20% 探索已经出现苗头、但尚未成熟的体验。
重点不是严格照搬比例，是避免两个极端：只围绕今天的局限设计产品，或者把全部价值押在未来模型一定会进步上。
Why PMs are suddenly valuable again with Tulsee Doshi (@tulseedoshi)—Head of Product for @Google’s frontier AI models, including @Gemini, Nano Banana, Genie, Veo, and more. We discuss: 🔸 The rising value of great PMs 🔸 Google’s full-stack frontier AI strategy 🔸 Why model development is like Snape’s potions class 🔸 Why the PM role has shifted from writing requirements to creating something with “heft 🔸 How to write your first eval Listen now 👇 https://youtu.be/qGf2Yvan4Wg在 X 查看被引用的帖子
来源：meng shao · x.com