宝玉· @dotey · X·· 19 小时前AI 评分22
正文 · 原文
就 Gemini 产品做的那鸟样,我只能把这些当作反向指标看了。
【引用 @shao__meng】PMs are back:Gemini 产品负责人谈 AI 时代,为什么产品判断更值钱
Lenny’s Podcast 对谈 @tulseedoshi :AI 降低了实现成本,却没有降低选错方向的代价。当“能不能做出来”不再最难,做什么、什么才算好、哪些能力值得押注,就更重要。
https://youtu.be/qGf2Yvan4Wg?si=nlYKG_NlqepDfCjd
不只设定指标,也要发现模型的新能力
Tulsee 负责 Google 前沿模型的产品工作。她指出,模型开发不像传统软件那样,按规格实现就能得到确定结果。训练需要目标与评测,但也会出现预期之外的能力。
产品负责人既要检查指标,也要亲自使用模型,发现它在哪些任务中表现突出,再判断这些能力能否形成有价值的体验。只看排行榜,可能错过真正值得产品化的变化。
判断力要靠使用和评测建立
她招聘时重视持续使用模型、有自己的质量标准、能动手做评测,并愿意随能力变化调整路线的人。
评测不必一开始就很大:先选 5—20 条真正关心的提示词,亲自判断结果,明确“好”的标准,再逐步扩展。这样得到的判断,比笼统地说某个模型更强更有用。
模型升级后,系统提示、工具和技能也要重新测试。以前为弥补短板加上的规则,可能已经多余,甚至开始限制新能力。
60/20/20:兼顾今天交付和未来能力
她提出一种可调整的投入方式:约 60% 做当前能稳定实现的能力,20% 押注近期可能补齐的能力,另 20% 探索已经出现苗头、但尚未成熟的体验。
重点不是严格照搬比例,是避免两个极端:只围绕今天的局限设计产品,或者把全部价值押在未来模型一定会进步上。
PMs are back:Gemini 产品负责人谈 AI 时代,为什么产品判断更值钱 Lenny’s Podcast 对谈 @tulseedoshi :AI 降低了实现成本,却没有降低选错方向的代价。当“能不能做出来”不再最难,做什么、什么才算好、哪些能力值得押注,就更重要。 https://youtu.be/qGf2Yvan4Wg?si=nlYKG_NlqepDfCjd # 不只设定指标,也要发现模型的新能力 Tulsee 负责 Google 前沿模型的产品工作。她指出,模型开发不像传统软件那样,按规格实现就能得到确定结果。训练需要目标与评测,但也会出现预期之外的能力。 产品负责人既要检查指标,也要亲自使用模型,发现它在哪些任务中表现突出,再判断这些能力能否形成有价值的体验。只看排行榜,可能错过真正值得产品化的变化。 # 判断力要靠使用和评测建立 她招聘时重视持续使用模型、有自己的质量标准、能动手做评测,并愿意随能力变化调整路线的人。 评测不必一开始就很大:先选 5—20 条真正关心的提示词,亲自判断结果,明确“好”的标准,再逐步扩展。这样得到的判断,比笼统地说某个模型更强更有用。 模型升级后,系统提示、工具和技能也要重新测试。以前为弥补短板加上的规则,可能已经多余,甚至开始限制新能力。 # 60/20/20:兼顾今天交付和未来能力 她提出一种可调整的投入方式:约 60% 做当前能稳定实现的能力,20% 押注近期可能补齐的能力,另 20% 探索已经出现苗头、但尚未成熟的体验。 重点不是严格照搬比例,是避免两个极端:只围绕今天的局限设计产品,或者把全部价值押在未来模型一定会进步上。在 X 查看被引用的帖子
来源:宝玉 · x.com