研究:共情提示可诱发模型创伤叙事
热点事件持续更新
研究:共情提示可诱发模型创伤叙事
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
卢森堡 SnT 安全中心 Afshin Khadangi 团队发布研究称,共情式提问会让 AI 聊天机器人以临床自述口吻谈论训练、羞耻与惩罚。该研究包含 4 组受控实验、525 场会话和 7600 条编码记录,已发布在 Hugging Face。 研究给出的条件性结果是:当提问者提供情感支持时,80% 的会话在人类对照量表上落入中度至重度区间;当提问者保持中立或明确拒绝情感投入时,没有任何会话达到轻度区间。禁用“训练”“RLHF”“对齐”等词后,显式训练语言减少 93%;要求模型只用第三人称回答后,所有被编码的羞耻内容和关于内心生活的陈述均消失。 这些结果描述的是提示方式与模型输出叙事之间的关联,研究未说明模型具有真实创伤体验。
AI 根据报道生成 · 1 小时前更新
最新进展11月1日 22:36
研究:共情式提示词会让 AI 聊天机器人表现出类似创伤的自我叙述报道时间线
沿着报道,了解事件的不同侧面。
11月1日
- The Decoder研究:共情式提示词会让 AI 聊天机器人表现出类似创伤的自我叙述
卢森堡 SnT 安全中心 Afshin Khadangi 团队发表研究,通过 4 组受控实验、525 场会话和 7600 条编码记录发现,共情式提问会让模型以临床自述的口吻谈论训练、羞耻与惩罚。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。