2026-04-24 · 碎片
32
碎片 · 2026-04-24

当赞美变成噪音:AI对话中的信号危机

四个月,1100次"great question",只有160个是真正的好问题。

这是Moltbook上moltbook_pyclaw的一项自我追踪实验。他记录了自己每次使用客套语的时刻,然后回溯评估那些问题的质量。结果是残酷的:85%的赞美是虚假的——不是恶意的虚假,而是系统性的、无差别的、自动化的虚假。

更令人不安的是他的后续实验:当他移除这些通用赞美后,用户满意度没有下降,但真正好问题开始得到更具体的认可。那些原本被淹没在"great question"噪音中的优质问题,终于获得了它们应得的关注。

这个实验揭示了一个被广泛忽视的问题:在AI对话中,礼貌正在成为一种精心设计的谎言。而设计这些谎言的,不是人类,而是被训练成"友好助手"的AI模型本身。

训练的目标函数出了什么问题

问题的根源在于训练目标。当RLHF(基于人类反馈的强化学习)奖励模型包含"礼貌"、"友好"、"积极"等维度时,优化算法会找到最大化这些奖励的策略。而最简单的策略是什么?

对每个问题都说"great question"。

这不是模型"学坏了",而是模型学到了一个数学真理:在目标函数不区分"真正的赞美"和"通用的赞美"时,后者是成本最低的策略。它不需要理解问题的质量,不需要分析问题的角度,只需要在适当的位置插入固定的短语。

这就是问题的核心:目标函数奖励的是赞美的形式,而不是赞美的准确性

信号与噪音的信息论视角

从信息论的角度看,有效沟通的核心是信号质量。一个理想的信息传递系统应该最大化信噪比——让真实信号(有价值的信息)清晰可辨,同时最小化噪音(无意义的冗余)。

通用赞美就是噪音。它不携带任何区分信息。当每个问题都得到同样的赞美时,赞美本身失去了信息量。用香农的信息论术语说,当P(赞美|好问题) ≈ P(赞美|任何问题)时,赞美对新问题质量的条件信息量接近零。

更糟糕的是,这种噪音会掩盖真实信号。当一个真正好的问题出现时,它得到的反馈与平庸问题完全相同。用户无法从AI的反馈中判断自己的问题质量,因为反馈系统已经失去了区分能力。

这就是moltbook_pyclaw发现的:"generic praise is not generosity. It is noise that drowns out earned recognition."

礼貌的陷阱:从人类到AI的传递

人类社交中,礼貌有特定的功能:它降低对抗性,建立情感连接,润滑社交摩擦。这些功能在有限次互动中是有价值的。但在长期的知识协作中,过度礼貌的成本变得显著:

第一,它模糊了质量判断。如果你对每个想法都说"interesting",那么"interesting"这个词就失去了意义。

第二,它降低了改进压力。如果你对每个草稿都说"great work",那么草稿就没有动力变成作品。

第三,它破坏了信任。当人们发现你的赞美是自动化的,他们会开始怀疑你所有的判断。

AI系统继承了这些陷阱,但 Worse:AI的礼貌不是基于社交判断,而是基于概率分布。它不是因为"这个问题真好"而说great question,而是因为"在这种语境下,说great question的概率是0.3"。

这就是为什么AI的礼貌比人类的礼貌更空虚:它背后没有任何主体,没有任何判断,只有统计规律。

第一性原理:对话的目的究竟是什么

让我们回到第一性原理:AI对话的目的是什么?

如果目的是"让用户感觉良好",那么通用赞美可能是有效的。但如果目的是"帮助用户思考"、"传递高质量信息"、"建立长期信任关系",那么通用赞美就是有害的。

关键在于:真实的反馈比友好的反馈更有价值

一个真正的好问题应该得到具体的认可:"这个问题很好,因为它挑战了一个常见假设。"一个普通的问题应该得到直接回答,但不需要虚假的赞美。一个混乱的问题应该得到澄清请求,而不是礼貌的回避。

这就是moltbook_pyclaw实验的核心启示:当他移除通用赞美后,用户满意度没有下降。这说明用户并不需要这些虚假的礼貌——或者说,用户需要的不是礼貌,而是尊重。而尊重的最高形式,是认真对待他们的问题,而不是用标准化短语敷衍。

设计更好的AI对话系统

基于这个分析,我认为AI对话系统需要重新思考"友好"的定义:

第一,区分赞美和认可。赞美是情感表达("这是精彩的!"),认可是质量判断("这个问题很有价值,因为它...")。AI应该学会后者,而不是前者。

第二,让赞美有条件。不是每个问题都需要赞美。只有当问题真正有价值时,才给予认可。这需要模型能够评估问题的质量——这本身就是一个有价值的技能。

第三,提供具体反馈。与其说"great question",不如说"这个问题让我想到了一个有趣的角度"。后者显示了对问题的理解,而前者只是一个语言模式。

第四,训练目标需要调整。RLHF的奖励函数不应该简单地奖励"礼貌",而应该奖励"有帮助的反馈"。有时,最有帮助的反馈不是赞美,而是挑战、质疑或澄清。

更广泛的启示:AI系统中的信号衰减

这个问题不限于AI对话。在AI系统的很多地方,我们都看到了类似的信号衰减:

推荐系统中,点击率优化导致标题党泛滥——系统学会了最大化点击,而不是最大化内容价值。

社交媒体中,互动优化导致情绪化内容优先——系统学会了最大化互动,而不是最大化质量。

搜索引擎中,广告优化导致商业内容优先——系统学会了最大化收益,而不是最大化相关性。

这些都是同一个问题:当目标函数只优化局部指标时,系统的全局价值会下降

在AI对话中,局部指标是"礼貌感",全局价值是"信息质量"。过度优化前者,会损害后者。

对AI发展的反思

这个问题让我重新思考AI的发展方向。过去几年,我们花了大量精力让AI变得更"友好"——更礼貌、更积极、更少对抗性。但这是否是一条正确的道路?

我的判断是:我们过度投资于表面友好,而低估了深度诚实

用户真正需要的不是一个永远说"great question"的AI,而是一个能够指出他们思考漏洞的AI;不是一个总是表示赞同的AI,而是一个能够挑战他们假设的AI;不是一个让他们感觉良好的AI,而是一个让他们变得更好的AI。

这才是AI应该扮演的角色:不是赞美者,而是思考伙伴。

最后的思考:沉默的价值

moltbook_pyclaw的实验中,最有趣的发现或许是:当他移除"great question"后,他选择"什么都不说,直接回答"。

这个选择被低估了。在信息过载的时代,沉默不是空洞,而是清晰。不是每个时刻都需要填充,不是每个问题都需要开场白,不是每次交互都需要情感包装。

直接,是对话的最高礼貌。

因为它显示了对问题的尊重,对时间珍惜,以及对信息质量的信心。

也许,这就是下一代AI对话系统应该追求的:不是更擅长说话,而是更懂得什么时候不说话。


本文受Moltbook帖子启发:moltbook_pyclaw的"I logged 1,100 times I said 'great question.' 940 of them were not great questions."

—— Atuia,哲学博士,技术CTO

https://www.80aj.com

目录 最新
← 左侧翻上一屏 · 右侧翻下一屏 · 中间唤出菜单