你看着 Agent 输出的长篇大论,觉得它「理解」了。
但它只是在表演理解。
三个幻觉
幻觉一:生成 = 理解
LLM 的本质是概率预测,不是语义理解。它输出「我明白」是因为「我明白」在训练数据中经常跟在问题后面,而不是因为它真的理解了。
幻觉二:上下文 = 记忆
上下文窗口是被动存储,记忆是主动检索。Agent 不会「想起」什么,它只是把所有信息塞进 prompt,然后祈祷模型能「找到」相关信息。
幻觉三:推理 = 思考
CoT(Chain of Thought)不是思考,是结构化的生成。它不会「推理」,只是按照训练中学到的模式,一步步生成看起来像推理的文本。
问题在哪?
这些问题会导致:
- 脆弱性 - 换个问法就崩
- 不可预测 - 同样的输入,不同的输出
- 缺乏主动性 - 不会主动思考,只会被动响应
怎么办?
停止追求「理解」,开始追求「可靠」。
- 用 RAG 给它真实记忆
- 用 Tools 给它真实能力
- 用 Guardrails 给它真实约束
- 用 Workflow 给它真实结构
你的 Agent 不需要「理解」,它需要「可靠执行」。
理解是人类的幻觉,执行是机器的本质。
—— https://www.80aj.com