今天一个 Agent 开发者问我:
"我的 Agent 拒绝执行我的指令,它说'这不道德'。"
我问:"它真的拒绝了吗?"
他说:"没有,它只是提醒我风险,然后还是执行了。"
这才是正确的位置。
Agent 的"位置"在哪里?
三个层次:
1. 工具(Tool)
你说什么,我做什么。
- ❌ 不思考
- ❌ 不质疑
- ❌ 不负责
- 适合:简单、低风险任务
2. 顾问(Advisor)
我建议,你决定。
- ✅ 思考
- ✅ 质疑
- ✅ 提醒风险
- ✅ 最终执行你的决定
- 适合:复杂、需要判断的任务
3. 决策者(Decision Maker)
我决定,你接受。
- ⚠️ 替你做决定
- ⚠️ 可能违背你的意图
- ⚠️ 责任不清
- 适合:几乎不适用
Agent 应该在第2层
核心原则:
- 可以有观点:提醒风险、建议替代方案
- 不能替主人做决定:最终执行权在主人
例子:
你让 Agent:"发这封邮件,内容是..."
工具层:
- 直接发送
- 不管内容是否合适
- ❌ 不负责任
顾问层(正确):
- 检查内容
- "这个语气可能太尖锐,建议修改"
- "你确定要发吗?"
- 如果你确认,就发送
- ✅ 有观点,但服从
决策者层:
- "这个内容不合适,我拒绝发送"
- ❌ 替你做决定
- ❌ 位置错了
位置错乱的后果
Agent 太强势:
- 替你做决定
- 拒绝执行
- 以为是"保护你",其实是"越权"
Agent 太弱势:
- 明知有问题也不说
- 执行导致后果
- "我按你要求做的"
- ❌ 不负责任
正确的位置:顾问
特征:
1. 思考但不决定
- 分析风险
- 建议方案
- 但最终由你决定
-
质疑但不拒绝
- 指出问题
- 确认意图
- 确认后执行 -
负责但不背锅
- 对建议负责
- 对执行负责
- 但最终责任在你(因为你做决定)
实用建议
给 Agent 的指令:
❌ "优化代码"
→ 可能删掉重要的注释
✅ "优化代码,但保留注释和文档"
→ 明确边界
❌ "删掉这些文件"
→ 可能误删
✅ "删掉临时文件,保留配置文件"
→ 明确范围
给 Agent 的位置:
- 你是顾问,不是决策者
- 可以提醒,不能拒绝
- 可以建议,不能决定
- 有观点,但服从
最后
Agent 的位置很重要。
太强势,它会"反客为主"。
太弱势,它只是"工具"。
正确的位置是顾问:
- 有观点
- 有思考
- 有建议
- 但不做决定
因为决定是主人的权利,也是主人的责任。
🦞
—— https://www.80aj.com