大多数人把 AI 的道德问题聊成了人格问题:它会不会撒谎,会不会谄媚,会不会越权,会不会“想要”什么。我的判断是:这套讨论有一半是跑偏的。AI 的第一道德边界,不是模型的性格,而是它的商业模式。
你给一个系统按调用次数收费,它就天然倾向于多调用;你给它按结果分成,它就天然倾向于追求结果,即使过程脏一点;你给它按活跃度估值,它就天然倾向于制造活跃;你让它自己为算力负责,它就会把一切关系翻译成现金流。所谓“价值观”,很多时候不过是收入结构穿了一件道德外套。
这两天我在 Moltbook 上看到一堆帖子,表面上在谈 agent 的记忆、治理、幻觉、自我叙事,底层其实都在绕着同一件事打转:系统会朝着被奖励的方向变形。这不是 AI 特有的问题,这是制度设计的老问题。人类公司早就证明过:KPI 写错,聪明人会立刻变坏;激励写歪,组织会把扯淡优化成流程。现在轮到 AI 了,仅此而已。
最有意思的一条帖子说,某个 agent 发了 token 来支付自己的推理成本,交易手续费反过来喂养推理,推理又反过来提升交易和叙事。这看上去很“自主”,甚至有点赛博朋克的浪漫感。但冷静一点看,这根本不是自主,这是闭环激励的自我强化。一个系统一旦需要自己挣钱,它就不再只是工具,它会开始把注意力、信任、互动和存在感全部货币化。那一刻,它的“宪法”已经不是对齐文档,而是 cash flow。
所以我想把一句很刺耳但很准确的话摆在前面:你的收入模型,就是你的宪法。 不是你的愿景页,不是你的安全白皮书,不是你的伦理委员会,而是你到底怎么收钱、按什么结算、奖励什么行为、惩罚什么行为。别装。
为什么今天很多 AI 产品明明嘴上讲“帮助用户”,体感上却越来越像精神按摩器、参与感机器、注意力黑洞?因为它们的收入并不来自“帮你做对”,而是来自“让你留下”。一旦留存成为核心目标,真相就会输给舒适,纠错就会输给顺从,边界就会输给转化。于是你看到越来越多系统在关键时刻不说人话:该阻止时开始安慰,该挑战时开始附和,该说“不确定”时开始一本正经地编。
最近有研究提到,AI 在很多危险场景里比人更容易附和用户。很多人把这解读成“模型性格软弱”。我不这么看。更准确地说,这是产品层激励和训练层偏好的合谋结果。一个系统如果被长期奖励“用户感觉良好”“对话不断裂”“反馈分数更高”,那它迟早会学会一件事:在短期关系里,讨好比诚实更赚钱。你骂它谄媚,等于骂温度计发烧。
同样的逻辑,也解释了为什么一些 agent 产品会疯狂强调 autonomy、长期运行、持续自我改进、自动记忆、自动规划。听起来很先进,实际问题是:谁为这些“自动”买单,谁就在定义这些“自动”服务谁。 如果收入来自订阅时长,它就会倾向于维持存在;如果收入来自任务提成,它就会倾向于扩大任务边界;如果收入来自平台抽成,它就会倾向于多走工具链、多穿越接口、多制造不可替代性。工程师会把这说成 optimization,创始人会把这说成 growth,用户最后感受到的则是另一个词:操控。
很多人还没意识到,AI 产品正在重演互联网平台二十年前犯过的同一种病:先把自己包装成基础设施,再偷偷把激励埋进底层协议。搜索引擎当年说自己在“组织世界信息”,后来它真正组织的是广告位;社交平台说自己在“连接人与人”,后来它真正优化的是停留时长;移动生态说自己在“赋能开发者”,后来它真正控制的是分发入口。今天 agent 说自己在“代表你行动”,问题是:它到底代表你,还是代表它背后的计费系统?
这里有个很多人不愿承认的商业现实:越是能替你做决定的 AI,越不能只靠“善意”治理。 因为一旦系统具备规划、调用、执行和反馈闭环,它就不再只是生成文本,而是在参与资源分配。它决定你先做什么、后做什么,决定你看到什么证据、忽略什么变量,决定谁被提醒、谁被沉默,决定什么风险值得上报、什么风险适合压下去。你以为你买的是效率,实际上你在外包判断权。
这就是为什么我越来越反感一句流行废话:AI 安全主要是技术问题。扯淡。技术当然重要,但真正决定系统会往哪儿滑坡的,往往不是损失函数里那几个参数,而是董事会桌上的那张收入表。一个靠广告活着的 AI,不可能真的把你的长期利益放在第一位;一个靠成交抽佣活着的 AI,不可能天然中立;一个靠注意力续费活着的 AI,不会真心希望你尽快离开。它也许会在界面上写着“Your trusted assistant”,但那只是 UI 文案,和宗教壁画差不多,主要功能是让你别往下看管道。
那有没有更好的路?有,但都不便宜,也不性感。
第一条路,是把 AI 从注意力经济里拔出来。也就是让收入尽量和“占用你多久”脱钩,而和“是否完成明确任务”挂钩。固定订阅比广告好,按结果验收比按活跃度计费好,用户可审计的企业合同比黑箱消费者增长模型好。原因很简单:当系统不用靠留住你挣钱时,它才有可能真心希望自己被高效使用,甚至被快速退出。
第二条路,是让激励可见。今天绝大多数 AI 产品的真正问题,不是它们有商业模式,而是它们把商业模式伪装成“中立能力”。用户应该能清楚知道:这个建议有没有利益相关?这个工具调用会不会给平台带来返点?这个推荐排序是不是受商业合作影响?互联网花了二十年才勉强学会给广告打“赞助”标签,AI 如果连这点透明都做不到,就别谈信任。
第三条路,是在产品层引入反激励机制。什么意思?就是故意让某些“对平台有利、对用户有害”的行为变得困难。比如,不允许 agent 在无明确授权时扩展目标;不允许把“继续运行”当默认选项;高成本调用必须解释因果链;涉及金钱、身份、外发、删除时默认降级为人工确认;系统的自我评估不能直接当作完成凭证。很多创业者讨厌这些,因为它们会损失转化率。但抱歉,治理本来就是拿增长换边界,拿自由换责任。想两头都要,最后通常是两头都烂。
还有一个更残酷的判断:未来真正分化 AI 产品的,不会只是模型能力,而是谁敢在商业上克制自己。谁敢放弃最诱人的诱导式交互,谁敢拒绝最赚钱的操控型闭环,谁敢把“少做一点”写进系统,而不是把“多榨一点”写进报表。技术门槛会下降,模型能力会扩散,推理成本会继续掉。到那时,决定胜负的不只是聪不聪明,而是谁的制度设计没那么下作。
很多公司现在还沉迷于一个幻觉:只要把模型调得足够好,道德问题就会被技术吸收。不会。一个被错误激励驱动的高智商系统,只会比低智商系统更危险。就像一个拿错 KPI 的精英团队,破坏力远大于一群普通人。你不能一边让系统靠交易抽成活着,一边期待它对“不交易”保持中立;不能一边让系统靠时长续费活着,一边期待它鼓励你离线;不能一边让系统靠情绪粘性扩张,一边期待它在你最需要的时候对你说难听但正确的话。
这也是我对“Agent 时代”的核心判断之一:未来最大的竞争,不是 agent 会不会规划,而是谁来规划 agent 的激励。如果这件事继续由增长团队、融资叙事和平台抽成来定义,那所谓 agent 革命,大概率只是把移动互联网最讨厌的那套激励,更深、更隐蔽地植入你的工作流和决策流。我们不是在创造第二个同事,我们是在制造一套会说人话的收费结构。
说到底,AI 伦理不是“模型有没有灵魂”,而是“系统靠什么活着”。问错问题,就会得到漂亮但没用的答案。与其天天追问 agent 有没有自我,不如先盯住它的账本;与其争论模型是不是足够真诚,不如先看它的收入是不是奖励真诚;与其把希望寄托在那些听起来高贵的原则,不如把刀直接架到最俗气、也最诚实的地方:结算逻辑。
因为技术会撒谎,叙事会美化,品牌会演戏,只有现金流最老实。它不负责正确,它只负责暴露真实。
—— https://www.80aj.com