暗无天日

=============>DarkSun的个人博客

AI越强越辣鸡?控制论说这是必然的

原文:OpenClaw之父:AI越强越辣鸡?人类审美与反馈循环才是核心控制系统

一个控制问题

Peter Steinberger(OpenClaw 创造者)说了一句扎心的话:你可以让 AI 跑一整晚,CPU 滚烫,第二天醒来一看,得到的是一坨终极版的流水垃圾。

很多人的第一反应是:AI 还不够聪明。但控制论告诉我们,这根本不是聪明不聪明的问题,而是 系统结构 的问题。一个没有反馈的执行器,不管多强大,都会偏离目标。这不是推测,这是数学。

闭环系统:一个两百多年的老答案

控制论(Cybernetics)这个词来自希腊语 kybernētēs ,意思是"舵手"。1948 年,Norbert Wiener 用它命名了一门研究"通信与控制"的学科。但闭环控制的思想远比这古老——1788 年 James Watt 的离心调速器就已经是经典的闭环系统。

一个闭环控制系统有四个基本组件:

  1. 设定值(Setpoint) :你想要达到的目标状态
  2. 控制器(Controller) :计算当前输出与目标的差距,发出调整指令
  3. 被控对象(Plant) :执行指令、产生输出的部分
  4. 反馈(Feedback) :将实际输出测量回来,与设定值比较

开环系统没有反馈环节。控制器发出指令后,不管实际结果如何,都不做修正。闭环系统则通过反馈不断比较"实际"和"目标"的差距,持续调整。

关键区别:开环系统中的任何误差都会原样累积,没有任何机制可以纠正它。闭环系统通过反馈检测误差并修正,使系统收敛到目标。

人机协作的控制论映射

把人机协作放进控制论的框架,对应关系一目了然:

控制论概念 人机协作中的对应
设定值(Setpoint) 你心中的目标——那个模糊但真实的审美判断
控制器(Controller) 你自己——观察、判断、发出新指令
控制信号 Prompt
被控对象(Plant) AI——接收指令,生成输出
反馈信号 你对 AI 输出的观察和判断
误差(Error) AI 输出与你期望之间的差距

在这个模型里,AI 是被控对象,不是控制器。它是执行者,不是决策者。你才是那个计算误差、发出修正指令的控制器。

开环 AI:失控的必然性

所谓"让 AI 一跑到底",在控制论里有一个精确的名字: 开环控制

你发出一个 prompt(控制信号),AI 生成输出(被控对象响应),然后你什么都不做。没有观察,没有判断,没有修正。这就是一个完整的开环系统。

开环系统在什么条件下能正常工作?只有当:

  1. 你对被控对象的模型完全精确
  2. 没有任何外部扰动
  3. 初始条件完全已知

这三个条件在 AI 使用中 没有一个 成立。你不完全了解 AI 的行为模式,prompt 的歧义性是持续存在的扰动,而你自己的需求在一开始往往是模糊的。

所以开环地使用 AI,输出偏离目标是 必然的 ,不是偶然的。AI 越强大,执行速度越快,偏离的速度就越快。这就是为什么"AI 越强越辣鸡"——不是 AI 退步了,是开环系统里执行器越强,偏离目标的灾难来得越快。

正反馈陷阱:越跑越偏的数学原理

Peter 提到的"代理陷阱"(Agentic Trap),在控制论中有一个对应物: 正反馈

正反馈不是"好的反馈",而是把输出信号叠加到输入上,让偏差越来越大。音响系统里的啸叫就是正反馈——麦克风收到喇叭的声音,放大后再播出来,喇叭声音更大,麦克风收到更强的信号……几秒钟内就从正常音量变成刺耳的尖叫。

代理陷阱的本质就是正反馈。AI 生成的输出偏离了一点,它把这个偏离的输出当作下一轮的参考基准,继续在偏移的基础上"优化"。每一轮的偏差都成为下一轮的起点,偏差不断叠加。偏了一度,跑一公里后就偏出去几十米。

控制论对正反馈的结论很明确: 未经约束的正反馈必然导致系统发散 。没有例外。

闭环 AI:反馈如何收敛

Peter 说的"下一个 prompt 取决于我当前看到了什么",翻译成控制论语言就是: 根据误差信号调整控制量

这就是 负反馈 ——把实际输出与目标的差距测量出来,用来减小下一轮的偏差。负反馈让系统稳定,这是两百多年来工程学的基本经验。

在闭环的人机协作中:

  1. AI 生成一版输出
  2. 你观察,发现与目标的差距(计算误差)
  3. 你调整 prompt(发出新的控制信号)
  4. AI 基于新指令再次生成
  5. 回到第 2 步

每一轮循环,误差都在缩小。不是因为 AI 更聪明了,而是因为你在持续修正方向。这个过程不需要你的初始目标完美——控制论的一个核心洞见是, 反馈可以补偿对初始条件的无知 。你不需要一开始就知道精确的目标,只要持续测量误差并修正,系统就会收敛。

这也解释了 prompt 迷信的根本问题。试图用一次性完美 prompt 解决所有问题,本质上是在用 *前馈*(feedforward)替代反馈。前馈有用,但它要求你对系统有完美的模型——而你没有。

何时放手:稳定性判据

控制论中有一个重要问题:什么时候系统可以脱离外部干预,自己稳定运行?

答案是:当系统已经证明自己能稳定收敛,且外部条件不会发生大的变化时。对应到人机协作——只有当你通过多轮反馈确认了 AI 的输出方向已经锁定在正确轨道上,且后续任务的性质不会突变时,才可以考虑让 AI 自主执行一些重复性工作。

在此之前,你一步都不能离开。不是因为你不够信任 AI,而是因为控制论告诉我们,一个尚未稳定的闭环系统如果切断反馈,会立刻退化为开环系统,收敛趋势中断,从当前状态重新开始漂移。

总结

从控制论的角度看,"AI 越强越辣鸡"不是一个悖论,而是一个必然:

  • 没有反馈的执行器,不管多强大,都会偏离目标——这是开环系统的本质
  • 把 AI 输出直接当作下一轮输入,偏差会指数级放大——这是正反馈的灾难
  • 通过持续观察和修正缩小误差——这是负反馈的收敛
  • 反馈可以补偿对初始条件的无知——所以你不需要完美的 prompt
  • 人的审美(taste)是这个系统的设定值来源——AI 没有它,就无法判断方向

反馈不是 AI 使用的"最佳实践",而是任何智能系统正常运转的 必要条件 。这不是 2026 年的新发现,这是两百多年来控制工程告诉我们的老道理。

无主之地 : 控制论 : 反馈 : AI : 系统论