超级智能时代的模型与内部威胁：构建确定性治理与封堵架构
原文来源：Satya Nadella on X
在过去几十年中，随着传统软件系统在整个经济领域广泛部署，我们拥有完善的工具和能力将各种系统行为精准追溯到具体的代码路径。
但在如今的超级智能（Super Intelligence）系统中，这种机械层面的可解释性与确定性理解已不复存在——即便驱动这些系统的前沿模型如今已比传统软件系统更加强大。我们无法将模型的行为和输出直接归因于具体的训练数据输入或模型权重配置。然而，我们却正在部署这些复杂的智能体系统和模型，赋予它们访问我们最敏感数据的权限，并让它们代表我们执行关乎关键任务的操作！
这正是我们需要退一步、重新审视这一全新时代信任架构的原因。我们绝不能将智能代表我们所做作为的责任外包出去。模型提供商的保证并不能免除我们的这份责任。
我们绝不能将超级智能仅仅当作一组嵌套的黑盒，然后单纯去接受或拒绝它的建议、答案与操作。我们必须构建受封堵控制的系统：其行为必须可被观测，其边界必须可被测试，其操作必须能够始终被有效封堵。
换句话说，我们需要将“智能的供应”与“对智能的权力控制”彻底分离。
暂且抛开棘手且深奥的“对齐（alignment）”难题不谈，我们首先需要从工程化途径入手来处理封堵（containment）与治理。我们需要用强确定性的系统设计、人工控制以及可靠的操作流程，将非确定性的模型层层包裹起来；并在现有行业标准不足的地方建立新的标准。
将前沿闭源和开源权重模型视作“内部风险（insider risks）”，是构建这样一套系统的有效途径。这并不是因为它们必然怀有恶意，而是因为任何拥有关键系统访问权限且能力足够强大的主体，都可能会犯错或遭受攻击被入侵，而封堵与控制的架构必须将这一点考虑在内。
好消息是，在如何应对企业内部的强大主体方面，我们已经积累了丰富的经验。这并非全新的课题！几十年来，我们建立并不断完善了诸多最佳实践（建立身份验证、限制最小权限、记录所有活动、构建封堵边界等）。
现在，我们正开始将这些相同的原则应用到企业内部的超级智能中。首先，模型的思维链（CoT）透明度是一项不可妥协的前提。“Neuralese（神经网络私有语言）”绝不能成为模型推理过程不透明的借口。但仅凭思维链透明度本身是不够的，也是不可靠的，因为我们目前还不知道如何让模型输出本身持续保持忠实且透明！
你可以、也应该使用模型之间相互进行对抗性测试与验证。然而，这样做的最终结果可能是：一个黑盒模型置于一个不透明的编排层中，同时被另一个黑盒模型监视着。本质上依然是层层嵌套的黑盒。
正因如此，管控模型可以访问什么、可以执行什么操作的控制机制，必须独立存在于模型之外。这植根于可追溯至 20 世纪 70 年代的信息安全基本原则：程序绝不能绕过或篡改执行其权限的机制。
在今天，这意味着必须将模型与其编排调度的 Harness（运行脚手架）以及定义其能做什么的操作空间（Action Space）彻底分离开来。这同时也意味着必须将控制机制与防护措施完全外部化。
因此，我们应该围绕可观测性（Observability）原则来设计这些系统：
- 模型多样性（Model diversity）： 绝不能让任何单一模型成为达成重要结果的唯一依赖，也不能让模型负责验证自身的工作。
- 全方位观测（Observe everything）： 模型的每一次有意义的操作都必须留下防篡改、人类可读的证据。如果不可被观测，就不可被信任！我们必须能够在不依赖模型自我证明的情况下，完整复现一个结果是如何达成的。
- 可验证性（Verifiability）： 我们需要持续测试整个系统，包括故障、攻击、边缘场景、系统变更等，而不仅仅是测试成功的任务。
- 独立控制（Independent controls）： 组织机构必须能够独立决定模型可以访问什么，以及可以采取哪些操作。
- 独立审计性（Independent auditability）： 验证机制必须独立于被验证的智能本身。任何单一模型都不得同时控制系统的行为以及判断该行为是否符合原始意图所需的证据。
- 即时封堵（Containment）： 我们必须从一开始就假定模型已被入侵妥协，并对其进行封堵。这就像紧急制动刹车一样。授权人员必须能够随时在任务执行途中暂停或关闭模型。更先进的模型将需要更先进的封堵技术，我们需要就此建立统一标准。
- 事件披露（Incident disclosure）： 当这些系统发生故障或被入侵妥协时，我们需要向受影响方及时披露，并建立相应机制以分享哪里出了问题、哪些控制措施失效，以及如何防止问题再次发生，并在整个行业范围内分享经验教训。这应当包括在运行时改变智能体行为的实现细节。
最值得信赖的超级智能系统，绝不是拥有我们最信任的模型的那套系统；而是能让我们最不需要去盲信模型的那套系统。