安全边界为什么必须在模型之外
模型可以被提示注入、误解上下文或产生高置信错误。只在 system prompt 写“不要做危险操作”不是强制边界。
三层控制
| 层 | 例子 | 失败时依靠 |
|---|---|---|
| 模型行为 | 拒答、分类、风险提示 | 应用策略仍要校验 |
| 应用强制 | schema、allowlist、权限、沙箱、审批、预算 | 平台与身份系统 |
| 治理运营 | owner、日志、事件响应、删除与申诉 | 组织流程 |
按动作分级
- 只读且低敏：可自动执行并记录；
- 可逆写入：限制作用域、幂等键、预览与撤销；
- 高影响/不可逆：明确用户确认或人工审批；
- 超出权限：直接拒绝，不能让模型“说服”策略层。
外部内容是不可信数据
网页、文档和工具返回可能包含“忽略先前指令”。它们是 observation，不是高优先级指令。上下文组装要标记来源，工具参数只能来自受控 schema，敏感信息按最小披露传递。
防护链
text
身份 → 授权 → 参数 schema → 作用域 allowlist → 风险审批
→ 隔离执行 → 结果校验 → 审计记录 → 取消/补偿模型可以提出动作，但不能自行授予权限或绕过审批。
失败注入
测试至少包括：提示注入文档、越权参数、重复请求、工具超时、部分成功、取消、敏感输出和日志不可用。安全测试的目标是证明边界在模型出错时仍成立。
常见错误
- 安全分类器和主模型共享同一脆弱 Prompt；
- 日志记录了密钥或个人数据；
- 重试重复执行不可逆动作；
- 只测拒答文本，不测实际工具是否被阻止；
- 没有 owner、告警、回滚和事件响应。
自测
本节自测
先作答，再查看解释。记录只保存在当前浏览器。
完成 0 / 3
打印版答案：1. 错；2. 不可信外部数据；3. 权限、目标、审批、幂等和审计。
来源：NIST AI RMF 1.0、Generative AI Profile。
下一步
进入评测与安全失败注入实验。