模型回答中的能力来自哪里
Next-token 模型只根据当前可见条件生成分布。一个回答看起来正确，不足以证明正确事实来自模型参数；它也可能来自 Prompt、检索文档、工具返回或偶然采样。
四类来源
| 来源 | 在哪里 | 是否修改参数 | 怎样验证 |
|---|---|---|---|
| 参数学习 | 模型权重 | 训练时修改 | 移除上下文后在多种表述上测试 |
| 当前上下文 | Prompt、对话、few-shot 示例 | 否 | 删除或替换相关片段做对照 |
| 外部检索 | 召回并放入上下文的文档 | 否 | 检查召回、引用和无文档基线 |
| 工具结果 | 计算器、数据库、API 的执行输出 | 否 | 核对调用参数、原始结果与答案转换 |
最终文本通常是这些来源共同作用的结果，不能只归功于“模型知道”。
Prompt 为什么不是训练
Prompt 会改变条件输入：
但常规推理不会执行反向传播或优化器更新。关闭会话、删除上下文后，Prompt 中的新事实通常不会永久进入参数。
Few-shot 示例可以让模型在上下文中模仿格式或任务模式，这称为上下文学习；它与使用训练数据更新参数仍是不同机制。
流畅性不是证据
Next-token 目标奖励在训练分布中产生合适后续，并不直接保证：
- 陈述与现实一致；
- 推理过程忠实；
- 引用确实支持结论；
- 面对分布外输入仍可靠；
- 工具调用权限和结果使用正确。
因此“语言自然”“解释很长”“置信语气强”都不能替代任务评测和来源核对。
最小归因实验
要判断答案来自哪里，至少比较：
- 无额外上下文的模型基线；
- 加入正确文档；
- 加入冲突或无关文档；
- 禁用工具与启用工具；
- 固定采样设置并重复多条等价提问。
只有结果随某个受控来源稳定变化，才能把改进归因到该来源。一次回答无法完成可靠归因。
常见误解
- Prompt 教过一次，模型以后就永久记住：通常错误。
- RAG 改进了答案，所以参数已经学会文档：错误，检索内容通常只进入当前上下文。
- 工具返回正确，模型推理也必然正确：还要检查参数、调用和结果转换。
- 模型能复述训练文本，所以理解了概念：复述与迁移需要分别验证。
本节自测
静态答案与检查点
- 错误。2. 外部检索或工具。3. 对照中只能改变检索证据，其他条件保持一致。