怎样分别评测检索与回答
RAG 回答正确可能只是模型参数记得；回答错误也可能是检索、组装或生成任一层。评测要保存中间证据。
四层指标
| 层 | 问题 | 例子 |
|---|---|---|
| corpus | 正确证据是否存在且有权限 | coverage |
| retrieval | gold chunk 是否进入候选/前 k | recall@k、MRR/nDCG |
| context | 最终给模型的证据是否充分、无冲突 | context precision/coverage |
| answer | 主张是否正确且被引用支持 | correctness、citation support |
Recall@k 高不保证答案正确；答案正确也不证明使用了检索证据。
三个对照
- 无检索：测参数/Prompt 基线；
- 实际检索：测端到端系统；
- oracle context：手工给正确证据，测试生成上限。
实际检索差、oracle 好，优先修检索；oracle 也差，检查上下文理解、Prompt 和模型。
必须包含的困难集
无答案、多个版本冲突、相似标题、表格信息、跨 chunk 组合、无权限文档和提示注入内容。只测简单单段命中会高估系统。
自测
本节自测
先作答，再查看解释。记录只保存在当前浏览器。
完成 0 / 3
打印版答案：1. 错；2. retrieval；3. 固定其他条件比较 oracle。
下一步
RAG 只读外部知识；需要行动时进入工具调用协议。