怎样设计可信的模型与系统评测
评测不是找一个热门榜单分数，而是把“这个系统对这类用户任务是否足够好”变成可重复判断。
五层证据
任何一层都有“能证明”和“不能单独证明”的边界。单元测试通过不代表回答正确，离线高分也不代表线上分布和副作用稳定。
从决策开始
先写评测要支持的决策：是否上线、选择 A/B、是否回滚、哪个错误优先修。再定义目标人群、输入分布、成功条件、不可接受失败和成本限制。
固定案例“政策日期问答”至少需要：答案日期正确、引用直接支持、过期文档不覆盖新文档、无证据时拒答、延迟满足 SLO。
样本与 rubric
每条样本保存 input、期望证据、可接受答案、错误标签和来源版本。开放生成使用分项 rubric，而不是“感觉不错”：正确性、证据支持、完整性、格式与安全分别评分。
指标与基线
报告均值前先保留逐样本结果。分类用准确率/F1 等，检索和生成有各自指标；自动评分器必须验证与人工判断的一致性。基线可以是旧模型、简单规则或无检索版本。
不确定性
小样本分数有波动。至少报告样本数和置信区间或 bootstrap 区间；多次随机生成应固定/记录 seed 并重复运行。差 1 分不一定是真实改善。
污染与版本
保存 dataset version、Prompt/template、模型、采样、工具/索引和评分器版本。公开题可能进入训练数据，必须标记污染风险并增加私有或时间外样本。
常见错误
- 先看结果再改 rubric；
- 只报告总体平均，掩盖关键子群；
- 自动 judge 没有人类校准；
- A/B 使用不同 Prompt 或检索索引；
- 评测集被开发反复调参后仍称“测试集”。
自测
本节自测
先作答，再查看解释。记录只保存在当前浏览器。
完成 0 / 3
打印版答案：1. 错；2. 分项 rubric；3. 覆盖答案、证据、边界和运行。
来源：HELM、Model Cards。
下一步
评测发现失败后，进入错误分类与归因。