采样参数怎样改变生成结果
模型前向只给出下一个 token 的概率分布。生成系统还必须决定怎样从这个分布选择一个 token；选择规则会改变输出风格和随机性，但不会重新训练模型。
直接操作同一组 logits
先保持 logits 不变：降低温度、升高温度，再切换 greedy、top-k 和 top-p。最后移动随机位置 u，观察“分布不变但本次选中项改变”的情况。
Greedy
每轮选择概率最高的 token：
它没有抽样随机性，但不保证整段序列的联合概率最高，也不保证事实正确或文本不重复。
Temperature 先改变分布
T<1：logit 差异被放大，分布更尖锐；T=1：保留原始 Softmax 分布；T>1：差异被压缩，分布更平坦；T→0：行为趋近 greedy，但实现不能直接除以 0。
温度作用于 logits 后再 Softmax。它不是“随机程度百分比”，也不会为模型增加不知道的事实。
Top-k 先按数量截断
Top-k 只保留概率最高的 k 个候选，把其他概率设为 0，再重新归一化。固定 k 简单，但不同上下文中的概率集中程度可能不同。
Top-p 先按累计质量截断
Top-p 从高到低保留候选，直到累计概率达到阈值 p，再重新归一化。候选数量会随上下文变化：分布很集中时集合较小，分布较平坦时集合较大。
Top-k 与 top-p 都是对当前分布的截断规则，必须明确它们与 temperature 的应用顺序。不同实现可能还提供最小保留数、重复惩罚或其他处理，复现实验时要记录完整配置。
随机数怎样选中 token
将候选概率按固定顺序累加成区间，在 [0,1) 取随机数 u，它落入哪个区间就选择哪个 token。固定随机种子只保证相同实现和调用顺序下可复现，不会让采样变成确定性推理证明。
常见误解
- 温度越高越聪明：错误，只是分布更平坦。
- top-p=0.9 表示保留 90% 的 token：错误，它保留累计概率质量约 0.9 的最小候选集合。
- greedy 一定最可靠：它消除了抽样随机性，但不会修复错误分布。
- 调采样参数等于更新模型：推理设置通常不改变任何参数。
- 一次好结果证明配置更优：必须在固定任务集上重复评测质量、失败率和成本。
本节自测
静态答案与检查点
- 正确。2. 累计概率达到阈值。3. 必须指出分布变化不等于参数或知识变化。
小结与下一步
模型产生分布，采样策略从分布中选择 token。下一步在最小语言模型实验里训练一组真实可更新的 logits，并比较训练与采样的不同作用。