梯度提升为什么逐轮拟合修正量

上一节已经能训练一棵树。现在的问题是：如果每棵树容量有限，能不能让后面的树修正前面模型还没解决的部分？

本页依赖树的训练与预测。学习目标是解释每轮训练标签从哪里来，并手算两轮预测。使用之前的 X=[[1],[2],[3],[4]]、y=[1,1,3,3]，没有换题。

1. 把一个模型写成多次修正

最终模型是：

F_{M} (x) = F_{0} (x) + η \sum_{m = 1}^{M} f_{m} (x) .

$F_{0}$ 是初始常数， $f_{m}$ 是第 $m$ 棵修正树， $η$ 是学习率。样本要经过每一棵树，各自得到一个叶子值，再累加。

这与随机森林的核心训练关系不同：随机森林通过样本和特征随机化训练多棵树并聚合；梯度提升中新一棵树的目标依赖当前整个模型。GBDT 的“顺序”指训练依赖，不表示预测一定只能串行执行。

使用单样本损失：

ℓ (y, F) = \frac{1}{2} (y - F)^{2} .

注意变量是当前预测值 $F$ ，不是树的阈值。求导：

g_{i} = {\frac{\partial ℓ (y_{i}, F)}{\partial F} |}_{F = F_{m - 1} (x_{i})} = F_{m - 1} (x_{i}) - y_{i} .

沿降低损失的方向移动，就使用负梯度 $r_{i} = - g_{i} = y_{i} - F_{m - 1} (x_{i})$ 。在平方损失下它恰好是通常所说的残差。

如果可以为每个训练样本自由增加 $r_{i}$ ，就能一步把它改成答案。但我们需要一个能处理新输入的函数，因此训练一棵树，使 $f_{m} (x_{i})$ 接近这些修正目标。树只能在每个叶子内输出同一个值，这就对修正函数施加了结构限制。

平方损失的最佳初始常数是标签均值，所以 $F_{0} = 2$ 。为观察多轮变化，固定树深度 1、学习率 $η = 0.5$ 。

两棵树都在 2.5 切分，但它们的叶子值不同。第二轮一定用 $F_{1}$ 计算新残差，不能继续使用最初的残差，也不能只减去上一棵树。

训练 MSE 从 1 变成 0.25，再变成 0.0625。这里报告的是不带 $1 / 2$ 的 MSE；求导所用损失带 $1 / 2$ ，只为让梯度表达式简洁，两者在本例中的优化方向一致。

运行 python3 examples/python/tree_boosting.py 可以逐行核对表格。把学习率改为 1 时，这个特别简单的数据一轮即可拟合；这不代表实际问题应该总用 1。

对于一般可微损失，修正目标是：

r_{i}^{(m)} = - {\frac{\partial ℓ (y_{i}, F)}{\partial F} |}_{F = F_{m - 1} (x_{i})} .

例如二分类时，令 $F$ 是原始分数， $p = 1 / (1 + e^{- F})$ 是概率， $y \in {0, 1}$ 。对交叉熵求导得到 $g = p - y$ ，负梯度是 $y - p$ 。新树的输出加在原始分数 $F$ 上，不能把树值直接当作概率相加。

一般梯度提升还可以在分区确定后，为每个叶子按原损失寻找合适的步长：

γ_{j m} = \arg min_{γ} \sum_{x_{i} \in R_{j m}} ℓ (y_{i}, F_{m - 1} (x_{i}) + γ) .

本章手写版本限定平方损失，此时残差均值就是叶子最优修正；LightGBM 的常见平滑目标则使用梯度与二阶信息建立近似优化，后面专门推导。有关加法模型和目标函数的完整定义可查 scikit-learn 梯度提升说明。

深树能在一轮学习更复杂的修正，也更容易拟合偶然误差。学习率缩小每棵树的影响，通常需要更多轮才能达到相近训练误差。轮数增加让模型更灵活，但训练误差下降不保证验证误差下降。

三者不能分开理解：只把学习率调小又固定极少轮数，模型可能还没学够；只看训练误差不断加树，可能在追逐噪声。早停是在验证数据上选择轮数，不是保证泛化的数学证明。

参考答案