2. 神经网络与表示学习

本章回答：当人不再手写全部特征时，多层可微变换怎样从原始输入形成有用表示，又怎样通过误差反过来修正自己？ 核心不是罗列 CNN、RNN、激活函数名称，而是先看懂一个可操作、可手算、可运行的两层网络。

本章的认知主线

神经网络不是一组互不相干的新名词。本章始终沿用同一条因果链：

输入点阵 x
→ MLP 前向计算
→ 隐藏表示 h
→ 分类概率 p
→ 与标签比较得到 loss
→ 反向传播得到梯度
→ 优化器更新参数
→ 下一次预测改变

其中，MLP 负责“怎样预测”，loss 负责“错了多少”，反向传播负责“每个参数对此负多少责任”，优化器负责“具体改多少”。只有这四部分闭环，才发生学习。

前置与目标

前置：矩阵乘法、最小优化循环和泛化评估基础。如果还不能区分样本、特征、标签、参数与 loss，应先回到这些页面。

完成后应能从一张点阵开始，解释输入怎样变成隐藏表示和预测；手算一个小计算图的梯度；运行实验检查 loss、激活与梯度；并区分训练集拟合与未知数据泛化。

先认清六个对象

对象	回答的问题	本章例子
输入 x	模型看到了什么	5×5 点阵展平后的 25 个值
标签 y	正确答案是什么	O 或 X
参数 W,b	模型保存了什么	两层全连接权重与偏置
激活 h	当前样本在中间层变成什么	六个隐藏神经元的输出
预测 p	模型当前倾向哪个答案	O/X 概率
损失 L	当前预测错了多少	正确类别概率对应的交叉熵

后面的公式、代码和动画都围绕这些对象展开。看到新符号时，先判断它属于哪一类。

学习单元

类型	页面	预计	产出
lesson	MLP 如何把像素变成可分类的表示	50 分钟	操作点阵网络并推导两层前向
lesson	反向传播：沿计算图复用链式法则	35 分钟	手算梯度并定位断图
lab	让两层 MLP 过拟合四个样本	40 分钟	训练曲线与梯度检查
review	第 2 章复习与验收	20 分钟	推导 + 调试任务

从核心向外扩展

• CNN 用局部连接和权重共享表达空间局部性；
• RNN 用递归状态表达顺序，但必须串行且长路径难优化；
• embedding、对比学习、自编码器和迁移学习改变表示目标；
• residual、normalization、initialization 和 gating 改善信息与梯度通路。

这些专题后续各自拆成独立 lesson。本页只标位置，不用一段摘要冒充已经学完。

过关标准

能在纸上推导一个两层网络，运行实验让它过拟合小数据，检查激活和梯度，并区分“训练目标下降”与“未知数据有效”。完成后进入序列、注意力与 Transformer。