智能算法
这个专栏研究一个完整问题:机器怎样从数据中形成可验证的能力,并被构造成可靠的智能系统?
这里不是模型名词表。章节导览负责定位,概念课负责讲清一个问题,实验负责产生证据,参考页负责快速查询,复习页负责确认掌握。当前第 0–7 章已经形成一条可连续学习、操作和验收的主路径。
默认读者有数学与线性代数基础;“初学者”指尚未学习模型与相关工程。Python 本地环境可在项目准备补齐。概念自测、模拟实验和独立实现分别记录,互不替代。
两条阅读路径
第一次系统学习
text
0 模型计算基础 → 1 机器学习、树模型与泛化评估 → 2 神经网络 → 3 注意力与 Transformer
↓
4 基础模型 → 5 训练 → 6 评测 → 7 智能系统从矩阵乘法开始最稳妥。每完成一章,先做实验和阶段复习,再进入下一章。
带着工程问题查询
按 问题 → 数据 → 表示 → 模型 → 训练 → 评测 → 推理 → 反馈 横向查阅。任何“效果变好”都要能指出基线、数据范围、指标和没有被证明的部分。
章节与建设状态
| 章 | 入口 | 当前状态 | 学完应能做到 |
|---|---|---|---|
| 0 | 模型计算与优化基础 | 可学习 | 手算矩阵乘法,追踪张量轴,解释梯度更新 |
| 1 | 机器学习、树模型与泛化评估 | 可学习 | 实现 CART/GBDT、解释 LightGBM,并审查泛化证据 |
| 2 | 神经网络与表示学习 | 可学习 | 手写两层网络并解释反向传播 |
| 3 | 序列、注意力与 Transformer | 可学习 | 从 QKV 推导完整 attention 与多头 shape |
| 4 | 基础模型与生成系统 | 可学习 | 通过 tiny Transformer 跑通训练/加载/生成,再比较扩展架构 |
| 5 | 数据、训练与对齐 | 可学习 | 审计数据谱系、SFT/LoRA、偏好目标和训练证据 |
| 6 | 推理、评测与安全 | 可学习 | 设计推理压测、分层评测、错误归因和模型外安全边界 |
| 7 | 检索、Agent 与智能系统 | 可学习 | 运行检索/引用与 mock 状态机;真实模型和持久化系统另验收 |
| 实战 | MiniMind 全链路实践 | 草稿案例 | 用真实提交验证模型、数据和训练知识 |
可学习 表示已有概念课、练习或实验闭环;草稿 表示结构可导航,但还不能替代系统教材。完整依赖、课程顺序与专题边界见知识地图。
学习约定
- 公式先标语义和 shape,再推导;代码先写输入、输出和不变量,再谈框架 API。
- 动画必须回答一个认知问题。播放时同时显示当前对象、当前运算和当前结果;看不动效也能从静态说明得到同一结论。
- 实验必须固定输入或随机种子,给出预期输出、判断条件和失败排查。
- 项目和框架只是证据来源,不决定知识树。
本专栏遵循知识文档体系规范。