Dewyx Docs

主题

智能算法知识地图 ​

知识地图负责回答“在哪里、依赖什么、下一步是什么”，不承担具体教学。章节编号表示主依赖，不表示所有主题只能线性学习。

主依赖 ​

当前可执行主线 ​

  1. 矩阵乘法：理解一行和一列如何生成一个标量。
  2. 张量的轴与形状：把矩阵规则推广到 batch、token、head。
  3. 最小训练循环：连接损失、梯度和参数更新。
  4. 模型是真的学会，还是偷看了答案？：先学会识别记忆、泄漏和虚假高分。
  5. 机器学习基线实验：用简单模型暴露数据和指标问题；接着完成下方第 1 章树模型路线，再进入神经网络。
  6. MLP 如何学习表示：从线性层进入非线性组合。
  7. 反向传播：沿计算图追踪梯度。
  8. QKV 是一次可学习检索：理解 attention 的语义。
  9. 完整注意力流水线：连接缩放、mask、softmax 和加权读取。
  10. 单头因果注意力实验：运行同一组数值并用断言验证完整闭环。
  11. 多头注意力的形状：在单头闭环之上增加 batch、head、拆分与合并。
  12. Decoder Block：把注意力、残差、归一化和逐 token FFN 放回完整结构。
  13. 文本与 next-token 样本：连接 tokenizer、Embedding、输入与标签。
  14. 批次与因果遮罩：从 token 流构造 [B,T] 并阻止未来泄漏。
  15. 完整语言模型结构：组装 Embedding、Decoder Blocks、Norm 与词表头。
  16. Next-token 前向计算：从隐藏表示推导词表 logits、概率和 loss。
  17. 语言模型训练循环：把 batch loss、反向传播与 optimizer step 闭环。
  18. 参数、显存与计算量：估算模型权重、训练状态、激活和 KV Cache。
  19. 训练与生成：区分并行训练和逐 token 生成。
  20. Prefill 与 KV Cache：理解增量推理怎样复用历史 K/V。
  21. 采样策略：操作 temperature、top-k 和 top-p。
  22. 最小语言模型实验：训练可更新 logits 并复现生成。
  23. tiny Transformer 实操：在 CPU 上训练、保存、重新加载并验证恢复。
  24. 模型架构家族：区分 Encoder-only、Encoder–Decoder 与 Decoder-only。
  25. Scaling 与 MoE：区分参数、数据、计算与稀疏专家。
  26. 多模态与扩散：连接视觉语言理解与去噪生成。
  27. 能力来源与边界：区分参数、上下文、检索和工具结果。
  28. 数据谱系与切分：记录来源、版本、去重簇与无泄漏 split。
  29. 预训练证据：从单 batch 过拟合推进到可恢复基线。
  30. SFT 与 Chat Template：连接结构化消息、token 和 loss mask。
  31. LoRA 适配：区分冻结基座与低秩可训练增量。
  32. 偏好数据与 DPO：理解 chosen/rejected、参考策略和回归。
  33. 训练审计实验：用断言检查重复、SFT mask 和偏好对。
  34. 推理服务请求：区分 API、调度、runtime、cache 与输出。
  35. 性能指标：测量 TTFT、TPOT、吞吐、显存和成本。
  36. 可信评测设计：从用户任务建立数据、rubric、指标和基线。
  37. 错误分类与归因：用 oracle 对照定位模型、检索、工具和评分错误。
  38. 模型外安全控制：落实权限、schema、审批、隔离与审计。
  39. 评测与安全实验：保留逐样本证据并注入高风险动作。
  40. RAG 证据链：从文档解析到引用建立可追踪路径。
  41. 检索与回答评测：分开测 corpus、retrieval、context 和 answer。
  42. 工具调用协议：定义 schema、权限、错误、副作用与幂等。
  43. Agent 状态机：闭合成功、失败、等待、取消和恢复路径。
  44. 上下文与记忆：区分本轮 token、任务状态和长期事实。
  45. 可靠性与多 Agent：控制重试、审批、预算和合并责任。
  46. Agent 状态机实验：运行成功、超时与写入审批路径。

第 1 章树模型路线 ​

完成机器学习基线实验后，按以下顺序学习；它不依赖神经网络章节。下面全部为 learnable，实现与原生库对照由构建前脚本验证；独立实现需读者完成实验。

  1. 决策树如何从数据中学出规则：手算阈值、叶子值和误差下降。
  2. 从零实现 CART 回归树：实现数值切分、递归建树与预测。
  3. 梯度提升为什么逐轮拟合修正量：手算两轮修正与累计预测。
  4. 从零实现平方损失 GBDT：复用 CART 实现最小提升循环。
  5. LightGBM 如何计算叶子值与分裂增益：推导梯度、Hessian、正则与增益。
  6. LightGBM 如何用直方图生长一棵树：解释分箱、叶子选择、缺失与类别路由。
  7. 训练、早停与重载一个 LightGBM 模型：运行固定环境并验证重载一致。
  8. 从 Python 调用追踪到一次分裂：在固定版本源码中定位各步职责。

最后完成第 1 章复习，公式与参数查速查页。量化具体应用另行建设。

章节边界 ​

章核心问题不在本章解决
0数字如何表示对象、参与计算并被优化特定网络为何适合特定任务
1树与提升模型怎样学习，以及什么证据说明泛化有效深层网络内部怎样学习表示
2多层可微变换怎样形成表示token 间全局通信的具体机制
3序列位置怎样选择并汇总其他位置大规模数据治理与产品可靠性
4预训练目标怎样形成可复用生成能力训练流水线的具体治理
5数据、目标和系统怎样塑造模型行为线上系统的全部安全控制
6怎样运行、测量并限制系统具体 Agent 编排框架
7怎样组合模型、检索、工具和状态把框架 API 当成模型能力

建设看板 ​

状态页面范围含义
verified本地图、规范页结构和链接已校验
learnable第 0–7 章核心单元概念/模拟可学习；实现能力需完成 tiny Transformer 与迁移题
draftMiniMind 案例与后续专题可导航且边界明确，仍缺完整学习闭环

下一轮优先把第 0–7 章知识应用到 MiniMind 案例，并补充强化学习、推荐与时间序列专题；专题不得破坏当前唯一主路径。

资料的角色 ​

引用开放资料时必须区分：来源事实、本站推导、实验观察和个人判断。