梯度下降与优化器

上一课已经算出了参数梯度。本课使用它们来更新水果机器：梯度描述方向与敏感度，学习率控制尺度，优化器决定怎样利用历史信息。这里的训练台继续沿用原案例，不改变已有操作。

回忆一下：梯度 ∇L 指出最陡的上坡方向，朝它的反方向迈步就是下坡。写成更新公式：

听上去万无一失，可真迈一步就翻车。为了把账算清楚，我们盯住其中一个权重 $w$， 把「$w$ 取不同值时、损失有多大」画成一条山谷曲线。假设这台机器的损失随 $w$ 变化恰好长这样：

这是一条开口向上的抛物线，谷底在 $w=4.5$（那里损失为 0），离谷底越远、损失越大。 训练要做的就是把 $w$ 一步步挪向谷底。现在机器的权重停在 $w=0.5$，先算它此刻的损失——把 0.5 代进去：

再算梯度（也就是这条曲线在 $w=0.5$ 处的斜率）。对 $L(w)=1.5(w-4.5{)}^2$ 求导 （第 08 课的法则：平方求导、再乘内层那项的导数 1）得 $\partial L/\partial w=3(w-4.5)$，代入 $w=0.5$：

负号说明「往右（$w$ 变大）是下坡」。按更新公式 $w\leftarrow w-\nabla L$ 迈一步：

这一步把 $w$ 从 0.5 直接甩到了 12.5。它到底落到山谷的哪儿？再把 12.5 代回损失：

损失从 24 不降反升、飙到了 96！方向其实没错（确实朝着下坡迈）， 问题出在步子：一步迈了整整 12，直接飞过谷底（$w=4.5$），冲到对面更高的山坡上。 看来「方向对」不等于「走得到谷底」——还得管住步幅。把刚才这一步画到那条山谷曲线上，就一目了然：

加入学习率后，更新公式变为：

$\alpha$ 通常是 0.001 到 0.1 之间的一个小数。但选多大，是整个训练过程中最重要也最棘手的决定：

学习率调度随训练改变步长：warmup 先从较小学习率逐步升高；随后可用线性衰减或余弦退火降低。调度不是一律「初期大、后期小」，也不保证收敛。

光说不练没感觉。下面把那台猜水果的机器缩到只看「颜色」一个特征（这样整台机器和每一步都看得清清楚楚）， 给它 8 个已知答案的水果当训练数据，让你亲手一步步训练它：

盯着 $w$、$b$ 和损失这三个数字跳动，你看到的就是训练的全部秘密： 算梯度 → 朝反方向挪一小步 → 重复。几亿个参数的大模型，做的也只是同一件事，只是数字更多。

但学习率还不是最大的问题。有一个更基本的困难正在等着我们。

目前为止，∇L 是基于所有训练样本的平均损失算出来的。 更新一次参数，需要把整个训练集都喂给网络跑一遍。 GPT-3 的训练集有 3000 亿个 token——每次更新参数前要扫完 3000 亿条数据， 一天下来可能只更新几次，这显然行不通。

每次从训练集随机抽取 B 条样本（一个 batch），计算这 B 条的平均梯度，更新一次参数。 B 通常是 32、64、128——随 GPU 显存大小调整。

这叫 Mini-batch 随机梯度下降。「随机」指的是每次随机抽取一个 batch—— 每次算出的梯度不是真正的全量梯度，有一定噪声。

Mini-batch 梯度带有采样噪声，能降低每次更新成本，也可能影响优化路径和泛化；它不保证跳出局部极小值，全批量方法也并非必然更差。

一个 epoch 是扫完整个训练集一遍。完整训练通常需要几十到几百个 epoch， 每个 epoch 里有「数据集大小 / B」次参数更新。

Mini-batch SGD 还有一个麻烦：在「峡谷地形」（某方向坡度很陡、另一方向很平缓）里， 参数会沿陡峭方向来回震荡，沿平缓方向却走得极慢。

修补：加入动量（Momentum）——给更新加入惯性， 用历史梯度的加权平均代替单步梯度：

90% 保留上一步的方向，10% 接受新梯度。陡峭方向的来回震荡相互抵消， 平缓方向的梯度逐步积累速度——轨迹更平滑，收敛更快。

Adam 维护梯度的一阶矩与平方梯度的二阶矩，并作偏差修正。更新用一阶矩除以二阶矩平方根加 ε，不是简单依据参数更新频率分配学习率。

Adam 的 α=0.001、β₁=0.9、β₂=0.999 是常见起点，不是所有任务的保证。大模型训练仍需选择学习率与调度。AdamW 将权重衰减与 Adam 的自适应梯度更新解耦；第 19 课会解释它与正则化的关系。

batch 是一次送入计算的数据块；step 通常指一次优化器参数更新；epoch 是遍历训练集一轮。1000 个样本、batch size=64，不丢尾批时一轮有 ceil(1000/64)=16 个 batch；如果每个 batch 更新一次，就有 16 个 step。

第 18 课将回到第一次更新之前：初始权重和信号尺度是否让这个循环学得动？