II
VOLUME II

神经网络

从单个加权开关,到会自己学习的人工大脑

九课连成完整闭环:从神经元与前向计算,到概率、损失、反向与更新,再检查训练稳定性和泛化。

开始第一课 →
整套课程 · 五部分,一条路
卷一基础数学把万物化为数字
卷二 · 你在这里神经网络让机器学会思考
卷三自然语言处理让机器听懂人话
卷四大语言模型蜕变成超级智能
卷五附录3D全景与原典
这一卷的故事

卷一已经备好表示、矩阵运算、张量形状、函数、梯度和概率工具。卷二先组装神经元与网络,让输入沿前向路径变成得分。

Softmax 把互斥类别得分变成概率,损失衡量预测代价;反向传播计算梯度,优化器负责参数更新。

初始化与数值监测让训练有机会稳定进行;最后用验证与测试数据检查泛化,不能只看训练题做得多好。

承上启下
← 你带着什么走进这一卷

卷一已经备好向量与矩阵、张量形状、函数与梯度、概率统计与信息论。这一卷把它们拼起来:先组装神经元与网络,再计算预测的损失,用反向传播与优化器调整参数。

这一卷又交给后面什么 →

通用学习机器已接上计算、优化、稳定性与泛化。下一卷从语言的条件概率出发,探索怎样让这台机器处理文本。

课程路径 · 9 课
11
神经元结构一个加权投票器,加上偏置与激活,就成为神经网络的基本单元。
读 →
12
激活函数线性叠线性仍然是线性,非线性怎样给深层网络真正的表达力?
读 →
13
神经网络、前向传播与训练从一个神经元到整层矩阵,沿数据流看清前向传播,再认识完整训练循环。
读 →
14
Softmax:从得分到概率先读懂原始得分,再把它变成概率分布;温度改变集中程度,不保证答案正确。
读 →
15
损失函数:衡量预测的代价从预测概率到损失分数,区分 MSE、交叉熵、准确率与不同求导对象。
读 →
16
反向传播:梯度如何传回来沿计算图应用链式法则,高效算出梯度;更新参数则留给优化器。
读 →
17
梯度下降与优化器用已经算出的梯度更新参数:学习率、Mini-batch、动量、Adam 与 AdamW。
读 →
18
参数初始化与训练稳定性打破神经元的对称性,控制激活与梯度的尺度,让网络有机会学得动。
读 →
19
过拟合、泛化与正则化训练题做对不等于真正学会:用独立数据检验,用早停与正则化改善泛化。
读 →