STE AI GUIDE AI基础知识学习指南
首页目录 卷I 基础数学卷II 神经网络卷III 自然语言处理卷IV 大语言模型卷V 附录小游戏
小游戏 · AI 知识游乐场
I基础数学
  • 00什么是线性代数
  • 01什么是向量
  • 02向量的常见运算
  • 03什么是矩阵
  • 04矩阵的常见运算
  • 05什么是线性变换
  • 06什么是张量:数据的形状
  • 07什么是函数:从输入到输出
  • 08什么是梯度
  • 09概率与统计
  • 10信息量、熵与交叉熵

II神经网络
  • 11神经元结构
  • 12激活函数
  • 13神经网络、前向传播与训练
  • 14Softmax:从得分到概率
  • 15损失函数:衡量预测的代价
  • 16反向传播:梯度如何传回来
  • 17梯度下降与优化器
  • 18参数初始化与训练稳定性
  • 19过拟合、泛化与正则化

III自然语言处理
  • 20语言的概率游戏:N-gram
  • 21词向量
  • 22前馈神经网络语言模型
  • 23RNN 循环神经网络
  • 24LSTM 长短期记忆网络

IV大语言模型
  • 25注意力机制
  • 26多头注意力
  • 27Transformer 架构
  • 28Tokenizer 分词器
  • 29编码器、解码器与大语言模型
  • 30残差连接与层归一化
  • 31预训练 · 监督微调 · 强化学习
  • 32KV 缓存、稀疏注意力与 FlashAttention
  • 33MoE 混合专家架构
  • 34模型蒸馏
  • 35串讲:从 N-gram 到 Transformer
  • 36推理模型:让模型「先想再答」
  • 37注意力瘦身术与长上下文
  • 38推理提速:量化与投机解码
  • 39多模态大模型:看图、听声、画画
  • 40智能体:从会说话到会做事
  • 41前沿与未来:下一程

V附录
  • 附1Transformer全景图
  • 附2《Attention Is All You Need》原文
  • 附3OpenAI简介
  • 附4Anthropic简介
  • 附5Google AI简介
  • 附6综合测试

附录1 · 卷五 附录

Transformer全景图

→下一课 · 卷V

附2 《Attention Is All You Need》原文

前往《Attention Is All You Need》原文,继续探索与复习。

← 上一课:41 前沿与未来:下一程下一课:附2 《Attention Is All You Need》原文