前沿与未来：下一程

前面 34 课讲的，大多是已经定型的知识：从一根数轴上的向量，一路走到会想、会看、会做的大模型。每一步都有清晰的因果，也有一套稳定的原理。这最后一课换个姿势——站在 2026 年 9 月，看看正在发生和可能发生的事。

如果只用一句话概括过去两年，那就是：能力的来源，从「把模型做大」，扩展到了「让模型多想、让模型用工具、让模型跑得更省」。你已经在第 36～40 课亲手拆解了这些：

第 31 课提到过，Llama-3 的预训练用了约 15 万亿 token。而人类公开写下的高质量文本是有限的——前沿模型的胃口，正在逼近这个存量。这堵墙常被叫做数据墙。业界的应对，大致沿着两条路：

于是新的问题出现了：那些没有标准答案的事怎么办？写一篇好文章、做一次科研判断、设计一个方案——没有一个测试能自动判对错。目前的探索包括：用更细致的评分细则（rubric）、让另一个模型当裁判、让模型自我博弈互相出题互相挑错。这些办法各有短板，是一个非常活跃的方向。

回想第 27、29 课：解码器每次只生成一个 token，写完一个才能写下一个。哪怕有第 38 课的投机解码来加速，这种串行的本质没有变——句子越长，等得越久。

扩散语言模型（Diffusion LLM）把第 39 课的扩散思想搬到了文字上：先把整段文字全部「遮住」，每一步让模型并行地给所有还被遮住的位置打分，把握大的先「揭开」，把握小的继续遮住，如此迭代几步，整段话就一起「浮现」出来。2025 年的 LLaDA 等工作展示了它在大模型规模上的可行性，也有公司演示了远高于同级自回归模型的生成速度。

它的潜在好处很诱人：并行（一步出多个 token）、可以回头修改（不是一锤定音）、天然适合填空与编辑。但它还在追赶：训练与推理的工程生态不如自回归成熟；超长上下文、与 KV 缓存的配合、以及怎么把第 36 课的强化学习无缝接上，都是未解的问题。

今天的大模型有点像一位学识渊博、却患有失忆症的专家：训练结束，权重就冻结了。它「记得」的一切都来自两处——训练时刻进权重的知识，以及此刻塞在上下文里的内容。对话一结束，除非有外部记忆，它就什么也没学到。

持续学习（Continual Learning）想让模型在部署后继续从经验里学习，又不忘掉旧本事。难点是一个老问题：更新权重时，新知识会冲掉旧知识（灾难性遗忘，第 13 课训练的副作用）。目前的探索方向包括：

文字是人类对世界的二手转述。模型读遍了转述，却没有亲手摸过一个杯子。让它走向真实世界的两条线索：

模型越强、手脚越长，「我们能不能信任它」就越关键。前沿的研究大致沿着三条线：

能力一路狂奔，但前方仍有一些真正难啃的问题，决定了这条路能走多远：

最后，把这 35 课的路，压成一条时间线。点一点节点，看每一年在这棵树上长出了什么新枝：

回看这一路：从一根数轴上的向量，到会推理、会看、会做的大模型——每一阶都不是天才的灵光一现，而是「发现一个死结，再用一个朴素的想法解开它」的循环。前沿，不过是这个循环还在继续。

所以你已经具备了读懂未来的底子。下次看到一个新名词——某某注意力、某某对齐、某某架构——别慌，先问那三个老问题：它为什么诞生？解决了上一代的什么死结？又会留下什么新麻烦？这套追问，从第 01 课到今天，一直管用，以后也会。