大模型是如何“学会”语言的？

想象一下，一个婴儿如何学会说话？他每天听父母、周围的人说话，慢慢就懂了语言的意思。大模型的学习过程也类似，只不过它的"听力训练"是通过阅读海量文本完成的。

这些文本来自互联网上的书籍、文章、网页、论坛等，总量可能相当于数千万本书。模型在这个过程中不做任何理解，只是单纯地"看"文本，就像婴儿听大人说话时，还不懂具体含义一样。

当大模型"读"完海量文本后，它开始做一件很聪明的事：寻找文字之间的数学关系。

比如，它发现"苹果"这个词经常和"吃"、"水果"、"红色"等词一起出现，而"苹果公司"则常与"手机"、"科技"、"乔布斯"等词相伴。通过分析数十亿这样的关联，模型为每个词建立了一个复杂的数学表示（可以理解为一个独特的"身份证号码"）。

更神奇的是，模型还能发现词与词之间的运算关系。比如"国王"的向量减去"男人"的向量再加上"女人"的向量，结果会非常接近"女王"的向量。这说明模型不仅记住了词，还理解了词与词之间的某种逻辑关系。

大模型核心的学习方式其实是一个超级复杂的"填空游戏"。

训练时，系统会把一句话中的某些词遮住，比如"今天天气很____，我们去公园玩吧"，然后让模型预测空白处应该填什么词。模型会根据上下文，计算出各个候选词的概率，比如"好"的概率是80%，"不错"的概率是15%，"糟糕"的概率是5%。

通过数十亿次这样的练习，模型变得越来越擅长预测在特定上下文中应该出现什么词。这就是为什么当你输入"中国的首都是____"时，模型几乎肯定会回答"北京"。

当单个词的预测变得准确后，模型开始学习更复杂的语言模式。

它学会了语法结构——什么样的词序是合理的，什么样的搭配是通顺的。它学会了文体风格——正式文书该怎么写，轻松对话该怎么组织。它甚至学会了不同领域的专业知识——当讨论医学时该用什么术语，谈论编程时该遵循什么逻辑。

这一切都不是通过被人"教导规则"学会的，而是通过分析海量数据中的模式自行总结出来的。就像一个人看了成千上万篇小说后，自然就知道小说该怎么写了一样。

最后一步可能是最关键的——让模型学会按照人类的期望来回答问题。

原始的大模型虽然知识丰富，但可能回答冗长、偏离重点甚至产生有害内容。通过一种叫做"人类反馈强化学习"的技术，训练者会让模型生成多个答案，然后由人工标注哪些回答更好、更有用、更无害。

模型从这些反馈中学习人类的偏好，逐渐调整自己的回答方式，变得更 helpful（有帮助）、honest（诚实）和 harmless（无害）。这就是为什么你现在问ChatGPT问题，它通常会给出清晰、有用且安全的回答。