如何用大模型做出一款属于自己的 AI 应用？

语言模型是怎么回事

语言模型（ language model，LM ）简单来说，就是利用自然语言构建的模型。

自然语言就是我们日常生活、学习和工作中常用的文字。语言模型就是利用自然语言文本构建的，根据给定文本，输出对应文本的模型。

语言模型具体是如何根据给定文本输出对应文本呢？方法有很多种，比如我们写好一个模板：“XX 喜欢 YY ”。如果 XX 是我，YY 是你，那就是“我喜欢你”，反过来就是“你喜欢我”。我们这里重点要说的是概率语言模型，它的核心是概率，准确来说是下一个 Token 的概率。这种语言模型的过程就是通过已有的 Token 预测接下来的Token。举个简单的例子，比如你只告诉模型“我喜欢你” 这句话，当你输入“我”的时候，它就已经知道你接下来要输入“喜欢”了。为什么？因为它的“脑子”里就只有这 4 个字。

好，接下来，我们要升级了。假设我们给了模型很多资料，多到现在网上所能找到的资料都给了它。这时候你再输入“我”，此时它大概不会说“喜欢”了。为什么呢？因为见到了更多不同的文本，它的“脑子”里已经不只有“我喜欢你” 这 4 个字了。不过，如果我们考虑的是最大概率，也就是说，每次都只选择下一个最大概率的 Token，那么对于同样的给定输入，我们依然会得到相同的对应输出（可能还是“喜欢你”，也可能不是，具体要看给的语料）。对于这样的结果，语言模型看起来比较“呆”。我们把这种方法叫作贪心搜索（ greedy search），因为它只往后看一个词，只考虑下一步最大概率的词！为了让生成的结果更加多样和丰富，语言模型都会在这个地方执行一些策略。比如让模型每一步多看几个可能的词，而不是就看概率最大的那个词。这样到下一步时，上一步最大概率的 Token，加上这一步的 Token，路径概率（两步概率的乘积）可能就不是最大的了。

举个例子，如图 1-3 所示，先看第一步，如果只选概率最大的那个词，那就变成“我想”了。但是别急，我们给“喜欢”一点机会，同时考虑它们两个。再往下看一步，“喜欢”和“想”后面最大概率的都是“你”，最后就有了下面几句（我们附上了它们的概率）。

· “我喜欢你”，概率为 0.3 ×0.8=0.24。 · “我喜欢吃”，概率为 0.3 ×0.1=0.03。 · “我想你”，概率为 0.4 ×0.5=0.2。

· “我想去”，概率为 0.4 ×0.3=0.12。

多看一步大不一样！看看概率最大的成谁了，变成了“我喜欢你”。上面这种方法叫作集束搜索（beam search），简单来说，就是一步多看几个词，看最终句子（比如生成到句号、感叹号或其他停止符号）的概率。在上面的例子中， num_beams=2（只看了两个词），看得越多，越不容易生成固定的文本。

好了，其实在最开始的语言模型中，基本就到这里，上面介绍的两种不同搜索方法（贪心搜索和集束搜索）也叫解码策略。当时更多被研究的还是模型本身，我们经历了从简单模型到复杂模型，再到巨大复杂模型的变迁过程。简单模型就是把一句话拆成一个个 Token，然后统计概率，这类模型有个典型代表——N-Gram模型，它也是最简单的语言模型。这里的 N 表示每次用到的上下文 Token 的个数。举个例子，看下面这句话：“人工智能让世界变得更美好”。 N-Gram 模型中的 N 通常等于 2 或 3，等于 2 的叫 Bi-Gram，等于 3 的叫 Tri- Gram。

· Bi-Gram：人工智能/让让/世界世界/变得变得/更更/美好

· Tri-Gram：人工智能/让/世界让/世界/变得世界/变得/更变得/更/美好

Bi-Gram 和 Tri-Gram 的区别是，前者的下一个 Token 是根据上一个 Token 来的，而后者的下一个 Token 是根据前两个 Token 来的。在 N-Gram 模型中，Token 的表示是离散的，实际上就是词表中的一个个单词。这种表示方式比较简单，再加上 N 不能太大，导致难以学到丰富的上下文知识。事实上，它并没有用到深度学习和神经网络，只是一些统计出来的概率值。以 Bi-Gram 为例，在给定很多语料的情况下，统计的是从“人工智能”开始，下个词出现的频率。假设 “人工智能 / 让”出现了 5 次，“人工智能 / 是”出现了 3 次，将它们出现的频率除以所有的 Gram 数就是概率。

训练 N-Gram 模型的过程其实是统计频率的过程。如果给定“人工智能”， N-Gram 模型就会找基于“人工智能”下个最大概率的词，然后输出“人工智能让”。接下来就是给定“让”，继续往下走了。当然，我们也可以用上面提到的不同解码策略往下走。

接下来，让每个 Token 成为一个 Embedding 向量。我们简单解释一下在这种情况下怎么预测下一个 Token。其实还是计算概率，但这次和刚才的稍微有点不一样。在刚才离散的情况下，用统计出来的对应 Gram 数除以 Gram 总数就是出现概率。但是稠密向量要稍微换个方式，也就是说，给你一个 d 维的向量（某个给定的 Token），你最后要输出一个长度为 N 的向量，N 是词表大小，其中的每一个值都是一个概率值，表示下一个 Token 出现的概率，概率值加起来为 1。按照贪心搜索解码策略，下一个 Token 就是概率最大的那个，写成简单的计算表达式如下。

上面的 W 就是模型参数，其实 X 也可以被看作模型参数（自动学习到的）。因为我们知道了输入和输出的大小，所以中间其实可以经过任意的计算，也就是说，W 可以包含很多运算。总之各种张量（三维以上数组）运算，只要保证最后的输出形式不变就行。各种不同的计算方式就意味着各种不同的模型。

在深度学习早期，最著名的语言模型是使用循环神经网络（ recurrent neuraletwork，RNN）训练的，RNN 是一种比N-Gram 模型复杂得多的模型。RNN 与其他神经网络的不同之处在于，RNN的节点之间存在循环连接，这使得它能够记住之前的信息，并将它们应用于当前的输入。这种记忆能力使得RNN在处理时间序列数据时特别有用，例如预测未来的时间序列数据、进行自然语言的处理等。通俗地说，RNN就像具有记忆能力的人，它可以根据之前的经验和知识对当前的情况做出反应，并预测未来的发展趋势，如图 1-4 所示。

在图 1-4 中，右边是左边的展开，A 就是参数，x 是输入，h 就是输出。自然语言是一个 Token 接着一个 Token（Token by Token）的，从而形成一个序列。参数怎么学习呢？这就要稍微解释一下学习（训练）过程。

如图 1-5 所示，第一行就是输入 X，第二行就是输出 Y，SOS（ start of sentence ）表示句子开始，EOS（ end of sentence ）表示句子结束。注意，图 1-4 中的 h 并不是那个输出的概率，而是隐向量。如果需要概率，可以再对 h 执行张量运算，归一化到整个词表即可。

上面的 nn.RNN就是 RNN 模型。输入是一个 4 ×32 的向量，换句话说，输入是 4 个 Token，维度 d=32。h0就是随机初始化的输出，也就是 4 个 Token 中第 1 个 Token 的输出，这里 output 的 4 个 64 维的向量分别表示 4 个输出。hn 就是最后一个 Token 的输出（它和output 的最后一个 64 维向量是一样的），也可以看成整个句子的表示。注意，这里的 output 和图 1-5 中的输出 Y 还没有关系。别急，继续往下看。如果要输出词的概率，就需要先扩充到词表大小，再进行归一化。

这里的 probs 的每一行就是词表大小的概率分布，概率和为 1 ，意思是根据当前 Token 生成下一个 Token 的概率，下一个 Token 有可能是词表中的任意一个 Token，但它们的概率和一定为 1 。因为我们知道接下来每个位置的 Token 是什么（也就是图 1-5 中的输出 Y）。这里得到最大概率的那个 Token，如果正好是这个 Token，则说明预测对了，参数就不用怎么调整；反之，模型就会调整前面的参数（ RNN、h0、input 和 wo）。你可能会疑惑为什么 input 也是参数，其实前面我们偷懒了，本来的参数是一个 1000 ×32 的大矩阵，但我们使用了 4 个 Token 对应位置的向量。这个 1000 ×32 的大矩阵其实就是词向量（每个词一行），开始时全部随机初始化，然后通过训练调整参数。

训练完成后，这些参数就不变了，然后就可以用前面同样的步骤来预测了，也就是给定一个 Token，预测下一个 Token。如果使用贪心搜索，则每次给定同样的 Token 时，生成的结果就一样。其余的就和前面讲的接上了。随着深度学习的不断发展，出现了更多比 RNN 还复杂的网络结构，而且模型变得更大，参数更多，但逻辑和方法是一样的。

好了，语言模型就介绍到这里。上面的代码看不懂没关系，你只需要大致了解每个 Token 是怎么表示、怎么训练和预测出来的就行。简单直观地说，构建（训练）语言模型的过程就是学习词、句内在的“语言关系”；而推理（预测）就是在给定上下文后，让构建好的模型根据不同的解码策略输出对应的文本。无论是训练还是预测，都以 Token 为粒度进行。

准备一本《ChatGPT原理与应用开发》，你就可以用大语言模型轻松做出自己的AI产品。