Transformer模型详解

Transformer模型实在论文《Attention Is All You Need》里面提出来的，用来生成文本的上下文编码，传统的上下问编码大多数是由RNN来完成的，不过，RNN存在两个缺点：

一、计算是顺序进行的，无法并行化，例如：对于一个有10个单词的文本序列，如果我们要得到最后一个单词的处理结果，就必须要先计算前面9个单词的处理结果。

二、RNN是顺序计算，存在信息的衰减， 所以很难处理相隔比较远的两个单词之间的信息，因此，RNN通常和attention相结合使用。

针对RNN的缺陷，《Attention Is All You Need》提出了Transformer模型解决这个问题。Transformer由多头注意力、位置编码、层归一化和位置前向神经网络等部分构成。

说得再多，还不如直接一幅图看起来清晰一些，来看一下Transformer的网络结构图。

Transormer和seq2seq模型一样，由Encoder和Decoder两大部分组成，其中左侧的是Encoder，右侧的是Decoder。模型主要由多头注意力和前馈神经网络组成。

这里有个关键的点–**位置编码。**使用RNN的进行处理的时候，每个输入天然存在位置属性，但这也是RNN的弊端之一。文本单词的排列与文本的语义有很大的关联，所以文本的位置是一个很重要的特征，因此，在Transformer模型里面，加入了位置编码来保留单词的位置信息。

下面，我们对Transformer里面的每一部分进行讲解:

编码(Encoder)部分：

一、多头注意力

多头注意力是Transformer模型的重要组成部分，通过下面的图，我们来看看多头注意力的结构

多头注意力是self-attention(自注意力)的拓展,对与self-attention不熟悉，可以参考self-attention详解 ,相对于self-attention，多头注意力再两个方面有所提高：

1、扩展了模型在文本序列不同位置的注意力能力。相对于self-attention，self-attention的最终输出中，包含了其他词的很少信息，其注意力权重主要由词语本身即query占主导位置。

2、赋予attention多种子表达方式。使用多头注意力机制，我们会有多组的Q、K、V参数矩阵（Transformer使用了8个heads，所以会有8组参数矩阵）。

我们一起来看看Transformer里的多头注意力机制是怎么计算的。

首先，会划分为8个heads，得到8组的Q、K、V参数矩阵

随后，我们要计算注意力权重，我们有8组矩阵，所以输出的注意里权重也有8个矩阵 外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

在这里，问题来了，下一层的是一个前馈神经网络，只输入一个矩阵，但我们多头注意力机制输出了8个。所以，我们要把这8个矩阵压缩成一个矩阵。

这要怎么做呢？这个算法太精妙了，以至于我不得不把膝盖献给大佬们，

分为两个步骤

把连接起来得到一个新的矩阵
把连接得到的矩阵乘上一个参数权重矩阵 ,得到最终的输出结果

最后，用一个图总结一下多头注意力的计算过程

二、位置编码(positional embedding)

前面已经说过,Transformer设计了位置编码(positional embedding)来保留单词的位置信息，每一个位置都会分配一个独特的位置编码，下面是以三角函数定义的一种位置编码：

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

[公式]

其中， [公式] 代表文本序列中pos个位置的单词的位置编码第维分量的值。其中，表示当前词语再句子中的位置，表示当前的向量中每个值的index

假设词的向量维度为4，那么实际的位置编码就是这样子的：

即在按照公式计算的得到Positional Encoding后，把positional Encoding和Embeding的值相加，作为下一层的输入。

三、层归一化(layer normalization)

神经网络的训练是具有高度的计算复杂性，为了减少训练的时间成本，加快网络的收敛速度，可以采用的方法是层归一化(layer normalization)。

层归一化操作会对一层的输入 [公式] 进行归一化操作得到。计算层归一化的操作公式如下：

[公式]

其中， [公式] 为参数，为非线性函数

在transformer的Encoder的网络架构里面，还有一个我们需要注意的细节。在Encoder的每一个子层(self-attention、ffnn)里面都有一个残差连接(residual connection)，残差连接会将网络层的输入和输出进行相加。

把self-attention、层次归一化、残差连接的计算细节和相互之间的联系更进一步展示，可以如下图所示:

Decoder里面的子网络层也是由self-attention、层次归一化、残差连接组成的，而Transformer主要由Encocder和Decoder两部分构成。那么，Transformer的内部细节就可以如下图所示：

二、解码(Decoder)部分

现在我们已经了解了Encoder的各个组成部分和相关的概念/。Decoder的组成部分也和Encoder类似，所以我们也基本上知道了Decoder的组成部分，我们来看看他们整体的工作流程是怎么样的。

输入的文本经过Embeding、positional Embeding后，输入到encoder进行处理。在最后，顶端的encoder会输出一组attention的 [公式] 向量，这个向量会在解码器中使用，帮助解码器关注输入文本的合适位置。

解码的步骤如下图所示，图中的这个步骤会一直重复，直到遇到终止符。在解码过程中，每次当前解码的输出都会作为下一次解码的输入。在Encoder 中，positional encoding会和词的Embeding相加作为下一层的输入，在Decoder里也一样，每个词的positional encoding也会和相应的embeding相加作为Decoder输入。

Mask

mask表示掩码。即对某些值进行掩盖，不参与计算，不会对参数更新产生效果。Decoder计算注意力的时候，为了让decoder不能看到未来的信息，需要把未来的信息隐藏。例如在 time_step 为 t 的时刻，解码计算attention的时候应该只能依赖于 t 时刻之前的输出，而不能依赖 t 之后的输出。因此需要想一个办法，把 t 之后的信息给隐藏起来。这就是mask的作用。

具体的办法是在计算attention步骤中，在计算softmax之前，在这些位置加上一个非常打的负数(-INF)，这样，经过softmax这些位置的概率会接近0。

Linear和softmax

Decoder最终输出的结果是一个浮点型数据的向量，我们要如何把这个向量转为一个单词呢？这个就是Linear和softmax要做的事情了。

Linear层是一个全连接的神经网络，输出神经元个数一般等于我们的词汇表大小。Decoder输出的结果会输入到Linear层，然后再用softmax进行转换，得到的是词汇表大小的向量，向量的每个值对应的是当前Decoder是对应的这个词的概率，我们只要取概率最大的词，就是当前词语Decoder的结果了。

Transformer的主要模块和相关工作原理都已经讲完了,希望对你有所帮助，毛主席说：实践是检验真理的唯一标准，代码是学习算法的最佳资料，(我说的)，下一篇我们来认真分析一下transformer的模型的实现代码，然后再使用一下transformer模型，来进一步理解模型的原理。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓

在这里插入图片描述