Transformer 架构详解:注意力机制如何工作

分类:大语言模型 · 作者:全国AI服务网技术编辑部 · 来源:全国AI服务网

Transformer 是现代大语言模型的基础架构。本文用通俗语言解释自注意力机制、多头注意力与位置编码的作用。

为什么需要 Transformer

在 Transformer 之前,循环神经网络(RNN)及其变体按时间步顺序处理文本,难以并行计算,且长距离依赖容易丢失。Transformer 完全基于注意力机制,摒弃了循环结构,能够并行处理整个序列,并有效捕捉远距离词之间的关系,因此成为现代大模型的基础。

自注意力机制

自注意力(Self-Attention)的核心思想是:让序列中每个词都能"看到"其他所有词,并根据相关性重新组合信息。具体实现中,每个词会被映射为三个向量:

  • Query(查询):当前词想要寻找什么信息。
  • Key(键):每个词提供的信息标签。
  • Value(值):每个词实际携带的信息内容。

模型计算 Query 与各 Key 的相似度作为权重,再对 Value 加权求和,得到该词的新表示。这样,一个词就能根据上下文获得更准确的语义,例如区分"苹果公司"和"吃苹果"中"苹果"的不同含义。

多头注意力

多头注意力(Multi-Head Attention)并行运行多组注意力计算,每组关注不同方面的关系——有的头可能关注语法结构,有的关注指代关系,有的关注语义关联。多个头的输出拼接后再线性变换,使模型能从多个角度理解同一段文本。

位置编码

由于 Transformer 并行处理所有词、本身不感知顺序,需要引入位置编码(Positional Encoding)为每个词注入位置信息,让模型知道词语的先后次序。常见做法包括正弦余弦编码、可学习的位置嵌入,以及长上下文场景中使用的旋转位置编码(RoPE)。

整体结构

标准 Transformer 由编码器(Encoder)和解码器(Decoder)堆叠而成。编码器擅长理解输入,解码器擅长生成输出。不同大模型采用不同变体:仅编码器模型(如 BERT 类)适合理解任务,仅解码器模型(如 GPT 类)适合生成任务,编解码模型适合翻译等序列到序列任务。