PDF 文档翻译 API

由于我们的模型既不包含循环结构也不包含卷积结构，为了让模型能够利用序列的顺序信息，我们必须注入一些关于序列中词元相对位置或绝对位置的信息。为此，我们在编码器和解码器堆栈底部的输入嵌入中添加“位置编码”。位置编码与嵌入的维度相同，均为 ，以便两者可以相加。位置编码有多种选择，包括可学习的和固定的 [9]。

在这项工作中，我们使用不同频率的正弦和余弦函数：

其中 pos 是位置， 是维度。也就是说，位置编码的每个维度对应一个正弦曲线。波长从 到 形成一个等比数列。我们选择这个函数是因为我们假设它能让模型轻松学习根据相对位置进行注意力计算，因为对于任何固定偏移 都可以表示为 的线性函数。

我们还尝试了使用可学习的位置嵌入 [9] 进行替代，发现这两种版本产生的结果几乎相同（见表 3 行 (E)）。我们选择正弦版本是因为它可能使模型能够外推到比训练期间遇到的序列更长的长度。

在本节中，我们将自注意力层的各个方面与常用于将一个可变长度的符号表示序列 映射到另一个等长序列 （其中包含 ）的循环层和卷积层进行比较，例如典型序列转换编码器或解码器中的隐藏层。为说明我们使用自注意力机制的原因，我们考虑三个需求。

一是每层的总计算复杂度。另一个是可并行化的计算量，通过所需的最小顺序操作数来衡量。

第三个是网络中长距离依赖关系之间的路径长度。学习长距离依赖关系是许多序列转换任务中的关键挑战。影响学习此类依赖关系能力的一个关键因素是前向和后向信号在网络中必须经过的路径长度。输入和输出序列中任意位置组合之间的这些路径越短，就越容易学习长距离依赖关系 [12]。因此，我们还比较了由不同层类型组成的网络中任意两个输入和输出位置之间的最大路径长度。

如表 1 所示，自注意力层通过固定数量的顺序执行操作连接所有位置，而循环层需要 次顺序操作。在计算复杂度方面，当序列...