(NLP) Transformer

Transformer是一个利用注意力机制来提高模型训练速度的模型，因其适用于并行化计算以及本身模型的复杂程度使其在精度和性能上都要高于之前流行的循环神经网络。

标准的Transformer结构如下图所示，是一个编码器-解码器架构，其编码器和解码器均有一个编码层和若干相同的Transformer模块层堆叠组成。