前言
了解了 Transformer 的整体架构后,我们知道,在实现机器翻译时,我们可以将源序列输入编码器,然后将编码后的源序列与目标序列输入到解码器,解码器会尝试预测下一个词元。那我们可不可以使用它来生成文本呢?当然可以,其实无论是机器翻译、或者文本生成,它本质都是根据一个已有的文本,来预测下一个词元,基于这个想法,出现了 Decoder-Only 架构,它摒弃了 Encoder,只使用 Decoder 来完成文本生成任务,而这也是 GPT 模型采用的构架。
下面我们基于 Transformer 的 Decoder 来实现一个简单的“文本生成”语言模型。