GPT

5.3 GPT

GPT是一个单向语言模型，输入的句子是从左到右的，因此在训练的时候，每个位置的词都可以看到前面的词，但是不能看到后面的词。

可以将BERT理解为Transformer的Encoder，而GPT可以理解为Transformer的Decoder。

参考资料

1. https://arxiv.org/pdf/1810.04805

2. https://zhuanlan.zhihu.com/p/403495863