目录
显示
1.目前主流的开源模型体系有哪些？
目前主流的开源模型体系分三种：
- prefix Decoder系列
- 输入双向注意力，输出单向注意力
- 代表：ChatGLM、 ChatGLM2、U-PaLM
- causal Decoder系列
- 从左到右的单向注意力
- 代表：LLaMA-7B、LLaMa衍生
- Encoder-Decoder
- 输入双向注意力，输出单向注意力
- 代表：T5、Flan-T5、BART
2 prefix Decoder 和 causal Decoder 和 Encoder-Decoder 区别是什么？
在于 attention mask不同
- Encoder-Decoder:
- 在输入上采用双向注意力，对问题的编码理解更充分
- 适用任务：在偏理解的NLP任务上效果好
- 缺点：在长文本生成任务上效果差，训练效率低。
- causal Decoder:
- 自回归语言模型，预训练和下游应用时完全一致的，严格遵守只有后面的Token才能看见前面的Token的规则。
- 适用任务：文本生成任务效果好。
- 优点：训练效率高，zero-shot能力更强，具有涌现能力。
- prefix Decoder:
- 特点：prefix部分的token互相能看到，causal Decoder和Encoder- Decoder折中
- 缺点：训练效率低
