[算法前沿]--008- AIGC和LLM下的Prompt Tuning微调范式
文章目录
1. Prompt Tuning含义
1.1 解决问题
1.2 语言模型分类
1.3 Prompt-Tuning的研究进展
1.4 如何挑选合适的Pattern?
1.5 Prompt-Tuning的本质
1.5.1 Prompt的本质是一种对任务的指令
1.5.2 Prompt的本质是一种对预训练任务的复用；
1.5.3 Prompt的本质是一种参数有效性学习；
2. 经典的预训练模型
2.1 Masked Language Modeling（MLM）