近几个月来，大型语言模型（LLMs）在人工智能社区中引起了极大的关注和流行。这些模型在文本摘要、问答、代码完成、内容生成等任务中展示出了强大的能力。
然而，LLMs通常在不充分的网络抓取数据上进行训练。这些数据通常杂乱、无结构，表达不清晰。按照现有的扩展原则，即随着模型规模的增加，计算能力和数据量也应该成比例增加，这带来了挑战。
困扰研究人员的主要问题有两个。首先，预训练涉及显着的计算成本和时间。其次，互联网上高质量数据的稀缺性问题迫在眉睫。在最新的研究中，来自苹果和卡内基梅隆大学的研究团队通过引入Web Rephrase Augmented Pre-training（WRAP）的概念，解决了这些问题。
WRAP是一种创新方法，利用已存在的、经过指令调整的LLM。这个LLM用于将在线页面改写成特定风格，包括模仿维基百科的语气或将文本转换为问答格式。WRAP的主要目标是通过添加真实和人工改写的数据来提高LLMs的预训练效果。
图源备注：图片由AI生成，图片授权服务商Midjourney
WRAP的主要特点包括:
- **预训练效率:** 将WRAP应用于嘈杂的C4数据集，显著加快了预训练速度，约为三倍。这种效果对于减少与LLM训练通常相关的高昂费用和时间投入至关重要。
- **模型性能提升:** WRAP在相同的计算预算下使模型性能更出色。使用Pile的不同子集减少了超过10%的歧义，提高了13种不同活动的零-shot问题回答准确性超过2%。
- **网络文档改写:** WRAP使用中等规模的LLM对网络文档进行改写，呈现多种风格。这种方法不同于创建新数据，而是通过改进已有内容，保持原始信息的质量和多样性。
WRAP生成的合成数据有两个主要好处。首先，它包含反映应用中使用的语言多样性的各种风格。有了这种多样性，LLM更好地为更广泛的实际事件做好准备。其次，WRAP改写的合成数据比原始网络抓取的数据质量更高。这种质量的提升源于语言更有序、更连贯，从而促进更有效的模型学习。
WRAP是LLM预训练领域的一项重大进展。通过使用高质量、不同风格的合成数据，WRAP不仅加速了训练过程，还提高了LLMs的整体性能。考虑到低质量网络数据的丰富性和经典LLM训练方法的资源密集性，这种方法提供了一种可能的前进方式。
论文网址:https://arxiv.org/abs/2401.16380