原文地址：https://towardsdatascience.com/fine-tune-llama-3-with-orpo-56cfab2f9ada
更便宜、更快的统一微调技术
2024 年 4 月 19 日
ORPO 是一种新的令人兴奋的微调技术，它将传统的监督微调和偏好校准阶段合并为一个过程。这减少了训练所需的计算资源和时间。此外，经验结果表明，在各种模型大小和基准上，ORPO 都优于其他配准方法。
在本文中，我们将使用 ORPO 和 TRL 库对新的 Llama 3 8B 模型进行微调。
ORPO
指令调整和偏好对齐是使大型语言模型（LLM）适应特定任务的基本技术。传统上，这涉及一个多阶段过程：1/ 对指令进行监督微调 (SFT)，使模型适应目标领域；2/偏好调整方法，如人工反馈强化学习 (RLHF) 或直接偏好优化 (DPO)，以提高生成首选响应而非拒绝响应的可能性。
不过，研究人员也发现了这种方法的局限性。虽然 SFT 能有效地使模型适应所需的领域，但却无意中增加了在生成首选答案的同时生成不想要的答案的概率。这就是为什么有必要进行偏好调整阶段，以拉大首选输出和拒绝输出的可能性之间的差距。
由 Hong 和 Lee（2024 年）提出的 ORPO 将指令调整和偏好调整结合到一个单一的、整体的训练过程中，为这一问题提供了一个优雅的解决方案。ORPO 修改了标准语言建模目标，将负对数似然损失与几率比（OR）项相结合。这种赔率损失会对被拒绝的反应进行弱惩罚，同时对偏好的反应进行强奖励，从而使模型能够同时学习目标任务并与人类偏好保持一致。
使用 ORPO 微调 Llama 3<
总结
**文章总结：ORPO技术助力更高效微调Llama 3模型**在最近的研究中，引入了一种名为ORPO（Optimizer Regularized Preference Optimization，优化器正则化偏好优化）的先进微调技术，该技术通过合并传统的监督微调和偏好调整阶段，极大地降低了训练大型语言模型（LLM）时的计算成本和时间需求，并在多个基准测试中展现了其优越性。
具体而言，ORPO技术旨在解决传统方法（如监督微调加偏好调整）中的不足，这些不足主要在于监督微调（SFT）虽能提升模型对目标领域的适应性，但也容易增加生成非偏好答案的概率。为此，常需再通过偏好调整技术（如RLHF或DPO）来拉大首选输出与拒绝输出之间的概率差距。
ORPO创新地将这一过程简化为一个整体式训练过程，它通过修改模型的损失函数，结合负对数似然损失与赔率损失项，有效地对不符合偏好的输出进行轻量级惩罚，同时对符合偏好的输出给予更强有力的奖励。这一机制不仅提升了模型的学习效率，还能够让模型在执行任务时更好地遵循人类的偏好和期望。
本文进一步展示了如何运用ORPO技术及TRL库对新发布的Llama 3 8B模型进行微调。这一实践不仅展示了ORPO在大规模模型应用中的潜力，也预示了未来LLM训练和部署成本控制与性能优化的新方向。