自Mixtral以来，大家对混合专家模型（Mixture-of-Experts，MoE）的关注越来越高。然而从零训练MoE模型的成本极大，需要耗费海量的计算资源。为此，我们探索了一种基于参数复用的MoE快速构建方法。
该方法首先将LLaMA2模型进行“大化小式”的专家划分，再通过继续预训练恢复模型的语言能力。在此基础上，我们尝试了各类专家构建方案和继续预训练策略，并得到了一系列的小型化LLaMA-MoE模型。
实验结果表明，LLaMA-MoE对比相似激活量的稠密模型具有一定的性能优势，为后续基于MoE的研究提供了良好的轻量化基座。相关模型权重、专家构建和预训练代码均已开源[1]，欢迎大家的试用~
主持人
华文越
罗格斯大学在读博士，新布朗斯维克分校
https://wenyueh.github.io
分享嘉宾
朱桐苏州大学博士生，目前在上海人工智能实验室实习，主要研究方向为各类信息抽取任务和混合专家模型（MoE）。在EMNLP、COLING、IJCAI等会议中发表论文多篇，并在CCKS、百度千言等学术评测任务中多次取得奖项。
主页：https://spico197.github.io
内容
LLaMA-MoE：基于参数复用的混合专家模型构建方法探索
混合专家模型（MoE）背景介绍（15min）
LLaMA-MoE的专家划分策略（10min）
LLaMA-MoE的继续预训练方法（10min）
实验发现及总结（5min）
QA讨论环节（20mins）
预约
时间
2024.1.6 10:30-11:30
本周六上午不见不散~
视频号和b站都可预约~
b站进群
为了方便讨论，建立了一个交流群，分享嘉宾也在里面，可以面对面探讨更多细节~
参考资料
[1]
llama-moe: https://github.com/pjlab-sys4nlp/llama-moe
备注：昵称-学校/公司-方向/会议(eg.ACL)，进入技术/投稿群
id：DLNLPer，记得备注呦
总结
**文章总结：**本文介绍了一项关于混合专家模型（Mixture-of-Experts, MoE）的研究，特别是针对从零开始训练MoE模型成本高昂的问题，提出了一种基于参数复用的快速构建方法：LLaMA-MoE。该方法通过将大型LLaMA2模型进行精细化的专家划分，并继续预训练以恢复其语言能力，成功构建了多个小型化的MoE模型。实验显示，这些模型在相似激活量下，性能优于同类密集模型，为MoE后续研究提供了重要的轻量化基础。研究团队已将所有相关模型权重、专家构建方案及预训练代码开源，促进学术与工业界的广泛应用与探讨。分享活动将于2024年1月6日上午10:30-11:30举行，涵盖MoE背景介绍、LLaMA-MoE的划分与预训练方法、实验总结及互动问答环节，欢迎通过上述渠道预约参与，并可加入交流群进行深入讨论。