当前位置:AIGC资讯 > AIGC > 正文

智源发布FlagAttention算子集 适配多种大模型训练芯片

为了满足大模型对计算资源的需求,智源研究院开发了 FlagAttention 项目,旨在构建一套适配多种芯片的大模型核心算子集合。

该项目选择使用 Triton 作为开发语言,通过 Triton 的开放性和易用性,使得 FlagAttention 不仅支持 NVIDIA GPU,还可以显著降低不同芯片之间模型适配的成本,提高大模型的训练与推理效率。

FlagAttention 目前包含两个算子:piecewise_attention 和 flash_attention。

其中,piecewise_attention 是针对长文本模型的分段式 Attention 算子,而 flash_attention 是基于 Triton 的高效 Multihead Attention 实现。

通过 FlagAttention,希望能够消除现有 AI 生态中的软件壁垒,让更广泛的模型用户能够使用到最新的模型优化技术。

未来,FlagAttention 还将支持更多功能,并与其他芯片厂商合作,优化算子的性能和适配。

项目地址:

https://github.com/FlagOpen/FlagAttention

https://github.com/FlagOpen/FlagAttention/issues

更新时间 2023-12-08