为了满足大模型对计算资源的需求，智源研究院开发了 FlagAttention 项目，旨在构建一套适配多种芯片的大模型核心算子集合。
该项目选择使用 Triton 作为开发语言，通过 Triton 的开放性和易用性，使得 FlagAttention 不仅支持 NVIDIA GPU，还可以显著降低不同芯片之间模型适配的成本，提高大模型的训练与推理效率。
FlagAttention 目前包含两个算子:piecewise_attention 和 flash_attention。
其中，piecewise_attention 是针对长文本模型的分段式 Attention 算子，而 flash_attention 是基于 Triton 的高效 Multihead Attention 实现。
通过 FlagAttention，希望能够消除现有 AI 生态中的软件壁垒，让更广泛的模型用户能够使用到最新的模型优化技术。
未来，FlagAttention 还将支持更多功能，并与其他芯片厂商合作，优化算子的性能和适配。
项目地址:
https://github.com/FlagOpen/FlagAttention
https://github.com/FlagOpen/FlagAttention/issues