智源发布FlagAttention算子集 适配多种大模型训练芯片

为了满足大模型对计算资源的需求，智源研究院开发了 FlagAttention 项目，旨在构建一套适配多种芯片的大模型核心算子集合。 该项目选择使用 Triton 作为开发语言，通过 Triton 的开放性和易用性，使得 FlagAttention 不仅支持...