MagiAttention

MagiAttention 提供线性可扩展的分布式注意力机制，支持多种注意力掩码类型，性能与Flash-Attention 3相当，实现零冗余通信提升效率。