MoBA

Kimi研究团队提出的MoBA注意力机制显著提升了处理1M和10M长文本的速度，相比传统方法快了6.5倍和16倍。MoBA通过将上下文划分为块，并采用参数无关的top-k门控机制选择最相关的块来高效处理长序列数据。