FlashInfer

FlashInfer论文介绍了高效的注意力引擎技术，利用块稀疏和可组合格式解决KV缓存存储问题，并提供了自定义和负载均衡调度功能。