日期: 2025 年 4 月 8 日
VecSetX:基于VecSet框架的先进向量集合表示方法
VecSetX:一种先进的向量集合表示方法,采用多层注意力机制提升性能,引入SDF回归替代传统分类,并使用Flash Attention加速训练。
ExlLlamaV3:为现代消费级GPU优化的本地运行LLMs的量化和推理库
ExlLlamaV3是为现代消费级GPU优化的本地运行LLMs量化和推理库,支持多种架构,低内存需求,70B模型仅需16GB显存。
VecSetX:一种先进的向量集合表示方法,采用多层注意力机制提升性能,引入SDF回归替代传统分类,并使用Flash Attention加速训练。
ExlLlamaV3是为现代消费级GPU优化的本地运行LLMs量化和推理库,支持多种架构,低内存需求,70B模型仅需16GB显存。