值得一读之关于ktransformers的一些正确认知和若干细节问题 下午2时 2025/02/18 作者 老刘说NLP 多,也让人产生了许多误区,社区觉得有必要来谈谈这个话题,当然,跟大家强调一下,我们务必要去看 一手消
DeepSeek R1 – 最强大的开源推理模型:包含经过蒸馏优化的 Llama 和 Qwen 模型 下午4时 2025/01/24 作者 NLP工程化 DeepSeek R1开源模型发布,包括Llama和Qwen蒸馏版本,支持GGUF格式和4位量化,7B模型压缩至4.68G。
本地运行量化版本的大模型 下午11时 2025/01/22 作者 NLP工程化 本篇内容教大家如何本地运行 GGUF 格式的 LLM 模型,以最新 DeepSeek-R1-Distill-Qwen-32B-GGUF 模型为例。