Unsloth 发布了 Dynamic v2.0 量化

Unsloth 发布了 Dynamic v2.0 量化,这个量化版本在 MMLU and KL Divergence 成绩上均比之前的量化版本好。 另外 Unsloth 未来发布的新量化版本均会使用 Dynamic v2.0 量化。顺便,他们还修了 llama.cpp 中 llama-4 的 RoPE 实现的问题,以及他们刚刚还放出了 DeepSeek-R1/DeepSeek-V3-0324 的新量化版本。

参考文献:
[1] DeepSeek-R1:huggingface.co/unsloth/DeepSeek-R1-GGUF-UD
[2] DeepSeek-V3-0324:huggingface.co/unsloth/DeepSeek-V3-0324-GGUF-UD
[3] https://huggingface.co/collections/unsloth/unsloth-dynamic-20-quants-68060d147e9b9231112823e6
[4] https://docs.unsloth.ai/basics/unsloth-dynamic-v2.0-ggufs



知识星球服务内容:Dify源码剖析及答疑,Dify对话系统源码,NLP电子书籍报告下载,公众号所有付费资料。加微信buxingtianxia21进NLP工程化资料群

(文:NLP工程化)

发表评论

×

下载每时AI手机APP

 

和大家一起交流AI最新资讯!

立即前往