Deepseek v3开源，本地仅700G可轻松运行！

DeepSeek V3 正式发布，模型与技术报告全开源，非常牛，又在大模型领域掀起了一股热议，概率为2句话：

根据多个基准测试，DeepSeek v3 在代码方面甚至优于 Claude Sonnet 3.5

那么671B的DeepSeek V3如何本地运行尼，由于DeepSeek的框架原生采用 FP8 训练，因此仅提供 FP8 权重，预估仅700GB+显存便可轻松运行。

当然也可以转换到BF16，在半精度下，需1400GB+

量化到int4时需要300GB+

半精度 236B的DeepSeek V2，占用 490G 显存，需要 7张 80G A100

https://huggingface.co/deepseek-ai/DeepSeek-V3-Base/tree/mainhttps://github.com/deepseek-ai/DeepSeek-V3/blob/main/DeepSeek_V3.pdf

（文：PaperAgent）