量化技术

大模型量化通过降低精度来提高推理速度，但研究发现不同精度下大语言模型在基本数学任务上的表现显著下降。研究证明足够的精度是解决这些任务的重要前提，而量化会严重损害大模型的数学推理能力。