NeurIPS 2024 水印与高效推理如何两全其美?最新理论:这做不到

近日,DeepMind团队与马里兰大学研究人员在结合水印技术和投机采样方面取得进展。研究揭示了水印强度和采样效率之间的不可行定理,并提出了两种方法来平衡两者。研究表明,在保持检测效率或速度上存在权衡关系,未来需要设计新算法以应对这一挑战。

精度与通用性不可兼得,北大、华为理论证明低精度下Scaling Law难以实现

大模型量化通过降低精度来提高推理速度,但研究发现不同精度下大语言模型在基本数学任务上的表现显著下降。研究证明足够的精度是解决这些任务的重要前提,而量化会严重损害大模型的数学推理能力。