103K「硬核」题,让大模型突破数学推理瓶颈
本文介绍了一篇关于 DeepMath-103K 数据集的研究论文,该数据集旨在解决当前大语言模型在数学推理训练中的数据瓶颈问题。论文详细描述了其高难度、新颖性和纯净性的特点,并展示了在多个基准测试中的卓越性能。
本文介绍了一篇关于 DeepMath-103K 数据集的研究论文,该数据集旨在解决当前大语言模型在数学推理训练中的数据瓶颈问题。论文详细描述了其高难度、新颖性和纯净性的特点,并展示了在多个基准测试中的卓越性能。
腾讯 AI Lab 研究发现低比特量化仅在未充分训练的 LLM 上能取得与 fp16/bf16 相当的性能表现,提出了一套低比特量化的 scaling laws,并通过实验验证其普适性。