困惑度

BitNet系列原班人马推出新一代架构BitNet a4.8，采用两阶段权重衰减和学习率调度。实验对比显示其在语言模型困惑度和任务准确性方面与LLaMA相当，并且平均精度几乎没有损失。