预训练框架

CoCoMix 是一种预训练框架，结合连续概念与稀疏自编码器学习的语义概念，通过交叉熵损失预测选定的概念，并将其混合到模型隐藏状态中，显著提升大型语言模型性能。