小模型指导大模型！田渊栋等爆锤蒸馏：新方法更高效、更透明、更可控
Meta团队提出的新方法CoCoMix超越传统的NTP范式，直接在语句级别上进行语言建模，减少21.5%的数据量。该方法通过预测和混合连续概念来提高模型性能，并且可以实现弱监督到强监督的转换，增强可解释性和可控性。
田渊栋
全面超越CoT！Meta田渊栋团队新作：连续思维链
Meta田渊栋团队提出的新范式Coconut（连续思维链）在LLM推理任务中性能更强、效率更高，通过移除模型头尾的LLM head和embedding层，并使用中间状态进行自回归。