田渊栋:连续思维链效率更高,可同时编码多个路径,“叠加态”式并行搜索

田渊栋团队利用连续隐向量进行推理,提出两层Transformer可以解决ProsQA问题,准确率达到99%,远超12层离散CoT模型的83%。论文发表于arXiv,该成果不仅应用于科学研究,还激发了作者创作科幻小说的兴趣。

小模型指导大模型!田渊栋等爆锤蒸馏:新方法更高效、更透明、更可控

Meta团队提出的新方法CoCoMix超越传统的NTP范式,直接在语句级别上进行语言建模,减少21.5%的数据量。该方法通过预测和混合连续概念来提高模型性能,并且可以实现弱监督到强监督的转换,增强可解释性和可控性。