被DeepSeek带火的知识蒸馏,开山之作曾被NeurIPS拒收,Hinton坐镇都没用

《Distilling the Knowledge in a Neural Network》是一篇更偏工程性改进的文章,但它提出了知识蒸馏这一概念,并显著提高了模型的性能。论文被Hinton、Oriol Vinyals和Jeff Dean等专家合写,但因其缺乏创新性和影响力,在2014年被NeurIPS拒收。

GPT-4o级开源模型来了!MiniCPM-o:多语种情感控制的实时对话、仅8B、华人团队

华人团队发布的MiniCPM-o 2.6多模态大模型在视觉和语音方面表现优异,参数量仅8B。其平均得分70.2,在OpenCompass评测中支持1344×1344高分辨率图像处理,并能实时识别双语语音,且支持30多种语言。