英伟达视频模型Magic 1-For-1，1 分钟生成 1 分钟视频，且开源
近日英伟达联合北京大学和Hedra Inc开源了Magic 1-For-1 AI视频生成模型，其特点是生成速度快且开源，并通过量化技术将模型体积从32GB压缩至16GB。该模型支持多模态输入、扩散步骤蒸馏等技术。缺点在于高速运动场景的处理能力有限，以及视频分辨率较低。
滑动窗口
405B大模型也能线性化！斯坦福MIT最新研究，0.2%训练量让线性注意力提分20+
研究人员提出LoLCATs方法，通过低秩线性转换将传统注意力无缝转移到线性注意力，使生产级大模型如Llama 3.1 405B的训练效率大幅提升。