最大参数 300 亿!阶跃星辰与吉利联合开源两款多模态大模型
吉利汽车集团与阶跃星辰联合宣布,将Step系列多模态大模型向全球开发者开源。包括参数量最大的视频生成模型和首款语音交互大模型。阶跃Step-Video-T2V可直接生成高质量视频,而阶跃Step-Audio是业内首个产品级的开源语音交互模型。
吉利汽车集团与阶跃星辰联合宣布,将Step系列多模态大模型向全球开发者开源。包括参数量最大的视频生成模型和首款语音交互大模型。阶跃Step-Video-T2V可直接生成高质量视频,而阶跃Step-Audio是业内首个产品级的开源语音交互模型。
中国研究员联合DeepMind团队提出的新研究《Lavender: Diffusion Instruction Tuning》,通过“注意力对齐”让Stable Diffusion教Llama-3.2等模型“看图说话”,性能提升30%,且代码、模型、训练数据将全部开源。
北大团队提出VARGPT模型,通过单一自回归框架实现视觉理解与生成。其创新设计包括引入视觉解码器、多尺度图像分词器和特征投影器,并采用三阶段训练策略优化性能。