多模态大模型文心4.5后训练详解
MLNLP社区致力于促进国内外机器学习与自然语言处理的交流与发展,涵盖硕博生、高校老师及企业研究人员。文心4.5开源10个多模态大模型,并介绍其后训练阶段的技术细节。
MLNLP社区致力于促进国内外机器学习与自然语言处理的交流与发展,涵盖硕博生、高校老师及企业研究人员。文心4.5开源10个多模态大模型,并介绍其后训练阶段的技术细节。
百度文心4.5系列开源10款混合专家模型,包含MoE和稠密参数模型;ERNIE-4.5-300B-A47B-Base在28个基准测试中超越DeepSeek-V3-671B-A37B-Base。腾讯Hunyuan-A13B语言模型采用混合推理,支持超长上下文理解;盘古Pro MoE模型使用分组混合专家架构,参数量高达72B、激活参数量16B。
百度正式宣布开源文心4.5系列模型,该系列包含多模态异构MoE预训练、可扩展高效的基础设施以及针对特定模态的后训练技术。模型在多个基准测试中表现优异,覆盖了文本和多模态任务。
在百度AI Day活动上,文心4.5 Turbo和X1 Turbo大模型展示了多项技术创新。通过混合训练技术提升跨模态学习效率和多模态融合效果,后训练采用自反馈增强技术优化生成结果质量,同时具备数据建设闭环以提供丰富多样高质量数据。百度文心大模型在推理能力评估中获得最高级评级,并成功应用到数字人主播等实际场景中。
专注于AIGC领域的专业社区报道了百度发布的新款大模型文心4.5和X1。文心4.5能高效解读视频内容,而X1则具有自动调用多种工具的能力。两款模型均免费提供使用,并展示了它们在理解和分析新信息方面的强大能力。
百度文心一言发布两年后,推出了新的模型文心4.5和推理模型X1。文心4.5能理解音频、视频、图片但无输出能力;文心X1在推理方面表现不错,价格实惠。总体来看,此次升级有助于提升用户体验,但仍存在一些局限性。
百度宣布将在未来几个月推出文心大模型4.5系列并正式开源。此前李彦宏曾断言开源模型落后且成本高。DeepSeek的出现使百度不得不在AI应用收费模式上做出调整,凸显出其在大模型赛道上的压力。