多模态训练后模型能力雪崩，上海AI Lab全面探索MLLM偏好对齐与模态融合
上海交大团队通过实验发现多模态数据对语言质量的影响有限，提出OmniAlign-V数据构建Pipeline，包含高质量的多模态数据，并在多个基准测试中验证了其有效性。
Arxiv.org
Meta探索大模型记忆层，扩展至1280亿个参数，优于MoE
MLNLP 社区致力于促进 NLP 学术界、产业界及爱好者间的交流合作，Meta 新研究展示了记忆层在预训练语言模型扩展中的实用性和性能提升。
上海交大团队通过实验发现多模态数据对语言质量的影响有限，提出OmniAlign-V数据构建Pipeline，包含高质量的多模态数据，并在多个基准测试中验证了其有效性。
MLNLP 社区致力于促进 NLP 学术界、产业界及爱好者间的交流合作，Meta 新研究展示了记忆层在预训练语言模型扩展中的实用性和性能提升。