生成式视觉-语言模型

本文提出MoCa框架，通过持续预训练和异构对比学习微调两阶段方法，将单向因果注意力机制的VLM转化为高效的双向多模态编码器，解决多模态嵌入模型的表示质量问题。