NeurIPS 2024 TextHarmony:和谐统一的多模态文字理解与生成大模型
TextHarmony是首个在单一模型中实现视觉文本感知、理解与生成任务的OCR研究,通过ViT+MLLM+Diffusion架构及Slide-LoRA缓解模态不一致问题,显著提高OCR相关任务性能。
TextHarmony是首个在单一模型中实现视觉文本感知、理解与生成任务的OCR研究,通过ViT+MLLM+Diffusion架构及Slide-LoRA缓解模态不一致问题,显著提高OCR相关任务性能。
统一多模态模型的目标是整合深度理解与丰富的生成能力,MetaQueries采用‘token → [transformer] → [diffusion] → pixels’范式,通过可学习查询和冻结MLLM在保持性能的同时实现图像生成。