NeurIPS 2024 TextHarmony:和谐统一的多模态文字理解与生成大模型
TextHarmony是首个在单一模型中实现视觉文本感知、理解与生成任务的OCR研究,通过ViT+MLLM+Diffusion架构及Slide-LoRA缓解模态不一致问题,显著提高OCR相关任务性能。
TextHarmony是首个在单一模型中实现视觉文本感知、理解与生成任务的OCR研究,通过ViT+MLLM+Diffusion架构及Slide-LoRA缓解模态不一致问题,显著提高OCR相关任务性能。
kGIT 方案做生成的生成理解统一模型。
>>
加入极市CV技术交流群,走在计算机视觉的最前沿
太长
一本好的教材兼具体量恢弘与思想深邃,《深度学习:基础与概念》就是这样的一本经典入门书籍,作者Christopher M.Bishop长期深耕人工智能领域,并获得多位AI领域的重量级专家推荐。
生成任务相统一的Transformer模型
Show-o,它通过结合自回归和离散扩散建模,创新性地用