Qwen新开源,把AI生图里的文字SOTA拉爆了

鱼羊 发自 凹非寺
量子位 | 公众号 QbitAI

现在,图像中的文字生成都进化到这种程度了,还是开源的。

通义模型家族,刚刚又双叒开源了,这次是Qwen-Image——一个200亿参数、采用MMDiT架构的图像生成模型。

这也是通义千问系列中首个图像生成基础模型。

看Qwen-Image生成的画面就知道,它主打的能力之一就是复杂文本渲染

像这张书店畅销书架的图片,包含复杂的图文混合布局,文字的准确度、契合度,甚至于随书籍摆放角度形成的变化,都挑不出来什么错。

生成海报,也是不在话下。

照例,通义千问团队把模型、详细技术报告一口气都放了出来,Qwen-Image的能力也第一时间上线QwenChat,现在就能在官网上手体验。

实测Qwen-Image

Demo很优秀,实测效果又会如何?

Round 1:情境插画

测试提示词是:

李白站在窗前写“床前明月光”,窗外明月当空,在屋内投下柔和的光线,书桌上有酒和书籍,整体风格古典

好家伙,感觉可以直接给语文课本用了。

“床前明月光”这几个字不是直愣愣P上去的,跟画面融合得相当不错。画面细节方面,也很有氛围感。

硬要挑刺,就是AI有点分不清屋内屋外了(doge)。

Round 2:生成PPT、海报

官方Demo中有直接生成PPT的示例,我们也来测试一下,提示词是:

一张企业级高质量PPT页面图像,整体采用简约现代的风格,主题颜色是蓝绿色,背景用线条和粒子营造科技感,页面顶部左侧清晰展示QbitAI的标志。主标题位于画面中央偏上,文字内容为“量子位AI Coding线下沙龙”,字体规整简介,突出技术感。主标题下方放两张图,一张是线下沙龙现场照片,另一张体现AI编程

生成结果是这样的:

严格来看,右上角有小小的瑕疵,左下角图中图的文字也不是那么准确,但整体效果确实很顶,主体文字、图中图都能符合提示词的要求。

那么如果提示词更模糊更简单,Qwen-Image是否还能给出高质量结果?

测试提示词:

制作一张海报,主题是:通义千问开源Qwen-Image

文字准确,也体现了AI画画的元素,没毛病。

Round 3:商品宣传图

最后,再来测测Qwen-Image的“卖货”技能。

提示词:

面包店的商品宣传图,画面主体是面包和奶油蛋糕。图中文字展现“美味”、“动物奶油”、“开启美好一天”,字体采用花体字,整体风格轻松活泼。整体采用暖色调

有点惊喜的是,Qwen-Image把“动物奶油”这几个字准确对应到了奶油蛋糕上。

需要说明的是,以上实测,均为一次出图。

可以看到,Qwen-Image对提示词的理解都很到位,提示词给得越精准,执行的效果细节越丰富,其中文字渲染能力,确如官方所说,能做到高保真输出。

你给这个效果打几分?

性能SOTA

文本渲染能力之外,Qwen-Image还具备一致性图像编辑能力,支持风格迁移、增删改、细节增强、文字编辑、人物姿态调整等多种操作。

总结起来,其主要特性包括:

  • 复杂文本渲染能力: Qwen-Image在复杂文本渲染方面表现出色,支持多行布局、段落级文本生成以及细粒度细节呈现。无论是英语还是中文,均能实现高保真输出。
  • 一致性的图像编辑能力:通过增强的多任务训练范式,Qwen-Image在编辑过程中能出色地保持编辑的一致性。
  • 性能SOTA:在多个公开基准测试中的评估表明,Qwen-Image在各类生成与编辑任务中均获得SOTA。

性能表现方面,通义千问团队在多个公开基准上对Qwen-Image进行了评估,包括用于通用图像生成的GenEval、DPG和OneIG-Bench,以及用于图像编辑的GEdit、ImgEdit和GSO。

在所有基准测试中,Qwen-Image都实现了SOTA。

在用于文本渲染的LongText-Bench、ChineseWord和TextCraft上的结果表明,Qwen-Image在文本渲染方面表现尤为出色。

特别是在中文文本渲染上,大幅领先现有的最先进模型。

从技术报告透露的细节来看,为了解决复杂文字渲染难题,通义千问团队在数据处理、训练策略方面都做出了改进。

训练方面,Qwen-Image采用渐进式训练策略,从非文字到文字渲染,从简单到复杂文本输入,逐步过渡到段落级描述,这种课程学习方法大大增强了模型的原生文字渲染能力。

更多细节,可戳文末链接,查看官方技术报告。

One More Thing

官方放出的示例中,还有这么一张有意思的PPT。

提示词中的关键字是“通义千问视觉基础模型”。

莫非是新的剧透?

这个8月真是有意思了~

ModelScope:https://modelscope.cn/models/Qwen/Qwen-Image
Hugging Face:https://huggingface.co/Qwen/Qwen-Image
GitHub:https://github.com/QwenLM/Qwen-Image
技术报告:https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-Image/Qwen_Image.pdf
实测地址:chat.qwen.ai

一键三连「点赞」「转发」「小心心」

欢迎在评论区留下你的想法!

—  —


💻 8月7日周四下午14点,量子位AI沙龙邀请了来自模型厂商、IDE、零代码平台、Agent等产品代表,一同聊聊AI Coding将如何重构开发

👩‍💻 欢迎线下参会!来和百度文心快码智谱Kimi硅心科技海新智能CREAOIDEA面对面交流 👇 


一键关注 👇 点亮星标

科技前沿进展每日见



(文:量子位)

发表评论