Qwen-Image-2.1开源，7B参数实现文生图与图像编辑一体化

只有7B参数这么小, 它却能把文生图、透明图生成还有多类图像编辑这些事情同时搞定, 通义千问团队在9月21日开源的Qwen-Image-2.1, 正在打破必须用超大模型才能把图画好这个老规矩, 给个人开发者和中小团队打开了低成本AIGC的新路。

模型核心架构

Qwen-Image-2.1的视觉生成模块, 采用了32层的DiT结构, 这样做的结果是将扩散模型原本需要更多层数才能完成的迭代去噪过程, 压缩进了更紧凑的架构中, 从而在有限的参数下, 保留了足够的表征深度。

以前的方案要覆盖相同的能力范围, 需要更大的参数量级。但是这个架构在保持生成质量的同时, 显著降低了单次推理的显存占用。这使得消费级显卡用户也能获得接近云端服务的出图体验。

多任务统一生成

这个模型把那些文生图的功能、透明背景图像的生成功能、还有局部重绘、风格迁移、尺寸扩展这一系列多种编辑操作, 统统都塞进了同一套权重里面去, 这样子用户在干活的时候, 就不需要在好几个专用模型之间换来换去了, 可以直接就能把一个从创作开始到修改结束的完整工作流程给一口气完成掉了。

通义千问团队在其发布的9月21日更新说明中指出, 所采用的统一架构能够有效降低模型在数据上产生的偏移现象, 同时还能避免风格方面出现不连贯的情况。

通过具体的演示案例可以看到, 在使用相同的提示词进行创作时, 最初生成图片的色调与光影效果, 同经过后续编辑处理后的图像之间, 呈现出极高的连续性和一致性表现。

推理效率与成本

7B参数量意味着在单张48GB显存的消费级显卡上即可流畅运行推理, 生成一张512×512分辨率图像耗时约4到6秒, 相比同级别14B模型动辄十几秒的等待时间, 效率提升明显。

团队同时引入了KV Cache复用机制, 在连续生成多张图像的时候, 公共前缀的注意力键值对只需计算一次, 后续步骤直接复用缓存, 进一步缩短了批量出图任务的总耗时和GPU占用峰值。

多图输入与混合注意力

在面对那些需要同时参考多张图像的复杂编辑场景时, Qwen-Image-2.1采用了混合粒度的注意力策略。该策略会对全局语义信息和局部像素细节分配不同的注意力权重。这样做是为了避免多源信息之间互相干扰。

9月21日公布的基准测试显示, 模型的编辑准确率在三图输入场景下达到了91.3%。这个数值较单图输入的情况仅下降了不到2个百分点。这证明了该注意力机制在多图融合任务中具有非常良好的鲁棒性。

开源与开发者生态

Qwen-Image-2.1这个模型是以完全开源的形式进行发布的, 其推理代码和模型的权重同时都上线了, 开发者可以直接在本地进行部署操作, 或者是把它集成到现有的工作流程之中去, 这样做就不需要再依赖于云端API了, 从而有效地降低了人们在数据隐私方面所存在的顾虑。

在提供技术支持这方面, 团队这边是同步给到Hugging Face还有ModelScope这两个平台的下载入口的, 并且第一批工作已经完成, 是对ComfyUI还有Stable Diffusion WebUI这些主流的生图生态工具做了适配动作的, 这样做的话, 是让上手的门槛降低了。

行业竞争格局变化

在九月二十一日之前, 图像生成领域里面那个主流的开源选择, 主要就集中在了十四B或者更大的参数规模上面, 然后那种七B级别的, 属于是一种多功能的一体化模型的那种情况, 那个时候它还是属于生态空白的这样一种状态, 而这次发布的事情, 则是正好填补了那种轻量级的、全功能的图像模型的一个关键性的一个缺口。

一些专家觉得, 那种成本低、一张显卡就能跑的图像编辑模型, 会让AIGC创作工具更快地面向个人创作者和小团队普及, 预计在未来半年的时间里面, 基于这个模型的二创插件以及各种针对特定行业的应用, 会非常密集地出现。

如果你目前手里面仅仅只配置有一张消费类的显卡设备, 面对这种情况的时候, 你会作出什么样的优先选择? 是把主要精力投入到利用Qwen-Image-2.1这个工具来进行大规模的批量生成图像任务去, 还是说选择把重点放在使用精细化的手段来进行修图操作上去?

非常欢迎大家在评论区域里面积极地来分享和交流你的具体使用计划, 如果觉得该内容确实具有一定的实用价值的话, 请不要忘记点赞并把它收藏起来, 同时也可以顺手转发给身边那些从事AIGC领域的朋友。