近期，我院服装设计智能化重点实验室鲁棒视觉智能感知技术团队在多模态服装图像可控生成研究方向取得重要进展。由张凯兵教授指导的2024级博士研究生周璇同学撰写的题为《UniCond-Garment: Multimodal-Conditioned Diffusion for Fine-Grained Controllable Garment Image Generation》的学术论文被国际顶级学术期刊《IEEE Transactions on Circuits and Systems for Video Technology》（中科院计算机科学领域SCI一区Top期刊，影响因子11.1）录用。

该论文针对细粒度服装图像生成中服装结构、面料纹理与文本语义在异构条件下难以精确协调的问题，提出了一种统一多模态扩散框架UniCond-Garment，实现跨模态条件（文本提示、线稿图与面料纹理）的协同建模，从而完成准确可控的服装图像生成。首先，为克服直接融合线稿图与纹理块所导致的结构信息与纹理细节交互受限的问题，精心设计了视觉特征增强模块，分别从服装结构和局部面料纹理两个层次进行层级化聚合，形成一致性的跨粒度视觉表示。其次，为进一步缓解多模态条件下文本提示与视觉外观之间的语义不匹配问题，引入了上下文语义对齐模块，显式地将全局面料纹理表示与文本语义对齐，有效提升生成过程中的跨模态一致性。最后，基于多模态大模型开发了一个半自动标注管线，扩展了两个具有良好对齐的结构、文本与纹理标注时尚服装数据集。实验结果表明，所提出的UniCond-Garment框架在细粒度可控服装图像生成任务中取得了卓越的性能，在定量和定性评价指标上均显著优于现有最先进的基线方法，为虚拟试衣、服装设计等下游任务提供了有效的技术支撑。

图1 UniCond-Garment多模态扩散框架

图2 可视化对比结果

人物链接：

周璇个人简介

周璇，女，2021年6月毕业于西安工程大学电子信息学院，获控制工程专业型硕士学位。目前于西安工程大学纺织科学与工程学院攻读博士学位。主要研究方向为时尚服装可控生成、模式识别与人工智能、目标检测与图像识别。（撰稿：周璇 审核：张凯兵）