按需搭配一键叠穿，效果拿下新SOTA！中山大学&字节智创数字人团队提出虚拟试穿新框架

中山大学与字节跳动旗下智创数字人团队携手创新，推出了一项名为MMTryon的虚拟试穿技术，让一键搭配试穿成为可能。这项技术允许用户通过输入多张衣物图像和文本指令，轻松实现虚拟试穿，无论是在真人照片还是动漫角色上。MMTryon克服了传统虚拟换装算法对精细服装分割的依赖，能够生成逼真的组合试穿效果。

在技术层面，MMTryon采用多模态多参考注意机制，结合服装编码器的强大功能，以文本指令指导试穿风格，支持自定义的穿搭方式。它通过预训练的服装编码器和数据增强策略，减少了对服装分割的依赖，实现了高质量的虚拟换装，尤其在组合换装方面表现出色。

此外，MMTryon还利用大模型进行数据扩增，生成大规模增强数据集，进一步提升了模型的性能。多参考图像注意力模块和多模态图文注意力模块确保了多样化的试穿风格。无论是单件衣物替换还是组合搭配，MMTryon都能呈现出高度逼真的试穿效果，甚至在时尚设计领域也能发挥作用。

在一系列基准测试和复杂场景的人工评估中，MMTryon的表现均优于当前的最新技术，赢得了广泛的认可。

本文来源： 量子位【阅读原文】