3D虚拟试穿来了！港大和西北工业提出GaussianVTON，通过多阶段高斯溅射编辑与2D VTON

无言***

GaussianVTON实现高效的人类环境通过重构和编辑在试戴应用程序中进行交互多视点图像。方法首次使用了图像提示实现更精确和定制的3D高斯泼洒编辑。

与现有的依赖文本提示的作品不同。对于3D编辑，例如GaussianEditor，GaussianVTON避免了错误地替换服装并影响服装的其他区域，以及导致背景和面部特征等其他元素的变化。

此外，与文本驱动相比3D服装人体生成或重建工作如HumanGaussian，GaussianVTON是基于真实的人体图像，避免导致奇怪的体型，并符合提示。








摘要
电子商务的日益流行凸显了虚拟试穿 (VTON) 的重要性。然而，以前的研究主要集中在 2D 领域，并且严重依赖大量数据进行训练。3D VTON 的研究主要集中在服装与体形的兼容性上，这是 2D VTON 中广泛涵盖的一个主题。得益于 3D 场景编辑的进步，2D 扩散模型现已通过多视点编辑适应 3D 编辑。

在这项工作中，我们提出了 GaussianVTON，这是一种创新的 3D VTON 管道，将高斯溅射 (GS) 编辑与 2D VTON 相结合。为了促进从 2D 到 3D VTON 的无缝过渡，我们首次提出仅使用图像作为 3D 编辑的编辑提示。为了进一步解决编辑过程中面部模糊、服装不准确和视点质量下降等问题，我们设计了一个三阶段细化策略来逐步缓解潜在问题。此外，我们引入了一种称为“编辑调用重建 (ERR)”的新编辑策略，以解决以前的编辑策略在导致复杂几何变化方面的局限性。

我们的全面实验证明了 GaussianVTON 的优越性，为 3D VTON 提供了新颖的视角，同时也为图像提示的 3D 场景编辑建立了一个新颖的起点。


项目地址：https://github.com/HaroldChen19/GaussianVTON