华盛顿大学突破性研究：AI逆向绘画技术让你一键重现梵高的《星空》杰作

最近，一项名为“逆向绘画”的技术引起了广泛关注。华盛顿大学的研究人员开发了一项新技术，能够将任何图片转化为梵高风格的绘画作品。这项技术不仅能够重现梵高的经典之作《星空》，还能展示整个绘画过程。以下是详细解析。

逆向绘画技术概述

这项名为“Inverse Painting”的技术已经入选SIGGRAPH Asia 2024。研究人员通过学习真实艺术家的绘画视频，结合文本和区域理解来定义绘画指令，并使用基于扩散的渲染器逐步更新画布。具体步骤如下：

1. 学习艺术家的绘画过程：研究人员收集了294个丙烯酸风景画绘画过程视频（平均时长9分钟），并对视频帧进行分割、裁剪和筛选等预处理操作，使模型能够学习绘画过程。
2. 定义绘画指令：基于对画作不同元素（如天空、树木、人物等）及其相互关系的理解，模型生成一组“绘画指令”，告诉模型应先画什么，后画什么。
3. 使用扩散模型：通过扩散模型生成逼真的图像，并逐步在画布上添加细节。
4. 文本和区域理解：模型生成文本指令和区域掩码，前者指示要绘制的，后者指定的确切位置。
5. 逐步渲染：从空白画布开始，逐步生成完整的绘画过程。
6. 时间控制：模拟真实世界的绘画速度，考虑每步之间的时间间隔。

技术实现细节

逆向绘画技术的整体流程分为两阶段训练和测试：

1. 指令生成阶段：生成两个关键指令集——文本指令生成器和区域掩码生成器。文本指令生成器通过比较目标画作和当前画布的状态，生成简短的文本指令（如“画天空”或“加花朵”），决定下一步应添加哪些元素。区域掩码生成器则是一个二进制图像，指明画布上应更新的部分。
2. 画布渲染阶段：利用第一阶段生成的指令更新画布。基于扩散的渲染器逐步从噪声图像中去除噪音，生成连续的图像帧。渲染器在更新画布时考虑多种条件信号，包括文本指令、区域掩码、时间间隔，以及目标画作和当前画作的特征。

在测试阶段，模型从头开始生成一幅画作，采用自回归过程和固定时间间隔来更新画布，模拟真实绘画过程中的时间流逝。

项目作者简介

该项目共有五位作者，其中两位是华人：
– Bowei Chen（陈柏维）：本科就读于东北大学软件工程专业，后在卡内基梅隆大学机器人研究所和华盛顿大学攻读硕博，研究兴趣为计算机视觉和图形学的交叉点。
– Yifan Wang：本科就读于上海科技大学计算机专业，获得华盛顿大学CS博士学位，目前在Meta Reality Labs Research担任研究科学家。

社会反响

这项技术一经发布就在Reddit上引发了热议。有人认为这对学习绘画非常有帮助，甚至可以“破解”一些大师遗作，提取隐藏或失传的技术。但也有人担心有人会利用AI谎称作者，影响艺术作品的原创性。还有网友指出，该技术目前还不完全符合真实的绘画过程。

本文来源：