深入解析计算机视觉领域中的自回归模型：图像生成与视觉词元的3D生成应用全面综述

近日，由香港大学、清华大学、普林斯顿大学、杜克大学、俄亥俄州立大学、北卡罗来纳大学、苹果公司、字节跳动、香港理工大学等多所高校和研究机构共同发布的综述论文，深入探讨了自回归模型在计算机视觉领域的最新进展。随着计算机视觉技术的飞速发展，自回归模型作为重要的生成模型之一，在图像生成、视频生成、3D 生成和多模态生成等多个任务中展现出显著的优势。然而，面对快速变化的研究环境，及时掌握自回归模型的最新动态显得尤为重要。

论文标题为《视觉领域的自回归模型综述》，旨在为研究人员提供一个全面、系统的参考框架，帮助他们更好地理解和应用自回归模型。论文链接：[https：//arxiv.org/abs/2411.05902](https：//arxiv.org/abs/2411.05902)，项目地址：[https：//github.com/ChaofanTao/Autoregressive-Models-in-Vision-Survey](https：//github.com/ChaofanTao/Autoregressive-Models-in-Vision-Survey)。

主要亮点

1. 最新最全的文献综述：论文涵盖了约 250 篇相关文献，涉及新兴领域如 3D 医疗、具身智能等，为读者提供了系统性的了解。
2. 基于序列表征的分类：根据序列表征策略，论文将自回归模型分为基于像素、基于视觉词元和基于尺度的模型，并对不同模型在各类生成任务中的表现进行了详细分析。
3. 各种领域的应用总结：详细介绍了自回归模型在图像生成、视频生成、3D 生成和多模态生成等任务中的应用，展示了其在不同领域的潜力。
4. 挑战与展望：讨论了自回归模型在视觉领域面临的挑战，如计算复杂度、模式崩溃等，并提出了未来的研究方向。

视觉自回归模型基础知识

视觉自回归模型的核心在于两个方面：序列表征和自回归序列建模。序列表征将视觉数据转换为离散元素序列，如像素、视觉词元等，类似于自然语言处理中的文本生成。自回归序列建模则通过条件概率依次预测每个元素，最小化负对数似然损失，以提高模型性能。

通用框架分类

1. 基于像素的模型：如 PixelRNN 和 PixelCNN，直接在像素级别表示视觉数据。这类模型在高分辨率图像生成时面临计算成本高和信息冗余的问题。
2. 基于视觉词元的模型：如 VQ-VAE 及其变体，将图像压缩为离散视觉词元序列。这类模型存在码本利用率低和采样速度慢的问题。
3. 基于尺度的模型：如 VAR，通过多尺度量化自动编码器将图像离散化为视觉词元，从低到高分辨率逐步生成图像，提高了生成质量和效率。

与其他生成模型的关系

自回归模型与变分自编码器（VAEs）、生成对抗网络（GANs）、归一化流、扩散模型和掩码自编码器（MAEs）等生成模型在不同方面有着密切的联系和区别。例如，VQ-VAE 结合了 VAEs 和自回归模型的优势，而 GANs 虽然生成速度快但训练不稳定，自回归模型则通过似然训练保证生成的图像质量和多样性。

应用领域

1. 图像生成：包括无条件图像生成、文本到图像合成、图像条件合成和图像编辑等。
2. 视频生成：涵盖无条件视频生成、条件视频生成和具身智能等。
3. 3D 生成：在运动生成、点云生成、场景生成和 3D 医学生成等方面取得进展。
4. 多模态生成：包括多模态理解框架和统一多模态理解和生成框架。

评估指标

评估自回归模型的性能需要综合考虑多个方面的指标，包括视觉分词器重建评估和视觉自回归生成评估。常用指标包括 PSNR、SSIM、LPIPS、rFID、Inception Score、Fréchet Inception Distance 等。

挑战与未来工作

1. 视觉分词器设计：设计有效的视觉分词器是关键挑战，可以通过改进向量量化算法和引入注意力机制来提高性能。
2. 离散与连续表征的选择：探索连续表示的优势和挑战，设计合适的损失函数。
3. 自回归模型架构中的归纳偏差：研究适合视觉信号的归纳偏差架构，提高模型性能。
4. 下游任务：开发适应多种下游任务的统一自回归模型，如目标检测和语义分割。

本文来源：