标签：对齐算法

随着多模态大语言模型（MLLMs）的迅速发展，对齐算法的研究变得尤为重要。本文通过万字长文系统性回顾了多模态LLM中的对齐算法，从应用场景、数据集构建、评估方法到未来发展方向进行了全面梳理。 应用场景与代表性方法 文章介绍了多模态大语言模型的应用场景，分为三大层次：通用图像理解、多图像、视频和音频处理以及扩展应用。在通用图像理解方面，主要集中在减少幻觉并提升对话和推理能力；多图像和视频任务则通过不同的架构和训练方法来处理复杂数据，减少幻觉并提高模型能力；扩展应用包括医学、数学推理和安全系统...