标签：多模态大语言模型

期待2025年AI领域的新突破：从推理到空间智能 随着技术的不断进步，我们对人工智能（AI）的期望也在不断提升。展望2025年，AI领域不仅要在推理能力上取得进展，更需要在视觉空间智能方面实现新的突破。人类凭借视觉空间智能（visual-spatial intelligence），能够通过连续的视觉观察记住并理解复杂的空间环境。然而，多模态大语言模型（MLLM）是否也能具备这种能力呢？ 为了探索这一问题，来自纽约大学、耶鲁大学和斯坦福大学的研究团队引入了VSI-Bench，这是一个基于视频的基准测试工具，旨在评估MLLM在视觉空间智能方面...

本文介绍了《多模态大语言模型综述》的重大升级，该综述详尽梳理了多模态大语言模型（MLLM）的发展和趋势。随着以GPT-4V为代表的MLLM迅速进步，该领域展现出新特点，如模型规模扩大和新的训练范式。MLLM在处理多模态信息方面表现出强大的新能力，例如视觉信息的理解和推理。文章探讨了MLLM的基础构成、拓展应用和相关研究课题，包括模型架构、训练策略、数据处理和评测标准。此外，还分析了多模态幻觉、多模态上下文学习、多模态思维链和LLM辅助的视觉推理等技术方向。最后，指出了MLLM面临的挑战，如长上下文理解、复杂指令...