标签：多模态数据

港中文大学的MMLab与腾讯AI Lab合作的研究揭示了一个令人惊讶的发现，即使用与任务无关的多模态数据可以提升Transformer模型的性能。这种跨模态增益现象表明，即使在训练图像分类模型时，加入视频、音频、点云等非直接相关的数据也能显著提高模型在图像识别上的表现。研究团队提出了一种名为多模态通路（Multimodal Pathway）的框架，利用跨模态重参数化技术，让Transformer在处理特定模态数据时能利用其他模态的无关数据进行训练，且不增加推理成本。实验结果显示，这种方法在图像识别、点云处理、视频理解和音频分析等多个...