标签:多模态数据

CVPR‘24:与任务无关的多模态数据也能提升Transformer性能|港中文&腾讯

港中文大学的MMLab与腾讯AI Lab合作的研究揭示了一个令人惊讶的发现,即使用与任务无关的多模态数据可以提升Transformer模型的性能。这种跨模态增益现象表明,即使在训练图像分类模型时,加入视频、音频、点云等非直接相关的数据也能显著提高模型在图像识别上的表现。研究团队提出了一种名为多模态通路(Multimodal Pathway)的框架,利用跨模态重参数化技术,让Transformer在处理特定模态数据时能利用其他模态的无关数据进行训练,且不增加推理成本。实验结果显示,这种方法在图像识别、点云处理、视频理解和音频分析等多个...