AI能理解搞笑视频笑点在哪里了。
北大等团队开源视觉语言大模型Video-LLaVA，将图像和视频表示对齐到统一的视觉特征空间，在13个图片和视频基准上达到先进的性能。
值得注意的是，Video-LLaVA在训练过程中没有使用成对的视频和图片数据，但在训练后，LLM令人惊讶地展现出同时理解图片和视频的能力。
如下图所示，Video-LLaVA成功地识别出自由女神像的图片是近景且细腻的，而视频描述了自由女神像的多个角度，表明它们来自同一个地方。
在投影之前对齐图像和视频表示
这项工作具体贡献如下:
Video-LLaVA解决了在视觉-语言理解中同时处理图像和视频的挑战。它将视觉表示统一到语言特征空间中，使得大型语言模型能够同时对图像和视频进行视觉推理能力。
Video-LLaVA通过最初将图像和视频的表示对齐到一个统一的视觉特征空间中，将视觉表示统一到语言特征空间中。这是通过使用LanguageBind编码器来实现的，该编码器将不同的模态映射到文本特征空间中，提供了一个统一的视觉表示。然后，统一的视觉表示经过共享的投影层和词嵌入层进行编码，以将统一的视觉表示映射给大型语言模型使用。
Video-LLaVA在视频上表现出色，在MSVD、MSRVTT、TGIF和ActivityNet视频问答数据集上分别超过了Video-ChatGPT的5.8%、9.9%、18.6%和10.1%。
对于模型能力，研究团队做了充分实验。
视频理解能力实验。
如表3所示，Video-LLaVA在4个视频问答数据集上全面超过了Video-ChatGPT，并且涨幅相当可观。
图片理解能力实验。
该研究还与InstructBLIP，Otter，mPLUG-owl 等图片语言大模型在图片语言理解任务上进行了比较，结果如表2所示:
为了评估预先对齐视觉输入的效果，研究团队进行了大量的对比实验。
他们使用了相同规模的MAE编码器替换了图片编码器，其中MAE编码器生成分离的视觉表示，而LanguageBind编码器生成统一的视觉表示（因为预先对齐了视觉表征）。
然后，他们在13个基准测试中比较了MAE编码器和LanguageBind编码器的性能，包括9个图片理解基准和4个视频理解基准。
通过替换图片编码器为MAE编码器，LLM在初始学习视觉表示时将视频特征和图片特征分开处理，不再将它们统一起来。
有关图6的实验结果显示，与分离的视觉表示相比，联合的视觉表示在4个视频问答数据集上显著提升了性能。
这一发现表明，预先对齐的视觉表征有助于LLM进一步学习和理解视频内容。它提供了更好的能力，使得模型能够更有效地处理视频问答任务并展现出更好的性能表现。
同时论文还验证了无论是对于图片还是视频，在联合训练中他们能相互受益。
通过联合训练视频数据，对于图片理解任务，可以缓解幻觉问题。类似的趋势也在LLaVA-Bench基准测试上观察到。
在视频理解方面，联合训练的也得到了明显的提升。
参考资料:
[1]https://arxiv.org/abs/2311.10122
[2]https://github.com/PKU-YuanGroup/Video-LLaVA