跳到正文
原文
Hugging Face Daily Papers·· 1 天前AI 评分40

Chaos in the Text:揭示混合模态检索器中的模态偏好

Chaos in the Text: Revealing the Modality Preference in Mixed-Modality Retrievers

AI 导读

研究发现,混合文本、图像和图文融合文档的 dense retrievers 对模态组成高度敏感,单模态表现较强但混合后显著下降。无关文本比等量无关图像造成更严重退化,即 Chaos in the Text,因为文本表示获得系统性更高相似度。作者提出 Trident,通过 Multi-Positive View InfoNCE 改善 CLIP-based 和 VLM-based 架构的混合模态检索。

来源:Hugging Face Daily Papers · arxiv.org