跳到正文
原文
Hugging Face Daily Papers·· 1 天前AI 评分47

UNREAL:用单一模型统一检索与长上下文推理

UNREAL: Unifying Retrieval and Long-Context with a Single Model

AI 导读

UNREAL 提出模型原生证据选择框架,用冻结 LLM 内部表征编码 chunk 并生成检索查询,统一语料检索与长上下文推理。它新增少于 500K 可训练参数,在 3B-token、21M-chunk Wikipedia 索引上将 HotpotQA 召回率从 49.1% 提至 73.2%。

来源:Hugging Face Daily Papers · arxiv.org