通过 activation alignment 缩小 Tabular In-Context Learning 的上下文差距

研究提出 activation alignment，让表格基础模型在只使用部分上下文时接近全上下文 teacher 的行为，以降低每次预测成本。该方法用合成无标签数据训练轻量线性变换，无需 GPU，在普通硬件上数秒到数分钟收敛；在 TabArena 的 38 个分类数据集上，TabPFN-3 和 TabFM 的 aligned student 均显著优于未对齐基线。