OmniTaskonomy：视觉生成何时改善视觉理解？

OmniTaskonomy研究发现，在合适训练配方下，图像到图像（I2I）生成训练可提升下游图像到文本（I2T）理解表现，且I2I数据越多增益越大。研究提出覆盖19个I2I生成任务和25项I2T理解能力的统一分类，显示迁移收益具有任务选择性；梯度对齐越强，下游迁移增益越大。