扩散模型中置信度的局限

离散扩散在每步写入多个 token 位置时，只有这些位置在已固定 token 条件下相互独立，才能匹配训练分布。作者证明逐位置分布无法匹配有依赖的 token 组，也无法判断依赖关系；在 ScanAndAdd 上，置信度排序写入的任意两个及以上未定位置均存在依赖，生成分布总变差达到采样噪声下限的 29×，但单样本指标为 1.0。