NVIDIA Developer· Michelle Horton·· 4 小时前AI 评分31
ReplaySSM:重新思考状态存储以加速混合模型解码
ReplaySSM: Rethinking State Storage for Faster Hybrid-Model Decoding
AI 导读
ReplaySSM 针对混合模型重新设计 SSM 状态存储,以加速包含少量 attention 层的解码。NVIDIA Nemotron 3、Qwen3.5 through Qwen3.8、Kimi-K3 和 GLM-5.3-Flash 都采用这类结构,SSM 层包括 Mamba-2、Gated DeltaNet(GDN)或 Kimi Delta Attention(KDA)。
来源:NVIDIA Developer · developer.nvidia.com