Apple ML·· 6 天前AI 评分40
Apple ML:通过潜在空间蒸馏压缩流式神经音频编码器
Compressing Streaming Neural Audio Encoders via Latent-Space Distillation
AI 导读
Apple ML 研究用预量化 latent 作为监督信号,蒸馏压缩 Apple 设备端听写所用的流式神经音频 tokenizer。2.8× compression 下,学生编码器在六组教师—学生组合中的五组无需 fine-tuning 即保持在教师 1.9% relative WER 以内,并比同容量独立训练 tokenizer 提升 3.9% relative。
来源:Apple ML · machinelearning.apple.com