Apple ML：通过潜在空间蒸馏压缩流式神经音频编码器
Apple ML 研究用预量化 latent 作为监督信号，蒸馏压缩 Apple 设备端听写所用的流式神经音频 tokenizer。2.8× compression 下，学生编码器在六组教师—学生组合中的五组无需 fine-tuning 即保持在教师 1.9% relative WER 以内，并比同容量独立训练 tokenizer 提升 3.9% relative。
#语音
#语音
今日 0 条Apple MLAI 评分4040
Apple ML 研究用预量化 latent 作为监督信号，蒸馏压缩 Apple 设备端听写所用的流式神经音频 tokenizer。2.8× compression 下，学生编码器在六组教师—学生组合中的五组无需 fine-tuning 即保持在教师 1.9% relative WER 以内，并比同容量独立训练 tokenizer 提升 3.9% relative。