标签: 模型压缩 (1 篇)

Multiverse Computing提出一种极低显存的知识蒸馏方法，通过缓存教师模型top-K输出和分块KL损失，将原本需上百张GPU的训练降到单卡完成。