AI蒸餾簡史: 從概念到廣泛應用

如果你稍微關注過AI模型壓縮，一定聽過「蒸餾」這個詞。它讓大模型「教」小模型，把知識壓縮到更小的引數空間裡。這聽起來有點像師徒傳承，實際上也確實如此——教師網路輸出軟標籤，學生網路模仿它的概率分佈。但蒸餾的歷史遠不止2015年那篇奠基論文，更早的線索可以追溯到90年代。

起源：從模型壓縮到知識提煉

最早期的想法其實來自「模型壓縮」這個更寬泛的概念。1990年代，Yann LeCun的團隊就在嘗試用小網路學習大網路的輸出，不過那時不叫蒸餾，叫「知識提取」。真正讓這個詞出圈的，是Geoffrey Hinton、Oriol Vinyals和Jeff Dean在2015年發表的「Distilling the Knowledge in a Neural Network」。他們發現，用大網路的軟max輸出作為「軟目標」來訓練小網路，效果遠好於直接用硬標籤。這個想法簡單但有效，很快成為深度學習社羣的標配技術。

此後幾年，蒸餾的變體層出不窮。2015年的Zagoruyko和Komodakis提出了注意力轉移，讓學生網路模仿教師網路的注意力圖；2017年的FitNet則引入了中間層的特徵匹配。這些方法都在嘗試回答同一個問題：什麼樣的「知識」最值得傳遞？答案逐漸從輸出層延伸到內部表徵。

進化：從影象分類到NLP和多模態

2018年後，蒸餾開始從計算機視覺蔓延到自然語言處理。BERT的蒸餾版本如DistilBERT、TinyBERT相繼出現，將大型Transformer壓縮為適合移動部署的模型。一個關鍵洞察是：蒸餾不僅縮小了模型尺寸，還保留了大部分精度，甚至在某些任務上接近教師。2022年，自蒸餾的概念興起——教師和學生來自同一架構，通過迴圈訓練自我提升，這打破了「必須有一個大老師」的限制。

進入大模型時代，蒸餾的角色變得更加微妙。GPT-4等閉源模型並未公開，但研究者利用它們的輸出訓練小模型，如Alpaca、Vicuna等，本質上也屬於蒸餾。這類應用繞過API限制，將大模型的知識「偷」進開源模型，引發了關於版權和倫理的討論。不過，技術上這依然遵循蒸餾的核心邏輯：用強模型的輸出指導弱模型。

現實影響：為什麼蒸餾對開發者如此重要？

對於AI工程師來說，蒸餾最直接的價值在於部署效率。一個BERT-large模型可能佔用1.2GB視訊記憶體並消耗50ms推理時間，但蒸餾後的DistilBERT只需一半大小，速度提升60%，精度僅下降2-3%。這在移動端、IoT裝置或實時服務中意義重大。此外，蒸餾與量化、剪枝等壓縮技術可疊加使用，進一步壓榨模型體積。

另一個被低估的用途是領域自適應：當你有領域內的大模型但希望部署在小模型上，用蒸餾可以天然對齊資料分佈，比直接在小資料集上微調更穩定。很多工業級方案就是「大模型蒸餾 + 小模型微調」的兩步走。