Transformer 與 LSTM 水文對決: LSTM 勝出

在機器學習領域, Transformer 幾乎成了預設選擇——從 NLP 到 CV, 處處可見它的身影。但當將 Transformer 用於水文預測, 尤其是那些缺乏觀測資料的無測站流域時, 它還能保持優勢嗎？一項來自 NOAA 國家水模型 (NWM) 的新研究給出了一個不太一樣的答案: 傳統 LSTM 依然表現更強。

無測站流域的預測困境

流域網路天然呈匯聚拓撲——多條支流匯入主幹, 上游過程高度整合。對於無測站流域, 沒有直接觀測資料, 預測洪水或乾旱就變得異常困難。深度學習模型此前被證明能有效捕捉水文過程, 但多是使用 LSTM 這類迴圈架構。Transformer 憑藉其自注意力機制, 理論上能更好處理長距離依賴和空間匯聚, 但實際效果如何？

研究設計: 用 NWM 回顧模擬資料測試

研究團隊採用了 NOAA NWM 的回顧模擬資料, 構建了兩種配置: 僅使用上游資料, 以及同時使用上游和下游資料。他們對比了 encoder-only Transformer 和 LSTM 在推斷上游未測站流量上的表現。結果很清楚: 在兩種配置下, LSTM 的總體效能都超過了 Transformer。

• 僅上游配置: LSTM 的 Nash-Sutcliffe 效率 (NNSE) 中位數更高, 方差更小。
• 結合下游配置: 兩者效能均大幅提升, LSTM 依然領先, 但 Transformer 的差距有所縮小。

有趣的是, 加入下游資訊後, 所有模型的中位數 NNSE 提升了超過 60%。這說明跨尺度資訊整合對無測站預測極為重要。

不只是排行榜: 歸納偏置的思考

研究者強調, 這並非一場「誰更好」的競賽。他們更關心的是架構的歸納偏置——LSTM 的時間遞迴結構天然適配序列資料, 而 Transformer 的注意力機制在空間匯聚上雖有理論優勢, 在這次實驗中並未體現。一個可能的原因是水文訊號中時間依賴性遠強於空間依賴性, 導致 Transformer 的優勢被淹沒。

對水文 AI 的啟示

這項研究傳遞了一個務實的訊號: 在面對特定領域任務時, 簡單但匹配的架構往往比通用「大而全」模型更有效。對於水文學家或 AI 從業者來說, 如果想快速搭建無測站流域預測系統, LSTM 依然是穩健的出發點。當然, 研究也留下開放問題: 如果增加訓練資料量、或者使用更深的 Transformer 架構, 結果是否會改變？這些都需要後續探索。

至少現在, 在水文界, LSTM 暫時守住了自己的陣地。