TRSP: 用拓撲正則化解決LLM表示崩潰

大語言模型跑長上下文時，表現常常忽高忽低——這不是玄學，而是表示崩潰在作祟。最新一篇 arXiv 論文把這個問題掰開揉碎了分析，發現我們現在用的那些修補方法，其實都在兩種極端之間搖擺：要麼模型只顧著看幾個固定 token（同質化崩潰），要麼讀完一段就忘了前面（孤立化崩潰）。聽起來挺耳熟？對，就是 attention sink 和區域性注意力各自的副作用。

兩種崩潰，一個根源

研究團隊通過譜分析（spectral analysis）盯住了注意力機制的動態變化。他們發現，一個關鍵的矛盾點在於：混合效率（用譜間隙衡量）和資訊容量（用有效秩衡量）天生衝突。想把不同token的資訊充分混合，往往就得犧牲能容納的獨立資訊量；反過來，想保留更多獨立資訊，token間的交流又會變得疏離。這就解釋了為什麼之前那些方法——不管是加稀疏注意力還是搞視窗限制——總是顧此失彼。

更麻煩的是，這兩種崩潰還不是獨立發生的。同質化模型裡，注意力沉溺會導致矩陣秩虧缺，資訊大量冗餘；孤立化模型則因為上下文脫節，長距離依賴完全斷裂。論文裡用實驗資料把這兩個狀態畫了出來，邊界非常清晰。

TRSP：輕量級的拓撲「平衡術」

針對這個難題，作者提出了拓撲正則化旁路（Topologically Regularized Side-Path，簡稱 TRSP）。它不是大動干戈改架構，而是在現有注意力路徑旁邊加一條「旁路」，專門調節 token 之間的互動拓撲結構。核心部件是一個無引數的三角箱機制（Triangular Box），結構上像個三角形掩碼，控制每個 token 能看到多遠、能記住多少。這個三角箱不是固定的，而是由一個長度感知門控根據當前序列長度動態縮放——長文字里放得更開，短文字里收得更緊。

TRSP 還引入了近端耦合（proximal coupling）來穩定優化過程。整個模組的引數開銷幾乎為零，插進去就能用，不需要重新訓練整個模型。這對已經訓好的大模型來說，算是個非常務實的微調方案。

• 不修改主模型架構，非侵入式插入
• 三角箱 + 長度感知門控，動態正則化 token 互動
• 譜間隙與有效秩雙指標優化，理論上保證了平衡

對從業者意味著什麼

這篇論文的價值不只在理論推導——它給出了一個切實可行的架構補丁。如果你正在做長上下文推理，或者調優大模型時遇到了上下文視窗一拉長就掉分的問題，TRSP 的思路值得關注。它不依賴外部記憶或額外訓練，直接作用於注意力圖的結構正則化。當然，目前還只是論文階段，沒有公開實現，但方法的簡潔性意味著復現門檻不會太高。

下一步可以關注作者是否開原始碼，以及在大規模模型上的評估結果。從譜分析的角度切入模型內部崩潰，這個方向本身也開啟了一個新視角——未來或許會有更多基於拓撲優化的架構改進出現。