大型語言模型擅長處理自然語言，但現實世界的 AI 系統裡其實大量使用機器可讀的離散符號——比如使用者 ID、商品 ID、狀態碼、結構化的事件標籤。這些符號緊湊、保留任務相關結構，卻天然落在 LLM 的詞表之外。一篇新近上傳到 arXiv 的論文直接點出這個矛盾，並給出一個名為 UniLang 的統一生成框架。
論文標題叫 「When Machines Speak」，看起來有點詩意，實際上討論的是一個很工程的問題：能不能讓預訓練 LLM 不把結構化符號硬翻譯成自然語言，而是直接把符號當成和單詞一樣的生成單元？作者給出的答案是：擴充套件詞表。
核心思路：把符號「翻譯」進詞表
UniLang 的做法並不玄。它在原始 LLM 的 vocabulary 和 embedding space 上做擴充套件，把帶 ground truth 的機器原生表示「註冊」成新的詞元。這樣一來，文字 token 和符號 token 就可以在同一個自迴歸目標下被聯合建模和生成，模型不再需要依賴任務特異的架構，也不需要先把符號轉成自然語言（比如把商品 ID 寫成「item number 3」）。
這個思路聽起來簡單，但關鍵在於「grounded」——擴充套件出來的符號表示不是隨便加的，而是和實際任務中的實體、行為、結構資訊繫結。這樣才能讓模型真正理解這些符號的語義，而不是把它們當亂碼記下來。論文稱這種方法為「first-class generative units」，也就是讓機器符號在生成時享有和自然語言詞平等的地位。
兩場跨領域測試
為了證明 UniLang 不是隻能在單一場景裡玩得轉，作者選了兩個結構差異很大的預測任務：
- 序列推薦：根據使用者歷史行為序列，預測下一個互動的 item。這類任務中，使用者 ID 和 item ID 都是典型的機器原生符號。
- 法律先例預測：根據法律案件的結構化資訊，預測可能適用的先例。這裡的符號更具層次性和領域性。
論文報告，UniLang 在這兩個任務上都 持續優於強基線（作者原話是 「consistently outperforms strong baselines」）。注意這裡沒有給出具體提升幅度，畢竟摘要篇幅有限，但跨領域一致性的結果本身就說明框架有一定通用性。
為什麼值得關注
把推薦系統、法律檢索這類任務統一到大模型的生成框架裡，並不只是為了省事。它可能意味著我們可以用同一套預訓練權重，同時處理自然語言互動和結構化預測，而不用為每個任務單獨設計輸入輸出頭。對做實際 AI 系統的團隊來說，這是一個值得跟蹤的方向——尤其是當手頭已有大量用符號編碼的業務資料時。
當然，論文目前只是預印本，程式碼連結已在摘要中提供，但尚未見到完整開源細節。感興趣的讀者可以順著 arXiv 頁面找到作者和提交歷史，後續是否有正式會議版本和更詳細的評測，值得保持觀察。
實用建議：如果你是做推薦、搜尋或法律科技的工程師，可以下載 PDF 細看 embedding 擴充套件的具體實現；如果只是對大模型邊界好奇，先記住 UniLang 這個名字即可——它代表了一類「把非語言模態塞進詞表」的嘗試，未來這類思路可能會越來越多。
評論
暫無評論
成為第一個評論的人