CDR-Bench: 評估LLM執行資料細化配方的忠實度

如果讓一個大模型像人類資料工程師一樣，按照一串指令逐步清洗、轉換文字資料，它真的能忠實執行嗎？答案恐怕沒那麼樂觀。最近arXiv上的一篇論文提出了CDR-Bench，一個專門用來拷問LLM在執行資料細化配方時忠實度的基準測試。資料細化聽起來很專業，其實就是多步文字編輯——比如把一堆雜亂的客戶記錄，按規則先格式化日期、再拆分欄位、最後去重。這些操作不僅組合複雜，執行順序還可能影響最終結果。

為什麼需要專注「忠實執行」

現有的很多評測要麼只測單步編輯（比如改個拼寫），要麼把文字操作和程式碼執行混在一起。但真實場景中，資料細化往往是純文字層面的、順序敏感的。舉個例子：先替換所有「Mr.」為「先生」，再刪除所有職業欄位中的「工程師」，和反過來操作，結果可能完全不同。LLM能不能感知這種順序依賴？CDR-Bench就是為了回答這個問題而設計的。

基準包含了3,462個高質量任務，覆蓋四個真實領域（比如電商資料、醫療記錄、金融交易等），以及29種不同的資料處理運算元。更重要的是，它把任務分成了三類：原子（單步）、順序無關（多步但順序不影響結果）、順序敏感（多步且順序至關重要）。這種分類讓評測能精準定位模型的弱點。

頂尖模型的表現：組合噩夢

研究團隊測試了10多個最先進的LLM（包括GPT-4o、Claude 3.5、Gemini等），結果並不意外但很扎心：

• 在原子任務上，模型表現不錯，正確率普遍在80%以上。
• 一旦進入組合設定，即使是順序無關的複合操作，正確率就掉到60%~70%。
• 到了順序敏感的場景，多數模型的成功率斷崖式下跌，有的甚至不到20%。

這意味什麼？如果你讓LLM去處理一個複雜的管道任務——比如用幾個條件過濾和替換資料，它很可能會在中間步驟犯迷糊，要麼跳步、要麼用錯順序。而且這個毛病幾乎不分模型，是通用問題。

基準的設計亮點

CDR-Bench一個聰明的地方在於使用了確定性參考輸出，可以直接做精確匹配評估，不需要用LLM-as-a-judge這種不可靠的方法。所有任務的輸入輸出都是嚴格定義的，排除了歧義。另外，它公開了任務生成器和評估程式碼，方便社羣復現和擴充套件。

「我們的發現表明，當前LLM在處理組合、順序敏感的資料細化配方時存在系統性失敗，這應該引起AI工程師的警惕。」——論文作者在結論中寫道。

對行業的影響

對於正在用LLM做資料清洗、文件處理、自動化ETL流程的團隊來說，這個基準是個及時的提醒。不要以為大模型能完美完成多步文字操作，尤其是在業務規則複雜的場景下。建議先用類似CDR-Bench的小規模測試來驗證模型的實際能力，而不是直接放生產。

另外，這個基準也指出了改進方向：模型可能需要更明確的步驟跟蹤機制，或者訓練資料中加強順序推理的樣本。也許未來的RLHF可以專門針對這類失敗案例進行強化。

總的來說，CDR-Bench是一個務實且設計乾淨的基準，它沒有去追求花哨的指標，而是聚焦在AI系統的一個核心薄弱點上：忠實執行多步指令。對於任何關心AI可靠性的開發者，這份論文都值得一讀。