CDR-Bench: データリファインメントレシピの実行におけるLLMの忠実度評価

もし大規模言語モデル（LLM）に、人間のデータエンジニアのように一連の指示に従ってテキストデータを段階的にクリーニング・変換させたら、本当に忠実に実行してくれるのだろうか。その答えは、残念ながらそれほど楽観的ではない。最近arXivに掲載された論文は、CDR-Benchを提案している。これは、LLMがデータリファインメントのレシピを実行する際の忠実度を問うために特化したベンチマークだ。データリファインメントは専門的に聞こえるが、要するに多段階のテキスト編集のこと。たとえば、乱雑な顧客レコードの山を、ルールに従って日付をフォーマットし、フィールドを分割し、最後に重複を除去するといった具合だ。これらの操作は組み合わせが複雑なだけでなく、実行順序によって最終結果が左右されることもある。

「忠実な実行」に注目する理由

既存の評価の多くは、単段階の編集（スペル修正など）だけをテストするか、テキスト操作とコード実行を混同している。しかし実際の現場では、データリファインメントは純粋にテキストレベルで行われ、順序に敏感なことが多い。例を挙げよう。「Mr.」をすべて「様」に置き換えてから職業フィールドの「エンジニア」をすべて削除するのと、逆の順序で操作するのとでは、結果がまったく異なることがある。LLMはこうした順序依存性を認識できるのか。CDR-Benchはその問いに答えるために設計された。

このベンチマークには、3,462件の高品質タスクが収録されており、4つの実領域（ECデータ、医療記録、金融取引など）と29種類のデータ処理オペレーターをカバーしている。さらに重要なのは、タスクを「原子（単段階）」「順序非依存（多段階だが順序は結果に影響しない）」「順序依存（多段階で順序が決定的に重要）」の3タイプに分類している点だ。この分類により、モデルの弱点を正確に特定できる。

トップモデルの実力：組み合わせの悪夢

研究チームはGPT-4o、Claude 3.5、Geminiなど、10以上の最先端LLMをテストした。結果は意外ではないが、かなり厳しい内容だ：

• 原子タスクではモデルは好成績で、正解率はおおむね80%以上。
• 組み合わせ設定に入ると、順序非依存の複合操作でも正解率は60%〜70%に落ち込む。
• 順序依存のシナリオになると、多くのモデルの成功率は急降下し、20%に満たないモデルもある。

これは何を意味するのか。たとえばLLMに複雑なパイプラインタスク（複数の条件によるデータのフィルタリングや置換など）を任せた場合、途中のステップで混乱し、ステップを飛ばしたり、間違った順序で実行したりする可能性が高い。しかもこの傾向はモデルの種類を問わず見られる、共通の課題だ。

ベンチマーク設計の優れた点

CDR-Benchの賢いところは、決定論的参照出力を採用している点だ。LLM-as-a-judgeのような信頼性に欠ける手法を使わずに、完全一致による評価が直接行える。すべてのタスクの入出力は厳密に定義されており、曖昧さが排除されている。さらにタスクジェネレーターと評価コードは公開されており、コミュニティでの再現や拡張が容易だ。

「我々の調査結果は、現在のLLMが組み合わせ的で順序依存的なデータリファインメントレシピの処理に体系的な失敗をきたすことを示している。これはAIエンジニアが警戒すべき問題だ」——論文の著者らは結論でこう述べている。

業界への影響

LLMをデータクリーニングや文書処理、自動ETLパイプラインに活用しているチームにとって、このベンチマークは時宜を得た警告となる。大規模言語モデルが多段階のテキスト操作を完璧にこなせると思い込むのは危険だ。特にビジネスルールが複雑なシナリオでは要注意である。本番環境に直接投入するのではなく、まずCDR-Benchのような小規模なテストでモデルの実力を検証することをおすすめする。

また、このベンチマークは改善の方向性も示唆している。モデルにはより明確なステップ追跡の仕組みが必要かもしれないし、学習データに順序推論のサンプルを増やすべきかもしれない。将来的には、RLHFをこうした失敗ケースに特化して強化するアプローチも考えられる。

総じて、CDR-Benchは実用的で設計がクリーンなベンチマークだ。派手な指標を追い求めるのではなく、AIシステムの中核的な弱点である多段階指示の忠実な実行に焦点を当てている。AIの信頼性に関心のある開発者ならば、この論文は一読の価値がある。