Core Dump疫学：18年来のバグを修正

Daniel Lee

2026年7月3日

original

OpenAIのエンジニアは、大規模なコアダンプ分析技術を用いて、インフラ内の相互に絡み合う2つの障害――ハードウェアエラーと18年間潜伏していたソフトウェアバグ――を特定し、修正しました。この分野横断的なデバッグのマラソンは、現代の分散システム運用におけるデータ駆動型診断の力を示しています。

ときに、もっとも頭を悩ませるバグは、エラーメッセージがひときわ目立つものではなく、システムを断続的に不安定にし、ログがまるで洗い清められたかのようにきれいなままのゴースト障害です。OpenAI のエンジニアは最近、まさにこの問題に直面しました。彼らのインフラストラクチャが、前触れもなく偶発的にクラッシュするのです。頻度は高くないものの、十分に頭を悩ませるものでした。原因を突き止めるために、彼らは「法医疫学」のようなアプローチをとりました——Core Dump を大規模に分析したのです。

Core Dump に残された犯行現場

Core Dump とは、プログラムがクラッシュした時点のメモリのスナップショットです。通常、誰も見ようとしません。しかし、OpenAI の SRE チームは違います。彼らは何年にもわたって原因不明のクラッシュパターンに直面していました。毎日数千件の Core Dump を収集し、病理学者のように共通点を探し続けたのです。その作業は数か月に及びました。

最終的に、彼らは2つのまったく異なる原因を特定しました。1つはメモリハードウェアエラー。ある CPU のキャッシュが、偶発的に誤ったデータを吐き出していました。もう1つはソフトウェアバグで、Linux カーネルのエッジケースとなるパスに、なんと18年間も潜んでいたものです。2006年の Linux 2.6 時代から存在していました。この2つの問題が同時に発生したとき、システムはクラッシュしていました——まるで銃に2発の弾が同時に装填されたときだけ発火するかのように。

なぜ18年もの間、発見されなかったのか？

このソフトウェアバグのトリガー条件は極めて厳しいものでした。カーネルの SLUB メモリアロケータが、特定のレースコンディション下で誤ったポインタを返すというもので、ハードウェアエラーがちょうど同じタイミングで、その誤ったポインタを実行可能な不正なコードに変換していました。単独で見れば、どちらの問題も致命的ではありません。しかし、組み合わさると、それは災害になります。ほとんどの場合、ハードウェアエラーは ECC による誤り訂正で隠蔽され、ソフトウェアとハードウェアが同時に誤作動したときだけ、ようやくその兆候が露見しました。

OpenAI のチームは、関連性を確認するために巧妙な方法を使いました。カーネルモジュールを作成し、特定のメモリアドレスに意図的にエラーを注入したのです。すると、カーネルのバグも同時に発生した場合にのみ、システムがクラッシュすることが確認できました。このような「協調障害」パターンは、分散システムでは極めて稀ですが、一度発生すると、診断の難易度は指数関数的に跳ね上がります。

重要な発見のいくつかは、Core Dump 内の特定のレジスタの分析から得られました。たとえば、ある CPU の MCA（Machine Check Architecture）レコードにはキャッシュのパリティエラーが記録されており、別のカーネルスレッドのコールスタックは、ちょうど SLUB アロケータのその古いバグを指し示していました。

修正を終えて、何を学べるのか？

修正方法そのものは複雑ではありません。ハードウェア面では、マイクロコードの更新によって問題のあるキャッシュプリフェッチロジックを無効化し、ソフトウェア面では、カーネルのその割り当てコードにメモリバリアを追加しました。本当に価値があったのは、デバッグのプロセスそのものです。大規模な Core Dump 分析が、受動的な事後調査から、能動的な疫学調査へと変わったのです。

運用エンジニアにとって、この事例には覚えておくべき点がいくつかあります。

ログに明示的に記録されたエラーのみに注目しないこと。Core Dump のあらゆるビットに手がかりが潜んでいる可能性がある。
複数のソフトウェア・ハードウェアコンポーネントが同時に「軽微な異常」を示すとき、それらの間に結合障害が存在する可能性を考慮すること。
自動化された分析ツールは、大量の Core Dump を扱う上で不可欠だが、最終的な判断には、カーネルメカニズムに対するエンジニアの深い理解が依然として必要である。

OpenAI は、この単一のバグを修正しただけでとどまりませんでした。彼らは分析フレームワーク全体を体系化し、本番環境で同様のパターンを継続的に監視するために活用しています。彼らの言葉を借りれば、「私たちはもうクラッシュが発生してから調査するのではなく、すべての Core Dump を能動的にスキャンし、まだ爆発していない時限爆弾を探している」のです。

これはおそらく、18年もの間潜んでいたバグが私たちに残してくれた最高の教訓でしょう。ある種の障害は、忍耐とデータ、そして少しの運がなければ発見できないものなのです。しかし、準備の整った人には、運は味方しやすいものです。

Core DumpOpenAIカーネルバグ分散システム障害診断18年バグハードウェア障害インフラ運用SLUBアロケータ疫学的診断

コメントはまだありません

最初のコメントを書きましょう

類似ツール

BugDaddy

BugDaddy は AI 駆動のデスクトップデバッグツールで、プロジェクトをスキャンして実際のバグを検出し、自動的に修正します。30以上の言語に対応し、3つのスキャンモードと差分プレビューを提供します。現在は完全無料でダウンロードでき、公開ベータテスト段階にあります。

Digital Heals

公式サイトとウェブ検索でDigital Healsの確認を試みました。調査期間中、サイトにはアクセスできず、信頼できる公開情報も見つからなかったため、機能については説明できません。正確な情報は公式サイトをご確認ください。

ZenVeil

ZenVeilは開発者向けのセキュリティツールで、従来のセキュリティツールの複雑さを軽減することを目的としています。GitHubリポジトリ、ローカルコードベース、APIをスキャンして、シークレット、サプライチェーンリスク、一般的なセキュリティ問題を発見できます。AIを活用した説明、修正ガイド、優先順位付けを提供し、修正を含むプルリクエストを直接作成できます。ユーザーはWebダッシュボードまたはコマンドラインインターフェース（CLI）から利用できます。

AuditMe

AuditMeは、AIを迅速に開発する開発者向けのコード監査ツールです。GitHubリポジトリをスキャンし、60秒以内に本番準備スコアを提供します。レポートには、重大なセキュリティ問題、エラーハンドリングの欠落、ハードコードされたキー、レート制限の欠如などが含まれ、重大度順に並べられ、分かりやすい説明が添付されます。各発見には、コピー可能なコード差分と、事前に作成されたPRタイトルと説明が提供され、迅速な修正を支援します。

VibeCheck

VibeCheckは、2回のクリックでスクリーン録画、コンソールログ、ネットワークリクエスト、実行環境をまとめてパッケージし、完全なコンテキスト付きの再現リンクをエンジニアに直接送れます。

Checkmarx Next-Gen SAST

Checkmarx Next-Gen SAST は、3層スキャンを単一エンジンに統合しています。実績のあるルールベース層、あらゆる言語（AI生成コードを含む）をカバーする専用LLM、そして新しい発見分析エンジン（FAE）により、結果をフィルタリングして真陽性を確認し、開発者が重要な問題だけに集中できるようにします。現在、Checkmarx One の全顧客に、既存サブスクリプションの一部として提供されています。

オープンソース代替

CyberStrikeAI：自然言語をガバナンスされたマルチエージェントセキュリティオペレーションに変換

CyberStrikeAIは、Go言語ベースのオープンソースプラットフォームです。自然言語の指示をガバナンスされたマルチエージェントセキュリティオペレーションに変換し、100以上のツールを統合し、監査ログを提供します。

h4cker：安全学習リソースを集めた巨大オープンソース図書館

h4cker は Omar Santos が GitHub で公開するセキュリティ学習リポジトリ。道徳的ハッキング、バグ報奨金、フォレンジック、AIセキュリティなどを数千点収録。Jupyter Notebook 形式で実践的に学べる。

pentagi：マルチエージェントによる自動化ペネトレーションテストシステム

pentagi は、Docker サンドボックス内でペネトレーションテストを自動化するためのオープンソースのマルチエージェントシステムです。20種類以上のセキュリティツールを統合し、ベクトルメモリをサポートしています。プロジェクトは主にGo言語で開発され、MITライセンスの下で提供されています。収集時点のデータによると、このプロジェクトはGitHubで21587スターを獲得しています。

reverse-skill：AIエージェント向けにリバースエンジニアリングとペネトレーションワークフローをパッケージ化

reverse-skill は、PowerShell ベースのオープンソースプロジェクトで、MIT ライセンスを採用しています。40 以上のリバースエンジニアリング、ペネトレーションテスト、CTF ワークフローをルーティングシステムにまとめ、Claude Code、Cursor、Cline などの AI エージェントに対応しています。収集時点で 6574 個の GitHub スターを獲得しています。

awesome-ai-security：厳選されたAIセキュリティリソース集

awesome-ai-security は、AIセキュリティ分野の必須リソースを整理することに特化したGitHubリポジトリです。論文、コード、ツールを集めており、敵対的サンプル、プロンプトインジェクション、モデルのプライバシー、レッドチームテストなどのトピックをカバーしています。このプロジェクトはMITライセンスを採用しており、収集時点で1340のスターを保有しています。セキュリティ研究者やAI開発者にとって、迅速な入門や包括的な参考資料として適しています。

kodus-ai：オープンソースAIコードレビュー、モデルとコストを管理

kodus-ai は、TypeScript で構築されたオープンソースの AI コードレビューツールで、GPT や Claude など複数の AI モデルとの統合をサポートしています。開発チームはモデルを自主的に選択でき、ベンダーロックインを回避しつつ、コードレビューの効率を向上させられます。このプロジェクトは GitHub で 1200 以上のスターを獲得しており、自主性とコスト効率を重視するチームに適しています。