Core Dump 流行病學：修復一個 18 年的 bug

Daniel Lee

2026年7月3日

original

OpenAI 工程師運用大規模 core dump 分析技術，定位並修復了基礎設施中兩個相互交織的故障：一個硬體錯誤和一個潛伏 18 年的軟體 bug。這場跨領域的除錯馬拉松，展示了現代分散式系統運維中資料驅動診斷的力量。

有時候，最棘手的 Bug 不是報錯資訊最扎眼的那種，而是那些讓系統間歇性抽風、日誌乾淨得像被洗過一樣的幽靈故障。OpenAI 的工程師最近就攤上了這麼一件事：他們的基礎設施偶爾會毫無徵兆地崩潰，頻率不高，但足夠讓人抓狂。為了揪出元凶，他們幹起了類似「法醫流行病學」的活兒——大規模分析 Core Dump。

Core Dump 裡的犯罪現場

所謂 Core Dump，就是程序崩潰時記憶體的快照。通常沒人會去翻它，除非你像 OpenAI 的 SRE 團隊一樣，面對一個持續多年、來歷不明的崩潰模式。他們每天收集數千份 Core Dump，像病理學家一樣尋找共性。這一找就是好幾個月。

最終，他們鎖定了兩種截然不同的病因。一種來自記憶體硬體錯誤：某個 CPU 的快取偶爾會吐出錯誤資料。另一種則是一個軟體 Bug，在 Linux 核心的某個邊緣路徑裡已經藏了 18 年，從 2006 年 Linux 2.6 時代就存在了。兩個問題同時出現時，系統才會崩潰——就像槍裡有兩顆子彈，只有同時上膛才會走火。

為什麼花了 18 年才被發現？

這個軟體 Bug 的觸發條件極其苛刻。它涉及核心的 SLUB 記憶體分配器在特定競態條件下返回錯誤指標，而硬體錯誤恰好會在同一時刻把錯誤指標變成可執行的畸形程式碼。單獨看，每個問題都不致命；湊在一起，就是災難。大部分時候硬體錯誤被 ECC 糾錯掩蓋了，只有軟硬體共同出錯時才會露出馬腳。

OpenAI 的團隊用了一個巧妙的辦法來確認關聯：他們寫了一個核心模組，主動在特定記憶體地址注入錯誤，發現只有當核心 Bug 也被觸發時，系統才會崩潰。這種「協同故障」模式在分散式系統中極為罕見，但一旦發生，診斷難度呈指數級上升。

一些關鍵發現來自對 Core Dump 中特定暫存器的分析——比如某個 CPU 的 MCA（Machine Check Architecture）記錄顯示快取奇偶校驗錯誤，而另一個核心執行緒的呼叫棧正好指向了 SLUB 分配器的那個古老 bug。

修復之後，能學到什麼？

修復方案本身並不複雜：硬體層面通過微碼更新禁用有問題的快取預取邏輯，軟體層面給核心的那段分配程式碼加了一個記憶體屏障。真正有價值的是除錯過程本身——大規模 Core Dump 分析從一種被動的事後檢查，變成了主動的流行病學調查。

對運維工程師而言，這個案例有幾個值得記住的點：

不要只關注日誌中的顯式錯誤，Core Dump 裡的每一位元都可能藏著線索。
當多個軟硬體元件同時表現出「輕微異常」時，要考慮它們之間是否存在耦合故障。
自動化分析工具在處理海量 Core Dump 時不可或缺，但最終判斷仍需要工程師對核心機制有深入理解。

OpenAI 並沒有止步於修復這個單一 Bug。他們把整套分析框架沉澱下來，用於持續監控生產環境中的類似模式。用他們自己的話說：「我們不再是等崩潰發生再排查，而是主動掃描所有 Core Dump，尋找那些尚未引爆的定時炸彈。」

這大概是 18 年 bug 帶給我們的最好啟示：有些故障註定只能被耐心、資料和一點運氣發現。但做好準備的人，運氣往往更好。

Core DumpOpenAI核心Bug分散式系統故障診斷18年Bug硬體故障基礎設施運維SLUB分配器流行病學診斷

探索更多

相似工具

BugDaddy

BugDaddy是一款AI驅動的桌面調試工具，能掃描項目、檢測真實Bug並自動修復。支持30多種語言，提供三種掃描模式和差異預覽。目前完全免費下載，處於公開測試階段。

Digital Heals

我們嘗試透過官網與網路搜尋查證 Digital Heals。研究期間該站點無法開啟,也未找到可靠的公開資料,因此無法描述其功能。準確資訊請以官方網站為準。

ZenVeil

ZenVeil 是一款面向開發者的安全工具，旨在降低傳統安全工具的複雜性。它支持掃描 GitHub 倉庫、本地代碼庫和 API，以發現密鑰、供應鏈風險和常見安全問題。提供 AI 驅動的解釋、修復指導和優先級排序，並能直接創建包含修復的 pull request。用戶可通過 Web 儀錶板或命令行界面（CLI）使用。

AuditMe

AuditMe是一款面向AI快速開發者的代碼審計工具，通過掃描GitHub倉庫，在60秒內給出生產就緒評分。報告涵蓋關鍵安全問題、缺失錯誤處理、硬編碼密鑰、無速率限制等，並按嚴重程度排序，附通俗解釋。每個發現提供可複製的代碼diff及預寫的PR標題和描述，幫助快速修復問題。

VibeCheck

VibeCheck 只要兩下就把螢幕錄影、主控台日誌、網路請求與環境資訊打包，把附完整上下文的重現連結交給工程師。

Checkmarx Next-Gen SAST

Checkmarx Next-Gen SAST 將三層掃描集成於單一引擎：久經考驗的規則基礎層、覆蓋任意語言（含AI生成代碼）的專用LLM，以及新的發現分析引擎（FAE），過濾結果以確認真陽性，讓開發者只關注重要問題。現已向所有Checkmarx One客戶提供，作為現有訂閱的一部分。

開源專案

CyberStrikeAI: 將自然語言轉化為受治理的多智能體安全操作

CyberStrikeAI 是一個基於 Go 語言的開源平臺，將自然語言指令轉化為受治理的多智能體安全操作，集成超過100種工具，並提供審計日誌。

h4cker: 彙集數千資源的開源安全學習庫

h4cker 是 Omar Santos 在 GitHub 上維護的開源專案，收錄了數千條與道德黑客、漏洞賞金、數字取證、事件響應、AI 安全、逆向工程等相關的學習資源，倉庫以 Jupyter Notebook 為主，目前已在 GitHub 獲得近 3 萬星標，適合安全新手和從業者按圖索驥。

pentagi: 多代理自動化滲透測試系統

pentagi 是一個開源的多代理系統，用於在 Docker 沙箱中自動化滲透測試，集成了 20 多種安全工具，並支持向量記憶。項目主要使用 Go 語言開發，遵循 MIT 許可證。根據收集時的數據，該項目在 GitHub 上獲得了 21587 顆星。

reverse-skill: 為AI代理打包逆向與滲透工作流

reverse-skill 是一個基於 PowerShell 的開源項目，採用 MIT 許可證。它將 40 多個逆向工程、滲透測試和 CTF 工作流打包成一個路由系統，適用於 Claude Code、Cursor 和 Cline 等 AI 代理。該項目在採集時獲得了 6574 個 GitHub 星標。

awesome-ai-security：精選AI安全資源庫

awesome-ai-security 是一個GitHub倉庫，專注於整理AI安全領域的必備資源。它匯集了論文、代碼和工具，涵蓋對抗樣本、提示注入、模型隱私和紅隊測試等主題。該項目採用MIT許可證，截至採集時擁有1340個星標，適合安全研究人員和AI開發者快速入門或作為綜合參考。

kodus-ai: 開源AI代碼審查，掌控模型與成本

kodus-ai 是一個開源的AI代碼審查工具，基於TypeScript構建，支持集成GPT和Claude等多種AI模型。它讓開發團隊自主選擇模型，避免供應商鎖定，同時提升代碼審查效率。項目在GitHub上已獲得超過1200顆星，適合追求自主性和成本效益的團隊。