AI 訓練和推理對儲存的要求有多苛刻，做過大規模模型的人都知道。訓練叢集裡 GPU 跑得飛快，但資料載入一旦跟不上，整個 pipeline 都在等 IO。NVIDIA 開源的 aistore 就是為了解決這個問題而生的——它本質上是一個可橫向擴充套件的儲存中介軟體，專門為 AI 工作負載調優。
aistore 到底解決了什麼？
傳統的分散式儲存（比如 Ceph、MinIO）也能對付大容量，但面對 AI 場景裡常見的小檔案混合大檔案、隨機讀取頻繁、checkpoint 寫入大塊資料等模式，往往要麼延遲高，要麼頻寬浪費。aistore 的設計思路是把儲存和計算緊耦合：它支援對象儲存（S3 相容）和 POSIX 檔案系統兩種介面，並且能利用 RDMA 網路加速資料傳輸。對於 PyTorch、TensorFlow 這類框架，aistore 提供了專門的 dataloader 外掛，讓資料預取直接在儲存端完成，不走 CPU 中轉。
更實在的一點是，它還支援資料就地變換——比如在 S3 上儲存百萬張圖片，aistore 可以在讀取時實時做裁剪、縮放或格式轉換，省去預處理流程。這點對需要頻繁迭代訓練資料集的團隊來說非常實用。
架構不復雜，但彈性很強
aistore 的叢集由三種節點組成：代理（proxy）、目標（target）和儲存後端。代理負責路由和後設資料，目標節點負責實際資料 IO，而儲存後端可以是本地磁碟、SSD 或者雲端儲存（S3、GCS、Azure Blob）。所有節點可以獨立擴容，目標是達到線性效能。它甚至支援跨叢集聯邦，把多個資料中心的儲存池虛擬成一個 namespace。
上手部署不算特別無腦，但官方提供了 Helm chart，在 Kubernetes 環境下跑起來很方便。如果只是本地體驗，用 Docker Compose 也能拉起一個三節點的小叢集。社羣裡已經有案例用它在 100+ 節點上管理 PB 級資料，吞吐量接近硬體的理論極限。
典型使用場景：從訓練到推理
- 大規模訓練資料湖：把多個來源的資料統一匯入 aistore，通過標籤和版本管理，供不同訓練任務按需拉取。
- checkpoint 快速讀寫：模型每輪迭代儲存的 checkpoint 檔案可能很大（幾 GB），aistore 通過並行寫入和快取策略顯著降低延遲。
- 混合雲資料流動：本地叢集訓練，模型產物自動同步到雲端，或者反過來。
對於一般的小團隊，aistore 可能有點重；但如果你的 GPU 叢集經常因為 IO 瓶頸而利用率低下，它就是一個值得考慮的投資。NVIDIA 官方也提供了商業支援，但社羣版功能完整，不存在強制付費。
一點評價與上手提示
aistore 最大的賣點就是「為 AI 而生」，相比通用儲存方案，它在資料佈局、快取策略和網路傳輸上都做了專門優化。但缺點也很明顯：學習曲線存在，尤其是非 Kubernetes 環境下的部署需要理解它的內部架構。另外，它的生態目前偏向 NVIDIA 硬體（但也能跑在普通伺服器上），並不是「即裝即用」的消費品。
如果你之前用 NFS 或簡單對象儲存做資料 fed，可以試試 aistore 的 benchmark 指令碼，對比一下延遲和吞吐差距。通常還沒到生產環境，你就會發現它值得單獨跑一個叢集。
評論
暫無評論
成為第一個評論的人