Cactus為移動裝置打造的低延遲AI引擎

當 AI 模型逐漸變大，手機和手錶這類小裝置卻渴望本地智慧。Cactus 正是為此而生——一個從底層用 C++ 寫成的推理引擎，目標很明確：在功耗和算力都受限的硬體上，跑出接近零延遲的體驗。

為什麼需要專門的移動端引擎？

跑在雲上的 AI 很成熟，但帶到本地完全是另一回事。手機 CPU 要省電，記憶體只有幾 GB，更別提智慧手錶那點可憐的資源。通用框架如 TensorFlow Lite 雖然能用，但為了相容各種場景，它對特定硬體的壓榨往往不夠極致。Cactus 的選擇是深度繫結底層架構——直接針對 ARM Neon、RISC-V 向量擴充套件等指令集做優化，連快取命中率和記憶體頻寬都精細管理，換來的是實打實的延遲降低。

真實場景：從喚醒詞到手勢追蹤

最典型的用例是始終線上（always-on）的 AI 任務。比如智慧手錶上的語音喚醒詞檢測：用 Cactus 部署一個小型模型，功耗能控制在毫瓦級，響應時間低於 20 毫秒。另一個場景是實時手勢識別——攝像頭捕捉幀後，Cactus 在裝置本地完成推理，不依賴網路，也不發燙。對開發者來說，這意味著可以給可穿戴裝置新增實時互動功能，而不用犧牲續航。

「延遲從 100ms 砍到 20ms，使用者根本感覺不到機器在思考。」——一位早期測試者的反饋

上手體驗：C++ 核心，Python 友好

引擎本身是 C++ 17 編寫，編譯後會生成輕量動態庫。你可以在 GitHub 上直接克隆，用 CMake 構建。支援的模型格式目前覆蓋 ONNX 和自己定義的原生格式，轉換工具正在完善。如果習慣 Python 生態，Cactus 也提供簡單的 Python 繫結，適合原型驗證。不過注意，當前文件還偏技術向，新手最好有點 NDK 或交叉編譯基礎。

效能對標與社羣生態

在 Raspberry Pi 4 上執行 MobileNet V2，Cactus 的推理速度比 TensorFlow Lite 快約 30%（內部測試資料）。在驍龍 865 手機上，延遲則穩定在 5 毫秒以內。專案目前有 5300+ 星，貢獻者包括一些晶片廠商的工程師。雖然社羣不算龐大，但更新頻率不錯，Issues 響應也及時。下一步期待它能支援更多的量化後訓練工具鏈，方便直接轉換 TF 或 PyTorch 模型。

實用建議：什麼場景真正適合？

• 對延遲極度敏感的應用，如實時音訊處理、AR 手勢識別。
• 資源嚴格受限的裝置，如智慧手錶、TWS 耳機、IoT 模組。
• 想要擺脫雲端依賴，同時不犧牲太多模型精度的場合。

Cactus 不是一個萬能框架。它的優勢只在低延遲、小記憶體場景下突出；如果你的專案跑在服務端或追求模型生態全面性，可能還是主流框架更適合。但如果你正在為可穿戴裝置尋找一個高效能推理後端，它絕對值得花一個下午編譯測試。