KAI-SchedulerKubernetes 原生 AI 工作负载调度器

在 AI 训练和推理的场景里，资源调度从来不是小事。尤其是当集群里混着不同型号的 GPU、不同的作业优先级，以及不断进出的任务队列时，传统 Kubernetes 默认调度器往往力不从心。KAI-Scheduler 正是为解决这个问题而生的开源项目。

专为 AI 工作负载设计的 K8s 调度器

KAI-Scheduler 以 Kubernetes 原生调度器 的形式运行，意味着它可以作为准入控制器或扩展调度器无缝接入现有集群。它的核心逻辑围绕 GPU 资源分配、优先级队列 和 资源抢占 展开，专门应对 AI 训练作业中常见的长耗时、高资源消耗、以及突发性需求。

• 动态优先级队列：允许用户为不同团队或任务设定优先级，确保关键作业先得到资源。
• 资源抢占与回填：当高优先级作业等待时，自动抢占低优先级任务并回填空闲资源，提升集群整体利用率。
• GPU 拓扑感知：考虑节点间 GPU 互联拓扑（如 NVLink），优化多节点训练时的通信效率。
• 分组调度：支持将多个 Pod 作为一个计算组（Gang Scheduling）统一调度，避免死锁。

为什么社区选择它

KAI-Scheduler 最初由韩国科技公司 Kakao 开源，目前已在生产环境验证，GitHub 获得 1350 颗星。相比其他调度方案（比如 Volcano、Yunikorn），它的优势在于 轻量且与 K8s 调度框架深度集成。不需要额外部署调度器实例，只需作为插件启用即可。对于已经运行大量 PyTorch 或 TensorFlow 作业的团队，迁移成本很低。

一个典型的使用场景是：某 AI 实验室有 100 张 GPU，同时跑 10 个训练任务和 20 个推理服务。默认调度器可能导致推理 Pod 抢占训练任务的 GPU，或者训练任务因等待碎片化 GPU 而迟迟无法启动。KAI-Scheduler 通过队列和抢占，让推理任务在空闲 GPU 上运行，当训练任务需要时自动驱逐，保证训练任务几乎无延迟。

上手与局限性

部署 KAI-Scheduler 需要基本的 Kubernetes 运维知识。官方提供了 Helm Chart，一行命令即可安装。但配置优先级策略和抢占规则需要理解 CRD 和调度配置，因此适合 有 K8s 经验的 DevOps 或平台工程师。

另外，目前项目仍处于活跃开发阶段，文档和示例以英文为主，中文资料较少。对于小型集群（<50 GPU），默认调度器可能就够用，引入 KAI-Scheduler 的收益不明显。

如果团队正在为 GPU 利用率低、训练作业排队混乱而头疼，KAI-Scheduler 值得一试。它解决了真实痛点，而且不用花一分钱。