Kubernetes 上的异构 GPU 共享

为什么使用 HAMi

统一管理异构设备复用

通过统一的 Kubernetes 原生工作流调度 GPU、NPU、MLU 等异构加速设备。

细粒度切分与硬隔离

按显存与算力精细切分资源，并在运行时保持硬隔离。

动态控制与调度

通过 binpack、spread 与拓扑感知策略优化资源放置。

Kubernetes 原生

兼容 Kubernetes API、DRA 与 CDI 标准，降低接入成本。

资源隔离与 QoS

精确控制显存与核心配额，提升共享公平性与稳定性。

统一监控与观测

在多厂商设备上提供一致的指标体系与运维可见性。

架构与工作原理

从请求到隔离执行，HAMi 将 GPU 切分与异构调度组织成可落地的 Kubernetes 运行时链路。

使用 HAMi 前后对比

相同工作负载下，对比传统整卡独占与 HAMi GPU 共享后的资源利用率变化。

请求

用户 A2 张 GPU每卡 10G

用户 B2 张 GPU每卡 20G

未使用 HAMi

未使用 HAMi

节点：4 x V100 (32G)

GPU0

GPU1

GPU2

GPU3

使用 HAMi

使用 HAMi

节点：4 x V100 (32G)

GPU0

GPU1

可用

GPU2

可用

GPU3

负载 A负载 B浪费容量可用容量

采用者

以下组织正在评估或在生产环境中使用 HAMi。