GitHub Store
eugr

spark-vllm-docker

eugr

专为NVIDIA DGX Spark优化的vLLM Docker配置与启动脚本，支持单节点及多节点集群（Ray/原生PyTorch分布式），支持InfiniBand/RDMA（NCCL）、高性能模型加载及自定义环境配置。

prebuilt-vllm-current
发布于
15 天前
2,346
星标
4
下载
同步于
15 天前

最新版本

prebuilt-vllm-current2026年10月4日 20:54
下载慢？可在上方随时切换镜像源

项目说明

项目概述

该仓库包含专为 NVIDIA DGX Spark 优化的 vLLM Docker 配置和启动脚本，支持从单节点到多节点集群（使用 Ray 或 vLLM 原生 PyTorch 分布式模式）。支持 InfiniBand/RDMA（NCCL）、自定义环境配置，并通过 fastsafetensors 和 InstantTensor 实现高性能模型加载。集群设置支持双 Spark 直连、QSFP/RoCE 交换配置和 3 节点网状配置。

主要功能

  • 多节点推理：支持单节点和多节点集群部署
  • 高性能模型加载：通过 fastsafetensors 和 InstantTensor 优化
  • InfiniBand/RDMA 支持：通过 NCCL 实现高速互联
  • 多种集群配置：双 Spark 直连、QSFP/RoCE 交换、3 节点网状配置
  • 灵活构建选项：支持使用预编译 wheel、从源码重建 vLLM 或 FlashInfer

适用人群

  • 使用 NVIDIA DGX Spark 进行 LLM 推理的开发者
  • 需要多节点分布式推理的 AI 工程师
  • 对高性能 vLLM 部署感兴趣的研究者

快速上手

  1. 默认使用 eugr/spark-vllm:latest 镜像
  2. 运行 build-and-copy.sh 构建并启动容器
  3. 多节点部署需配置 Spark 间无密码 SSH 连接
  4. 参考 Networking Guide 进行网络配置

核心优势

  • 专为 DGX Spark 优化的 vLLM 部署方案
  • 支持多节点分布式推理
  • 灵活的构建选项，支持自定义 vLLM 版本
  • 社区驱动的开源项目（非 NVIDIA 官方）

系统要求

  • 硬件：NVIDIA DGX Spark
  • 网络：InfiniBand/RDMA（可选）、SSH 无密码访问（多节点）

历史版本

排序