LLM推理/微调工具排行榜
LLM推理/微调工具，按 GitHub 星标从高到低排列 · 共收录 19 款
排序
1
llama.cppggml-org一个用C/C++实现的大语言模型（LLM）推理引擎，支持多种模型格式，提供CLI、服务器和内置Web UI，可在本地运行LLM和VLM。C++ 131.7k 2026.10.192
OmniRoutediegosouzapw一款免费的 MIT AI 网关，提供统一端点访问 290+ 提供商、500+ 模型，支持智能回退和令牌压缩。TypeScript 72.8k 2026.09.303
llmfitAlexsJones一个帮助用户根据硬件配置推荐最佳本地大语言模型的命令行工具，支持多GPU、MoE架构和多种量化格式。Rust 37.7k 2026.10.084
freellmapitashfeenahmed一个聚合了34个免费LLM提供商、635个免费模型端点的统一API网关，每月提供约74亿免费令牌，支持智能路由、自动故障转移和加密密钥存储。TypeScript 37.4k 2026.10.195
omlxjundot一个专为Apple Silicon优化的LLM推理服务器，支持连续批处理和SSD缓存，通过菜单栏进行管理。Python 22.9k 2026.10.156
magpieyetoneMagpie 是一个本地运行的 AI 网关，让 Claude Code、Codex、Gemini CLI、OpenCode 等编程代理统一使用 Kimi、DeepSeek、GLM、ChatGPT 等模型，菜单栏一键切换，配额用尽自动切换下一账号。Go 16.8k 2026.10.197
higresshigress-group一个基于Istio和Envoy的云原生AI网关，支持通过Wasm插件扩展，提供统一的LLM API和MCP API管理，支持主流模型提供商。Go 9.5k 2026.10.048
semantic-routervllm-project一个用于异构LLM推理的可编程混合模型（MoM）路由器，通过评估请求信号、用户偏好和应用策略，为每个请求选择或组合最优的模型路径，以提升质量、降低成本、延迟和增强隐私与安全。Go 6.0k 2026.09.279
lemonadelemonade-sdk一个本地AI服务器，让你在自己的NPU和GPU上免费、私密地运行最新的聊天、编码、语音和图像生成模型，并提供与云API相同的体验。C++ 5.9k 2026.10.1610
routerweave-os一个为代理系统设计的模型路由器，能在50ms内将每个提示词路由到最合适的模型，通过简单更换端点即可降低40-70%的成本，支持Anthropic、OpenAI、Gemini及开源模型。Go 5.6k 2026.07.1311
lean-ctxyvgudeAI代理的上下文智能层，通过76个MCP工具、30+代理支持，选择、塑造、重用和恢复项目上下文，可减少60-90%的令牌消耗。Rust 3.9k 2026.10.1112
MTPLXyoussofal一款专为Apple Silicon优化的原生Mac应用和CLI，通过多令牌预测（MTP）实现本地LLM推理速度翻倍，支持Qwen 3.8 27B等模型，无需外部草稿模型。Python 2.5k 2026.10.0313
spark-vllm-dockereugr专为NVIDIA DGX Spark优化的vLLM Docker配置与启动脚本，支持单节点及多节点集群（Ray/原生PyTorch分布式），支持InfiniBand/RDMA（NCCL）、高性能模型加载及自定义环境配置。Python 2.3k 2026.10.0414
FastFlowLMROCm一个专为AMD Ryzen AI NPU优化的大语言模型运行时，支持视觉、音频、嵌入和MoE，无需GPU即可运行，超轻量级（17MB）。C++ 2.0k 2026.10.1515
mlx-serveddalcu专为Apple Silicon优化的原生LLM推理服务器，支持OpenAI和Anthropic兼容API，无需Python，支持MLX和GGUF模型，附带macOS菜单栏应用。Zig 1.9k 2026.10.1216
vigoliumvigolium一款融合AI代理与原生速度的高保真漏洞扫描器，提供确定性多阶段扫描和AI驱动代码审计两种互补模式。Go 1.1k 2026.10.1817
llama-cpp-desktopQiao-920Llama.cpp Desktop 是一款为 Windows 本地 llama.cpp 服务器设计的桌面控制面板，将启动服务、配置模型、查看日志、直接聊天和接入 OpenAI 兼容客户端整合在一个窗口中，让用户无需命令行即可管理本地 llama.cpp 推理服务。JavaScript 385 2026.07.1318
llama.cpp-launcheryihuishou一款用 Rust 构建的轻量级 llama.cpp 图形界面启动器，提供可视化配置、RPC 模式、预设管理、实时日志和多语言界面，帮助用户轻松管理和运行 llama.cpp 服务器。Rust 133 2026.10.1919
dliazorak1103一款AI驱动的Docker日志监控代理，使用大语言模型智能分析容器日志、检测异常并提供上下文洞察。Go 7 2026.10.02
llama.cppggml-org一个用C/C++实现的大语言模型（LLM）推理引擎，支持多种模型格式，提供CLI、服务器和内置Web UI，可在本地运行LLM和VLM。C++ 131.7k 2026.10.192OmniRoutediegosouzapw一款免费的 MIT AI 网关，提供统一端点访问 290+ 提供商、500+ 模型，支持智能回退和令牌压缩。TypeScript 72.8k 2026.09.303llmfitAlexsJones一个帮助用户根据硬件配置推荐最佳本地大语言模型的命令行工具，支持多GPU、MoE架构和多种量化格式。Rust 37.7k 2026.10.084freellmapitashfeenahmed一个聚合了34个免费LLM提供商、635个免费模型端点的统一API网关，每月提供约74亿免费令牌，支持智能路由、自动故障转移和加密密钥存储。TypeScript 37.4k 2026.10.195omlxjundot一个专为Apple Silicon优化的LLM推理服务器，支持连续批处理和SSD缓存，通过菜单栏进行管理。Python 22.9k 2026.10.156magpieyetoneMagpie 是一个本地运行的 AI 网关，让 Claude Code、Codex、Gemini CLI、OpenCode 等编程代理统一使用 Kimi、DeepSeek、GLM、ChatGPT 等模型，菜单栏一键切换，配额用尽自动切换下一账号。Go 16.8k 2026.10.197higresshigress-group一个基于Istio和Envoy的云原生AI网关，支持通过Wasm插件扩展，提供统一的LLM API和MCP API管理，支持主流模型提供商。Go 9.5k 2026.10.048semantic-routervllm-project一个用于异构LLM推理的可编程混合模型（MoM）路由器，通过评估请求信号、用户偏好和应用策略，为每个请求选择或组合最优的模型路径，以提升质量、降低成本、延迟和增强隐私与安全。Go 6.0k 2026.09.279lemonadelemonade-sdk一个本地AI服务器，让你在自己的NPU和GPU上免费、私密地运行最新的聊天、编码、语音和图像生成模型，并提供与云API相同的体验。C++ 5.9k 2026.10.1610routerweave-os一个为代理系统设计的模型路由器，能在50ms内将每个提示词路由到最合适的模型，通过简单更换端点即可降低40-70%的成本，支持Anthropic、OpenAI、Gemini及开源模型。Go 5.6k 2026.07.1311lean-ctxyvgudeAI代理的上下文智能层，通过76个MCP工具、30+代理支持，选择、塑造、重用和恢复项目上下文，可减少60-90%的令牌消耗。Rust 3.9k 2026.10.1112MTPLXyoussofal一款专为Apple Silicon优化的原生Mac应用和CLI，通过多令牌预测（MTP）实现本地LLM推理速度翻倍，支持Qwen 3.8 27B等模型，无需外部草稿模型。Python 2.5k 2026.10.0313spark-vllm-dockereugr专为NVIDIA DGX Spark优化的vLLM Docker配置与启动脚本，支持单节点及多节点集群（Ray/原生PyTorch分布式），支持InfiniBand/RDMA（NCCL）、高性能模型加载及自定义环境配置。Python 2.3k 2026.10.0414FastFlowLMROCm一个专为AMD Ryzen AI NPU优化的大语言模型运行时，支持视觉、音频、嵌入和MoE，无需GPU即可运行，超轻量级（17MB）。C++ 2.0k 2026.10.1515mlx-serveddalcu专为Apple Silicon优化的原生LLM推理服务器，支持OpenAI和Anthropic兼容API，无需Python，支持MLX和GGUF模型，附带macOS菜单栏应用。Zig 1.9k 2026.10.1216vigoliumvigolium一款融合AI代理与原生速度的高保真漏洞扫描器，提供确定性多阶段扫描和AI驱动代码审计两种互补模式。Go 1.1k 2026.10.1817llama-cpp-desktopQiao-920Llama.cpp Desktop 是一款为 Windows 本地 llama.cpp 服务器设计的桌面控制面板，将启动服务、配置模型、查看日志、直接聊天和接入 OpenAI 兼容客户端整合在一个窗口中，让用户无需命令行即可管理本地 llama.cpp 推理服务。JavaScript 385 2026.07.1318llama.cpp-launcheryihuishou一款用 Rust 构建的轻量级 llama.cpp 图形界面启动器，提供可视化配置、RPC 模式、预设管理、实时日志和多语言界面，帮助用户轻松管理和运行 llama.cpp 服务器。Rust 133 2026.10.1919dliazorak1103一款AI驱动的Docker日志监控代理，使用大语言模型智能分析容器日志、检测异常并提供上下文洞察。Go 7 2026.10.02