llama.cpp-launcher

项目概述

llama.cpp-launcher 是一个用 Rust 构建的轻量级 llama.cpp 启动器，提供图形界面来管理和运行 llama.cpp 服务器。支持可视化配置、RPC 模式、预设管理、实时日志和多语言界面。

主要功能

• 跨平台 GUI 界面：基于 eframe/egui
• 可视化配置：配置 llama.cpp 服务器参数（端口、线程、GPU 层数等）
• 文件浏览器：选择模型文件（支持 .gguf 格式）
• 预设系统：保存和加载常用配置
• 实时日志显示：支持文件日志记录
• 中英文界面：自动检测系统语言
• 开机自启（Windows）
• GPU 层数管理：自动/全部/手动模式
• 自动计算显存可用最大上下文
• RPC 模式：分布式推理
• Web UI 集成：支持打开网页客户端
• 模型文件彩色标签解析：自动识别参数量、量化类型等
• 启动命令预览：只读展示最终命令

适用人群

• 需要在 Windows 或 Linux 上运行 llama.cpp 服务器的用户
• 希望以图形界面替代命令行管理 llama.cpp 的用户
• 对本地 LLM 推理感兴趣的开发者和技术爱好者

快速上手

1. 下载 llama.cpp 发布版并解压
2. 将启动程序放在和 llama.cpp 同级目录
3. 启动应用程序，选择 Server 面板
4. 点击"自动检测"按钮，程序自动查找 llama.cpp 服务器执行程序
5. 配置服务器参数，选择模型文件（.gguf 格式）
6. 点击"启动 Server"按钮，待"打开网页客户端"按钮亮起后即可打开 Web 界面

核心优势

• 图形化界面，无需记忆复杂命令行参数
• 支持 RPC 模式（分布式推理）
• 预设系统和模型文件彩色标签解析，管理便捷
• 支持中英文界面，自动检测系统语言

系统要求

• 操作系统：Windows、Linux
• 额外依赖：从源码构建需 Rust 1.70+；Windows 需 Visual Studio Build Tools 或 MinGW；Linux 需 X11 开发库