llama-cpp-desktop

项目概述

Llama.cpp Desktop 是一个给 Windows 本地 llama.cpp 准备的桌面端控制面板。启动服务、配置模型、查看日志、直接聊天和接入 OpenAI 兼容客户端，都放在一个窗口里。

主要功能

• 本地直连：直接启动 llama.cpp 原版目录里的 llama-server.exe，不强依赖额外启动器
• OpenAI 兼容：默认提供 http://127.0.0.1:8080/v1，可接入 OpenClaw、Claude Code 等客户端
• 桌面聊天：内置网页端风格聊天页面，支持流式回复、历史对话、搜索和消息操作
• 附件入口：支持图片、文本、PDF 等附件入口，图片可在聊天里预览
• 模型信息：点击模型标签即可查看当前模型、上下文、GPU 层数和运行参数
• 终端日志：在客户端里查看 llama.cpp 输出，方便排查启动和推理问题
• 托盘后台：关闭窗口后隐藏到系统托盘，服务继续后台运行
• 参数配置：支持模型路径、上下文、采样、GPU 层数、线程和批处理参数

适用人群

• Windows 10/11 用户
• 需要管理本地 llama.cpp 推理服务的开发者
• 希望以图形化界面替代命令行的用户

快速上手

1. 从 Releases 下载 Llama.cpp-Desktop.exe
2. 双击运行
3. 在设置里选择 llama.cpp 原文件目录，或直接选择 llama-server.exe
4. 选择 GGUF 模型文件
5. 保存配置并启动服务，使用内置聊天或接入 OpenAI 兼容客户端

核心优势

• 图形化界面，无需记忆复杂命令行参数
• 内置聊天页面，开箱即用
• 支持托盘后台运行，不干扰其他工作
• 可接入 OpenClaw、Claude Code 等外部客户端

系统要求

• 操作系统：Windows 10 / 11
• 额外依赖：需本机已有可用的 llama.cpp Windows 构建目录和 GGUF 模型文件；项目不内置 llama.cpp、模型文件、显卡驱动或 CUDA/Vulkan 运行库