cross-platform-llm-client

项目概述

PrivateLM 是一个生产就绪的跨平台 AI 聊天客户端，使用 Flutter 构建。它统一了本地设备端 LLM 推理（Android）与云端 API 访问，让用户完全控制模型的运行方式。

主要功能

• Android 本地推理：下载并运行 GGUF 模型，使用 GPU 加速推理（Vulkan），下载后无需网络
• 云端 API 回退：无缝切换到 OpenAI、Anthropic、Google Gemini 或 Kimi
• 多模态聊天：支持文本和图像发送，本地模型和云端均支持视觉
• 持久化会话：所有聊天和设置通过 Hive 本地存储
• 智能自动配置：首次启动时自动检测设备 RAM 并推荐上下文大小
• 任务管理：专为结构化 AI 辅助工作流设计的任务视图

适用人群

• 希望本地运行 LLM 的隐私敏感用户
• 需要云端和本地模型切换的开发者
• 对无审查模型有需求的用户

快速上手

1. 从 GitHub Releases 下载对应平台版本
2. 首次启动时应用自动检测设备能力并推荐配置
3. 下载 GGUF 模型进行本地推理，或配置云端 API
4. 开始聊天

核心优势

• 本地推理与云端 API 无缝切换
• GPU 加速的本地推理（Vulkan）
• 所有数据本地存储，隐私可控
• 基于 Flutter，跨平台支持

系统要求

• 操作系统：Android（本地推理）、iOS、macOS、Windows、Linux
• 额外依赖：Vulkan（Android 本地推理）