local-llms-on-android

项目概述

Local LLMs on Android 是一款 Android 应用程序，将本地 LLM 聊天带到你的手机上，完全离线、私密且快速。支持基于 ONNX 的 Qwen 模型以及基于 LiteRT 的 Qwen 3 和 Gemma 4 模型。

主要功能

• 完全离线运行量化大语言模型（Gemma、Qwen、LLaMA 等）
• 支持 ONNX Runtime 和 LiteRT 双后端
• 流式响应支持
• 本地私密聊天与问答
• 即装即用的 APK 发布，直接安装即可运行

适用人群

• 希望在 Android 手机上离线使用大语言模型的用户
• 注重隐私、不希望对话数据上传的用户
• 拥有低端至中端 Android 设备的用户

快速上手

1. 从 GitHub Releases 下载对应型号的 APK（如 Qwen3 0.6B LiteRT 适用于低端手机）
2. 安装到 Android 设备上
3. 打开应用即可开始离线对话

核心优势

• 完全离线：无需网络连接即可运行
• 隐私保护：数据不离开设备
• 快速推理：基于 ONNX Runtime 和 LiteRT 后端优化
• 低门槛：提供适用于低端手机的轻量模型版本

系统要求

• 操作系统：Android

注意事项

• Qwen3 0.6B LiteRT 版本最适合低端手机
• 实际速度和内存占用取决于模型大小和设备性能