MTPLX

项目概述

MTPLX 是一款专为 Apple Silicon 优化的原生 Mac 应用和命令行工具，通过多令牌预测（Multi-Token Prediction, MTP）实现本地语言模型推理加速。它利用 Qwen 3.5/3.6/3.8 等现代模型内置的 MTP 头，实现相同的模型输出分布，但速度显著提升。

主要功能

• 多令牌预测（MTP）：模型自行提前预测多个令牌，在单次前向传递中验证每个草稿块
• 原生 Mac 应用：提供仪表盘显示实时 tokens/秒、接受率、缓存状态和系统压力
• 内置聊天与代理服务：支持文件附件、网络搜索，一键启动 OpenCode、Pi、Hermes 等
• 自动调优：在入门期间自动测试不同草稿深度，为你的 Mac 选择最快配置
• 内置 AIME 基准测试：使用完全公开的提示词自行评分模型

适用人群

• Apple Silicon Mac 用户（M1 及更新）
• 希望在本地高效运行 LLM 的开发者
• 追求高性能、低资源占用的本地 AI 推理用户

快速上手

1. Mac 应用（推荐）：从 mtplx.com 下载 DMG，拖入 Applications
2. CLI：
   • Homebrew：brew install youssofal/mtplx/mtplx && mtplx start
   • pip：python3 -m pip install mtplx
3. 应用会自动检测硬件、推荐模型、下载并设置 Python 引擎
4. 推荐用于编程的模型：Qwen 3.8 27B Optimized Speed（4-bit 动态量化）
5. 需要 macOS 14+ 和 Apple Silicon（M1 或更新），16GB 内存可流畅运行 4B 和 9B 模型

核心优势

• 2倍以上速度提升：实测 M4 Mac mini 提升 1.6 倍，M5 Max 提升 2.24 倍
• 无外部草稿模型：使用模型内置的 MTP 头，不额外占用内存
• 精确采样：使用 Leviathan 和 Chen 拒绝采样定理，确保输出分布与正常解码一致
• 原生 Mac 体验：精美的仪表盘和聊天界面，开箱即用

系统要求

• 操作系统：macOS 14+
• 硬件：Apple Silicon（M1 或更新）
• 内存：16GB 可流畅运行 4B 和 9B 模型，32GB+ 推荐 Qwen 3.8 Optimized Speed