MTPLX 桌面应用深度体验:实时仪表盘、Chat 流式输出与一键接入 OpenCode 实战【免费下载链接】MTPLXThe fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.项目地址: https://gitcode.com/gh_mirrors/mt/MTPLXMTPLX 桌面应用是 Mac 上跑本地大模型最快的方式之一它用模型自带的 MTP多 token 预测头做推测解码在 M5 Max 上可跑到 125 tok/s16 GB 的 Mac 也能流畅运行 27B 模型。本文带你完整体验三件事——实时仪表盘看解码速度、Chat 流式输出与本地模型对话、一键接入 OpenCode把本地模型变成你的编程搭档。第一步:安装 MTPLX 并选对模型安装只需一步。推荐直接下载 DMG 拖入 Applications应用会自动检查硬件、推荐适配你内存的模型、下载模型并配好 Python 引擎无需 Homebrew喜欢命令行的话brew install youssofal/mtplx/mtplx mtplx start选模型时不用纠结官方按内存分级推荐16 GB 及以上选 Ternary Bonsai 2 27B32 GB 及以上选 Qwen 3.8 27B Optimized Speed编码默认推荐128 GB 以上可上 Qwen 3.8 Flash Next。详细对照表见 README.md 的 Models 章节。实时仪表盘:让解码速度看得见这是 MTPLX 最有爽感的部分。模型在干活的同时仪表盘同步显示详见 docs/dashboard.md解码 TPS 仪表盘——270° 表盘实时跳动一眼看出每秒解码多少 tokenContext 与 Memory 卡片——上下文窗口用量、内存占用百分比Acceptance 区块——MTP 各草稿深度的接受率统计Decode TPS 曲线——最近 5 分钟速度走势Requests 面板——正在进行的请求列表支持逐个取消命令行用户同样能打开它mtplx dashboard会在浏览器中打开http://127.0.0.1:8000/dashboard与桌面应用共享同一个服务进程不占额外端口。仪表盘还内置四套主题按t键切换、快捷键面板按?查看刷新速率 200 ms几乎无感。Chat 流式输出:原生对话体验MTPLX 的 Chat 是原生 SwiftUI 实现而非套壳网页核心特性流式输出token 逐个实时上屏速度徽章同步显示当前 tok/s思考卡片推理过程折叠成可展开的 thinking 卡片正文与推理互不干扰文件附件回形针按钮直接拖入本地文件作为上下文联网搜索点地球图标让模型搜索网页会话持久化温暖前缀会话银行让多轮对话不用重复编码SSD 会话缓存让 96,760 token 的长对话重启后 8 ms 内恢复内置 AIME 基准测试运行器mtplx bench aime --quick也值得一提——提示词完全公开、无喂招你可以亲手给模型打分而不是只看别人的图表。一键接入 OpenCode:本地模型变身编程搭档接入 OpenCode 只需两步全程不用改配置文件1️⃣ 启动本地服务器点击应用顶部的播放按钮或终端执行mtplx serve --port 8000MTPLX 会在127.0.0.1:8000上提供 OpenAI 兼容 API/v1/chat/completions、/v1/responses以及 Anthropic 兼容的/v1/messages端点支持流式输出和两种风格的工具调用。2️⃣ 一键启动 OpenCode在 MTPLX 应用内直接点选 OpenCode 预设应用会自动写好多客户端配置并拉起客户端指向本地服务器。Pi、Hermes、Open WebUI 等所有说 OpenAI/Anthropic API 方言的客户端都同样适用。接入后的实际体验OpenCode 的多轮编码会话会命中会话缓存长上下文几乎不再重复 prefill——实测一次 1,301 token 生成、18,539 token 提示词其中 18,364 来自缓存的请求在 M5 Max 上达到125.8 tok/s。端点细节与网络共享配置比如让 Parallels 虚拟机里的客户端连上这台 Mac都写在 docs/server.md。想自己验证服务是否正常参考 examples/curl-chat-completions.sh 或 examples/openai-python-client.py。为什么它这么快:MTP 推测解码原理MTPLX 不是外挂一个小草稿模型而是调用目标模型自己内置的 MTP 头模型先自己抢跑猜好几个 token一次批量前向验证全部草稿再通过精确拒绝采样带残差校正提交结果。关键性质是任意温度下都数学精确——官方曾对比快慢两条路径各 1000 组四 token 采样逐 token id 一致。没有占用额外内存的第二草稿模型也不会因为贪心近似悄悄改变模型的输出。不同 Mac 芯片的最优草稿深度不同应用会在初始化时自动实测并保存mtplx tune --retune可随时重测所以125 tok/s不是某台神器的特例而是每台机器自己的调优结果。进阶:用 Forge 自制 MTP 模型如果你有 Hugging Face 上的现成模型应用内的 Forge 面板或mtplx forge子命令可以一条龙完成转 MLX 格式、训练 MTP 适配器、在你的硬件上实测前后速度并给出诚实结论例如Depth 1 最快:227.1 → 296.11.30x满意了还能发布回 Hub。小结与更多资料体验点亮点实时仪表盘TPS 表盘 5 分钟曲线 请求级取消同端口零配置Chat 流式输出原生 SwiftUI、thinking 卡片、附件、联网搜索、会话跨重启恢复一键接入 OpenCodeOpenAI/Anthropic 双兼容 API预设配置免手动速度M5 Max 实测 125.8 tok/s任意温度精确采样完整文档docs/README.md、API 细节docs/api.md桌面应用源码apps/MTPLXApp/仪表盘前端源码dashboard/src/MTP 推测解码引擎mtplx/speculative.py历史实测记录每个数字都有原始日志HISTORY.md如果本地模型服务只是你的第一步不妨从mtplx start开始体验——十分钟内你大概率会看到仪表盘上那个 TPS 数字开始跳动。【免费下载链接】MTPLXThe fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.项目地址: https://gitcode.com/gh_mirrors/mt/MTPLX创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 MTPLX 桌面应用深度体验:实时仪表盘、Chat 流式输出与一键接入 OpenCode 实战
MTPLX 桌面应用深度体验:实时仪表盘、Chat 流式输出与一键接入 OpenCode 实战【免费下载链接】MTPLXThe fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.项目地址: https://gitcode.com/gh_mirrors/mt/MTPLXMTPLX 桌面应用是 Mac 上跑本地大模型最快的方式之一它用模型自带的 MTP多 token 预测头做推测解码在 M5 Max 上可跑到 125 tok/s16 GB 的 Mac 也能流畅运行 27B 模型。本文带你完整体验三件事——实时仪表盘看解码速度、Chat 流式输出与本地模型对话、一键接入 OpenCode把本地模型变成你的编程搭档。第一步:安装 MTPLX 并选对模型安装只需一步。推荐直接下载 DMG 拖入 Applications应用会自动检查硬件、推荐适配你内存的模型、下载模型并配好 Python 引擎无需 Homebrew喜欢命令行的话brew install youssofal/mtplx/mtplx mtplx start选模型时不用纠结官方按内存分级推荐16 GB 及以上选 Ternary Bonsai 2 27B32 GB 及以上选 Qwen 3.8 27B Optimized Speed编码默认推荐128 GB 以上可上 Qwen 3.8 Flash Next。详细对照表见 README.md 的 Models 章节。实时仪表盘:让解码速度看得见这是 MTPLX 最有爽感的部分。模型在干活的同时仪表盘同步显示详见 docs/dashboard.md解码 TPS 仪表盘——270° 表盘实时跳动一眼看出每秒解码多少 tokenContext 与 Memory 卡片——上下文窗口用量、内存占用百分比Acceptance 区块——MTP 各草稿深度的接受率统计Decode TPS 曲线——最近 5 分钟速度走势Requests 面板——正在进行的请求列表支持逐个取消命令行用户同样能打开它mtplx dashboard会在浏览器中打开http://127.0.0.1:8000/dashboard与桌面应用共享同一个服务进程不占额外端口。仪表盘还内置四套主题按t键切换、快捷键面板按?查看刷新速率 200 ms几乎无感。Chat 流式输出:原生对话体验MTPLX 的 Chat 是原生 SwiftUI 实现而非套壳网页核心特性流式输出token 逐个实时上屏速度徽章同步显示当前 tok/s思考卡片推理过程折叠成可展开的 thinking 卡片正文与推理互不干扰文件附件回形针按钮直接拖入本地文件作为上下文联网搜索点地球图标让模型搜索网页会话持久化温暖前缀会话银行让多轮对话不用重复编码SSD 会话缓存让 96,760 token 的长对话重启后 8 ms 内恢复内置 AIME 基准测试运行器mtplx bench aime --quick也值得一提——提示词完全公开、无喂招你可以亲手给模型打分而不是只看别人的图表。一键接入 OpenCode:本地模型变身编程搭档接入 OpenCode 只需两步全程不用改配置文件1️⃣ 启动本地服务器点击应用顶部的播放按钮或终端执行mtplx serve --port 8000MTPLX 会在127.0.0.1:8000上提供 OpenAI 兼容 API/v1/chat/completions、/v1/responses以及 Anthropic 兼容的/v1/messages端点支持流式输出和两种风格的工具调用。2️⃣ 一键启动 OpenCode在 MTPLX 应用内直接点选 OpenCode 预设应用会自动写好多客户端配置并拉起客户端指向本地服务器。Pi、Hermes、Open WebUI 等所有说 OpenAI/Anthropic API 方言的客户端都同样适用。接入后的实际体验OpenCode 的多轮编码会话会命中会话缓存长上下文几乎不再重复 prefill——实测一次 1,301 token 生成、18,539 token 提示词其中 18,364 来自缓存的请求在 M5 Max 上达到125.8 tok/s。端点细节与网络共享配置比如让 Parallels 虚拟机里的客户端连上这台 Mac都写在 docs/server.md。想自己验证服务是否正常参考 examples/curl-chat-completions.sh 或 examples/openai-python-client.py。为什么它这么快:MTP 推测解码原理MTPLX 不是外挂一个小草稿模型而是调用目标模型自己内置的 MTP 头模型先自己抢跑猜好几个 token一次批量前向验证全部草稿再通过精确拒绝采样带残差校正提交结果。关键性质是任意温度下都数学精确——官方曾对比快慢两条路径各 1000 组四 token 采样逐 token id 一致。没有占用额外内存的第二草稿模型也不会因为贪心近似悄悄改变模型的输出。不同 Mac 芯片的最优草稿深度不同应用会在初始化时自动实测并保存mtplx tune --retune可随时重测所以125 tok/s不是某台神器的特例而是每台机器自己的调优结果。进阶:用 Forge 自制 MTP 模型如果你有 Hugging Face 上的现成模型应用内的 Forge 面板或mtplx forge子命令可以一条龙完成转 MLX 格式、训练 MTP 适配器、在你的硬件上实测前后速度并给出诚实结论例如Depth 1 最快:227.1 → 296.11.30x满意了还能发布回 Hub。小结与更多资料体验点亮点实时仪表盘TPS 表盘 5 分钟曲线 请求级取消同端口零配置Chat 流式输出原生 SwiftUI、thinking 卡片、附件、联网搜索、会话跨重启恢复一键接入 OpenCodeOpenAI/Anthropic 双兼容 API预设配置免手动速度M5 Max 实测 125.8 tok/s任意温度精确采样完整文档docs/README.md、API 细节docs/api.md桌面应用源码apps/MTPLXApp/仪表盘前端源码dashboard/src/MTP 推测解码引擎mtplx/speculative.py历史实测记录每个数字都有原始日志HISTORY.md如果本地模型服务只是你的第一步不妨从mtplx start开始体验——十分钟内你大概率会看到仪表盘上那个 TPS 数字开始跳动。【免费下载链接】MTPLXThe fastest way to run Qwen 3.8 Flash Next, Qwen 3.8 27B and Ternary Bonsai 2 27B on a Mac: 125 tok/s in OpenCode on an M5 Max, and a 27B model on 16 GB Macs. Native MTP speculative decoding on Apple Silicon, exact at any temperature. OpenAI and Anthropic compatible local server.项目地址: https://gitcode.com/gh_mirrors/mt/MTPLX创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考