桌面端 AI 架构的工程账本：包体、显存、首字延迟与 2026 年 9 月的运行时现实

桌面端要不要把大模型装进客户端，本质是三笔账：安装包体多多少、常驻显存占多少、首字延迟压到多少。2026 年 9 月这一个月，上游运行时把这三笔账的标定值又改了一遍。

一、2026 年 9 月的四个运行时变更，直接决定架构分层

做桌面端 AI 架构的第一个前提，是把推理运行时当成可替换组件，而不是应用的一部分。判断标准不是它多强，而是它这一季改了什么、你多久要跟一次。流程侧的交付经验，站内有篇桌面端从选型到交付的实录可以对照：软件定制开发实录：桌面端从选型到交付的工程真相。

• Apple Silicon 上默认走 MLX。Ollama v0.40.0-rc0（2026-09-25）声明：在 Apple Silicon 设备上，被 MLX 运行时支持的模型架构会自动运行在 MLX 上，官方示例是 ollama pull qwen3.8。对 macOS 客户端是好消息，不必再自己判断要不要走 MLX；但它仍在 rc 阶段，正式版前性能基线还会动。来源
• 分类与打分被单独做成 API。Ollama v0.35.0（2026-09-28）新增 /v1/systemone 决策模型接口，返回选项、概率与置信度而不是文本，官方列出的模型是 Bespoke Labs 的 nimble 与 Together AI 的 Tev1。文档中的工单分类示例，一次判定只消耗 174 个输入 token 和 1 个输出 token。这条对桌面端意义很直接：意图路由、内容分级这类高频小任务，不该再走一次生成式调用。来源
• 思考档位变成可查询的能力。Ollama v0.34.3（2026-09-22）让 GET /api/show 返回每个模型支持的思考等级与默认值，示例中 glm-5.3-flash 的可选值是 low / high / max，默认 max。客户端不该再硬编码「这个模型开不开思考」，而应在启动时探测。来源
• 底层图形栈还在抠性能。2026-09-29 的 b11247 版本在 Vulkan 后端复用 descriptor set；此前一天的 b11240 为 /v1/embeddings 加上多模态输入（Qwen3-VL-Embedding，见文末参考）。桌面端真正的异构图形环境恰恰是 Vulkan 最难讨好的一片：集显、独显、驱动版本参差不齐，这类改动直接决定最低可运行配置。来源

二、三笔账的粗算口径

下表是我们给客户做桌面端 AI 改造时的对照口径。第三列的系数是经验粗算，不是任何官方指标，只用于判断量级。

账目	决定因素	粗算口径	架构动作
安装包体	模型权重是否随包分发；WebView 内核对齐方式	用系统原生 Web 渲染器时，应用体积最小可到 600KB（官方口径，见参考）；随包分发权重则直接叠加模型文件大小	权重改走首启下载或内网分发，把可离线做成产品档位而非默认
常驻显存	参数量 × 量化位宽 + KV cache + 运行时开销	4-bit 量化下权重约每 10 亿参数 0.6GB（经验粗算）；KV cache 随上下文线性增长，是最容易失控的一项	把上下文上限写进产品约束；低配机型降级为检索加小模型
首字延迟	prefill 速度、模型冷加载耗时、是否每次都走生成	分类类任务可压到 1 个输出 token（见上文 v0.35.0 的 usage 示例）	路由链路与生成链路拆开，各自定 SLA

三、四条路线的硬约束对照

桌面端 AI 不是选框架的问题，而是三个问题：模型从哪来、跑在什么硬件上、出问题谁负责。按这三问拆，2026 年的可选路线只有四条。把跨平台框架与鸿蒙放在同一张表里比较的那篇实战复盘，可以当作选型阶段的补充材料：Electron vs Tauri vs 鸿蒙，2026 年跨平台技术选型实战复盘。

路线	端侧模型来源	硬件与版本门槛	大陆可用性	适合场景
Windows AI APIs	系统内置，模型由微软分发并在应用间共享	多数 API 需要 Copilot+ PC（NPU 具备 40+ TOPS）；GPU 路径需 RTX 30 系及以上或 Radeon RX 9060 系及以上、6GB 以上显存，且要开启开发者模式	官方文档明确其主力模型不面向中国	面向 Copilot+ PC 的轻量体验增强
Foundry Local 与 Windows ML	自带 20 余个开源 LLM，也可运行 Hugging Face 上的模型	Windows 10 及以上，性能依硬件而定；官方文档未写明地区限制，需按项目核实	待核实	需要自选模型、内网私有化的企业应用
Apple Foundation Models	端侧约 30 亿参数语言模型，加 Private Cloud Compute 服务器模型	Apple 芯片设备，覆盖范围与 Apple Intelligence 的地区策略一致	与 Apple 账号地区绑定，需逐一验证	macOS 与 iOS 一体的办公、写作类应用
跨平台框架加自建推理进程	上游推理引擎以 sidecar 形式内置，模型与版本完全自控	由你自己定义：Tauri 2.12 要求 Rust 1.90 起并已放弃 Windows 7；Electron 44 内置 Chromium 152、V8 15.2、Node 24.18.1	不依赖境外账号或机型白名单	跨平台一致、模型自选、需要审计与私有化的桌面产品

四、大陆客户的硬约束：不要把产品押在单一 OS 厂商 API 上

Windows 端侧模型文档里有一句容易被忽略的话：该能力在中国不可用。同一页还写明它正被 Aion Instruct 取代，并给出时间表——2026 年 10 月初提供可独立侧载的包用于测试与 LoRA 训练，10 月开始向 Windows Insider Preview 设备推送，11 月推向零售设备并移除原模型。来源：Get started with Phi Silica

一个端侧模型三个月内换代、且不覆盖大陆市场，两件事叠加起来，结论很清晰：面向中国大陆与港澳台客户的桌面产品，应以自带运行时为基线，把 OS 厂商的 AI 能力降级为「有就用、没有就静默降级」的可选增强。Windows 上的企业客户如果确实想用系统级能力，也需要在商务层面确认机型采购与账户地区策略，而不是在代码里假定它存在。端侧能力的分层取舍在移动端同样存在，那篇三层取舍的复盘可以并排看：移动端 AI Agent 工程化：手机到眼镜助手的三层取舍。

五、落地清单

上线阶段的卡点往往不在模型本身。站内那篇试点验收复盘值得先看一遍：95% 的 AI 试点进不了生产：卡点常在验收，不在模型。以下是桌面端 AI 项目的具体动作项。

1. 推理进程与 UI 进程分开。WebView 只负责界面，推理走 sidecar 或子进程。模型加载失败、显存耗尽时，界面还能给出可读错误，而不是整个应用一起崩。
2. 启动时做能力探测。用 /api/show 读模型支持的思考档位，再决定要不要开思考；探测结果写进本地日志，客户报障时才能复现。
3. 模型分发方案提前定。随包、首启下载、内网分发三选一。随包省事但会撞上体积与合规审计；首启下载要处理断点与校验；内网分发适合有专线的企业客户。
4. 把高频小任务从生成链路里摘出来。工单分级、意图路由交给决策模型，只有需要成段文字的任务才走大模型。
5. 做四级硬件降级。NPU 加速机型、独显机型、纯 CPU 小模型、云端，每一级都要有可测的降级触发条件，并在客户端上报实际命中率。
6. 版本节奏进 CI 矩阵。框架大版本与内核升级必须在上线前跑通，而不是等客户报故障。文末参考里列了本轮涉及的上游发布页，建议纳入季度巡检清单。

六、常见问题

问：Windows AI APIs 在大陆能直接用吗？
答：不能作为基线。相关官方文档明确标注该能力不在中国提供，且计划于 2026 年 11 月在零售设备上被新模型取代。写进产品的调用必须有降级路径。

问：桌面端一定要塞本地模型吗？
答：按数据类型拆。涉密与低延迟任务留在端侧，长文生成与复杂推理交给云端。端侧优先承担的不是生成，而是分类、路由和向量化。

问：跨平台框架怎么选？
答：取舍在包体与内核一致性。走系统原生 Web 渲染器的方案体积更小，自带 Chromium 的方案行为更一致但更大。无论选哪个，推理层都应独立成进程。站内还有一篇更细的框架选型与 AI 原生改造讨论：桌面应用定制开发 2026：Electron/Tauri 选型与 AI 原生改造决策。

问：没有 NPU 的老设备还能用吗？
答：能，但要降级。达不到加速门槛的设备走独显或 CPU 小模型，再不行走云端，具体分级见上文清单第 5 条。

问：macOS 上还需要自己适配 MLX 吗？
答：2026 年 9 月起，主流本地运行框架已在 Apple Silicon 上默认把受支持的模型跑在 MLX 上，适配成本明显下降。但要注意 Apple 的端侧模型走的是系统级路线，自建运行时与系统能力是两条并行路径，不要混用同一套产品假设。

七、参考

• b11240：多模态 embeddings 支持
• Announcing Tauri 2.12（MSRV 1.90、放弃 Windows 7、权限请求处理器）
• Tauri 官网（最小体积 600KB 的官方口径）
• Electron 44 发布说明（Chromium 152、V8 15.2、Node 24.18.1）
• Use local AI with Microsoft Foundry on Windows
• Copilot+ PCs developer guide（NPU 40+ TOPS 门槛）
• Introducing Apple’s On-Device and Server Foundation Models