跨平台 AI 应用的瓶颈已从模型能力转到运行时:异构节点怎么分派推理请求、长程任务怎么拆步校验、本地执行与云端沙箱怎么分工。用三组 2026 年实测数据与四条工程准则,给出调度层的取舍口径。
“提交的代码里九成是 AI 写的,需求交付却只快了约一成。”这是 2026 年 9 月 AICon 上海站上,菜鸟网络研发团队公开的实测反差。它戳破了一个流行假设:模型越强,交付越快。企业 AI 应用跨平台这条路径上,真正决定速度的是运行时怎么分派、任务怎么编排。
2025 年大家在比谁的模型更聪明。到 2026 年,可选能力基本拉平,卡点换了位置:算力如何在异构设备之间分配、任务如何在需求到部署的多个环节之间流转、上下文如何在长流程里不崩。
端越多,这个矛盾越尖锐。每多一个平台,就多一组运行环境差异、多一个需要人工接力的接头。单段提效会被下一段吃掉,这是本文要讲的核心。
菜鸟网络研发总监郭凤钊在 AICon 全球人工智能开发与应用大会的分享里给出一条完整曲线。该团队 2025 年 10 月启动大规模推广时,AI 代码贡献率约 10%,当时设定的半年目标只是 20%,挑战 50%。
| 观察指标 | 2025 年 10 月 | 2026 年 9 月 |
|---|---|---|
| 提交代码中由模型生成的行数占比 | 约 10% | 90% 以上,部分团队接近 100% |
| 有 / 无模型参与的需求变更周期差 | — | 约 10% |
| 编码环节在整体交付周期中的占比 | — | 约 30% |
对比有模型参与和无模型参与的需求,二者的变更周期只差约 10%。贡献率 90% 与提速 10% 之间的落差,来自三个结构性原因。
这不是孤例。把交付链路的下一段拆开看,同类堵塞已经反复出现:有团队把卡点定位到验收环节(卡点已换到验收),也有团队发现写码提速之后集成流水线变成新的排队点(CI 成了下一个瓶颈)。指向一致——单段提速会被下一段吞掉。
该团队给出的应对不是继续堆模型,而是把范围从 Vibe Coding 扩到需求端到端托管:由智能体主导流程,人只在必要节点确认。这个判断值得记住——收益上限由最慢的那一环决定。
英伟达在 2026 年 9 月放出 Personal AI Router(下称 PAIR)测试版,思路是把局域网内多台机器的推理能力聚合起来,自动在它们之间分配请求。它针对的是本地多智能体场景:主智能体把子任务分派给下一级,多个调用同时挤向一块 GPU 时就形成瓶颈。

按 InfoQ 对 PAIR 的报道,该路由器可与 Ollama、LM Studio 等本地推理服务集成,智能体仍只面对一个连接,调度在后台完成。官方演示把 RTX Spark、DGX Spark 和 RTX 5090 组合起来,完成同一批工作负载的时间约为单台 RTX Spark 笔记本的一半。
| 能力维度 | 实际表现 |
|---|---|
| 支持的操作系统 | Windows 11、Linux、macOS,覆盖 x64 与 arm64 |
| 跨系统混部 | 可把运行不同操作系统的节点配对,仅当模型或引擎与节点兼容时才派发 |
| 显存处理 | 不合并显存,只把单个请求分派到可用系统 |
| 演示提速 | 三机组合相对单台笔记本,完成时间约缩短一半 |
两点边界要写清楚。其一,厂商明确说明演示结果不构成性能保证,实际取决于并行度、模型、引擎设置、硬件、网络与节点可用性。其二,它不会把多块显卡拼成一块更大加速器——这意味着“把闲置机器凑成一台大机器跑超大模型”的期待会落空,它的价值在吞吐调度,不在容量叠加。
社区侧已有一手反馈:一位用户在 InfoQ 英文站的原始报道里提到,用三块 RTX 5090 通过 Ollama 跑 Qwen 3.8 27B 时,跨三台机器分配任务意外顺畅;他更看重长时间重复作业下 GPU 保持满负荷的稳定性,而非单卡峰值生成速度。这恰好说明调度类方案的收益点是吞吐与稳定,不是单点最快。
至于托管交付该把执行环境放在本地还是云端,取舍思路可以类比云推理与本地执行的分工(云推理与本地执行怎么分工):短任务本地够用,跨小时跨天、需要多人复用的长流程更适合放到可长驻的环境。
同一天还有一条容易被忽略的消息:华为云码道面向鸿蒙开发者升级,上线鸿蒙编码大模型,覆盖从开发到编译的全流程(InfoQ 报道)。对做多端产品的团队来说,这类动作的意义在于平台差异不再完全靠人肉适配去填,模型侧开始承担一部分平台知识。它不会消灭跨平台工程量,但会把“为每个端重学一遍 API”的成本压下去。
同样的规律在编排层也成立:当天另一篇关于每月 4.2 亿次工作流执行的复盘(工作流引擎的瓶颈在状态模型)指向同一件事——瓶颈最终会落在状态与编排模型上,而不是单个模型的推理速度。
代码生成占比。它是单环节指标,而交付周期由最慢环节决定。公开案例里这个数字从 10% 涨到 90% 以上,端到端只快了约一成。
看任务时长。短任务本地够用;跨小时、跨天、需要多人复用的长程任务,长驻环境更合适,因为它不依赖某台机器开机,也便于把经验沉淀成共享能力。
常见原因是上下文接近上限,模型倾向提前收尾。工程上的对策是拆细功能清单、单步推进,并在每一步检查真实产物而非模型自述。
不等于。公开的路由方案只做请求级分派,不合并显存。它能提升并发吞吐,但无法让单个体量超过单机上限的模型跑起来。
如果你正在评估跨平台 AI 应用的落地方案,可以先把交付链路上最慢的那一环找出来,再看要不要上调度层——我们也乐意一起拆解具体场景,欢迎查看已交付案例或联系我们。