正在加载，请稍候
同参数量的私有化报价能差 3 倍，差别在并发与上下文，不在模型。给出可复算的显存公式、四档配置的月成本锚点、四笔常被漏掉的账，以及 6–8 周排期里的真实返工点。
同样一个 32B 级模型，两家供应商的私有化报价可以差 3 倍。差的不是模型，而是报价单里常被漏写的两个参数：并发数与上下文长度。
同参数量的私有化报价出现 3 倍差，通常来自并发数、上下文长度与是否含运维三处口径不同，而不是模型本身贵。
把两套报价放在一起比，先问四个问题，不问清这四个，报价单没有可比性：单条请求的上下文多长、期望同时在线多少会话、KV cache 用什么精度、三年运维和升级是否包含在总价里。一个 32B 模型按 4K 上下文、8 并发规划，与按 32K 上下文、40 并发规划，显存需求差 4 倍以上——这还没算模型换代后的重新压测。
公开报价也在放大这种混乱。同一家云厂商的同代 48GB 卡，2 卡实例包月 13,858.5 元、8 卡实例包月 55,434 元（阿里云 EGS GPU 实例报价整理，2026-10-22），单价并不随卡数线性下降；同一张卡租 8 卡整机与按小时计费的年化成本又能差一倍（该页给出的 T4 按量约 3.55 元/小时，跑满全年约 31,128 元，而包年是 16,141.8 元）。所以"GPU 多少钱一张"这种问法没有意义，要问"我这套并发和上下文，一个月要多少显存小时"。
同类预算问题我们在广州软件定制报价的拆解里用的是同一套口径：先定规格，再乘用量，最后加运维；如果交付形态是桌面端一体机，桌面端定制开发的报价分项可以对着看。
显存需求＝权重＋KV cache＋运行时开销：权重按参数量×位宽÷8 算，KV cache 随并发与上下文线性增长，三段都能自己复算。
权重这一项最好算：8B 模型用 FP8 存放是 8GB，32B 是 32GB，百 B 级 MoE 按总参数算约 100GB 上下（MoE 的激活参数只降低算力消耗，并不减少必须常驻的权重）。这一项决定了"能不能放下一张卡"，但它通常只占总显存的一半不到。
真正拉开报价的是 KV cache，按每 token 计算：2 × 层数 × KV 头数 × head_dim × KV 精度字节数。给一个可复算的例子——64 层、8 个 KV 头、head_dim 128、KV 用 FP8（1 字节）：2 × 64 × 8 × 128 × 1 ＝ 131,072 字节，约 128 KiB/token。放到 32K 上下文，单条会话就是 4GiB；同时挂 20 条会话，光 KV 就要 80GiB。这就是"同参数量、报价差 3 倍"的物理来源：不是模型变贵了，是并发乘上下文变大了。
如果要做预算审批又不想自己推公式，可以直接用云厂商估算器的保守口径。阿里云 PAI 的显存估算文档给出：activation＝modelMem × 0.1 × 序列长度 ÷ 2048，8bit 部署显存＝2×modelMem ＋ 2×activation×(并发＋1) ＋ 2GB。按它算 32B 模型、8K 上下文、8 并发是 296GB——这是规划上界，用来报预算不容易翻车；但用来定采购清单，还得配一轮真实压测校准，别把上界当实测。
四档配置分别对应单卡 48GB 起步、单机 8×48GB、双机张量并行和混合走 API 加前缀缓存，选档前先把"并发×上下文"算出来再对号入座。
| 档位 | 显存规模 | 能承载什么 | 参考月成本（租） | 典型触发条件 |
|---|---|---|---|---|
| 单卡 48GB | 48GB | 14B 级 FP8，4K 上下文，4–8 并发 | 约 6,900 元（按 L20 两卡 13,858.5 元折半推算，非官方单卡价） | POC、内部小范围试点 |
| 单机 8×48GB | 384GB | 32B–70B FP8，16–32K 上下文，20–50 并发 | 55,434 元（阿里云 8 卡 L20 包月） | 部门级知识库、代码助手 |
| 双机张量并行 | 768GB+ | 百 B 级 MoE 或 70B 长上下文，32K 上下文 | 110,868 元起（两台整机叠加，自建另计 RDMA 交换机） | 全公司问答、多业务共用 |
| 混合：API ＋ 前缀缓存 | 无自有卡 | 任何规模，受供应商配额约束 | 按量，算例 2,525 元/月 | 数据非机密、调用量波动大 |
混合档不是"退而求其次"，在很多场景里它是正确解。DeepSeek 官方定价页（2026 年 10 月现行价）里，v4-pro 空闲时段缓存命中 0.15 元/百万 input token、未命中 4.5 元、输出 13.5 元；高峰时段分别是 0.30、9.0、27.0 元，上下文上限 1M token。缓存默认开启（Context Caching 文档），含义是同一份系统提示词与知识片段重复出现时按命中价计费——这一项对知识库问答成本的影响，比换模型大得多。vLLM 侧对应的能力是自动前缀缓存，自建时要确认它开在压测环境里，否则你算的吞吐会低估。
算个真实口径的账：日均 3,000 万 input token（其中 70% 命中前缀缓存）＋ 300 万 output token，按非高峰价，日成本约 84 元，月约 2,525 元。要让自建划算，等于用这 2,525 元去覆盖一台 8 卡整机的 55,434 元包月，或者跟 13,000 元/月级的整机租价去比——把 13,000 元除以输出价 27 元/百万 token，需要每月约 4.8 亿 output token、也就是日均 1,600 万 output token 才追平机器租金，还没算运维人力。这是判断"该不该自建"最实在的一把尺子。
最常被漏掉的是 embedding 与向量库常驻显存、日志与 trace 存储、离线评测回归环境、上线后的升级人天，这四项都要真金白银。
参考排期是 POC 2–3 周、知识库接入 3–4 周、私有化上线 6–8 周，真正的返工点在私有 CA 证书与离线依赖包，不在模型效果。
排期与预算的对应关系，我们在AI 应用的三条路线与工期预算里已经拆过一次；私有化是同一套方法换了个变量——把"功能范围"换成"显存与内网约束"。
一句实话：截至今日我们已发布的 7 个交付案例里，有 5 个填写了项目周期，样本是 2–6 周、团队多为 3–4 人，行业分布是人工智能 2 个、企业服务 2 个、教育培训 2 个、文旅消费 1 个。这些是软件产品交付，不含大模型私有化；私有化项目我们没有可公开的逐项案例，所以上面给的是参考排期与参考方案，不是交付承诺，也不是实测数据。
数据没到机密级、日均输出低于 500 万 token、没有 7×24 值班能力的企业，先走 API 加前缀缓存更便宜。
还有一种情况要提前说清：如果业务依赖"半年一代"的模型能力，私有化会把你锁在部署当天的版本上。升级不是换个权重文件，而是重新压测、重新回归、重新调提示词——这笔账记在第四项隐形成本里。
广州交付的现实约束是机房功率与等保测评排期、驻场人天和跨境灾备，机房一项常常比模型选型更影响工期。
如果你正在做这一层的预算，可以看服务页里我们实际的交付范围，同类场景对照案例库；报价与工期按上面的显存口径逐项核对，会比按"一张卡多少钱"谈更不容易返工。
起步档通常是一张 48GB 卡，租用口径约 6,900 元/月（按公有云 L20 两卡实例 13,858.5 元/月折半推算），能跑 14B 级 FP8 模型、4K 上下文、4–8 并发；再往上到单机 8×48GB 是 55,434 元/月，双机张量并行翻倍。
分三步定：先用"并发数×上下文长度"算出 KV cache 总量，再按参数量×位宽÷8 加上权重，最后补 embedding 与 reranker 的 1–3GB 并留 20% 余量。三步算完再对号入座档位，比先选卡再倒推并发靠谱得多。
主要花在两处：一处是模型加向量库的常驻显存与内存（200 万 chunk 约需 10–12GB 内存），另一处是知识库接入的 3–4 周人时。后者的波动远大于硬件，文档质量差的项目会翻倍。
参考 6–8 周：POC 2–3 周、知识库接入 3–4 周、压测与等保整改 2–4 周可与开发并行。关键路径通常在私有 CA 证书与离线依赖包，而不是模型效果，合同里建议预留 1–2 周缓冲。
可以，这是目前最省钱的组合：敏感数据用私有化小模型兜住，复杂推理与低频请求走 API 加前缀缓存。代价是要维护两套路由与评测，把"哪些请求必须留在内网"写成明确规则。
价格与版本类数字请以采购当日官方页面为准，本文引用的报价与定价均标注了抓取日期。