AI 训练与推理服务器：先算显存，再谈卡型
把训练和推理当成同一件事，是 AI 硬件采购里最贵的错误。两者的瓶颈完全不同，配置思路也不同。
这个页面适合谁：搜索这类词的人，多半在纠结「买几张什么卡、显存要多大、能不能跑得动我的模型」，需要一套可自己算的测算方法。
这类需求通常在解决什么问题
训练阶段的瓶颈是卡间互联带宽与总显存：模型参数、梯度、优化器状态都要驻留在显存里，参数规模一上来，单卡装不下就必须做切分，切分后卡与卡之间要频繁同步梯度，互联带宽不够就会把算力等成瓶颈。这就是为什么训练机强调 NVLink、PCIe 通道数与整机拓扑。
推理阶段的瓶颈是显存容量与并发吞吐：模型只需要加载一次，之后是大量小批量请求，卡间几乎不需要同步。所以推理机的思路是「用更多的卡、更大的总显存去装更多的并发」，而不是追求单卡峰值算力或卡间带宽。同一个预算，4 张 24GB 卡的推理表现通常优于 2 张顶级训练卡。
还有一类常被忽略的需求：微调（Fine-tuning）。微调介于两者之间，既有训练的显存压力，又没有全量训练那么极端。多数中小企业的真实需求其实是「推理 + 轻量微调」，这种情况应当按推理机的思路配卡，再留出足够内存与存储，而不是直接按训练机报价。
需求画像
| 模型规模 | 7B-70B 参数（量化后可下探到单机） |
|---|---|
| 并发需求 | 推理 4-32 路并发；微调 1-4 个任务并行 |
| 显存测算 | 推理约需「模型体积 × 1.5」；训练约需「模型体积 × 16-20」 |
| 配套条件 | 整机功耗 1-3kW，机房制冷与供电需提前核算 |
选型要点
以下 6 条按重要性排序，前两条通常决定预算的分配方向：
-
01先算模型体积，再算显存
FP16 精度下每 10 亿参数约占 2GB 显存；INT8 量化减半，INT4 再减半。7B 模型 FP16 约 14GB，量化到 INT4 约 4GB。推理还需为 KV Cache 与并发留 30%-50% 余量。
-
02训练需求按参数量的 16-20 倍估
全量训练要存参数、梯度、优化器状态（Adam 约 3 份参数），再叠加激活值，合计常在参数量的 16-20 倍。70B 模型 FP16 全量训练需要 TB 级显存，单机不可行，必须多机分布式。
-
03训练看互联，推理看容量
训练机优先选支持高速卡间互联的平台与足够的 PCIe 通道；推理机优先在预算内把总显存做大，卡间带宽只要够用即可。
-
04CPU 与内存不能省
数据加载、预处理、视频解码、模型转换都是 CPU 负载。GPU 没跑满、CPU 先打满是 AI 服务器最常见的「假瓶颈」。
-
05供电与散热要在报价前算清
4 卡机满载常在 1-1.4kW，8 卡机 2.5-3.5kW。普通办公室机房制冷量通常只有 3-5kW，装一台 8 卡机就会全年高温。
-
06交付前必须做真实模型压测
跑分软件的高分不代表你的模型跑得快。交付前用客户自己的模型与数据集做并发压测，测出实际 tokens/s 或帧率，才是可用性依据。
三档配置建议
档位不是「好中差」，而是按规模与预算划分的起点。实际配置会在此基础上按你的具体需求调整。
推理入门档
4-8 万7B-13B 模型、1-8 路并发、轻量微调
| 加速卡 | 1-2 张 24GB 显存推理卡 |
|---|---|
| CPU | 单路 16 核 |
| 内存 | 128GB |
| 适用 | 私有化知识库、单模型客服、图像分类 |
推理主流档
8-15 万13B-32B 模型、8-32 路并发
| 加速卡 | 4 张 24GB 显存卡 |
|---|---|
| CPU | 双路 16 核 |
| 内存 | 256GB |
| 适用 | 视频结构化、多模型并行、32 路以内并发 |
训练/微调档
25 万以上70B 以内微调、小规模训练
| 加速卡 | 4-8 张高速互联卡，支持 NVLink |
|---|---|
| CPU | 双路 32 核以上 |
| 内存 | 512GB 以上 |
| 适用 | 模型微调、小规模训练、多机扩展预留 |
常见误区
按训练机配置买推理机
训练卡的高互联带宽在推理场景用不上，同预算下总显存更低，能承载的并发反而更少。
只看卡不看整机功率
4 卡机功耗 1kW 以上，机柜、电路、空调任何一项不匹配，设备到了也开不起来。
用跑分代替实测
不同框架、不同精度、不同 batch 下的实际吞吐差异可达数倍。不用自己的模型实测，等于在赌。
我们怎么交付
我们按「模型—数据—并发—机房」四步确认需求：先明确跑什么模型、什么精度、多少并发，再测客户的机房能否承载对应的功耗与散热，最后才出配置。报价单会拆到部件级，显卡、CPU、内存、存储、电源分别列价，方便客户按预算取舍。
交付前在整机上完成 72 小时稳定性压测与真实模型并发测试，输出实测吞吐数据。到货后配合完成驱动、CUDA、框架版本的安装与调优，避免「机器到了跑不起来」的常见问题。
常见问题
FP16 精度下模型本身约占 14GB，加上推理框架开销与 KV Cache，单路并发建议至少 20GB 显存；如果要跑 4-8 路并发，建议 24-48GB。量化到 INT8 可减半到约 7GB，INT4 约 4GB，但精度会有损失，需按业务验证。
训练强调卡间互联带宽与总显存，因为要频繁同步梯度，卡与卡之间是紧耦合；推理强调单卡显存容量与并发调度，卡与卡之间基本独立。此外训练机对 CPU 核数、内存容量、存储带宽的要求都更高，整机价格常见是推理机的 2-4 倍。
技术上可以跑，但有三个隐患：一是显存容量通常偏小，大模型装不下；二是消费卡的散热按间歇负载设计，7×24 满载容易降频；三是消费卡不提供企业级驱动与虚拟化支持（如 vGPU 切分），多用户共享场景受限。预算极紧的项目可以短期用，长期生产环境不建议。
按 4 卡机 1.2kW 估算，5kW 制冷量理论上可带 4 台，但要把机房内其他设备的热负荷算进去，实际建议 2-3 台。另外要考虑气流组织，如果机柜密度过高，即使总制冷量够，局部也会出现热点降频。