4 卡推理服务器：单机承载 32 路视频结构化分析
一家做视觉算法的软件团队，把云端推理迁回本地，要求在单机内跑满 32 路 1080P 视频的结构化分析
内容说明：为避免泄露客户信息，本案例未标注企业名称、联系人与合同金额。行业、规模、配置与效果数据来自我方交付记录，用于说明选型思路，不构成对具体项目的效果承诺。
项目背景
客户的业务是把园区、厂区的监控视频流接入算法平台，做人员穿戴合规、区域入侵、烟火识别等结构化分析。算法本身已经稳定，问题出在算力成本：早期按路数少、调用量小，租用云端 GPU 很划算；路数从 8 路上到 32 路之后，云端按卡时计费的模式变成了每月固定的大额支出，而且视频流要出公网上行，客户对带宽和合规都有顾虑。
他们的第一反应是「买一张最贵的卡就能解决」，但实际测算下来不是这样。视频结构化推理是典型的多路小批量并发，单次推理的 batch 很小，瓶颈往往不在单卡的峰值算力，而在显存容量（能同时驻留多少路解码后的张量）和并发调度能力。一张顶级卡跑 32 路，显存会先被吃掉，反而被迫降低路数或抽帧频率。
所以选型的起点不是「买哪张卡」，而是先把三件事定死：路数与分辨率、每路抽帧频率、算法模型的显存占用。这三项决定了需要多少显存总量，再倒推卡数与单卡显存，最后才是整机的供电、散热与机箱形态。
约束条件
选型不是「挑最好的」，而是在这些约束下找可行解：
- 机房在办公楼内，单机供电上限按 2 路 16A 插座评估，整机功耗必须可控
- 办公室机房无专用精密空调，只有 5kW 制冷量，散热方案不能按数据中心标准设计
- 监控视频流不出内网，推理必须本地完成，云端只作为突发流量溢出
- 业务不能长时间中断，迁移按路数分批切，单批可回退
- 预算需要给出可解释的构成，不接受「一口价」报价
最终配置
下表为实际交付的配置与对应的选型理由，可对照自己的场景看哪些项需要调整。
| 部件 | 选型 | 选型理由 |
|---|---|---|
| 整机形态 | 4U 机架式 GPU 服务器，支持 4 张双宽加速卡 | 双宽卡需要 4U 高度与足够的 PCIe 间距，2U 机型在 4 卡满配时风道会互相干扰 |
| 加速卡 | 4 × 单卡 24GB 显存推理卡，非顶级训练卡 | 推理吃显存容量与并发，不吃训练所需的互联带宽；同预算下 4 张中等卡的总显存高于 2 张顶级卡 |
| 处理器 | 双路主流企业级 CPU，单路 16 核 | 视频解码与预处理是 CPU 密集型，软解码路数多时 CPU 会先打满，核数不能省 |
| 内存 | 256GB ECC | 每路解码缓冲、算法进程与系统开销合计约占 6-7GB，32 路需留余量 |
| 系统盘 | 2 × 480GB 企业级 SSD，RAID 1 | 系统与算法镜像需要冗余，单盘故障不应导致整机停机 |
| 数据盘 | 2 × 3.84TB 企业级 SSD | 存近 7 天告警截图与结构化结果，够用即可，不做大容量堆积 |
| 网络 | 双口万兆网卡 + 板载千兆管理口 | 32 路 1080P 视频流约 200-260Mbps，万兆为后续扩到 64 路留余量 |
| 电源 | 1600W 冗余电源（1+1） | 4 卡满载实测整机约 1.1kW，冗余电源保证单路掉电不停机 |
| 散热 | 整机风扇策略按 65% 上限设定并做温度压测 | 办公室机房制冷余量有限，需在噪音、温度、寿命之间取平衡点 |
被放弃的方案
比「选了什么」更有参考价值的是「为什么没选别的」。以下方案都曾进入备选：
2 张顶级训练卡
训练卡的优势在卡间互联带宽，推理用不上；同预算下总显存反而更低，32 路并发时显存先耗尽
8 张入门卡的 8 卡机
卡数多看似显存总量高，但 8 卡机的功耗、散热与机箱成本会挤占卡的预算，办公楼机房也带不动
继续用云端 + 加专线
成本随路数线性增长，且视频出公网的合规问题没有解决，只是把问题推后
交付效果
| 指标 | 改造前 | 交付后 |
|---|---|---|
| 月度算力支出 | 云端按卡时计费，随路数线性上涨 | 一次性投入后转为固定折旧，32 路规模下 11-14 个月回本 |
| 单机承载路数 | — | 稳定运行 32 路 1080P，抽帧 8-10 FPS；扩到 40 路时显存占用约 86% |
| 端到端延迟 | 公网上行波动，高峰期 800ms 以上 | 内网直连，稳定在 200ms 以内 |
| 运维方式 | 云端控制台 | 本地 IPMI 带外管理，可远程开关机与看硬件状态，无需到机房 |
交付过程
-
D+0
确认路数、分辨率、抽帧频率与模型显存占用，拿到客户提供的样例视频流
-
D+2
给出两套配置对比（4 卡中等卡 / 2 卡顶级卡）与各自的路数上限测算
-
D+3
确定配置，确认机房供电、承重与网口位置
-
D+6
整机装配，跑 72 小时稳定性压测与 32 路并发实测
-
D+8
到场上架，接流调试，先切 8 路观察一天
-
D+9
剩余 24 路分批切换完成，云端保留为溢出通道
复盘：三条可复用的判断
- 推理服务器的第一约束是显存总量，不是单卡峰值算力。先算总显存，再决定几张卡。
- 视频解码是隐藏的 CPU 开销。只看 GPU 不看 CPU 核数，上线后会出现「卡没跑满、CPU 先满」的假象。
- 办公楼机房不是数据中心。功耗与散热必须在报价前算清楚，否则设备到了装不下、开不了、吵得没法办公。
同类项目的常见问题
不需要。推理关注的是显存容量与并发吞吐，训练才关注卡间互联带宽。同样的预算，4 张 24GB 卡的总显存通常高于 2 张顶级卡，能同时驻留更多路视频，对多路小批量推理更划算。
取决于模型和抽帧频率。按常见的视频结构化模型、每路 8-10 FPS 抽帧估算，每路常驻占用约 1.5-2.5GB，32 路需要 48-80GB 显存，再留 30% 余量，96GB 是相对安全的起点。实际值必须以客户自己的模型实测为准。
能装，但要先确认三件事：单机功耗对应的电路容量、机房制冷量、以及噪音是否可接受。4 卡整机满载常在 1-1.2kW，5kW 制冷量的办公室机房最多带 2-3 台这类设备，超出后夏天会降频。