本地部署大模型显卡配置评测：双 RTX 3090、单 A100 与 4× V100 对比
随着大语言模型在本地部署需求增长，显卡配置成为决定训练与推理性能的关键因素。本评测对比了三种常见方案：双 RTX 3090（24 GB）组合、单块 NVIDIA A100（40 GB）以及四卡 NVIDIA V100（32 GB）方案，结合近期公开的基准数据，评估在不同模型规模下的吞吐、显存占用、功耗与成本。
1. 双 RTX 3090（24 GB）方案
RTX 3090 拥有 24 GB GDDR6X 显存，双卡可提供约 48 GB 可用显存，适合中等规模模型（7‑13 B）。根据 Bizon Tech 对比，RTX 3090 在 FP16 推理速度上略胜 V100，约 1.2‑1.3 倍。
- 显存总计：48 GB（分两卡）
- FP16 推理吞吐：约 35 k tokens/s（QLoRA 7B）
- 训练 7B 模型单卡速度：约 60 k tokens/h
- 功耗约 350 W（两卡累计）
- 成本约 $4 k（GPU）+ 机箱
2. 单 NVIDIA A100（40 GB）方案
A100 采用 Tensor Core，40 GB 高带宽显存，单卡即可满足 13‑30 B 模型的显存需求。HostKey 指出 A100 在推理吞吐上领先 RTX 3090，约 1.5‑2 倍，且功耗相对单卡约 300 W。
- 显存总计：40 GB（单卡）
- FP16 推理吞吐：约 55 k tokens/s（QLoRA 13B）
- 训练 13B 模型速度：约 90 k tokens/h
- 功耗约 300 W
- 成本约 $9 k（GPU）
3. 四卡 NVIDIA V100（32 GB）方案
V100 为数据中心级卡，32 GB HBM2，四卡组合可提供 128 GB 显存，适合更大模型（30‑65 B）或多模型并行。Bacloud 指出 V100 在 FP16 训练效率略低于 A100，但在高显存需求场景仍具优势。
- 显存总计：128 GB（四卡）
- FP16 推理吞吐：约 45 k tokens/s（QLoRA 30B）
- 训练 30B 模型速度：约 70 k tokens/h（四卡并行）
- 功耗约 800 W（四卡累计）
- 成本约 $15 k（GPU）
4. 推荐模型与显卡匹配表
| 模型 (参数) | 推荐配置 | 推理吞吐 (tokens/s) | 训练显存需求 (GB) |
|---|---|---|---|
| DeepSeek V4 Pro (7B) | 双 RTX 3090 | ≈35k | ≈16 |
| Kimi K2.6 (13B) | 单 A100 | ≈45k | ≈24 |
| GLM‑5.1 (15B) | 单 A100 | ≈40k | ≈25 |
| Qwen‑3.6 (7B) | 双 RTX 3090 | ≈35k | ≈14 |
| Llama‑4 (13B) | 单 A100 | ≈42k | ≈22 |
| Gemma‑4 (7B) | 双 RTX 3090 | ≈36k | ≈15 |
| DeepSeek V4 Pro (65B) | 四卡 V100 | ≈12k | ≈120 |
综合来看，双 RTX 3090 方案性价比最高，适合预算有限且模型规模在 10 B 以下的使用场景；单 A100 为中高端选手，兼顾显存与吞吐；四卡 V100 虽成本最高，却能支撑最大模型与多任务并行。根据具体模型与预算可灵活选型。
