英伟达计算卡十二年：从Kepler到Blackwell的AI算力演进与选型指南

做 AI 基础设施这些年，经常有人拿着一个型号来问我这张卡能不能训大模型、能不能带得动 70B 推理。我发现大多数人对英伟达计算卡的认知基本停留在 A100、H100，再往前就一片空白，再往后也只知道“Blackwell 很强”。其实从 Kepler 到 Blackwell，这十二年不只是型号更替，更是深度学习从学术实验变成千亿参数大模型基础设施的全过程。这篇文章我按代际把计算卡规格完整拉一遍，讲清楚每一代解决了什么问题、为什么要用这种显存、为什么算力数字涨得那么夸张，也顺便聊聊实际选型和部署里经常踩的坑。

1. 先搞懂这条产品线的底层逻辑：从 Kepler 到 Blackwell 的演进主线

1.1 为什么拿 Kepler 当起点？不是随便选个老架构

很多文章讲英伟达计算卡会从 Volta 甚至 Ampere 开始，但我个人倾向于把起点放在 Kepler。原因很简单：Kepler 是英伟达第一次把“计算卡”和“游戏卡”在产品逻辑上分得比较开的架构，代表型号是 Tesla K10、K20X、K40。再往前推，Fermi 架构的 Tesla C2050 虽然也能做通用计算，但那个时代 CUDA 生态远没成型，GPGPU 更多是实验室玩具，和后来“为深度学习而生”的计算卡完全不是一回事。

Kepler 的出现正好赶上 2012 年 AlexNet 在 ImageNet 上夺冠，学术界开始把神经网络训练从 CPU 往 GPU 上搬。那时候大家发现，GPU 做矩阵乘法的效率远超 CPU，而 Kepler 首次在计算卡上强化了双精度浮点性能，也支持了更成熟的 CUDA 生态，所以很多早期深度学习框架的 GPU 版本都是拿 K20/K40 调的。从这条线看下来，Kepler 就是英伟达 AI 计算卡真正的起点。

1.2 衡量计算卡规格的几把尺子

后面我会反复提到制程、显存、算力、互联、功耗这五件事，这里先用生活化类比把框架立起来。

把计算卡想象成一个工厂仓库：

• 制程决定生产设备的先进程度。制程越小，同样面积能塞更多晶体管，能效也更好。
• 显存是仓库里的货架，容量决定你能同时放多少数据，带宽决定货物进出速度。
• 算力是加工速度，但要注意区分 FP32、FP16、INT8 这些不同精度，因为不同精度加工速度完全不同。
• 互联是多条生产线之间的传送带。单张卡再快，模型太大放不下时，就得靠 NVLink、PCIe 把多张卡连起来。
• 功耗和散热是整条产线的供电和空调系统，功率上去了，机房整套配套都要跟着变。

后面每一代规格变化，本质都是在平衡这五件事。

1.3 产品命名和定位的变迁

早年英伟达计算卡统一叫 Tesla，现在大家熟悉的 A100、H100 属于“NVIDIA Data Center GPU”系列。命名上也有规律可循：K 代表 Kepler，P 代表 Pascal，V 代表 Volta，T 代表 Turing，A 代表 Ampere，H 代表 Hopper，B 代表 Blackwell。这个字母前缀基本就是架构代号的首字母，看到名字就能知道是哪一代。

定位上，早期 K10 是双 GPU 卡，主要为了堆吞吐量；K40 开始强化单卡算力并做高显存，给科学计算用；到了 Pascal 时代，P40 和 P4 第一次明确区分“训练卡”和“推理卡”；Volta 之后的 V100 则全面转向 AI 训练，Tensor Core 从此成了标配。定位越来越清晰，也是 AI 工作负载逐渐成为数据中心主要需求的结果。

2. 核心规格逐代拆解：从第一块 AI 计算卡到千卡集群

2.1 Kepler、Maxwell、Pascal：训练与推理的分野

先看这一阶段的代表性规格，我整理了一张速查表。

Kepler 时代有个有意思的设计：K10 是两颗 GK104 芯片拼在一起，单芯片算力不够就靠双芯硬堆，这种思路在早期很常见，但带来的问题是功耗高、编程模型别扭，后来英伟达就放弃了大面积双芯计算卡。K20X 和 K40 则是单芯片 GK110，FP64 性能被刻意做得很强，因为当时主要客户是美国能源部的超算项目，科学计算需要双精度。这也解释了为什么 K40 的 FP64 能达到 1.4 TFLOPS，而 M40 的 FP64 几乎被砍废了——Maxwell 时代英伟达意识到 AI 训练主要用单精度，没必要在双精度上浪费晶体管。

Pascal 是这条产品线的一个重要转折点。P100 第一次在计算卡上用 HBM2 显存，带宽直接飙到 720GB/s 级别，比 GDDR5 时代翻了几倍，这对深度学习这种需要频繁搬运权重和激活值的场景非常关键。P100 也第一次做了两种形态：PCIe 版本和 NVLink 版本，NVLink 版本专门给英伟达自己的超算 DGX-1 用，多卡互联带宽远高于 PCIe。可以说从 P100 开始，英伟达的 AI 训练卡不再是“游戏卡改一改”，而是完全按数据中心需求重新设计的芯片。

2.2 Volta、Turing、Ampere：Tensor Core 和 AI 加速的黄金时代

这一阶段是英伟达 AI 计算卡真正爆发期，Tensor Core 从 Volta 开始引入，Ampere 时代彻底巩固了统治地位。

V100 发布时很多人没意识到 Tensor Core 意味着什么，但从结果看，它直接让 FP16 混合精度训练成为可能。之前用 P100 训练 ResNet，大家还老老实实用 FP32，而 V100 的 Tensor Core 把矩阵乘法这种核心操作交给专用单元，速度比通用 CUDA 核心快了一个数量级。加上英伟达在 cuDNN 里做了大量针对性优化，深度学习框架几乎不用改代码就能吃到红利。这也是为什么直到今天，很多老一点的训练集群里 V100 还在服役。

Turing 计算卡里我特别想提 T4，因为它是一款面向推理的低功耗小卡，只有 70W，却塞进了 16GB 显存和不错的 Tensor Core。早期在线推荐系统、图像分类这类生产级推理服务大量用 T4，因为它可以插在普通服务器里，不需要专门的高功耗供电和散热设计，单卡能扛的并发又足够。后来英伟达推出 A10、L4，走的都是这条路：推理卡不追求极致的峰值算力，而是追求每瓦性能、显存容量和部署便利性。

A100 则是把 Tensor Core 的规模和灵活性提升到了一个新高度。它支持 TF32、BF16、FP16、INT8 多种精度，其中 TF32 是英伟达专门为兼容 FP32 训练流程设计的——AI 框架里很多张量数据原本以 FP32 存储，直接砍成 FP16 会掉精度，TF32 在保证训练收敛效果的同时把矩阵运算提速。A100 还有一个后来被广泛使用的特性：MIG，即把一张卡切成多个实例，给不同租户或任务用。在多租户云环境里，这个功能非常实用，否则一个小任务占一整张 A100 实在太浪费。

2.3 Hopper、Ada、Blackwell：从单卡走向超级节点

到了这一阶段，单卡性能已经很强，但大模型训练的需求增长更快，于是英伟达的思路从“做好一张卡”变成了“做好一个超大系统”。

H100 相比 A100 最大的变化是把 Transformer 引擎作为卖点，专门优化了 Transformer 类模型里的算子，还在 FP8 上做了大量工作。FP8 精度训练是 H100 时代的标志性特性，它让超大模型的显存占用和通信量明显下降，训练千亿参数模型不再需要把集群规模撑到夸张的程度。H100 的 SXM 版本功耗高达 700W，散热从风冷变成必须认真设计的环节，很多数据中心从此开始考虑液冷方案。

H200 是 H100 的显存增强版，把 HBM3 换成了 HBM3e，容量直接到 141GB，带宽到 4.8TB/s。对于推理场景来说，显存容量比算力更金贵。跑 70B 级别的大模型，以前 80GB 的 H100 可能放不下需要拆分，H200 单卡就能装下很多模型，省去了跨卡通信的麻烦。

Blackwell 是当前最新一代，B200 做了双 die 封装，把两颗芯片拼成一个整体，晶体管规模超过 2000 亿。这个阶段英伟达的注意力已经完全转向超大规模集群，GB200 NVL72 这种整机柜方案直接把 72 个 GPU 和 36 个 CPU 用 NVLink 连成一个大域，配合液冷，整柜 AI 算力达到 EFLOPS 级别。说实话，这个级别的机器已经不是普通团队能碰的，但它代表了整个行业的方向：模型继续变大，算力继续堆高，单卡越来越难独立完成一个任务，系统级设计才是决定上限的地方。

3. 规格表背后的硬核知识：精度、显存、互联、功耗怎么读

3.1 浮点精度体系：FP64、FP32、TF32、BF16、FP8、FP4

很多人看计算卡规格，只看“XX TFLOPS”，但这里有个大坑：不同精度下的算力差天差地别。一个通俗的类比是：FP64 是精雕细琢，FP32 是普通加工，FP16 和 BF16 是快速冲压，INT8、FP8、FP4 就是流水线批量生产。数字越大，单位时间能处理的运算次数越多，但精度越低。

实际选卡时要分场景看：

• FP64 用于科学计算、流体力学、气象模拟，英伟达从 Volta 开始其实一直在削弱消费者级卡的 FP64，只有计算卡保留。
• FP32 是传统 AI 训练的老标准，早期模型都用它，但现在基本让位给了混合精度。
• TF32 是 A100 引入的，本质上用 FP32 的动态范围但只保留 10 位尾数，矩阵计算速度大幅提升，训练收敛性又不会差太多。
• FP16 和 BF16 是现在大模型训练的主流精度。BF16 比 FP16 有更大的指数范围，更容易避免溢出，所以很多大模型训练更偏好 BF16。
• FP8 在 H100 上开始发力，适合某些阶段的训练和推理加速。
• FP4 是 Blackwell 的新招牌，主要面向推理场景，尤其是超大模型的在线服务，能把单 token 成本压得很低。

我见过不少新手的误区：买卡时只看到“XX TFLOPS”很高，却不知道这个数字可能是 FP4 或者稀疏化下的数值，真实跑 FP16 稠密矩阵时性能可能只有那个数字的几十分之一。所以看规格表第一件事，先搞清楚每个数字对应什么精度，以及有没有带“Sparsity”两个字。

3.2 显存体系：GDDR 和 HBM 的分工，以及大模型显存怎么算

显存方面，英伟达一直走两条技术路线：游戏卡和入门计算卡用 GDDR，高端计算卡用 HBM。GDDR 的成本相对低，容量也可以做得不小，但带宽和能效不如 HBM。HBM 的特点是位宽极宽，带宽高到夸张，但成本高、容量扩展受限制，所以只在最顶级的计算卡上出现。

显存容量对大模型部署是硬约束。一个粗略的估算方法是：模型参数量乘以精度字节数，再乘上额外的激活和梯度开销。比如一个 70B 参数的模型用 FP16 加载，光是权重就接近 140GB，推理时加上 KV Cache，单卡 80GB 很难装下；但如果是 INT8 量化到约 70GB，H200 或者 A100 80GB 就有机会单卡跑。训练场景更复杂，梯度、优化器状态都要占显存，同样的 70B 模型预训练可能动辄需要几十张卡。这也是为什么显存容量和带宽往往比峰值算力更早成为瓶颈。

从带宽数字也能看出端倪：K40 的 GDDR5 带宽只有 288GB/s，P100 的 HBM2 到了 720GB/s，A100 80GB 的 HBM2e 到了 2039GB/s，H200 到了 4800GB/s，B200 到了 8000GB/s。带宽决定了 GPU 能不能及时把数据喂给计算单元，很多实际任务里，计算单元空转等待数据的现象，根源就是显存带宽不够。

3.3 互联体系：PCIe、NVLink、NVSwitch 与集群网络

单卡再强，大模型也得靠多卡协同。这里互联技术的重要性不亚于 GPU 本身。

PCIe 是通用总线，每一代都在升级，从 PCIe 3.0 x16 的约 16GB/s 单向带宽，到 PCIe 4.0 x16 的约 32GB/s，再到 PCIe 5.0 的约 64GB/s。看着不慢，但在多卡大模型训练里，如果要用到张量并行，每步迭代都要同步大量梯度数据，PCIe 带宽很容易成为瓶颈。

NVLink 是英伟达自己做的 GPU 间高速互联。V100 时代 NVLink 2.0 单卡约 300GB/s，A100 是 NVLink 3.0 约 600GB/s，H100 到了 900GB/s，B200 则是 NVLink 5 约 1.8TB/s。NVLink 的高带宽让多卡之间的数据交换速度接近本地显存访问，这是大规模训练能把效率做上去的关键。

NVSwitch 则是一个交换机芯片，用来把多张卡组成一个全互联拓扑。8 张 H100 通过 NVSwitch 连在一起，任意两张卡之间的通信都可以走 NVLink 全速，而不是像传统树形拓扑那样绕路。再往上，跨节点之间通常走 InfiniBand 或 RoCE 网络。很多团队只关注 GPU 型号，忽视了节点间网络，结果训练效率被通信拖垮，这种情况我见过太多次了。

3.4 功耗、散热的演进：从风冷到液冷

最后是功耗和散热。早期 K40 只有 235W，普通服务器风冷轻松搞定。A100 到了 400W，普通散热也能压住，但机箱风道要做好。H100 到 700W 后，风冷已经比较吃力，很多服务器整机都开始支持液冷。Blackwell 的 B200 功耗接近 1000W，GB200 NVL72 这种机柜方案更是明确要求液冷，因为整柜功耗可能高达 100kW 以上，如果靠风冷，风扇噪声、机柜发热和电力消耗都会非常难看。

这里我给个实用建议：如果你在规划机房，买 H100 以上级别的卡，先算好电力和散热余量。40kW 一个机柜是常见的门槛，超过这个门槛就要考虑液冷、高压直流供电、甚至机房承重改造。很多人只看 GPU 采购成本，结果整套基础设施的配套投入远超预期。

4. 这些卡到底怎么选：训练、推理、HPC 的典型方案

4.1 大模型预训练和微调

如果是大模型预训练，基本选型逻辑很直接：预算够就上 H100/H200，更高端就直接看 GB200 这类系统级方案；预算有限就考虑 A100 80GB，甚至多张 A100 组合。预训练对显存、算力、互联三方面要求都极高，所以买卡不能只看单卡算力，还要看集群的 NVLink 域和网络带宽。

微调场景则灵活很多。常见的 LoRA、QLoRA 这类参数高效微调，对显存的要求比预训练低得多，一张 A100 80GB 或者 L40S 48GB 都能跑不少 7B、13B 模型。如果只是对已经做好的底座模型做指令微调，T4 级别都可能够用，关键看你的并发和响应速度要求。我的经验是：微调先根据显存估算选卡，再根据迭代速度反推是否需要升级到 H100 级别，不要一上来就追最贵的。

4.2 推理和边缘部署

推理场景有另外一套选卡逻辑：在线服务要关注延迟和吞吐，离线批量推理要关注吞吐和成本。T4、A10、L4 这类中低功耗卡非常适合大批量推理，尤其是推荐系统、内容审核、图像识别这些场景。大语言模型在线推理如果模型很大，就要上 A100 80GB、H200、B200 这类大显存卡，因为单卡装下模型越完整，跨卡通信越少，延迟越低。

考虑到成本和功耗，很多团队会做量化：FP16 转 INT8，甚至转 FP8、FP4。量化之后模型体积变小，原来需要 2 张卡的模型可能 1 张卡就跑下来，单 token 成本显著下降。Blackwell 的 FP4 能力对推理场景尤其重要，这也是为什么很多做大规模模型服务的公司会重点关注下一代卡的 FP 精度性能，而不是只看 FP16 数字。

4.3 HPC 科学计算和图形渲染

HPC 场景要格外注意 FP64 和 NVLink 的能力。P100、V100、A100、H100 这一线产品保留了较强的 FP64，适合做流体、分子动力学、气候模拟。而 L40S、A10 这类偏图形或 AI 推理的卡，FP64 性能几乎可以忽略，买来做科学计算会非常痛苦。我是见过有人拿游戏卡跑有限元分析的，结果速度比专业计算卡慢好几个量级，问题就是出在 FP64 被严重阉割。

图形渲染和 AI 结合的场景，比如数字人、3D 内容生成，L40S 是个常见选择：显存够大，图形性能和 AI 性能平衡，还能通过 vGPU 做多用户共享。RTX 系列消费卡虽然也便宜，但在数据中心环境里的稳定性和驱动支持不如专业计算卡，企业生产环境我不太建议用消费卡硬扛。

4.4 整机与集群规划思路

选卡从来不是只选 GPU 型号，而是选一套系统。要考虑几个匹配关系：CPU 能不能喂饱 GPU，PCIe 通道够不够，内存容量和速率是否匹配，网卡是否达到训练要求的带宽，供电和散热是否满足。很多时候问题了半天，最后发现瓶颈不在 GPU，而在 CPU 单核性能或者网卡带宽。

小规模场景我建议多卡机用官方整机方案，因为驱动、固件、散热和互联拓扑都经过验证。超大规模集群则要提前规划网络架构，是用 InfiniBand 还是 RoCE，存储用并行文件系统还是对象存储，这些都会影响最终训练效率。

5. 部署实战中的常见问题与避坑记录

5.1 显存不够不是换卡就行

很多人一遇到 OOM 就想着换更大显存的卡，但有时候问题出在代码本身。混合精度没开、梯度检查点没开、batch size 设置过大、显存碎片化，这些都可能导致明明显存够却报 OOM。排查时先看 nvidia-smi 显示的显存占用，再用 PyTorch 的显存统计接口逐层分析，有时候把加载顺序调一下，或者开个梯度累积，问题就解决了，根本不用升级硬件。

nvidia-smi nvidia-smi -q -d MEMORY

这两条命令是排查显存问题的基础。第一条看整体占用和进程，第二条看详细显存状态。

5.2 互联带宽不对，多卡效率上不去

多卡训练时最典型的坑是明明插了 8 张卡，训练速度却不像 8 卡。大概率问题出在互联上：可能是 PCIe 通道分配不对，导致某些卡跑在 x8 甚至 x4 上；也可能是 NVLink 没有正确启用，GPU 之间走了 PCIe 回退；还有可能是节点间网络带宽不够，集合通信卡死。

排查办法很直接：看一下 nvidia-smi 里的 NVLink 状态，确认链路是正常连接的；跑一下 NCCL 的 allreduce 测试，看看多卡通信带宽是否接近理论值。如果带宽差太多，先查 BIOS 里的 PCIe 配置和线缆连接，再查网络驱动和 NCCL 版本。我个人踩过的坑是，新卡装好以后没注意 NCCL 和驱动版本不匹配，结果通信性能打了五折，折腾很久才发现是软件栈问题。

5.3 电源、散热、机柜承重都要提前算

高端计算卡的电力需求非常夸张，H100 SXM 700W，B200 接近 1000W。一台 8 卡 H100 服务器，整机功耗轻松到 10kW 以上，普通机柜 10A 或 16A 单路供电根本带不动。数据中心机柜的功率密度、空调容量、UPS 冗余，都要在装机前做容量规划。

散热上，风冷机器要保证前后风道通畅，不能把机柜门关死。液冷机器则要做漏液检测、管路规划，机房楼层承重也需要评估。这些东西不需要你成为机电专家，但如果完全不管，机器装好以后各种过热降频、跳闸重启会把你折磨疯。

5.4 驱动、CUDA、框架版本匹配

最后说一个最常见也最烦人的问题：软件栈版本匹配。GPU 硬件更新很快，但 CUDA、cuDNN、PyTorch/TensorFlow 等软件不一定马上支持最新卡。新的 Blackwell 卡在旧版 PyTorch 上很可能直接跑不了，即使能跑，性能也上不去。

我的习惯是：拿到新卡以后，第一步先查官方文档的 CUDA 支持矩阵，第二步再装对应版本的 PyTorch 或 TensorFlow，第三步跑一个小的 ROCm/纯 CUDA 矩阵乘测试确认算力能发挥出来。这些看似繁琐，但能避免后面大量莫名其妙的 bug。还有一个容易忽略的点是驱动版本：nvidia-smi 显示的驱动版本如果太低，很多新特性根本不会启用。

6. 最后说点个人体会

从 Kepler 到 Blackwell，我一路用下来最大的感受是：硬件参数只是起点，真正决定项目成败的往往是你对算力场景的理解。K40 时代大家还在为怎么把显存省着用发愁，到了 H100 时代又开始为散热和电力发愁，每一代卡都在解决上一代的问题，但同时也把系统复杂度推得更高。

我现在拿到一张新卡，第一件事不是急着跑大模型，而是先花半天把 nvidia-smi、NCCL 通信测试、常见精度的小矩阵乘法全部跑一遍，确认硬件状态和软件栈是健康的。这套流程看起来很基础，却能避开后面绝大多数的“性能问题”。如果你正准备搭建自己的 GPU 环境，也希望你能从这篇文章里得到一点可复用的经验，少走一些弯路。