参考：deepspeed/vllm底层原理 - wangssd - 博客园
vLLM 底层原理
vLLM 是加州大学伯克利分校推出的 LLM 推理框架，核心目标是最大化推理吞吐量、降低延迟，其底层核心是创新的内存管理机制和高效的请求调度策略，关键原理如下：
1. 核心创新：PagedAttention（分页注意力机制）
这是 vLLM 最根本的技术突破，解决了传统推理框架中注意力机制显存利用率低、内存碎片严重的问题。传统推理中，每个序列（Sequence）的K/V 缓存（Key/Value Cache，注意力计算的核心中间数据）是连续存储的，当请求动态增减（如长序列、批量请求变化）时，会产生大量内存碎片，且无法充分复用显存；而 PagedAttention借鉴了操作系统的分页内存管理思想，对 K/V 缓存进行分页管理：
- K/V 缓存分页：将每个序列的 K/V 缓存拆分成固定大小的“页”（Page），每个页独立存储，不再要求连续内存空间；
- 页表管理：为每个序列维护一张 “页表”，记录该序列的所有 K/V 页的内存地址，通过页表实现对离散页的快速寻址和访问；
- 注意力计算优化：在注意力分数计算时，PagedAttention 能够高效地对离散分布的 K/V 页进行聚合计算，无需将页重新拼接为连续内存，同时通过批量处理优化计算开销。
PagedAttention 的核心优势：① 彻底消除 K/V 缓存的内存碎片，大幅提升显存利用率（通常可达 90% 以上，远高于传统框架的 30%-50%）；②支持动态序列长度，无需预留大量连续显存，适配突发请求和长文本推理；③ 实现 K/V 缓存的高效复用，为批量请求调度提供基础。
2. 关键支撑：Continuous Batching（连续批处理）
传统 LLM 推理采用 “静态批处理”（Static Batching）：即一次性收集一批请求，处理完成后再处理下一批，期间如果有新请求到达，需要等待当前批次结束，导致吞吐量低下、延迟升高；而 vLLM 基于 PagedAttention 实现了Continuous Batching（也叫 Dynamic Batching/Streaming Batching，连续批处理 / 动态批处理）：
- 请求动态调度：将每个请求的推理过程拆分为多个 “步骤”（Step，对应 Transformer 层的一次前向计算），调度器会持续从请求队列中选取就绪的请求步骤，动态组合成批次进行计算，无需等待整个请求完成；
- 细粒度调度：当一个请求的某一步计算完成后，立即将其释放的计算资源分配给其他待处理的请求步骤，新到达的请求可以随时插入到当前正在处理的批次中，实现 “流水式” 的请求处理；
- 吞吐量最大化：通过细粒度的动态调度，充分压榨 GPU 计算资源，避免 GPU 空闲，大幅提升推理吞吐量（通常是传统静态批处理框架的 5-10 倍）。
3. 其他优化技术
- 显存优化：支持 K/V 缓存的量化（如 FP8/INT8），进一步降低显存占用；同时支持 GPU 显存不足时的 CPU 内存卸载，兼容低配置硬件；
- 兼容广泛：无缝支持 Hugging Face 模型格式，无需修改模型代码即可部署，同时支持多 GPU 张量并行推理，适配大模型部署需求；
- 调度优化：内置高效的请求调度器（如基于优先级的调度），支持对不同优先级的请求进行差异化处理，平衡吞吐量和延迟。
