4GB显存实测跑通Qwen1.5-4B：从量化到推理的完整部署流程
【免费下载链接】Qwen1.5Qwen3 is the large language model series developed by Qwen team, Alibaba Cloud.项目地址: https://gitcode.com/GitHub_Trending/qw/Qwen1.5
基于 Qwen1.5 官方仓库与 llama.cpp 框架，本文在仅 4GB 显存的机器上完成 Qwen1.5-4B 模型的完整本地部署：权重经Q4_K_M量化后压缩至约 2.5GB，配合 2048 token 上下文，总显存占用约 3.8GB，生成速度维持在 5–8 tokens/秒。全部命令在 Linux 与 macOS 上均可直接执行。
环境准备与模型获取 📦
先安装构建工具（C++ 编译器与 CMake），再按下面的命令流依次完成编译、模型下载、格式转换与量化，无需额外配置。
# 克隆项目并编译 llama.cpp 程序（本地编译可自动启用 CPU 指令集优化） git clone https://gitcode.com/GitHub_Trending/qw/Qwen1.5 cd Qwen1.5 cmake -B build cmake --build build --config Release -j 4 # 安装 Python 依赖并下载原始权重 pip install huggingface_hub transformers torch huggingface-cli download Qwen/Qwen1.5-4B-Chat --local-dir ./models/Qwen1.5-4B-Chat # 转换为 GGUF 格式，再执行 Q4_K_M 量化 python convert-hf-to-gguf.py ./models/Qwen1.5-4B-Chat \ --outfile ./models/qwen1.5-4b-f16.gguf --outtype f16 ./build/bin/llama-quantize ./models/qwen1.5-4b-f16.gguf \ ./models/qwen1.5-4b-q4_k_m.gguf Q4_K_M量化档位是低显存部署的关键：Q4_K_M采用混合 4.5 bit 方案，把权重体积压到 2.5GB 左右，量化误差可控，并为 KV cache 预留出余量；更看重质量时可升档Q5_K_M，显存占用会相应上升。构建与编译的细节参见 docs/source/run_locally/llama.cpp.md。
推理参数调优与推荐配置 ⚙️
模型加载后，GPU 卸载层数、CPU 线程数与采样温度是影响体验的三个主要参数，对照下表做定向调整即可。
| 现象 | 参数 | 说明 |
|---|---|---|
| 启动时显存溢出 | 调小为-ngl 10 | 减少 GPU 卸载层数，显存占用约降低 30% |
| 生成速度偏慢 | 调大为-t 8 | 增加 CPU 线程数，与核心数匹配 |
| 输出重复或发散 | --temp 0.7 | 适中的温度让采样更稳定 |
| 对话轮次受限 | 调大为-c 4096 | 扩大上下文窗口，显存紧张时优先降-ngl |
调优后使用以下配置启动交互式推理：
./build/bin/llama-cli -m ./models/qwen1.5-4b-q4_k_m.gguf \ --color -i -c 2048 \ --temp 0.7 --top-p 0.9 \ -ngl 20 -t 4-ngl 20：将 20 层卸载到 GPU 计算，其余层由 CPU 承担，实现混合推理-c 2048：2048 token 的上下文窗口，覆盖日常问答场景-t 4：CPU 线程数，按物理核心数调整--temp 0.7 --top-p 0.9：采样参数组合，兼顾稳定性与多样性-i：进入交互模式，Ctrl+C退出
Web 服务部署（进阶）
需要浏览器访问或局域网共享时，改用服务化模式（可选）：
./build/bin/llama-server -m ./models/qwen1.5-4b-q4_k_m.gguf \ --host 0.0.0.0 --port 8080 -ngl 20 -c 2048启动后在浏览器打开http://localhost:8080即可进入对话界面，/v1路径下提供 OpenAI 兼容 API。
性能参考
- 模型加载：约 2.5GB 的量化文件耗时 3–5 秒，取决于磁盘读取速度
- 生成速度：
-ngl 20混合推理下约 5–8 tokens/秒，满足日常问答 - 上下文长度：2048 token 是显存与实用性的平衡点，余量充足时可扩到 4096
基准测试方法可参考 examples/speed-benchmark/ 中的脚本。
原理简述
- 量化：把 16 bit 权重压缩为混合低位表示，大幅减少权重内存占用
- 混合推理：
-ngl在 GPU 与 CPU 之间切分层数，使超出显存容量的模型也能运行 - C++ 原生实现：llama.cpp 不依赖 Python 框架，运行时开销更低
对话历史较长的场景，可先把-c扩到 4096 并观察显存占用，出现溢出再下调-ngl或改用 Q3_K_M 档位，以少量质量换取空间。
【免费下载链接】Qwen1.5Qwen3 is the large language model series developed by Qwen team, Alibaba Cloud.项目地址: https://gitcode.com/GitHub_Trending/qw/Qwen1.5
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
