从下载到对话：DeepSeek-R1-Distill-Qwen-1.5B十分钟快速入门-编程实验室

从下载到对话：DeepSeek-R1-Distill-Qwen-1.5B十分钟快速入门

1. 引言：为什么选择 DeepSeek-R1-Distill-Qwen-1.5B？

在本地大模型部署日益普及的今天，如何在有限硬件资源下实现高性能推理成为开发者关注的核心问题。DeepSeek-R1-Distill-Qwen-1.5B 正是在这一背景下诞生的“小钢炮”模型——它通过知识蒸馏技术，将 DeepSeek R1 的强大推理能力浓缩进仅 15 亿参数的 Qwen-1.5B 架构中。

该模型不仅具备出色的数学与代码能力（MATH 数据集得分超 80，HumanEval 超 50），还支持函数调用、JSON 输出和 Agent 插件扩展，上下文长度达 4096 tokens，适用于日常问答、代码生成、逻辑推理等多种场景。更重要的是，其 fp16 版本仅需 3 GB 显存，GGUF-Q4 量化后更可压缩至 0.8 GB，可在树莓派、手机甚至嵌入式设备上流畅运行。

本文将带你使用vLLM + Open WebUI搭建一个高效、易用的对话系统，实现从模型拉取到网页交互的全流程部署，全程不超过十分钟。

2. 技术架构与选型依据

2.1 核心组件概览

本方案采用以下三大核心组件构建完整的本地对话应用：

DeepSeek-R1-Distill-Qwen-1.5B：轻量级但高推理能力的语言模型。
vLLM：高效推理框架，提供低延迟、高吞吐的模型服务支持。
Open WebUI：用户友好的前端界面，支持多会话管理、历史记录保存与插件扩展。

这种组合兼顾了性能、易用性与可扩展性，特别适合个人开发者或边缘计算场景下的快速验证与产品原型开发。

2.2 为何选择 vLLM？

vLLM 是当前最受欢迎的开源 LLM 推理引擎之一，具备以下优势：

PagedAttention 技术：显著提升 KV Cache 利用率，降低内存浪费。
高并发支持：单卡即可处理多个并行请求。
无缝集成 HuggingFace 模型：无需转换格式即可直接加载。
API 兼容 OpenAI 接口：便于后续接入各类工具链。

对于像 DeepSeek-R1-Distill-Qwen-1.5B 这类小型但高频使用的模型，vLLM 能充分发挥其低延迟优势。

2.3 为何选择 Open WebUI？

Open WebUI 提供了一个类 ChatGPT 的交互体验，主要优势包括：

支持 Docker 一键部署
内置模型管理、对话历史、导出功能
可连接任意符合 OpenAI API 规范的后端（如 vLLM）
支持 Markdown 渲染、代码高亮、文件上传等实用功能

两者结合，形成“后端高性能推理 + 前端友好交互”的黄金搭档。

3. 部署实践：从零开始搭建对话系统

3.1 环境准备

确保你的机器满足以下最低配置：

操作系统：Linux / macOS / Windows (WSL)
Python ≥ 3.10
GPU 显存 ≥ 6 GB（推荐 RTX 3060 或更高）
磁盘空间 ≥ 5 GB（用于缓存模型）

安装依赖工具：

# 安装 Docker（若未安装） curl -fsSL https://get.docker.com | sh # 安装 docker-compose sudo apt install docker-compose -y # Ubuntu/Debian

3.2 启动 vLLM 服务

创建docker-compose.yml文件内容如下：

version: '3.8' services: vllm: image: vllm/vllm-openai:latest container_name: vllm-server ports: - "8000:8000" environment: - VLLM_HOST=0.0.0.0 - VLLM_PORT=8000 command: - "--model" - "deepseek-ai/deepseek-r1-distill-qwen-1.5b" - "--dtype" - "auto" - "--gpu-memory-utilization" - "0.9" - "--max-model-len" - "4096" - "--enable-auto-tool-choice" - "--tool-call-parser" - "hermes" deploy: resources: reservations: devices: - driver: nvidia count: 1 capabilities: [gpu]

启动服务：

docker-compose up -d

等待约 2–3 分钟，模型加载完成后，访问http://localhost:8000/docs即可查看 OpenAPI 文档。

提示：首次运行会自动从 Hugging Face 下载模型（约 3 GB），请保持网络畅通。

3.3 部署 Open WebUI

新建另一个目录或在同一项目下添加webui-compose.yml：

version: '3.8' services: webui: image: ghcr.io/open-webui/open-webui:main container_name: open-webui ports: - "7860:8080" environment: - OLLAMA_BASE_URL=http://vllm:8000/v1 volumes: - ./models:/app/models - ./data:/app/data depends_on: - vllm

启动命令：

docker-compose -f webui-compose.yml up -d

服务启动后，打开浏览器访问：

http://localhost:7860

首次进入需注册账号。你可以使用演示账户进行测试：

账号：kakajiang@kakajiang.com
密码：kakajiang

登录后，在设置中确认模型源为http://localhost:8000/v1，即可开始对话。

4. 功能验证与性能实测

4.1 数学能力测试

输入以下问题：

“求解方程：x² - 5x + 6 = 0”

模型输出：

这是一个一元二次方程，可以使用因式分解法求解： x² - 5x + 6 = 0 => (x - 2)(x - 3) = 0 所以解为：x = 2 或 x = 3

响应时间小于 1 秒，准确率高，体现其优秀的数学推理保留度。

4.2 代码生成测试

提问：

“写一个 Python 函数，判断一个数是否为质数。”

输出示例：

def is_prime(n): if n < 2: return False for i in range(2, int(n ** 0.5) + 1): if n % i == 0: return False return True # 测试 print(is_prime(17)) # True print(is_prime(18)) # False

代码结构清晰，边界条件处理得当，HumanEval 表现稳定在 50+ 水平。

4.3 性能基准测试

设备	推理模式	输入长度	输出速度
RTX 3060 (fp16)	vLLM	512 → 1024	~200 tokens/s
M1 MacBook Pro	GGUF-Q4 + llama.cpp	512 → 1024	~90 tokens/s
iPhone 15 (A17)	CoreML + LlamaSwift	256 → 512	~120 tokens/s
RK3588 开发板	GGUF-Q4 + llama.cpp	512 → 1024	~16 s 完成

可见其在多种平台均表现出色，尤其适合边缘侧部署。

5. 高级用法与优化建议

5.1 使用 GGUF 量化版本节省资源

如果你的显存不足 6 GB，建议使用 GGUF 量化模型：

从 Hugging Face 下载.gguf文件：

https://huggingface.co/deepseek-ai/deepseek-r1-distill-qwen-1.5b-gguf

使用llama.cpp加载：

./main -m ./models/deepseek-r1-distill-qwen-1.5b-Q4_K_M.gguf \ -p "你好，请介绍一下你自己" \ --temp 0.7 --n_predict 512

Q4_K_M 量化后模型大小仅 0.8 GB，可在 4 GB RAM 设备上运行。

5.2 启用函数调用与 Agent 插件

该模型支持结构化输出与工具调用。你可以在 prompt 中定义 JSON schema 或 function tools，例如：

{ "name": "get_weather", "description": "获取指定城市的天气信息", "parameters": { "type": "object", "properties": { "city": {"type": "string", "description": "城市名称"} }, "required": ["city"] } }

配合 Open WebUI 的插件机制，可实现真正意义上的本地 AI Agent。

5.3 Jupyter Notebook 集成方式

如果你想在 Jupyter 中调用该模型，只需修改 base_url：

from openai import OpenAI client = OpenAI( base_url="http://localhost:8000/v1", api_key="EMPTY" ) response = client.chat.completions.create( model="deepseek-ai/deepseek-r1-distill-qwen-1.5b", messages=[{"role": "user", "content": "讲个笑话"}], max_tokens=128 ) print(response.choices[0].message.content)

将原8888端口改为7860或8000，即可完成集成。

6. 总结

6.1 核心价值回顾

DeepSeek-R1-Distill-Qwen-1.5B 是一款极具性价比的轻量级推理模型，凭借知识蒸馏技术实现了“1.5B 参数，7B 级表现”的突破。其关键优势体现在：

极致轻量：fp16 仅 3 GB，GGUF-Q4 压缩至 0.8 GB
推理强劲：MATH 80+，HumanEval 50+，保留完整推理链
生态完善：支持 vLLM、Ollama、Jan、llama.cpp 等主流框架
商用自由：Apache 2.0 协议，允许商业用途
跨平台部署：PC、手机、嵌入式设备均可运行

6.2 最佳实践建议

优先使用 vLLM + Open WebUI 组合：适合本地开发与演示。
边缘设备选用 GGUF 量化版 + llama.cpp：降低资源消耗。
开启函数调用功能：构建本地 Agent 应用。
定期更新镜像：关注官方仓库以获取性能优化补丁。

无论你是想打造一个私人助手、嵌入式 AI 模块，还是进行教学实验，DeepSeek-R1-Distill-Qwen-1.5B 都是一个值得信赖的选择。

获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。

从下载到对话：DeepSeek-R1-Distill-Qwen-1.5B十分钟快速入门