从零搭建大模型应用｜Qwen2.5-7B-Instruct + vLLM + Chainlit完整流程

从零搭建大模型应用｜Qwen2.5-7B-Instruct + vLLM + Chainlit完整流程

引言：为什么需要端到端的大模型部署方案？

在当前AI技术快速演进的背景下，大语言模型（LLM）已不再局限于研究实验室，而是逐步走向实际业务场景。然而，将一个高性能的语言模型从“可运行”变为“可用”，仍面临诸多挑战：推理速度慢、环境依赖复杂、前端交互缺失、工具调用支持不足等问题常常阻碍项目的快速落地。

本文将以Qwen2.5-7B-Instruct模型为核心，结合vLLM 推理加速框架和Chainlit 可视化前端，手把手带你完成一个完整的本地大模型应用搭建流程。整个过程基于 Docker 容器化部署，确保跨平台一致性，并支持函数调用（Function Calling），实现真正意义上的“智能代理”雏形。

通过本教程，你将掌握： - 如何使用 vLLM 高效加载并服务 Qwen2.5 系列模型 - 如何配置 OpenAI 兼容 API 实现标准化接口调用 - 如何利用 Chainlit 快速构建对话式前端界面 - 如何启用自动工具选择（auto tool choice）机制，提升模型实用性

✅ 适用人群：具备基础 Python 和 Linux 操作能力的开发者，希望快速搭建本地 LLM 应用原型。

技术栈概览与核心组件解析

核心技术选型说明

各组件协同关系图

[用户] ↓ (Web UI) [Chainlit Frontend] ↓ (HTTP 请求) [OpenAI Client → http://localhost:9000/v1/chat/completions] ↓ [vLLM Server (Docker)] ↓ [Qwen2.5-7B-Instruct 模型]

所有通信均通过 OpenAI 类似接口完成，使得 Chainlit 只需少量代码即可接入本地模型服务。

第一步：准备环境与模型文件

硬件与软件要求

• GPU：至少 1 张 NVIDIA 显卡（建议 V100/A100/L4，显存 ≥ 24GB）
• CUDA 版本：12.1 或以上
• Docker + NVIDIA Container Toolkit 已安装并配置成功
• Python 3.10+（用于运行 Chainlit）

# 验证 GPU 是否被 Docker 正确识别 docker run --rm --gpus all nvidia/cuda:12.2-base nvidia-smi

下载 Qwen2.5-7B-Instruct 模型

请提前从 HuggingFace 或 ModelScope 下载模型权重至本地目录：

# 示例路径（根据实际情况调整） /data/model/qwen2.5-7b-instruct/ ├── config.json ├── model.safetensors.index.json ├── model-00001-of-00004.safetensors ├── tokenizer_config.json └── ...

⚠️ 注意：该模型约占用 15GB 存储空间，请确保磁盘充足。

第二步：使用 vLLM 部署模型服务（Docker 方式）

启动命令详解

docker run --runtime nvidia --gpus "device=0" \ -p 9000:9000 \ --ipc=host \ -v /data/model/qwen2.5-7b-instruct:/qwen2.5-7b-instruct \ -it --rm \ vllm/vllm-openai:latest \ --model /qwen2.5-7b-instruct \ --dtype float16 \ --max-parallel-loading-workers 1 \ --max-model-len 10240 \ --enforce-eager \ --host 0.0.0.0 \ --port 9000 \ --enable-auto-tool-choice \ --tool-call-parser hermes

参数解释

💡 提示：若使用 A100/H100 等新架构 GPU，可尝试移除--enforce-eager以启用 CUDA graph 加速。

服务启动验证

当看到以下日志表示服务已就绪：

INFO: Uvicorn running on http://0.0.0.0:9000 (Press CTRL+C to quit)

此时可通过浏览器访问http://<your-ip>:9000/docs查看 OpenAPI 文档。

第三步：测试模型基础对话能力（Python SDK）

安装 OpenAI 客户端

pip install openai

编写基础聊天脚本chat_test.py

from openai import OpenAI client = OpenAI( api_key="EMPTY", base_url="http://localhost:9000/v1" ) # 获取模型名称 models = client.models.list() model_name = models.data[0].id print(f"Using model: {model_name}") def stream_chat(messages): for chunk in client.chat.completions.create( model=model_name, messages=messages, stream=True ): content = chunk.choices[0].delta.content if content: print(content, end="", flush=True) if __name__ == "__main__": messages = [ {"role": "system", "content": "你是一位专业的导游"}, {"role": "user", "content": "请介绍一些广州的特色景点"} ] stream_chat(messages)

运行结果示例

广州，这座历史悠久的城市……（略）

✅ 成功返回流式响应，说明模型服务正常工作。

第四步：集成 Chainlit 构建可视化对话界面

安装 Chainlit

pip install chainlit

创建主入口文件app.py

import chainlit as cl from openai import OpenAI client = OpenAI( api_key="EMPTY", base_url="http://localhost:9000/v1" ) @cl.on_chat_start async def start(): cl.user_session.set("message_history", []) await cl.Message(content="欢迎！我是您的智能导游助手，请提问吧~").send() @cl.on_message async def main(message: cl.Message): # 获取历史消息 message_history = cl.user_session.get("message_history") message_history.append({"role": "user", "content": message.content}) # 调用模型流式生成 response_msg = cl.Message(content="") await response_msg.send() try: stream = client.chat.completions.create( model="/qwen2.5-7b-instruct", messages=message_history, stream=True ) for part in stream: if token := part.choices[0].delta.content: await response_msg.stream_token(token) await response_msg.update() # 保存回复到历史 message_history.append({"role": "assistant", "content": response_msg.content}) cl.user_session.set("message_history", message_history) except Exception as e: await cl.ErrorMessage(content=f"请求失败：{str(e)}").send()

启动 Chainlit 服务

chainlit run app.py -w

🔗 访问http://localhost:8000打开 Web 前端

输入问题后，即可看到实时流式回复效果。

第五步：启用 Function Calling 实现工具调用能力

场景需求：让模型能查询实时天气

我们希望模型在被问及天气时，能自动调用本地函数获取真实信息。

1. 定义工具函数

修改app.py，添加如下内容：

def get_current_weather(city: str) -> str: """模拟获取城市当前天气""" weather_data = { "广州": "多云到晴，气温28~31℃，轻微偏北风", "深圳": "晴间多云，气温29~32℃，东南风2级", "北京": "阴转小雨，气温18~22℃，北风3级" } return f"目前{city}天气：{weather_data.get(city, '暂无数据')}" TOOL_MAP = { "get_current_weather": get_current_weather } TOOLS = [ { "type": "function", "function": { "name": "get_current_weather", "description": "获取指定城市的当前天气情况", "parameters": { "type": "object", "properties": { "city": { "type": "string", "description": "城市名称，如广州、深圳" } }, "required": ["city"] } } } ]

2. 修改对话逻辑以支持 Tool Call

@cl.on_message async def main(message: cl.Message): message_history = cl.user_session.get("message_history") message_history.append({"role": "user", "content": message.content}) response_msg = cl.Message(content="") await response_msg.send() try: # 第一次调用：可能触发工具调用 completion = client.chat.completions.create( model="/qwen2.5-7b-instruct", messages=message_history, tools=TOOLS, tool_choice="auto" # 自动决定是否调用工具 ) choice = completion.choices[0] msg = choice.message if msg.tool_calls: # 模型要求调用工具 for tool_call in msg.tool_calls: function_name = tool_call.function.name arguments = json.loads(tool_call.function.arguments) await response_msg.stream_token(f"\n\n🛠️ 正在调用工具 `{function_name}`...\n") func_output = TOOL_MAP[function_name](**arguments) await response_msg.stream_token(f"✅ 结果：{func_output}\n\n") # 添加 tool 回应到上下文 message_history.append({ "role": "tool", "name": function_name, "content": func_output, "tool_call_id": tool_call.id }) # 第二次调用：基于工具结果生成最终回答 final_completion = client.chat.completions.create( model="/qwen2.5-7b-instruct", messages=message_history, stream=True ) for part in final_completion: if token := part.choices[0].delta.content: await response_msg.stream_token(token) await response_msg.update() else: # 直接回复 for part in client.chat.completions.create( model="/qwen2.5-7b-instruct", messages=message_history, stream=True ): if token := part.choices[0].delta.content: await response_msg.stream_token(token) await response_msg.update() message_history.append({"role": "assistant", "content": response_msg.content}) cl.user_session.set("message_history", message_history) except Exception as e: await cl.ErrorMessage(content=f"错误：{str(e)}").send()

⚠️ 别忘了在文件顶部导入import json

测试效果

提问：“广州天气怎么样？”

预期输出流程： 1. 模型识别需调用get_current_weather2. 调用本地函数获取天气字符串 3. 模型整合信息生成自然语言回答

目前广州天气：多云到晴，气温28~31℃，轻微偏北风

常见问题与解决方案

❌ 错误："auto" tool choice requires --enable-auto-tool-choice

现象：

{ "message": "\"auto\" tool choice requires --enable-auto-tool-choice and --tool-call-parser to be set" }

原因：未在 vLLM 启动参数中开启工具调用支持。

解决方法：确保启动命令包含以下两个参数：

--enable-auto-tool-choice --tool-call-parser hermes

📌 注：hermes是专为 function calling 设计的解析器，兼容性强。

⚠️ 性能优化建议

总结：我们完成了什么？

通过本文，你已经成功搭建了一个完整的本地大模型应用闭环，涵盖：

✅模型部署：使用 vLLM + Docker 快速部署 Qwen2.5-7B-Instruct
✅高效推理：FP16 精度 + PagedAttention 实现高吞吐服务
✅标准接口：OpenAI 兼容 API，便于集成与调试
✅可视化前端：Chainlit 提供美观易用的 Web 界面
✅智能扩展：支持 Function Calling，迈向 Agent 化应用

这套架构不仅适用于 Qwen2.5，也可轻松迁移到其他开源模型（如 Llama3、DeepSeek、GLM-4 等），是构建企业级 AI 应用的理想起点。

下一步学习建议

1. 增加更多工具：接入数据库、搜索引擎、代码执行沙箱等
2. 引入 RAG：结合 LangChain 实现知识库问答
3. 模型微调：基于 LoRA 微调适配垂直领域
4. 生产化部署：使用 FastAPI + Nginx + HTTPS 构建正式服务
5. 监控与日志：集成 Prometheus + Grafana 观测系统指标

🌐 开源地址参考： - vLLM: https://github.com/vllm-project/vllm - Chainlit: https://github.com/Chainlit/chainlit - Qwen: https://huggingface.co/Qwen/Qwen2.5-7B-Instruct

现在，你已经有了一个可以持续迭代的本地大模型开发模板。下一步，就是让它为你所用！