vLLM自动化测试：定时启动GPU任务，非技术也能轻松操作

vLLM自动化测试：定时启动GPU任务，非技术也能轻松操作

你是不是也遇到过这样的问题：作为测试工程师，每周都要跑一次vLLM的基准性能测试，检查模型推理延迟、吞吐量和显存占用情况。但每次手动登录服务器、激活环境、执行命令，不仅费时费力，还容易忘记或出错？更头疼的是，你还不会写Linux下的crontab定时任务脚本，一看到那一堆星号就头大。

别担心，这正是我们今天要解决的问题。

现在，借助云端可视化定时任务功能，哪怕你完全不懂shell脚本、不了解cron语法，也能像设置手机闹钟一样，轻松实现vLLM测试任务的全自动、周期性运行。整个过程不需要敲任何复杂命令，点点鼠标就能搞定，真正做到了“非技术背景也能上手”。

这篇文章就是为你量身打造的——一位想做自动化测试但不想被脚本劝退的测试工程师。我会带你从零开始，一步步完成vLLM镜像的部署、测试脚本的准备，再到通过图形化界面设置定时任务，最后还能自动保存结果、查看历史记录。全程小白友好，每一步都有详细说明，所有命令都可以直接复制使用。

学完之后，你将能够： - 快速部署一个支持GPU加速的vLLM测试环境 - 编写简单的基准测试脚本并验证其运行效果 - 使用可视化工具设置每日/每周定时任务 - 自动收集和导出测试报告，便于后续分析对比

更重要的是，这一切都建立在稳定可靠的GPU算力资源之上。CSDN星图平台提供了预装vLLM、CUDA、PyTorch等组件的一键式镜像，省去了繁琐的依赖安装过程，让你专注于测试本身，而不是环境配置这些“脏活累活”。

接下来，我们就正式进入实操环节。准备好，让重复性工作彻底成为过去式吧！

1. 环境准备：一键部署vLLM + GPU支持

要想让vLLM顺利运行并进行性能测试，首先要有一个稳定高效的运行环境。传统方式下，你需要自己安装CUDA驱动、配置cuDNN、安装Python环境、再一步步编译vLLM及其依赖库，整个过程可能耗时数小时，稍有不慎还会出现版本不兼容的问题。对于测试人员来说，这显然不是最高效的选择。

幸运的是，现在有了预置AI镜像的帮助，整个部署过程可以简化到几分钟之内完成。特别是针对vLLM这类对GPU高度依赖的大模型推理框架，使用已经集成好CUDA、PyTorch和vLLM核心组件的镜像，能极大降低入门门槛。

1.1 选择合适的vLLM镜像

在开始之前，你需要确认所使用的平台是否提供vLLM相关的预置镜像。以CSDN星图平台为例，它提供了多种面向不同场景的AI镜像，其中就包括专为大模型推理优化的vLLM镜像。

这类镜像通常具备以下特点：

• 预装CUDA与NVIDIA驱动：无需手动安装显卡驱动，开箱即用
• 内置PyTorch与vLLM：常见版本（如vLLM 0.11.0）已编译完成，支持PagedAttention和连续批处理
• 支持多卡并行：通过tensor_parallel_size参数即可启用张量并行，充分利用多GPU资源
• 包含常用工具链：如uv（现代Python包管理器）、pip、git等，方便扩展功能

你可以直接在镜像市场中搜索“vLLM”关键词，找到最新维护的官方推荐镜像。建议优先选择带有“GPU加速”、“一键部署”标签的版本，确保底层已正确配置NVIDIA容器运行时。

⚠️ 注意
如果你是第一次使用该平台，请先完成账号注册和GPU资源申请流程。部分功能可能需要实名认证后才能解锁高配实例。

1.2 启动GPU实例并部署镜像

一旦选定了合适的vLLM镜像，接下来就可以启动一个带GPU的计算实例了。这个过程非常直观，类似于创建一台云电脑，只不过这次是专门为AI任务定制的高性能机器。

具体操作步骤如下：

1. 进入平台控制台，点击“新建实例”或“快速部署”
2. 在镜像分类中选择“AI推理”或“大模型服务”，找到vLLM相关镜像
3. 选择适合的GPU规格（例如：1×A10G、2×V100等），根据测试负载决定
4. 设置实例名称（如vllm-benchmark-tester）、登录方式（推荐密钥对）
5. 点击“立即创建”或“部署”

系统会在几分钟内完成实例初始化，并自动加载镜像中的所有软件环境。当你看到实例状态变为“运行中”且SSH可连接时，说明环境已经准备就绪。

此时你可以通过终端连接到这台虚拟机，输入以下命令验证vLLM是否正常安装：

vllm --version

如果返回类似vLLM 0.11.0的信息，恭喜你，基础环境已经搭建成功！

1.3 验证GPU可用性与性能基线

虽然镜像声称支持GPU，但我们还是要亲自验证一下，确保vLLM真的能调用到显卡资源。

最简单的方法是运行一个小型推理测试，观察GPU利用率变化。我们可以使用vLLM自带的API服务器模式来启动一个本地服务：

python -m vllm.entrypoints.api_server \ --host 0.0.0.0 \ --port 8080 \ --model facebook/opt-125m \ --tensor-parallel-size 1

这条命令会加载一个轻量级的语言模型OPT-125M，并在8080端口启动HTTP服务。由于模型较小，即使在消费级GPU上也能快速加载。

等待几秒钟，直到出现Uvicorn running on http://0.0.0.0:8080提示后，说明服务已就绪。

然后打开另一个终端窗口，执行一个简单的推理请求：

curl http://localhost:8080/generate \ -H "Content-Type: application/json" \ -d '{ "prompt": "Hello, how are you?", "max_tokens": 50 }'

你应该能看到返回的生成文本。与此同时，在原终端中还可以观察到GPU显存占用和推理耗时信息。

为了更清楚地监控GPU状态，建议安装nvidia-smi工具（大多数镜像已预装），并运行：

watch -n 1 nvidia-smi

你会看到GPU利用率、显存使用量实时更新。当推理请求发出时，利用率会瞬间上升，证明GPU正在参与计算。

这一步的意义在于：确认你的测试环境是真实可用的，避免后续自动化任务因环境问题失败。只有当手动测试能稳定运行时，才适合进入下一步——自动化。

2. 测试脚本编写：让vLLM自动跑基准任务

既然环境已经搭好，接下来就要设计一个能自动执行的基准测试脚本。这个脚本的目标很明确：模拟实际测试场景，测量关键性能指标（如首词元延迟、生成速度、吞吐量等），并将结果保存下来供后续分析。

好消息是，vLLM本身就提供了丰富的命令行参数和API接口，配合一些简单的Python或Shell脚本，就能实现完整的自动化测试流程。而且我们不需要从零造轮子，很多常用模式都可以复用。

2.1 设计基准测试的核心目标

在动手写代码前，先明确我们要测什么。对于vLLM这类推理引擎，常见的性能指标包括：

• 首词元延迟（Time to First Token, TTFT）：用户发送请求到收到第一个输出词元的时间，反映响应灵敏度
• 词元生成速率（Tokens per Second, TPS）：每秒生成多少个词元，衡量整体吞吐能力
• 并发请求处理能力：在多用户同时请求时的表现，测试调度器效率
• 显存占用峰值：模型加载后的最大显存消耗，影响可部署规模

我们的测试脚本应该围绕这些指标展开。比如，可以设定一组固定的prompt列表，分别测试单请求和多并发下的表现，并记录时间戳和资源使用情况。

为了简化操作，我们先从单机单模型的场景入手，后续再考虑扩展。

2.2 编写可复用的测试脚本（Python版）

下面是一个实用的Python脚本示例，它可以自动启动vLLM服务、发送测试请求、记录性能数据并生成日志文件。你可以将它保存为benchmark_vllm.py。

import time import requests import subprocess import json from datetime import datetime # 配置参数 MODEL_NAME = "facebook/opt-125m" API_URL = "http://localhost:8080/generate" TEST_PROMPTS = [ "The capital of France is", "Write a short poem about autumn", "Explain quantum computing in simple terms" ] MAX_TOKENS = 64 OUTPUT_FILE = f"benchmark_result_{datetime.now().strftime('%Y%m%d_%H%M%S')}.json" def start_vllm_server(): """启动vLLM API服务""" print("🚀 启动vLLM服务...") cmd = [ "python", "-m", "vllm.entrypoints.api_server", "--host", "0.0.0.0", "--port", "8080", "--model", MODEL_NAME, "--tensor-parallel-size", "1" ] process = subprocess.Popen(cmd, stdout=None, stderr=None) time.sleep(10) # 等待模型加载 return process def send_request(prompt): """发送单个推理请求并测量延迟""" payload = { "prompt": prompt, "max_tokens": MAX_TOKENS, "temperature": 0.7 } start_time = time.time() try: response = requests.post(API_URL, json=payload, timeout=30) end_time = time.time() if response.status_code == 200: result = response.json() ttf_token = end_time - start_time output_tokens = len(result.get("text", [""])[0].split()) tps = output_tokens / ttf_token if ttf_token > 0 else 0 return { "success": True, "ttft": round(ttf_token, 3), "tps": round(tps, 2), "output_tokens": output_tokens } else: return {"success": False, "error": response.text} except Exception as e: return {"success": False, "error": str(e)} def run_benchmark(): """运行完整测试流程""" server_process = start_vllm_server() # 等待服务就绪 time.sleep(5) results = [] for i, prompt in enumerate(TEST_PROMPTS): print(f"📌 执行第 {i+1} 条测试: {prompt}") result = send_request(prompt) result["prompt"] = prompt results.append(result) time.sleep(2) # 避免请求过于密集 # 关闭服务 server_process.terminate() server_process.wait(timeout=10) # 保存结果 report = { "timestamp": datetime.now().isoformat(), "model": MODEL_NAME, "test_count": len(TEST_PROMPTS), "results": results } with open(OUTPUT_FILE, "w", encoding="utf-8") as f: json.dump(report, f, indent=2, ensure_ascii=False) print(f"✅ 测试完成！结果已保存至 {OUTPUT_FILE}") if __name__ == "__main__": run_benchmark()

这个脚本做了几件关键的事：

1. 自动启动vLLM服务并等待加载完成
2. 依次向API发送多个预设prompt
3. 记录每个请求的响应时间和生成速度
4. 将所有结果汇总成JSON文件，包含时间戳，便于后期对比

你只需要在终端中运行：

python benchmark_vllm.py

就能看到完整的测试流程自动执行，并生成类似benchmark_result_20250405_142310.json的日志文件。

2.3 脚本优化建议与常见问题处理

虽然上面的脚本已经可以工作，但在实际使用中可能会遇到一些小问题。以下是几个实用的优化建议：

✅ 添加重试机制

网络波动可能导致个别请求失败，加入重试逻辑可以让测试更稳健：

import time def send_request_with_retry(prompt, max_retries=3): for i in range(max_retries): result = send_request(prompt) if result["success"]: return result print(f"⚠️ 请求失败，{2**(i)}秒后重试...") time.sleep(2**i) return {"success": False, "error": "重试次数超限"}

✅ 监控GPU资源（可选）

如果你希望同时记录GPU状态，可以在测试前后调用nvidia-smi获取显存信息：

# 获取当前显存使用率 nvidia-smi --query-gpu=memory.used --format=csv,noheader,nounits -i 0

可以通过subprocess.check_output()将其集成进脚本。

✅ 使用轻量模型加快测试频率

频繁测试时，加载大型模型（如Llama-3-8B）会浪费大量时间。建议日常测试使用opt-125m或TinyLlama-1.1B这类小模型，只在最终验证时切换回生产模型。

3. 可视化定时任务：不用写crontab也能自动运行

终于到了最关键的一步：如何让这个测试脚本定期自动运行，而不需要你每次都手动登录服务器执行？

传统做法是使用Linux的crontab命令来设置定时任务，格式如下：

0 9 * * 1 python /path/to/benchmark_vllm.py

意思是“每周一上午9点执行一次”。但问题是，这种语法对非技术人员极不友好，星号和斜杠让人眼花缭乱，稍有错误就会导致任务无法触发。

而现在，许多AI开发平台（包括CSDN星图）都提供了图形化定时任务管理功能，让你像设置手机闹钟一样轻松安排自动化任务。

3.1 什么是可视化定时任务？

可视化定时任务是一种基于Web界面的任务调度系统，它的核心优势是：

• 无需记忆cron语法：通过日历、时间选择器等方式直观设置执行时间
• 支持多种触发模式：一次性、每天、每周、每月、自定义周期
• 任务状态一目了然：可以看到上次执行时间、结果、日志输出
• 失败自动告警（部分平台支持）：异常时可通过邮件或消息通知

这就像是把复杂的后台脚本操作，变成了人人会用的日程管理App。

3.2 如何在平台上设置定时任务

假设你已经在服务器上写好了benchmark_vllm.py脚本，并存放在/home/user/vllm_tests/目录下。现在我们要让它每周一早上8点自动运行一次。

以下是典型的操作流程（具体界面可能因平台略有差异）：

1. 登录平台控制台，进入你的GPU实例详情页
2. 找到“定时任务”或“计划任务”功能模块（通常在左侧菜单栏）
3. 点击“新建任务”按钮
4. 填写任务信息：
5. 任务名称：Weekly vLLM Benchmark
6. 执行命令：cd /home/user/vllm_tests && python benchmark_vllm.py
7. 执行路径：/home/user/vllm_tests
8. 触发规则：选择“每周”，勾选“星期一”，设置时间为“08:00”
9. 通知方式：可选邮箱或站内信（如有）
10. 点击“保存并启用”

就这样，任务就创建好了！不需要写任何.sh脚本，也不用担心权限问题。

平台会在后台自动帮你维护这个任务，并在指定时间调用系统的调度器执行命令。你可以在“任务历史”中查看每一次的执行状态、开始/结束时间以及输出日志。

💡 提示
如果你不确定命令路径，可以在终端中先手动执行一遍，确认无误后再填入定时任务。

3.3 验证定时任务是否生效

新创建的任务不会立刻运行，除非你设置了“立即执行”选项。为了验证配置是否正确，建议采取以下两种方式：

方法一：手动触发一次

大多数平台都提供“立即运行”按钮，点击后会跳过等待，马上执行任务。这是最快捷的验证方式。

方法二：查看日志输出

定时任务执行后，通常会生成日志文件。你可以通过SSH登录服务器，查看脚本所在目录是否有新的benchmark_result_xxx.json文件生成。

例如：

ls -lt /home/user/vllm_tests/benchmark_result_*.json

如果发现最新文件的时间接近你设定的执行时间，说明任务已成功运行。

此外，还可以检查系统级的日志（如/var/log/cron），但一般情况下可视化平台都会提供更友好的日志查看入口，无需深入底层。

4. 结果管理与持续优化：让自动化真正落地

自动化测试的价值不仅仅在于“自动运行”，更在于持续积累数据、发现问题趋势、辅助决策优化。如果每次测试的结果散落在各个文件里，没人去看，那再完美的自动化也只是形式主义。

因此，我们必须建立起一套简单有效的结果管理机制，让测试真正发挥价值。

4.1 统一存储测试报告

目前我们的脚本会生成带时间戳的JSON文件，这是一种很好的做法，因为它保证了每次结果的独立性和可追溯性。但更好的方式是把这些文件集中管理起来。

推荐方案：按日期归档

你可以创建一个专门的目录来存放所有测试结果：

mkdir -p /home/user/vllm_reports/$(date +%Y-%m)

然后修改脚本中的OUTPUT_FILE路径，使其自动归类：

today = datetime.now().strftime("%Y-%m-%d") OUTPUT_DIR = f"/home/user/vllm_reports/{datetime.now().strftime('%Y-%m')}" os.makedirs(OUTPUT_DIR, exist_ok=True) OUTPUT_FILE = f"{OUTPUT_DIR}/result_{today}.json"

这样每个月的结果都会放在单独的文件夹中，结构清晰，便于查找。

进阶方案：上传至对象存储（可选）

如果平台支持，还可以将结果文件自动上传到云存储空间，实现跨设备访问和长期备份。例如使用obsutil或s3cmd工具：

# 示例：上传到OBS（需提前配置AK/SK） obsutil cp /home/user/vllm_reports/2025-04/result_2025-04-05.json obs://my-bucket/vllm-reports/

4.2 简单数据分析与趋势观察

有了历史数据，下一步就是“看懂”它们。虽然我们不做复杂的统计建模，但至少应该能回答这些问题：

• 最近一次测试相比上周，TPS是变快了还是变慢了？
• 是否有某次测试明显异常（如TTFT飙升）？
• 显存占用是否逐渐增加，存在泄漏风险？

最简单的做法是写一个汇总脚本，读取最近几次的结果文件，提取关键指标并打印表格：

import glob import json files = sorted(glob.glob("/home/user/vllm_reports/*/*.json"))[-5:] # 最近5次 print("📊 最近5次测试性能摘要") print("-" * 80) print(f"{'日期':<12} {'平均TTFT(s)':<12} {'平均TPS':<10} {'成功率':<10}") print("-" * 80) for file in files: with open(file) as f: data = json.load(f) dates = file.split('/')[-1].replace('result_', '').replace('.json', '') ttfts = [r['ttft'] for r in data['results'] if r['success']] tpss = [r['tps'] for r in data['results'] if r['success']] success_rate = sum(1 for r in data['results'] if r['success']) / len(data['results']) print(f"{dates:<12} {sum(ttfts)/len(ttfts):<12.3f} {sum(tpss)/len(tpss):<10.2f} {success_rate*100:<10.1f}%")

运行这个脚本，你就能一眼看出性能走势，及时发现潜在问题。

4.3 常见问题排查与优化建议

即便实现了自动化，偶尔也会遇到任务失败的情况。以下是几种常见问题及应对策略：

❌ 问题1：vLLM服务启动失败

现象：日志显示“CUDA out of memory”或“Model not found”
原因：显存不足或模型路径错误
解决方案： - 换用更小的测试模型（如opt-125m） - 清理残留进程：pkill -f api_server- 确保模型名称拼写正确

❌ 问题2：请求超时或连接拒绝

现象：requests.exceptions.ConnectionError
原因：API服务未启动成功或端口被占用
解决方案： - 检查8080端口是否已被占用：lsof -i :8080- 增加启动等待时间：time.sleep(15)- 改用随机端口避免冲突

❌ 问题3：定时任务未执行

现象：到了时间却没有生成新报告
原因：任务被禁用、实例关机、脚本路径错误
解决方案： - 登录平台确认任务状态是否为“启用” - 检查实例是否处于“运行中”状态 - 查看任务日志，定位具体错误信息

总结

• 使用预置vLLM镜像可以一键部署GPU环境，省去复杂的依赖安装过程，特别适合非开发背景的测试人员快速上手。
• 通过编写简单的Python脚本，就能实现完整的基准测试流程，自动测量TTFT、TPS等关键性能指标，并将结果保存为结构化日志文件。
• 借助平台提供的可视化定时任务功能，无需掌握crontab语法，也能轻松设置周期性任务，真正做到“点一点，就自动化”。
• 定期归档测试报告并进行趋势分析，能让自动化测试产生实际价值，帮助团队及时发现性能退化或异常情况。
• 实测表明，整套方案稳定可靠，即使是技术新手也能在一天内完成全部配置，值得在日常测试工作中推广使用。

现在就可以试试看，把你下周的vLLM测试任务提前安排好，到时候安心等着收报告吧！

获取更多AI镜像

想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。