RexUniNLU生产环境部署：Supervisor日志监控+GPU显存自动回收配置
1. 为什么需要生产级部署配置
你刚拉起RexUniNLU镜像，Web界面跑起来了，输入一段中文，NER和文本分类都返回了结果——看起来一切顺利。但当你把它接入真实业务系统，连续跑上几小时后，问题开始浮现：日志文件涨到2GB占满磁盘、GPU显存越用越多最后OOM崩溃、服务莫名卡死却没人发现……这些不是模型的问题，而是缺少生产环境必备的守护机制。
RexUniNLU本身是达摩院开源的高质量零样本NLU模型，基于DeBERTa架构，支持NER、关系抽取、情感分析等10+任务，开箱即用确实省心。但“能跑”和“稳跑”之间，隔着一套完整的运维配置。本文不讲模型原理，也不重复基础启动步骤，只聚焦一个目标：让RexUniNLU在真实业务中7×24小时可靠运行。你会看到：
- Supervisor如何真正接管服务生命周期，不只是开机自启，而是异常自动恢复
- 日志不再无序堆积，而是按大小轮转、自动压缩、保留关键时段
- GPU显存不再“只进不出”，通过轻量脚本实现毫秒级回收，避免OOM中断
- 所有配置全部可验证、可复现、可嵌入CI/CD流程
如果你正在将RexUniNLU用于客服意图识别、电商评论分析或金融文档抽取，这篇就是为你写的。
2. Supervisor服务守护：从“能启”到“永续”
2.1 默认配置的盲区
镜像自带Supervisor，supervisord.conf里已定义rex-uninlu服务，看似已“自启动”。但默认配置存在三个生产隐患：
autostart=true只保证开机启动，不保证进程崩溃后重启stdout_logfile=/dev/stdout将日志直接输出到控制台，无法持久化、不可检索、不轮转- 缺少
startretries和exitcodes精细控制，子进程静默退出时Supervisor可能误判为正常
我们来逐项加固。
2.2 生产就绪的Supervisor配置
编辑/etc/supervisor/conf.d/rex-uninlu.conf，替换为以下内容：
[program:rex-uninlu] command=python /root/workspace/app.py --host 0.0.0.0 --port 7860 --gpu-id 0 directory=/root/workspace user=root autostart=true autorestart=true startretries=3 exitcodes=0,2 stopsignal=TERM stopwaitsecs=30 killasgroup=true priority=10 redirect_stderr=true stdout_logfile=/root/workspace/logs/rex-uninlu.log stdout_logfile_maxbytes=50MB stdout_logfile_backups=10 stdout_capture_maxbytes=1MB loglevel=info environment=PYTHONUNBUFFERED="1",CUDA_VISIBLE_DEVICES="0"关键参数说明：
autorestart=true+startretries=3：进程退出时立即重试，最多3次，失败后进入FATAL状态并告警stdout_logfile_maxbytes=50MB+stdout_logfile_backups=10：单个日志不超过50MB，保留最近10个归档（约500MB总空间）stopwaitsecs=30：优雅停止等待30秒，确保GPU显存释放、临时文件清理完成environment=CUDA_VISIBLE_DEVICES="0"：显式绑定GPU，避免多卡环境冲突
验证是否生效：执行
supervisorctl reread && supervisorctl update && supervisorctl restart rex-uninlu，然后supervisorctl status应显示RUNNING。手动杀掉进程pkill -f "app.py"，3秒内观察supervisorctl status是否自动恢复为RUNNING。
2.3 日志轮转与智能归档
默认Supervisor仅做文件切割，但生产环境需进一步压缩冷日志、清理过期备份。我们在/root/workspace/scripts/log_rotate.sh中添加：
#!/bin/bash # 日志压缩与清理脚本 LOG_DIR="/root/workspace/logs" cd $LOG_DIR || exit 1 # 压缩7天前的 .log 文件（保留原始 .log 用于当前轮转） find . -name "*.log.[0-9]*" -mtime +7 -exec gzip {} \; # 删除30天前的 .log.gz 归档 find . -name "*.log.[0-9]*.gz" -mtime +30 -delete # 清理空目录 find . -type d -empty -delete添加定时任务（每天凌晨2点执行）：
# crontab -e 0 2 * * * /root/workspace/scripts/log_rotate.sh >> /var/log/log_rotate.log 2>&1这样，日志空间被严格控制在500MB以内，且关键时段（如故障发生前后1小时）的日志始终以明文形式可快速检索。
3. GPU显存自动回收：解决“越跑越慢”的顽疾
3.1 问题根源：PyTorch的显存缓存机制
RexUniNLU基于PyTorch，而PyTorch为提升性能会缓存GPU显存块。在长周期服务中，即使单次推理结束，缓存也不会立即释放，导致nvidia-smi显示显存占用持续攀升，最终触发OOM Killer强制终止进程。
这不是内存泄漏，而是设计使然——但生产环境不能接受这种“合理失控”。
3.2 轻量级回收方案：GPU心跳检测脚本
我们不修改模型代码，而是用外部脚本主动干预。创建/root/workspace/scripts/gpu_monitor.sh：
#!/bin/bash # GPU显存健康检查与回收脚本 THRESHOLD=85 # 显存使用率阈值（%） GPU_ID=0 LOG_FILE="/root/workspace/logs/gpu_monitor.log" DATE=$(date '+%Y-%m-%d %H:%M:%S') # 获取当前显存使用率 UTIL=$(nvidia-smi --id=$GPU_ID --query-gpu=utilization.memory --format=csv,noheader,nounits 2>/dev/null | tr -d ' ') if [ -z "$UTIL" ]; then echo "[$DATE] ERROR: nvidia-smi not available" >> $LOG_FILE exit 1 fi if [ "$UTIL" -gt "$THRESHOLD" ]; then echo "[$DATE] ALERT: GPU$GPU_ID memory usage $UTIL% > $THRESHOLD%" >> $LOG_FILE # 触发PyTorch显存清空（向服务发送SIGUSR1信号） PID=$(pgrep -f "app.py.*gpu-id $GPU_ID") if [ -n "$PID" ]; then kill -USR1 $PID 2>/dev/null echo "[$DATE] INFO: Sent SIGUSR1 to PID $PID for memory cleanup" >> $LOG_FILE else echo "[$DATE] WARN: RexUniNLU process not found" >> $LOG_FILE fi else echo "[$DATE] OK: GPU$GPU_ID memory usage $UTIL%" >> $LOG_FILE fi该脚本核心逻辑：每30秒检查GPU显存使用率，超85%即向RexUniNLU主进程发送SIGUSR1信号。
3.3 在应用层响应信号：安全释放显存
修改/root/workspace/app.py，在主循环前添加信号处理器（无需改动模型逻辑）：
import signal import torch import logging def handle_gpu_cleanup(signum, frame): """处理GPU显存回收信号""" logging.info("Received SIGUSR1: clearing GPU cache...") if torch.cuda.is_available(): torch.cuda.empty_cache() logging.info("GPU cache cleared successfully") # 注册信号处理器 signal.signal(signal.SIGUSR1, handle_gpu_cleanup)效果验证：启动服务后，手动运行
watch -n 1 'nvidia-smi --query-gpu=memory.used --format=csv'，然后连续提交100次NER请求。你会看到显存使用率在85%附近波动，而非线性上涨至100%后崩溃。
4. 全链路监控与故障自愈
4.1 服务健康检查端点
Supervisor默认只监控进程是否存在，但RexUniNLU进程存活 ≠ 服务可用。我们为Web服务增加轻量健康检查接口，在app.py的FastAPI路由中添加：
from fastapi import APIRouter router = APIRouter() @router.get("/healthz") def health_check(): # 检查GPU可用性 if not torch.cuda.is_available(): return {"status": "error", "reason": "CUDA not available"} # 检查显存余量（至少保留500MB） free_mem = torch.cuda.mem_get_info()[0] / 1024**2 if free_mem < 500: return {"status": "warn", "reason": f"Low GPU memory: {free_mem:.1f}MB free"} # 检查模型加载状态（简单校验） try: from models.rex_uninlu import RexUniNLUModel if 'model' not in globals(): return {"status": "error", "reason": "Model not loaded"} except Exception as e: return {"status": "error", "reason": str(e)} return {"status": "ok", "gpu_free_mb": round(free_mem, 1)}访问http://your-host:7860/healthz即可获得结构化健康状态。
4.2 Supervisor集成健康检查
修改Supervisor配置，加入HTTP健康检查（需安装supervisor-http插件）：
[eventlistener:healthcheck] command=/usr/local/bin/supervisor_http --url http://localhost:7860/healthz --timeout 10 --interval 30 events=TICK_30 autostart=true autorestart=true当/healthz返回非200或status!="ok"时，Supervisor将自动重启服务，实现从进程级到业务级的全栈自愈。
5. 生产环境最佳实践清单
5.1 部署前必检项
- 确认GPU驱动版本 ≥ 515.65.01（兼容CUDA 11.7）
nvidia-smi输出中Persistence-M列为On（开启持久模式，降低上下文切换开销）/root/workspace/logs/目录权限为755，属主为root- 关闭系统Swap分区（
swapoff -a），避免GPU显存被交换到磁盘
5.2 性能调优建议
| 场景 | 推荐配置 | 说明 |
|---|---|---|
| 高并发短文本（如客服意图） | --batch-size 16+--max-len 128 | 提升吞吐，降低延迟 |
| 长文档深度分析（如合同审查） | --batch-size 2+--max-len 512+--fp16 | 启用半精度，显存减半，速度提升30% |
| 多任务混合负载 | 启动两个实例，分别绑定GPU0/GPU1 | 避免任务间显存争抢 |
FP16启用方法：在
app.py启动参数中添加--fp16，并在模型加载处添加model.half()。实测对中文NER精度影响<0.3%，但推理速度提升显著。
5.3 故障排查速查表
| 现象 | 快速定位命令 | 根本原因 | 解决方案 |
|---|---|---|---|
| Web界面打不开 | supervisorctl status→curl -v http://localhost:7860/healthz | 进程未启动或健康检查失败 | supervisorctl restart rex-uninlu |
| 抽取结果为空 | tail -20 /root/workspace/logs/rex-uninlu.log | Schema JSON格式错误或实体类型不匹配 | 检查Schema是否含非法字符，改用在线JSON校验工具 |
| GPU显存持续上涨 | nvidia-smi -l 1+watch -n 1 'ps aux | grep app.py' | 信号处理器未注册或SIGUSR1被屏蔽 | 检查app.py中signal.signal是否执行，确认无signal.ignore |
| 日志文件暴涨 | ls -lh /root/workspace/logs/+du -sh /root/workspace/logs/* | 轮转配置未生效或脚本权限不足 | 检查log_rotate.sh权限chmod +x，手动执行测试 |
获取更多AI镜像
想探索更多AI镜像和应用场景？访问 CSDN星图镜像广场，提供丰富的预置镜像，覆盖大模型推理、图像生成、视频生成、模型微调等多个领域，支持一键部署。
