基于YOLOv8与PyQt5的行人危险行为检测系统实战

简介：本资源是一套完整的行人过马路危险行为智能检测告警系统实现方案，面向计算机、人工智能、自动化等专业在校学生、教师及初级算法工程师，聚焦玩手机、打电话等分心行为识别与实时告警，可支撑课程设计、毕业设计、项目原型开发及深度学习实战进阶。压缩包共878个文件（175.44MB），涵盖299张标注图像（jpg）、247份YOLO格式标签（txt）、87个核心Python脚本（含GUI主程序、模型训练与推理逻辑）、47个配置文件（yaml/yml）、9个训练好的.pt模型及评估结果文件，结构清晰分为main_gui_code（带PyQt5可视化界面）与ultralytics（YOLOv8源码及训练模块）两大功能区。已有1511人学习下载，资源经实测可直接运行：开箱即用GUI支持图片/视频/摄像头流推理，内置斑马线、行人、手机、电话、车辆等多目标检测能力；提供完整环境搭建指南、模型替换说明、开发者署名自定义方式及跨平台部署支持，显著降低YOLOv8工程化门槛。

1. 项目概述：从“看”到“管”的智能路口守护者

最近在整理过往项目时，翻到了一个挺有意思的“老伙计”——一个基于YOLOv8和PyQt5的行人过马路危险行为检测告警系统。说它老，是因为YOLOv8现在已经有更新的版本了；但说它有意思，是因为这个项目完整地串联了从算法选型、模型训练、界面开发到最终部署的整个链条，特别适合想从“跑通Demo”进阶到“做出一个能用的小系统”的朋友们参考。这个项目的核心目标很明确：让计算机能像经验丰富的交警或安全员一样，实时“看懂”十字路口或斑马线区域的监控画面，自动识别出行人闯红灯、在车流中穿行、停留禁行区等危险行为，并及时触发声光或弹窗告警。

你可能在各种智慧城市、智慧交通的宣传片里见过类似的概念，但这个项目把概念落到了具体的代码、模型和交互界面上。它不仅仅是一个目标检测模型，而是一个集成了感知、分析、决策、交互的完整应用。对于初学者而言，这是一个绝佳的“麻雀虽小，五脏俱全”的实战案例；对于有一定经验的开发者，其中的模型优化思路、界面与逻辑解耦设计、以及实际部署中遇到的坑，也很有借鉴价值。接下来，我就把这个项目的里里外外、从思路到代码、从训练到部署的完整过程，结合我踩过的坑和总结的经验，详细拆解一遍。

2. 核心需求解析与方案选型

2.1 我们要解决什么问题？

在动手写代码之前，我们必须把问题定义清楚。行人过马路危险行为检测，听起来简单，但细究起来，里面有不少门道：

1. 行为定义：什么是“危险行为”？常见的包括：

   • 闯红灯：红灯亮起时，行人仍进入或停留在斑马线上。
   • 不走斑马线：在非斑马线区域横穿马路。
   • 在车流中穿行：行人突然从静止车辆或障碍物后窜出。
   • 斑马线上逗留/嬉戏：在通行时间内过慢或停止移动，影响交通。
   • 翻越护栏：这个行为本身就很危险。

2. 技术挑战：

   • 实时性：监控视频通常是25-30帧/秒，系统处理速度必须跟上，延迟最好在100毫秒以内，否则告警就失去了意义。
   • 准确性：既要避免漏报（真的危险没发现），也要避免误报（正常行走被当成危险），尤其是在雨天、夜晚、人群密集等复杂场景下。
   • 轻量化与成本：很多路口部署的硬件计算资源有限（如边缘计算盒子），模型不能太大，推理速度要快。
   • 场景适应性：不同路口的摄像头角度、光照条件、背景都不一样，模型需要有较好的泛化能力。

2.2 为什么是YOLOv8 + PyQt5？

面对这些需求，我们当时的选型逻辑是这样的：

后端算法：YOLOv8

• 速度与精度的平衡：YOLO系列一直是实时目标检测的标杆。YOLOv8在保持YOLO家族高速特性的同时，通过新的骨干网络和检测头设计，进一步提升了精度，尤其是对小目标的检测能力。这对于画面中可能占比较小的行人非常关键。
• 完善的生态：Ultralytics官方维护的ultralytics库，提供了从训练、验证、预测到导出的全套Pipeline，API设计友好，大大降低了开发门槛。支持多种导出格式（如ONNX、TensorRT），便于后续部署。
• 灵活的模型尺寸：YOLOv8提供了n/s/m/l/x不同尺度的预训练模型，我们可以根据实际硬件性能（比如你是用服务器GPU还是边缘设备）在精度和速度之间做权衡。例如，在GTX 1660 Ti这样的消费级显卡上，YOLOv8s或YOLOv8m就能取得很好的实时效果。

前端界面：PyQt5

• 跨平台与原生体验：PyQt5基于Qt，能生成真正原生的桌面应用程序界面，在Windows、Linux、macOS上都能运行，且外观和交互体验良好。这对于需要安装在交管中心或安保室电脑上的系统来说很重要。
• 强大的UI组件与信号槽机制：PyQt5提供了丰富的控件（按钮、表格、图像显示框等），其信号与槽的通信机制非常适合处理这种“视频流输入 -> 模型检测 -> 结果展示/告警触发”的异步事件驱动逻辑。
• 与Python无缝集成：我们的核心算法是用Python写的（PyTorch），用PyQt5做GUI可以避免跨语言调用的麻烦，所有逻辑（视频解码、推理、业务判断）都可以在一个Python进程内高效完成。

整体架构：系统大致分为三层。感知层由YOLOv8模型负责，解析视频流，输出行人检测框。分析层是自定义的Python逻辑，根据检测框的位置、运动轨迹（需要结合连续帧分析）以及预设的规则（如红灯信号关联、斑马线区域标定）来判断是否发生危险行为。交互层则由PyQt5构建，负责视频显示、告警信息列表展示、参数配置和告警触发（如模拟声音、闪烁边框）。

3. 数据集构建与模型训练实战

3.1 数据：模型的“粮食”从哪来？

一个模型的好坏，七分靠数据。对于这个特定场景，直接使用通用的COCO行人检测数据集是远远不够的，因为COCO没有“危险行为”的标签。

我们的数据来源与处理：

1. 公开数据集挖掘：我们搜集了部分交通监控公开数据集，如UA-DETRAC、Cityscapes等，但需要从中筛选出包含行人过马路的片段。
2. 网络爬取与模拟：在严格遵守法律法规和伦理的前提下，从一些公开的交通直播平台或教育视频中获取了部分素材。同时，我们也使用游戏引擎（如GTA V）或仿真环境生成了一些模拟数据，以增加数据多样性（如不同天气、时段）。
3. 关键：高质量标注。我们使用labelImg或更高效的CVAT、Roboflow进行标注。
   • 标注内容：不仅仅是框出行人（person类别），我们还增加了行为标签。例如，我们定义了person_crossing_red（闯红灯行人）、person_in_forbidden_area（禁行区行人）等。这可以通过在标注软件中创建这些类别来实现。
   • 标注格式：YOLOv8使用的是TXT格式的标注文件，每行代表一个对象：<class_id> <x_center> <y_center> <width> <height>，坐标是归一化后的。确保你的标注工具能导出这种格式。

实操心得：数据标注的坑

1. “脏数据”清理：下载或爬取的数据中，常有损坏的图片或标签。你会遇到类似E:\yolov8\images\val\00010752.png: ignoring corrupt image/label的错误。务必在训练前运行一个数据清洗脚本，用OpenCV或PIL尝试读取每一张图片，无法读取的直接删除，并同步删除对应的标签文件。
2. 标签一致性：不同人标注会有偏差。一定要制定详细的标注规范（如行人被部分遮挡时怎么标？自行车上的行人算不算？），并进行一轮交叉校验。
3. 数据增强策略：在ultralytics的配置文件中，可以方便地启用Mosaic、MixUp、随机翻转、色彩抖动等增强。这对于提升模型在阴雨、夜晚等条件下的鲁棒性非常有效。

3.2 YOLOv8模型训练全流程

假设你的数据集已经按YOLO格式整理好，目录结构如下：

dataset/ ├── images/ │ ├── train/ │ └── val/ └── labels/ ├── train/ └── val/

步骤1：环境配置

# 创建虚拟环境（强烈推荐） conda create -n yolov8_traffic python=3.8 conda activate yolov8_traffic # 安装PyTorch (请根据你的CUDA版本到官网选择命令) pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 安装ultralytics pip install ultralytics # 安装其他依赖（用于GUI等） pip install pyqt5 opencv-python-headless numpy pandas

步骤2：准备数据集配置文件创建一个data.yaml文件，放在数据集根目录。

# data.yaml path: /path/to/your/dataset # 数据集根目录 train: images/train # 训练集图片相对路径 val: images/val # 验证集图片相对路径 # 类别数量和名称 nc: 3 # 我们的类别数，例如：0: person, 1: person_crossing_red, 2: person_in_forbidden_area names: ['person', 'person_crossing_red', 'person_in_forbidden_area']

步骤3：模型训练使用ultralytics的Python API进行训练，控制更灵活。

from ultralytics import YOLO # 加载一个预训练模型 model = YOLO('yolov8s.pt') # 这里选择YOLOv8 small版本，平衡速度与精度 # 开始训练 results = model.train( data='path/to/your/data.yaml', epochs=100, # 训练轮数 imgsz=640, # 输入图像尺寸 batch=16, # 批次大小，根据GPU内存调整 device='0', # 使用GPU 0，如果是CPU则设为'cpu' workers=4, # 数据加载线程数 project='runs/train', # 结果保存目录 name='traffic_safety_v1', # 实验名称 pretrained=True, # 使用预训练权重 optimizer='AdamW', # 优化器 lr0=0.01, # 初始学习率 augment=True, # 启用数据增强 patience=30, # 早停耐心值 save_period=10, # 每10轮保存一次检查点 )

训练过程会自动在runs/train/traffic_safety_v1目录下生成所有结果，包括权重文件、训练曲线图、验证结果等。

步骤4：模型验证与评估训练结束后，模型会自动在验证集上评估。我们也可以手动进行更详细的评估和测试。

# 加载训练好的最佳模型 best_model = YOLO('runs/train/traffic_safety_v1/weights/best.pt') # 在验证集上评估 metrics = best_model.val() # 这会输出mAP50、mAP50-95等指标 # 可视化验证结果 best_model.val(save_json=True, save_hybrid=True) # 对单张图片进行推理测试 results = best_model('path/to/test_image.jpg', save=True, conf=0.25)

关键要看mAP50-95 (mean Average Precision)，它综合反映了模型在不同IoU阈值下的精度。对于安全应用，我们可能更关心召回率(Recall)，因为漏报（没发现危险）的代价通常比误报（误报警）更高。可以通过调整推理时的conf（置信度阈值）来平衡精确率和召回率。

注意事项：训练调参经验

• 学习率：lr0是最重要的参数之一。如果训练损失震荡或不下降，尝试减小它（如0.001）。可以使用cosine或linear的学习率调度器。
• 图像尺寸：imgsz越大，通常精度越高，但训练和推理速度越慢，显存占用也越大。640是一个常用的起点。如果你的场景中行人像素很小，可以尝试增大到832或1024，但要以速度为代价。
• 早停：patience参数很重要。如果验证集指标在连续patience个epochs内没有提升，训练会自动停止，防止过拟合。
• 损失函数曲线：训练后一定要查看results.png中的损失曲线。正常的训练损失和验证损失都应该平稳下降并最终收敛。如果验证损失上升，说明过拟合了，需要增加数据增强、使用更简单的模型或加大正则化。

4. PyQt5 GUI设计与业务逻辑集成

模型训练好了，接下来要给它一个“大脑”（业务逻辑）和“脸面”（用户界面）。

4.1 PyQt5主界面设计

我们使用Qt Designer进行可视化设计，生成.ui文件，再转换为Python代码。主界面主要包含以下几个区域：

1. 视频显示区：一个大的QLabel或专用的GraphicsView，用于实时显示摄像头或视频文件画面，以及绘制检测框、危险区域 overlay。
2. 控制面板：按钮（开始/停止检测、选择视频源、打开摄像头）、配置选项（置信度阈值、IOU阈值、告警开关）。
3. 信息显示区：一个QListWidget或QTableWidget，用于滚动显示检测到的危险行为日志（时间、行为类型、置信度）。
4. 统计面板：一些QLabel，用于显示实时统计信息，如当前帧FPS、检测到的总人数、今日危险行为次数等。

4.2 核心业务逻辑线程

在GUI中，视频处理和模型推理是耗时操作，绝对不能放在主线程（UI线程），否则界面会卡死。我们必须使用多线程。

设计一个工作线程（Worker Thread）：

from PyQt5.QtCore import QThread, pyqtSignal import cv2 from ultralytics import YOLO class DetectionThread(QThread): # 定义信号，用于与主线程通信 frame_ready = pyqtSignal(np.ndarray, list) # 发送处理后的帧和检测结果列表 alert_signal = pyqtSignal(str, dict) # 发送告警信号（类型，详情） fps_signal = pyqtSignal(float) # 发送实时FPS def __init__(self, model_path, video_source=0): super().__init__() self.model = YOLO(model_path) self.video_source = video_source self.is_running = True self.conf_thres = 0.25 self.iou_thres = 0.45 # 定义危险区域（多边形顶点，基于归一化坐标或像素坐标） self.danger_zones = [np.array([[0.2, 0.8], [0.4, 0.8], [0.4, 1.0], [0.2, 1.0]])] def run(self): cap = cv2.VideoCapture(self.video_source) fps_counter = 0 prev_time = time.time() while self.is_running and cap.isOpened(): ret, frame = cap.read() if not ret: break # YOLOv8推理 results = self.model(frame, conf=self.conf_thres, iou=self.iou_thres, verbose=False)[0] detections = [] alert_info = None for box in results.boxes: cls_id = int(box.cls) conf = float(box.conf) bbox = box.xyxy[0].cpu().numpy() # [x1, y1, x2, y2] # 将检测结果存入列表 det_info = {'class': cls_id, 'confidence': conf, 'bbox': bbox} detections.append(det_info) # --- 核心：危险行为判断逻辑 --- # 示例：判断行人是否在危险区域内 bbox_center = ((bbox[0]+bbox[2])/2, (bbox[1]+bbox[3])/2) if cls_id == 0: # person类 for zone in self.danger_zones: if self.is_point_in_polygon(bbox_center, zone): alert_info = { 'type': 'IN_DANGER_ZONE', 'bbox': bbox, 'confidence': conf, 'timestamp': time.strftime("%H:%M:%S") } self.alert_signal.emit('区域入侵', alert_info) break # 找到一个危险区域即可 # 更复杂的行为判断（如闯红灯）需要结合连续帧跟踪和信号灯状态，此处略。 # 计算FPS fps_counter += 1 curr_time = time.time() if curr_time - prev_time >= 1.0: fps = fps_counter / (curr_time - prev_time) self.fps_signal.emit(fps) fps_counter = 0 prev_time = curr_time # 在帧上绘制检测框和告警信息（可选，也可以在主线程做） annotated_frame = self.draw_detections(frame, detections, alert_info) # 发送信号给主线程更新UI self.frame_ready.emit(annotated_frame, detections) cap.release() def is_point_in_polygon(self, point, polygon): # 使用射线法判断点是否在多边形内 # 实现代码略 pass def draw_detections(self, frame, detections, alert_info): # 使用OpenCV在帧上画框、标签和告警标志 # 实现代码略 return frame def stop(self): self.is_running = False self.wait()

主线程（UI线程）负责：

• 启动/停止工作线程。
• 接收frame_ready信号，更新视频显示区的图像。
• 接收alert_signal信号，在信息显示区添加一条告警记录，并可能触发声音播放或界面闪烁。
• 接收fps_signal信号，更新统计面板的FPS值。
• 处理用户交互（按钮点击、参数修改）。修改参数（如conf_thres）时，需要通过线程安全的方式（如使用QMutex或pyqtSignal）传递给工作线程。

避坑指南：PyQt5多线程与信号槽

1. UI更新必须在主线程：所有对PyQt5控件（如QLabel.setPixmap()，QListWidget.addItem()）的调用，都必须在主线程执行。工作线程通过发射信号（pyqtSignal）来请求主线程进行更新，这是Qt推荐的安全方式。
2. 避免共享状态竞争：如果工作线程和主线程都需要读写同一个变量（如is_running），要使用QMutex进行加锁保护，或者通过信号传递数据副本。
3. 资源释放：在窗口关闭时，一定要先调用工作线程的stop()方法，等待线程结束（thread.wait()），再释放摄像头等资源，否则可能导致程序崩溃或资源泄漏。

5. 系统优化与部署落地

5.1 性能优化技巧

要让系统真正“实时”，光有一个好模型还不够。

1. 模型优化：

   • 模型剪枝与量化：使用ultralytics导出ONNX模型后，可以利用ONNX Runtime的量化工具，将FP32模型转换为INT8模型，在几乎不损失精度的情况下大幅提升推理速度，并减少模型体积。这对于边缘部署至关重要。
   • TensorRT加速：如果有NVIDIA GPU，强烈建议将模型转换为TensorRT引擎。使用export.py导出为engine格式，或者用trtexec工具转换。TensorRT会对模型进行层融合、精度校准等深度优化，通常能比原生PyTorch推理快2-5倍。

   # 使用ultralytics导出TensorRT模型 yolo export model=best.pt format=engine device=0

2. 推理流水线优化：

   • 预处理/后处理异步：图像预处理（缩放、归一化）和结果后处理（NMS、坐标转换）也可以尝试放到单独的线程或使用CUDA流，与模型推理并行，进一步压榨硬件性能。
   • 批处理：如果处理多个视频流，可以将多帧图片拼成一个Batch送入模型，能显著提升GPU利用率。但这对实时单路视频流收益不大。

3. OpenCV解码优化：

   • 使用cv2.VideoCapture时，如果摄像头支持，可以设置CAP_PROP_BUFFERSIZE为较小的值（如1），减少延迟。
   • 对于RTSP流，OpenCV默认可能不稳定。可以尝试使用FFmpeg后端（cv2.CAP_FFMPEG）或专门的RTSP库（如VLC绑定）。

5.2 部署方案选型

根据项目需求，部署方式可以很灵活：

以Docker部署为例，简要的Dockerfile：

FROM nvidia/cuda:11.8.0-runtime-ubuntu22.04 # 使用带CUDA的base image WORKDIR /app # 安装系统依赖和Python RUN apt-get update && apt-get install -y \ python3-pip \ libgl1-mesa-glx \ libglib2.0-0 \ && rm -rf /var/lib/apt/lists/* # 复制项目文件 COPY requirements.txt . COPY . . # 安装Python依赖 RUN pip3 install --no-cache-dir -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple # 暴露端口（如果是API服务） # EXPOSE 8000 # 启动命令 CMD ["python3", "main.py"]

构建镜像：docker build -t traffic-safety-system .运行容器：docker run --gpus all -it --rm -v $(pwd)/models:/app/models traffic-safety-system(注意挂载模型文件目录)

6. 常见问题与调试实录

在实际开发和部署中，你几乎一定会遇到下面这些问题：

问题1：YOLOv8训练时出现“ignoring corrupt image/label”警告。

• 原因：数据集中存在损坏的图片文件或标签文件格式错误。
• 解决：
  1. 编写一个数据清洗脚本，遍历所有图片，用cv2.imread()或PIL.Image.open()尝试打开，失败则记录并删除。
  2. 检查标签文件：确保每行有5个数值，且数值在0-1之间（归一化坐标）。可以使用简单的Python脚本进行校验和修复。

问题2：PyQt5界面在显示视频时卡顿、延迟高。

• 原因：
  • UI更新过于频繁，每一帧都调用setPixmap。
  • 图像格式转换（BGR->RGB->QPixmap）开销大。
  • 工作线程和主线程通信数据量太大（传输完整的帧图像）。
• 解决：
  1. 限制帧率：在工作线程中，不要每一帧都发射信号。可以计算一个目标FPS（如25），控制发射信号的频率。
  2. 图像缩放：在满足显示需求的前提下，将用于显示的帧缩小到UI控件的大小，减少数据传输和绘制的开销。
  3. 共享内存：对于极致的性能要求，可以考虑使用QSharedMemory或numpy数组的内存映射，避免在线程间拷贝大的图像数据。

问题3：在边缘设备（如Jetson Nano）上部署，推理速度慢。

• 原因：边缘设备算力有限，默认的FP32模型推理慢。
• 解决：
  1. 使用更小的模型：换用YOLOv8n或YOLOv8s。
  2. 模型量化：使用TensorRT的INT8量化。这需要准备一个校准数据集。
  3. 调整输入尺寸：将推理图像尺寸从640降低到320或416，速度会成倍提升，但精度会下降。
  4. 启用硬件加速：确保正确安装了JetPack SDK，并且TensorRT、CUDA环境配置正确。使用trtexec工具生成优化后的引擎。

问题4：误报率（False Positive）过高，比如树影晃动被识别为行人。

• 原因：训练数据中缺乏类似的负样本（非行人但像行人的物体）。
• 解决：
  1. 数据增强：增加更多包含复杂背景、光影变化的训练数据。
  2. 后处理规则：加入简单的轨迹滤波。真正的行人移动是连续的，而误报的“鬼影”往往位置跳动大或无规律。可以跟踪每个检测框，只有连续多帧（如3-5帧）都出现在同一区域才认为是有效目标。
  3. 提升置信度阈值：适当调高模型推理时的conf参数，过滤掉低置信度的检测结果。但这可能会增加漏报。

问题5：如何关联行人行为与红绿灯状态？

• 思路：这是一个多模态信息融合问题。单纯靠视觉检测行人很难100%确定他是否在“闯红灯”。
• 方案：
  1. 视觉识别红绿灯：增加一个YOLOv8模型或一个分类头，专门检测和识别红绿灯的状态（红灯、绿灯）。
  2. 外部信号输入：如果路口有智能信号机，可以通过网络协议（如TCP/UDP）或串口直接获取实时的信号灯相位信息，这是最准确的方式。
  3. 时空规则判断：在图像中定义好斑马线区域和行人停止线区域。当信号灯为红灯时，如果有行人从停止线区域进入斑马线区域，则判定为闯红灯。这需要结合目标跟踪（如使用ByteTrack或BoT-SORT）来获取行人的运动轨迹。

这个项目就像搭积木，YOLOv8提供了强大的视觉感知能力，PyQt5搭建了友好的人机交互界面，而真正的“智能”则藏在你自己编写的业务逻辑规则里。从数据准备到模型调优，从界面设计到多线程编程，再到最后的性能优化和部署，每一步都充满了挑战和学习的乐趣。我个人的体会是，不要把目光只局限于模型精度的提升，一个健壮、稳定、可维护的系统架构，以及清晰的业务逻辑定义，往往比单纯的mAP提升几个点更有实际价值。

本文还有配套的精品资源，点击获取