基于YOLOv5的疲劳驾驶检测系统：从原理到部署的完整实践指南

简介：本资源是一套基于YOLOv5实现的疲劳驾驶检测识别系统，面向计算机视觉初学者、毕业设计学生及智能交通方向开发者，解决驾驶员实时状态监测与预警的实际问题。压缩包共93个文件，包含31个Python源码（含主程序yolov5.py、模型定义与工具模块）、24个YAML配置文件（适配不同规模YOLOv5模型）、2个PT权重文件（best.pt为核心训练成果）、2个MP4演示视频、2个图像样本及说明文档等，整体大小为136.48MB。已有361人学习下载，资源源自获导师高度认可（98分）的本科毕业设计项目，提供完整可运行方案：涵盖人脸关键点检测（shape_predictor_68_face_landmarks.dat）、眨眼/哈欠量化指标（Blinks、EAR、MAR、dura等）、端到端推理流程及requirements依赖清单，代码结构清晰、注释完备，便于二次开发与算法优化。

1. 项目概述：一个开箱即用的疲劳驾驶检测方案

最近在整理硬盘里的项目时，翻出来一个压箱底的“宝贝”——一个基于YOLOv5的疲劳驾驶检测识别系统。这个项目包含了完整的源码、预训练好的权重文件以及一份详细的说明文档，打包成了一个.zip文件。对于想快速上手计算机视觉应用，特别是对驾驶安全领域感兴趣的朋友来说，这算得上是一个绝佳的起点。它本质上是一个“交钥匙”工程，你拿到手，配置好环境，基本上就能跑起来看到效果。

这个系统要解决的核心问题非常明确：通过车载摄像头实时监测驾驶员的面部状态，识别出如闭眼、打哈欠、低头等可能表征疲劳的典型行为，并及时发出预警。在长途货运、网约车、公共交通等场景下，这类技术有实实在在的应用价值，能有效预防因疲劳驾驶引发的安全事故。项目采用YOLOv5作为核心检测框架，这是一个在速度和精度上取得了很好平衡的模型，非常适合部署在需要实时处理的边缘设备上。接下来，我会带你彻底拆解这个项目包，从环境搭建、代码结构、模型训练到实际部署的每一个环节，分享我踩过的坑和积累的经验，让你不仅能跑通，更能理解背后的门道。

2. 项目核心思路与技术选型解析

2.1 为什么选择YOLOv5？

拿到一个项目，我习惯先看它的技术栈选型。这里核心是YOLOv5，而不是更早的v3/v4或者更新的v7/v8。这个选择背后有很实际的考量。首先，YOLOv5的易用性在当年是划时代的。它完全基于PyTorch框架，代码结构清晰，配置文件（.yaml）管理模型和数据集路径非常方便，对于研究和快速原型开发极其友好。其次，它在精度（mAP）和速度（FPS）之间取得了非常好的平衡，提供了从n（小巧）、s（小）、m（中）、l（大）、x（超大）一系列不同尺寸的模型，你可以根据硬件算力灵活选择。对于疲劳驾驶检测这种通常部署在工控机或嵌入式设备（如Jetson系列、RK3568/RK3588）的场景，YOLOv5s或YOLOv5m往往是性价比最高的选择。

注意：虽然YOLOv8等更新版本已经发布，并且在某些指标上更优，但YOLOv5的生态依然非常庞大和稳定。大量的工业项目、教程和预训练权重都基于v5，对于学习和项目落地而言，它的成熟度和资料丰富度是巨大的优势。

2.2 疲劳驾驶检测的具体实现逻辑

这个项目通常不会只用YOLOv5做一件事。一个完整的疲劳驾驶检测流水线（Pipeline）一般包含以下几个步骤：

1. 人脸检测：这是第一步。使用YOLOv5（或专门的人脸检测模型）从视频帧中精准定位驾驶员的脸部区域。项目里提供的权重文件，很可能就是针对车内场景优化过的人脸检测模型。
2. 关键点定位或状态分类：在检测到的人脸区域基础上，进一步分析。这里有两种主流思路：
   • 思路A：直接状态分类。将裁剪出的人脸区域送入另一个分类网络（可能是YOLOv5的分类头，也可能是一个小型的CNN如MobileNet），直接判断该帧人脸处于“正常”、“闭眼”、“打哈欠”、“低头”等状态。这种方式端到端，但需要标注好的状态分类数据集。
   • 思路B：关键点检测 + 规则判断。使用人脸关键点检测模型（如基于YOLOv5修改的Keypoint模型，或专门的如MediaPipe Face Mesh）定位出眼睛、嘴巴的关键点坐标。然后通过计算眼睛纵横比（EAR）、嘴巴纵横比（MAR）等指标，根据预设的阈值和连续帧数来判断是否疲劳。这种方式更可解释，也无需复杂的分类标注。
3. 疲劳判定与预警：基于第二步的输出，应用一些时序逻辑。例如，连续N帧检测到闭眼，或在一定时间窗口内打哈欠频率过高，则触发“疲劳”警报，并通过屏幕显示、声音或震动等方式提醒驾驶员。

这个项目包里的源码，会清晰地体现上述某一种或混合的实现逻辑。我们需要通过阅读代码来确认其具体技术路径。

2.3 项目包内容初探

解压yolov5的疲劳驾驶检测识别系统源码+权重文件+说明文档.zip后，你通常会看到类似如下的目录结构：

fatigue_detection_yolov5/ ├── README.md # 说明文档 ├── requirements.txt # Python依赖包列表 ├── data/ │ ├── custom.yaml # 自定义数据集的配置文件 │ └── ... # 可能包含一些示例数据或标签 ├── models/ │ ├── yolov5s.yaml # YOLOv5s模型结构定义 │ ├── yolov5s_face.pt # 预训练的人脸检测权重 │ └── ... # 可能还有其他模型文件 ├── utils/ # YOLOv5的工具函数包（损失计算、指标等） ├── detect_fatigue.py # **核心推理脚本**，用于加载模型、处理视频流、进行检测和预警 ├── train.py # 训练脚本（如果你有自己的数据） ├── val.py # 验证脚本 └── ... # 其他YOLOv5标准脚本（export.py用于模型导出等）

说明文档（通常是README.md）是重中之重，它应该包含了环境配置步骤、快速开始命令、权重文件说明和可能的数据集介绍。我们第一步就是仔细阅读它。

3. 环境搭建与依赖安装详解

3.1 基础环境准备

这个项目基于Python和PyTorch，所以第一步是搭建一个干净的Python环境。我强烈建议使用conda或venv创建虚拟环境，避免与系统或其他项目的包版本冲突。

# 使用conda创建环境（假设命名为yolov5-fatigue） conda create -n yolov5-fatigue python=3.8 # YOLOv5对3.7-3.9支持较好 conda activate yolov5-fatigue # 或者使用venv python -m venv yolov5-fatigue # Windows yolov5-fatigue\Scripts\activate # Linux/Mac source yolov5-fatigue/bin/activate

3.2 依赖安装与版本避坑

进入项目根目录，查看requirements.txt。标准的YOLOv5依赖可能如下，但疲劳检测项目可能会额外添加一些库（如opencv-python用于图像处理，pyserial用于硬件报警等）。

# requirements.txt 示例 torch>=1.7.0 torchvision>=0.8.1 opencv-python>=4.1.2 PyYAML>=5.3.1 scipy>=1.4.1 tqdm>=4.41.0 matplotlib>=3.2.2 seaborn>=0.11.0 pandas>=1.1.4

使用pip安装时，版本兼容性是最大的坑。特别是PyTorch，需要根据你的CUDA版本（如果有GPU）去官网选择正确的安装命令。如果项目比较老，直接用requirements.txt里的版本可能无法安装。

# 先安装PyTorch（以CUDA 11.3为例，请根据你的实际情况调整） pip install torch==1.10.1+cu113 torchvision==0.11.2+cu113 torchaudio==0.10.1+cu113 -f https://download.pytorch.org/whl/cu113/torch_stable.html # 然后再安装其他依赖，忽略PyTorch的版本要求 pip install -r requirements.txt --ignore-requires-pytorch

实操心得：如果安装过程中报错，可以尝试先单独安装opencv-python、numpy等基础库，再安装剩下的。有时pycocotools在Windows上安装会失败，可以尝试pip install pycocotools-windows。务必确保所有依赖成功安装，否则后续运行脚本会报各种ModuleNotFoundError。

3.3 验证环境与权重文件

环境装好后，先做一个简单的验证。运行以下命令，测试YOLOv5的基础功能是否正常，并加载项目提供的权重文件看看能否正确初始化模型。

# 在Python交互环境中测试 import torch import cv2 print(f"PyTorch版本: {torch.__version__}") print(f"CUDA是否可用: {torch.cuda.is_available()}") print(f"CUDA版本: {torch.version.cuda}") # 尝试导入YOLOv5的模型定义 from models.experimental import attempt_load # 注意：这里需要根据实际路径调整 weights_path = ‘models/yolov5s_face.pt’ try: model = attempt_load(weights_path, map_location=‘cpu’) # 先用CPU加载试试 print(f“权重文件 ‘{weights_path}’ 加载成功！”) print(f“模型结构: {type(model)}”) except Exception as e: print(f“加载权重失败: {e}”)

如果这一步成功了，说明核心环境没问题。接下来就是深入代码，看它具体是怎么工作的。

4. 源码结构深度解析与核心模块剖析

4.1 核心推理脚本detect_fatigue.py拆解

这是整个项目的“大脑”。我们打开它，逐段分析。一个典型的疲劳检测推理脚本会包含以下部分：

1. 参数解析：使用argparse库定义命令行参数，如权重文件路径、输入源（摄像头ID、视频文件、图片目录）、置信度阈值、IOU阈值、输出路径等。
2. 模型加载：调用YOLOv5的attempt_load函数加载预训练权重。这里要注意模型是单纯的人脸检测器，还是已经融合了疲劳状态判断的多任务模型。
3. 设备选择：自动判断使用CPU还是GPU（torch.device(‘cuda:0’)）。
4. 数据加载器：创建一个迭代器，负责从摄像头或视频文件中一帧一帧地读取图像。
5. 主循环：对每一帧图像：
   • 预处理：将图像缩放、转换为RGB、归一化，并转换为PyTorch Tensor格式。
   • 推理：将Tensor送入模型，得到预测结果。
   • 后处理：应用非极大值抑制（NMS）过滤冗余框，将边界框坐标转换回原图尺寸。
   • 疲劳分析：这是项目的核心逻辑所在。遍历检测到的每一个人脸框，可能是调用一个analyze_fatigue(face_img)函数，该函数内部会进行闭眼、打哈欠等判断。
   • 绘制与预警：在图像上绘制人脸框、状态标签（如“Eye Closed”, “Yawning”），如果判定为疲劳，则用醒目的颜色（如红色）和文字标注，并可能触发声音报警。
   • 显示与保存：实时显示处理后的画面，并可按需保存视频或图片结果。

关键要看疲劳分析部分的实现。例如，它可能包含这样的代码片段：

def is_eye_closed(eye_landmarks): """根据眼睛关键点计算EAR（Eye Aspect Ratio）并判断是否闭合""" # 计算垂直距离 A = dist(eye_landmarks[1], eye_landmarks[5]) B = dist(eye_landmarks[2], eye_landmarks[4]) # 计算水平距离 C = dist(eye_landmarks[0], eye_landmarks[3]) ear = (A + B) / (2.0 * C) return ear < EYE_AR_THRESH # 阈值通常为0.2-0.3，需调试 def is_yawning(mouth_landmarks): """根据嘴巴关键点计算MAR（Mouth Aspect Ratio）并判断是否打哈欠""" # 类似EAR的计算 # ... return mar > MOUTH_AR_THRESH

4.2 模型定义与自定义

查看models/目录下的.yaml文件。标准的yolov5s.yaml定义了网络结构。如果项目做了自定义，可能会有一个yolov5s_face.yaml或yolov5s_fatigue.yaml。自定义可能包括：

• 修改锚框（anchors）：人脸通常比COCO数据集中的物体更小、更集中，调整锚框尺寸可以提高检测精度。
• 修改类别数：nc: 1表示只检测‘face’这一类。如果是多状态检测，nc可能是3（‘normal’， ‘eye_closed’， ‘yawn’）。
• 修改检测头：如果采用了关键点检测方案，模型配置文件里会有kpt_shape: [5, 3]这样的定义，表示5个关键点（左眼2个、右眼2个、嘴巴1个？），每个点有(x, y, visibility)3个值。

4.3 工具函数与工具类

utils/目录下的文件是YOLOv5的“瑞士军刀”，包括数据加载、损失计算、指标度量、画图工具等。对于本项目，最重要的可能是utils.plots.py中的Annotator类，它负责在图像上画框和文字。以及utils.general.py中的non_max_suppression、scale_coords等函数。理解这些工具函数有助于你自定义输出样式或优化后处理流程。

5. 从零开始：训练你自己的疲劳检测模型

项目提供的预训练权重可能是在特定数据集上训练的。如果你想让它更适应你的场景（比如不同的车内光线、驾驶员人种、摄像头角度），就需要用自己的数据重新训练或微调。

5.1 数据准备与标注

这是最耗时但最关键的一步。你需要收集大量包含驾驶员的面部图像，并标注出人脸框以及疲劳状态。

1. 数据收集：可以用车载摄像头录制视频，然后按帧抽取图像。注意场景多样性（白天/夜晚、晴天/阴天、不同驾驶员）。
2. 数据标注：
   • 如果采用直接状态分类法：你需要将每张人脸裁剪出来，并分类到不同的文件夹，如train/normal/,train/eye_closed/,train/yawning/。这适合用YOLOv5的分类模式训练。
   • 如果采用检测+关键点法：你需要标注人脸框和关键点。推荐使用标注工具如LabelImg（框）和Labelme（关键点），或者更专业的CVAT、Roboflow。标注格式需要转换为YOLOv5支持的格式。对于关键点，YOLOv5要求一个txt文件对应一张图片，每行格式为：<class_id> <x_center> <y_center> <width> <height> <px1> <py1> <p1_visibility> ... <pxN> <pyN> <pN_visibility>。其中坐标和宽高都是归一化到[0,1]的值。

5.2 配置文件修改

1. 数据集配置文件：在data/目录下创建你自己的my_fatigue_data.yaml。

   # my_fatigue_data.yaml path: ../datasets/fatigue # 数据集根目录 train: images/train # 训练集图片路径，相对于path val: images/val # 验证集图片路径 test: images/test # 测试集图片路径（可选） # 类别名称和数量 nc: 1 # 如果只检测人脸就是1，如果是多状态检测就是状态数 names: [‘face’] # 或 [‘normal‘， ’eye_closed‘， ’yawning‘] # 如果有关键点 kpt_shape: [5, 3] # 5个关键点，每个点(x, y, visibility)

2. 模型配置文件：复制一份models/yolov5s.yaml为models/yolov5s_my_fatigue.yaml，根据你的需求修改nc（类别数）和anchors（可选）。

5.3 启动训练

使用YOLOv5提供的train.py脚本进行训练。关键参数如下：

python train.py \ --img 640 \ # 训练图像尺寸 --batch 16 \ # 批次大小，根据GPU内存调整 --epochs 100 \ # 训练轮数 --data data/my_fatigue_data.yaml \ # 你的数据集配置文件 --cfg models/yolov5s_my_fatigue.yaml \ # 你的模型配置文件 --weights yolov5s.pt \ # 从预训练权重开始（迁移学习） --name fatigue_s_model \ # 本次训练的实验名称 --cache \ # 缓存图像到内存以加速（如果内存够大） --device 0 # 使用GPU 0，如果是CPU则用 ‘cpu’

训练过程会在runs/train/fatigue_s_model/目录下生成大量有用的结果：损失曲线、精度召回曲线、混淆矩阵、验证集上的检测样例图等。你需要密切关注这些指标来判断模型是否收敛以及是否存在过拟合。

5.4 模型验证与导出

训练完成后，使用val.py在测试集上评估模型性能：

python val.py \ --weights runs/train/fatigue_s_model/weights/best.pt \ --data data/my_fatigue_data.yaml \ --img 640 \ --task test

如果打算部署到移动端或边缘设备（如树莓派、NVIDIA Jetson、RV1106/RK3568等），可能需要将PyTorch模型（.pt）导出为更高效的格式。YOLOv5提供了export.py脚本：

python export.py \ --weights runs/train/fatigue_s_model/weights/best.pt \ --img 640 --batch 1 \ --include onnx \ # 导出为ONNX格式 --dynamic # 支持动态输入尺寸（可选）

导出的ONNX模型可以被OpenCV DNN、TensorRT、ONNX Runtime等推理引擎加载，实现跨平台高性能部署。

6. 实际部署与性能优化实战

6.1 在工控机/服务器上的部署

这是最简单的部署方式。你只需要在目标机器上复制项目代码、安装好环境（可以用pip install -r requirements.txt），然后运行detect_fatigue.py即可。可以通过命令行参数指定输入源和输出。

# 使用摄像头0进行实时检测 python detect_fatigue.py --weights models/yolov5s_face.pt --source 0 # 处理一个视频文件 python detect_fatigue.py --weights models/yolov5s_face.pt --source test_video.mp4 --output output_video.avi # 处理一个图片文件夹 python detect_fatigue.py --weights models/yolov5s_face.pt --source path/to/images/ --save-txt

为了提高实时性，你可以尝试以下优化：

• 使用GPU：确保--device参数设置为GPU。
• 降低推理尺寸：在detect_fatigue.py中，将推理的图像尺寸从640降低到320或416（需要对应调整模型训练时的--img参数），可以显著提升FPS，但可能会轻微降低精度。
• 使用半精度（FP16）推理：PyTorch支持自动混合精度（AMP），在推理时使用半精度浮点数可以加速并减少显存占用。在代码中启用torch.cuda.amp.autocast()。

6.2 在边缘设备（如RK3568）上的部署思考

在资源受限的边缘设备上直接运行完整的PyTorch模型通常效率不高。这就需要我们走完“训练 -> 导出 -> 转换 -> 部署”的全流程。

1. 模型转换：将训练好的PyTorch模型（.pt）先导出为ONNX，再利用芯片厂商提供的工具链（如瑞芯微的RKNN Toolkit、华为的MindStudio、英伟达的TensorRT）转换为专用的高效格式（如.rknn、.om、.engine）。
2. 编写推理代码：使用芯片厂商提供的推理API（RKNN API、TensorRT C++/Python API）来加载转换后的模型，并重写数据预处理和后处理逻辑，使其与原来的Python代码功能一致。
3. 性能瓶颈分析：在边缘设备上，除了模型推理，图像解码、前后处理也可能成为瓶颈。可以考虑使用硬件加速的图像处理库（如OpenCV的GPU加速模块，或芯片的专用NPU/ISP）。

实操心得：边缘部署是一个系统工程，涉及软硬件协同。建议先从PC端验证算法流程和精度，然后再针对目标硬件进行优化。RK3568这类芯片的NPU对于INT8量化的YOLOv5模型支持很好，能实现很高的帧率，但量化过程可能会带来精度损失，需要在精度和速度之间做权衡。

7. 常见问题排查与调试技巧实录

在实际运行和开发过程中，你肯定会遇到各种各样的问题。这里记录一些我踩过的坑和解决方法。

调试技巧：

• 可视化中间结果：在detect_fatigue.py的关键步骤（如人脸检测后、关键点定位后、EAR计算后）将图像保存下来，直观地看问题出在哪一环。
• 使用调试器：在IDE（如VSCode、PyCharm）中设置断点，逐步跟踪变量状态。
• 简化问题：如果整个流程复杂，先剥离疲劳判断逻辑，只测试人脸检测是否正常；再单独测试关键点检测或状态分类模型。分而治之。

8. 项目扩展与改进方向

这个开源项目是一个强大的基础，但离一个鲁棒的商用系统还有距离。你可以基于此进行多方面的扩展：

1. 多模态融合：除了视觉信息，可以接入方向盘握力传感器、车道偏离预警系统（LDWS）的数据，进行多传感器信息融合，提高判断的准确性。
2. 更精细的状态识别：不仅识别闭眼和打哈欠，还可以尝试识别点头（瞌睡）、长时间不眨眼、视线偏离道路等更细微的疲劳特征。
3. 个性化适配：不同的人眼睛大小、眨眼频率、打哈欠习惯不同。可以设计一个短时间的校准模式，为特定驾驶员计算个性化的EAR/MAR基线阈值。
4. 云边协同：在设备端进行实时检测和轻量级预警，同时将报警事件、脱敏后的图像片段上传至云端，用于后续的模型优化、数据分析和大屏监控。
5. 模型轻量化与量化：为了在更低功耗的设备上运行，可以探索知识蒸馏、剪枝、量化（INT8）等技术，在尽量保持精度的前提下大幅压缩模型体积和加速推理。

这个基于YOLOv5的疲劳驾驶检测项目包，就像一份精心准备的“食材”。它给了你一套完整的工具和一份基础食谱。而最终能否做出一道“好菜”——一个稳定、准确、高效的落地系统——则取决于你对“烹饪”过程（代码、模型、数据、部署）的理解和掌控。希望这份超详细的拆解，能帮你省去大量摸索的时间，直接进入深度开发和优化的阶段。在实际动手的过程中，多思考、多实验、多总结，那些踩过的坑，最终都会变成你最宝贵的经验。

本文还有配套的精品资源，点击获取