深度学习车牌识别系统实战：从YOLO检测到LPRNet字符识别

简介：基于深度学习的车牌识别Python项目，专为课程设计与项目实战打造，面向希望掌握计算机视觉与深度学习完整流程的开发者。系统覆盖车牌定位、字符分割、字符识别全流程，结合OpenCV高斯模糊与Sobel算子增强特征，借助TensorFlow/PyTorch训练CNN模型，可处理不同环境下车牌图片，支持视频流实时识别，适用于道路监控、停车场出入口等场景。压缩包约27.74MB，源页未提供文件清单，具体数量与类型暂无法列出，内容应以Python源码、训练好的模型文件和项目文档为主。资源提供图片/视频上传的交互界面，预留模型训练与调优接口，便于二次开发和系统集成。已有134人浏览学习，适合作为课程设计参考，读者可获得完整的识别方案、工程化代码组织思路及算法落地经验。

1. 为什么深度学习车牌识别是入门的最优实战场景

很多初学者第一次对深度学习有“实感”，不是在 MNIST 上刷出一个 98% 的准确率，而是在一台普通笔记本上跑通车牌识别：摄像头对准停车场入口，屏幕上实时框出车牌号码。拿到“Python项目基于深度学习的车牌识别系统.zip”，要解决的不是什么高深难题，而是两个串联的深度学习模型——先用目标检测把车牌区域找出来，再用字符识别网络把号码读出来。这个任务比人脸识别轻量，比图像分类多一层结构，恰好能覆盖 Python 环境配置、深度学习框架安装、CNN、目标检测方法、模型再训练和参数调优的完整链路。无论是课程作业、毕业设计还是公司内部小工具，这套系统的架构基本都遵循同一套思路。

2. 拆解车牌识别系统的模型选型与代码结构

2.1 车牌识别的两段式方案与模型选择

在绝大多数开源车牌识别系统里，最稳妥的做法是把系统拆成两个独立模型，而不是用一个端到端网络一把梭。

第一段是目标检测模型，从整车图片中框出车牌区域。常见选择是 YOLO 系列、SSD 或 Faster R-CNN，其中 YOLO 系列在工程里最普及，原因是车牌属于高对比度、纹理规则的小目标，单阶段检测器用很浅的骨干网络就能拿到不错的召回率，推理速度也足够喂给实时视频流。第二段是识别模型，只处理框出来的那一小块，输出车牌字符串。方案有两种：一种是把车牌区域切成单个字符，用轻量 CNN 分类器挨个识别；另一种是用 LPRNet、CRNN 这类基于 CNN+RNN+CTC 的序列识别模型，直接对整块车牌做不定长字符识别。

拆成两个模型而不是学一个端到端网络，工程上有三个实际好处。第一，两个环节可以分别调参、分别换网络，检测端从 YOLOv5s 换成 YOLOv8n，识别端从 CNN 换成 LPRNet，互不牵动。第二，两个模型的数据集可以独立扩充，检测模型只需要车牌框标注，识别模型只需要字符标注，数据准备难度低很多。第三，排查问题时能明确知道是“没框住”还是“框住但读错了”，而不是面对一个黑盒。如果只是想把流程跑通，我一般建议检测端用 YOLOv5s 或 YOLOv8n 起手，识别端先用一个简单的 CNN 分类器，等整条链路确认没问题，再把识别端换成序列模型。

2.2 拿到源码包后如何快速定位核心目录结构

网上流传的车牌识别压缩包，目录结构通常大同小异。下面是一个比较标准的布局，我建议拿到新代码后先按这个框架去对照，而不是一上来就盲目安装依赖。

carplate_recognize/ ├── data/ # 数据集目录，包含 images 和 labels ├── configs/ │ ├── detect.yaml # 检测模型训练参数 │ └── recog.yaml # 识别模型训练参数 ├── models/ │ ├── detect/ # YOLO 网络定义 │ └── recognize/ # LPRNet 或 CNN 定义 ├── weights/ │ ├── detect_best.pt │ └── recognition_best.pth ├── utils/ │ ├── dataset.py # 数据加载与增强 │ ├── transforms.py # 图像预处理 │ └── train.py # 训练入口 ├── infer.py # 单图推理入口 ├── demo.py # 摄像头实时演示 └── requirements.txt

先打开infer.py看它加载了哪些权重，调用了哪些关键函数，就能把整个系统的数据流摸清楚。下面这张表对应的是我通常最先定位的四个文件：

如果你拿到的压缩包没有这样分层，所有逻辑写在两三个大文件里，那通常是作者为了快速演示而做的简化。你只需要找出三个关键点：数据从哪进、模型在哪定义、推理主循环怎么写的，把这三者之间的调用关系画出来，代码走向就清楚了。部分项目还会在utils/里放一个decode.py，负责把识别模型的输出张量解码成字符串，这一步常常是字符准确率的瓶颈，值得单独看。

2.3 依赖版本与深度学习环境配置的常见坑

打开requirements.txt，常见的内容大概长这样：

torch>=1.10.0 torchvision>=0.11.0 numpy>=1.21.0 opencv-python>=4.5.0 ultralytics

这类依赖清单看起来简单，实际运行时的麻烦往往出在版本跨度过大。在 VSCode 中配置 Python 环境时，先把 Python 版本锁在 3.8 或 3.9，再按清单安装依赖，比直接装最新版本更稳。很多老项目的模型代码是基于 PyTorch 1.x 写的，如果你直接装 PyTorch 2.x，某些 API 的默认行为变了，训练代码会报AttributeError或直接提示找不到模块。遇到这种情况，第一反应不应该是去网上搜索“为什么报错”，而是对比项目说明里锁定的框架版本。

另一个容易被忽略的是 OpenCV 的版本问题。某些较老的车牌识别项目依赖cv2.text模块，这个模块在较新的 OpenCV 中可能需要单独编译。把 OpenCV 固定到 4.5.4 左右，或者改用标准库实现，能省去大量时间。把“Python 解释器版本 → PyTorch 版本 → OpenCV 版本”这个三角关系先定下来，后面所有训练和推理的故障排查都会轻松很多。

3. 用 Python 跑通车牌识别最小推理命令与环境配置

3.1 最小推理命令与参数说明

假设压缩包里的推理脚本提供了命令行入口，最常见的调用方式是：

python infer.py --source data/samples/京A12345.jpg \ --detect_weights weights/detect_best.pt \ --recog_weights weights/recognition_best.pth \ --output results/

这段命令的含义是：把--source指向一张待检测图片，--detect_weights指定检测模型权重，--recog_weights指定识别模型权重，最后把结果写到results/目录。--source除了支持单张图片路径，很多实现还支持文件夹路径或视频文件路径，方便一次性验证多张样本。--detect_weights与--recog_weights必须和代码里的网络结构匹配，比如检测端用的是 YOLOv5s 权重，就不能配在 YOLOv5m 的模型定义上，否则加载时会直接报 “size mismatch”。

如果你拿到的压缩包没有命令行参数，只提供了函数接口，那就用最直接的 Python 脚本调：

import cv2 from models.infer import load_models, recognize_license_plate detect_model, recog_model = load_models( detect_weights="weights/detect_best.pt", recog_weights="weights/recognition_best.pth" ) img = cv2.imread("data/samples/car.jpg") plate_text, plate_bbox = recognize_license_plate(img, detect_model, recog_model) print(plate_text, plate_bbox)

这段代码把整个识别过程封装成了一个普通函数调用：输入是 BGR 格式的图像，输出是车牌字符串和检测框坐标。你完全可以把它嫁接到自己的业务代码里，比如对接流水线相机或者批量处理历史图片。

提示：拿到新项目先跑单张图片，不要直接上摄像头。单图跑通说明模型加载、前处理、后处理链路是通的，再进入实时环节，问题定位会简单很多。

3.2 推理脚本里的核心参数调整方法

推理阶段最常见的参数是置信度阈值、NMS 阈值、最大检测数量和输入尺寸。这些参数直接决定误检率和漏检率的平衡，调整时不看代码逻辑只看效果，往往会把自己绕晕。

实际调试时有一个很常见的现象：视频里车牌框一直在闪烁，检测结果在相邻帧之间跳来跳去。这通常不是模型坏了，而是某一帧的置信度刚好卡在阈值边界。处理办法有两个，一是把conf_thres从 0.25 提高到 0.35 左右，二是对连续帧的识别结果做投票，取 5 帧中出现次数最多的字符串作为最终输出。如果车牌框总是把车灯或车标圈进来，说明置信度阈值偏低，或者训练数据里缺少负样本，这个属于数据问题，光调参数解决不了。

3.3 用 OpenCV 实现摄像头实时车牌识别

单图跑通之后，加上一个摄像头循环就是完整的实时演示。OpenCV 在这方面做得比较完善，代码如下：

import cv2 cap = cv2.VideoCapture(0) while True: ret, frame = cap.read() if not ret: break plate_text, bbox = recognize_license_plate(frame, detect_model, recog_model) if bbox is not None: x1, y1, x2, y2 = bbox cv2.rectangle(frame, (x1, y1), (x2, y2), (0, 255, 0), 2) cv2.putText(frame, plate_text, (x1, y1 - 10), cv2.FONT_HERSHEY_SIMPLEX, 0.9, (0, 255, 0), 2) cv2.imshow("plate recognition", frame) if cv2.waitKey(1) & 0xFF == ord("q"): break cap.release() cv2.destroyAllWindows()

这段代码的逻辑是：循环读取摄像头信号，对每一帧执行目标检测和字符识别；如果检测到车牌框，就画出绿色矩形并把车牌号写在框上方；按 Q 键退出循环。VideoCapture(0)里的 0 代表默认摄像头设备，如果笔记本同时外接了 USB 摄像头，可能需要改成 1 或 2。waitKey(1)表示每帧最多等待 1 毫秒键盘输入，这个值不影响识别速度，只影响退出操作的响应灵敏度。

需要说明的是，在纯 CPU 环境下，YOLO 检测加 LPRNet 识别通常只有 3 到 8 帧每秒，看起来会有明显卡顿。这时不要去优化代码循环，先去检查img_size是不是 640，如果换成 416，速度会有明显提升。想要更高帧率，要么换更小的检测模型，要么走模型导出加速，这部分在第 5 章展开。

4. 深度学习模型再训练：数据集、标签格式与训练参数调整

4.1 数据集组织与标签格式转换

不满足于已有权重，想用自己的数据训练模型，这是从“会跑 demo”到“会调模型”的关键一步。最容易踩坑的首先是标签格式混用。

以车牌检测为例，常用的公开数据集 CCPD 将标注信息直接编码在文件名中，四角坐标和车牌宽度、倾斜角度都在文件名里。但 YOLO 训练需要的是每个目标一行、包含类别和归一化坐标的 txt 文件，不转换直接训练会报数据加载错误。下面是通用的四边形标注转 YOLO 格式的代码：

import cv2 import numpy as np def quad_to_yolo(pts, img_width, img_height): pts = np.asarray(pts, dtype=np.float32).reshape(-1, 2) x_min = float(pts[:, 0].min()) x_max = float(pts[:, 0].max()) y_min = float(pts[:, 1].min()) y_max = float(pts[:, 1].max()) cx = (x_min + x_max) / 2.0 / img_width cy = (y_min + y_max) / 2.0 / img_height bw = (x_max - x_min) / img_width bh = (y_max - y_min) / img_height return cx, cy, bw, bh

逻辑说明：输入是四个角点坐标和图像宽高，输出是 YOLO 需要的归一化中心点与宽高。这里直接用外接矩形代替旋转框，好处是简单，坏处是矩形区域里包含车底或前脸的背景，在 NMS 阶段可能产生边界扰动。

针对这个问题，训练时建议加入随机旋转增强，让模型见过倾斜车牌之后再回归正视角特征。对字符识别模型来说，同样有两种标签组织方式：一种是每个字符一个类别编号，适合单字符分类；另一种是不定长序列，配合 CTC 损失直接输出整串车牌。如果你的项目数据量大、字符排列有变化，后一种更省事，不用切分字符。

4.2 训练参数设置与常见调整方法

下面是一组训练车牌检测模型时可以上手的参数，不同项目差异不会太大：

epoch 的意义在训练初期特别容易误解。它不只是“训练轮数”，更重要的是给你一条观察收敛速度的刻度线。车牌检测任务通常不是数据量不够，而是背景干扰多，所以前 30 个 epoch 损失曲线下降较快，后 50 个 epoch 可能只是微小波动。如果验证损失在 40 个 epoch 之后开始反弹，而训练损失还在下降，那就是典型的过拟合，此时增加 epochs 没有任何帮助，优先做两件事：加大数据增强的强度，或者把 dropout 打开。

字符识别训练还有一个车牌场景特有的问题：类别不平衡。中国车牌的首字是省份简称，不同省份在数据集中出现的比例差异很大，有些字符出现几百次，有些只有几十次。直接按自然分布训练，出现频率低的字符识别准确率会明显偏低。常见的做法是先把通用数据全部放进去预训练，然后用目标地区的数据做少量微调，让模型在保持整体能力的基础上记住特定字符分布。

4.3 训练完成后如何评估识别效果

训练结束之后，不要只看一个综合准确率，那会掩盖很多局部问题。建议按模块拆开看：

逐字符统计准确率可以用一个简单的 Python 函数：

import difflib def char_accuracy(pred_text, gt_text): matcher = difflib.SequenceMatcher(None, pred_text, gt_text) matched_chars = sum(block.size for block in matcher.get_matching_blocks()) return matched_chars / max(len(gt_text), 1)

逻辑说明：SequenceMatcher会找出两个字符串的最长匹配片段，把所有匹配片段长度加起来，就是预测正确的字符总数，除以标准答案长度得到字符准确率。这个方法的问题在于它对插入和删除字符比较敏感，如果预测比标准答案多一位，比如把 7 位蓝牌识别成 8 位，那么第 7 位之后的字符全部算错，准确率会骤降。所以评估时要把“整串完全正确”和“逐字符正确”两个指标都保留，前者反映端到端可用性，后者帮助定位哪个位置的字符经常出错。

5. 车牌识别系统部署提速与边界情况处理

5.1 用 ONNX Runtime 把推理速度拉起来

把模型部署到 CPU 服务器或嵌入式设备时，PyTorch 的动态图推理往往成为性能瓶颈。最常见的做法是把检测和识别模型都导出成 ONNX 格式，再用 ONNX Runtime 推理。PyTorch 导出 ONNX 的核心代码非常短：

import torch from models.detect import YOLODetector net = YOLODetector(num_classes=1) net.load_state_dict(torch.load("weights/detect_best.pt", map_location="cpu")) net.eval() dummy_input = torch.randn(1, 3, 640, 640) torch.onnx.export( net, dummy_input, "detect.onnx", opset_version=11, input_names=["images"], output_names=["output"] )

注意两个细节：opset_version不要高于你安装的 ONNX Runtime 版本所支持的最大值，否则加载时会报不兼容；识别模型导出时同样要固定输入尺寸，因为 LPRNet 这类序列模型的输出和输入宽度直接相关。导出之后，用onnxruntime.InferenceSession替换原来的 PyTorch 推理，速度通常能提升 20% 到 50%，而且部署机上不再需要安装 PyTorch，交付体积小很多。

5.2 不同车牌类型的边界情况处理

实际部署时，比模型本身更考验功力的是边界情况的处理。

新能源车牌是必须处理的第一个问题。传统蓝牌是 7 位字符，新能源车牌是 8 位，识别模型的输出长度上限必须按 8 设置，否则最后一位会被截断。国内的车牌识别系统源码在这一点上经常只做了蓝牌适配，拿到新能源样本会直接出错，遇到这种情况要先检查解码层的最大序列长度。

倾斜车牌是第二个高频问题。停车场入口抓拍经常是大角度俯拍，车牌在画面里是明显的四边形而不是矩形。最简单有效的做法是拿检测框的四角做仿射变换，把倾斜区域矫正到正视角再送进识别模型。这一步的代码量不大，但收益非常明显，推荐在识别前强制增加一个角度校正环节。

夜间场景是第三个容易被忽略的点。可见光摄像头在夜间会开启补光灯，导致车牌表面反光严重，字符边缘出现光晕。如果项目面向夜间场景，训练数据里至少要混入 30% 以上的夜间样本，或者在前处理中对高光区域做局部直方图均衡。部署系统建议把原始帧、检测框坐标、识别结果同时落盘保存，方便在识别错误时回看原因，再把这些样本补充到训练集里。

本文还有配套的精品资源，点击获取