基于MTCNN+LPRNet的轻量级车牌识别系统实践

简介：面向智慧交通与安防监控场景的深度学习车牌识别项目，整合MTCNN车牌检测与LPRNet字符识别两大模型，提供从图像预处理、车牌定位、裁剪到字符识别的完整流程。资源面向有一定深度学习基础、希望快速搭建车牌识别系统的开发者与研究人员，可作为课程设计、毕业设计或工程落地的参考实现。压缩包共870个文件，约543.9MB，核心包含566个ckpt模型权重、12个pth文件、36个Python源码、50个png及133个jpg图像样本，另有xml标注、txt说明和pptx演示文档，便于按模块查找与复现。已有406人浏览学习，适合对照训练日志和权重文件进行模型微调或二次开发。从项目代码到多阶段训练检查点一应俱全，可省去从零收集数据和训练的时间，直观理解LPRNet与MTCNN在车牌识别中的协同工作方式。 前几年做停车管理项目时，车牌识别一直是一个"看起来很成熟、做起来总翻车"的环节。用厂家相机自带的OCR，识别率在标准场景下还过得去，可一旦遇到斜角度、夜间强光、新能源绿牌，就频繁出幺蛾子。后来我们干脆换了思路，用MTCNN做车牌区域检测，配合LPRNet做免分割的端到端字符识别，自己搭了一套完整的车牌识别Pipeline，在停车场出入口、园区卡口几种场景下跑了快一年，稳定性和识别率都吊打之前用过的黑盒方案。这套组合最让人舒服的地方在于：两个模型都是轻量级网络，不需要GPU也能在边缘盒子上流畅跑，而且代码完全可控，哪儿出问题都能自己动手调。这篇就把整个项目的方案选型、数据准备、训练细节、部署落地以及踩过的坑完整记录下来，给准备自己做车牌识别或者正在为识别精度发愁的朋友一个参考。

1. 方案选型：为什么是MTCNN+LPRNet，而不是YOLO全家桶

1.1 车牌识别到底要解决什么问题

一个完整的车牌识别系统，本质上是两件事：先把车牌区域从画面里抠出来，再把车牌的字符序列读出来。前者是目标检测，后者是序列识别。很多项目翻车不是因为模型不够强，而是把这两个任务捆在一起，用一个大模型硬扛，结果小目标检测和字符识别互相干扰，精度上不去还特别吃算力。

在选型时，我仔细对比过YOLOv5/v8系列做检测的方案，以及Tesseract、传统OCR做字符识别的方案。YOLO系列做检测确实很强，尤其在通用目标检测任务上表现惊艳，但车牌作为一个宽高比大约3:1的矩形小目标，在停车场远端摄像头画面里可能只有几十个像素高，YOLO为了兼顾多类别检测，在特征图上对这类特定小目标的优化反而不如专用级联网络。

1.2 MTCNN迁移到车牌检测的可行性分析

MTCNN最初是用于人脸检测的，因为车牌和人脸在目标特性上有相似之处——都是矩形区域、都需要多尺度检测、对边缘结构敏感，所以把它迁移到车牌检测上是完全可行的。MTCNN由P-Net、R-Net、O-Net三级级联组成，每一级都会对候选框进行过滤和修正。

它的核心优势在于级联结构和候选框逐级精修机制。P-Net先在图像金字塔上快速产生大量候选框，R-Net过滤掉大部分误检，O-Net做最后的边界框回归。这个机制天然适配车牌检测场景：车牌在画面中大小不一，图像金字塔保证多尺度覆盖，级联结构保证了在很低计算量下达到较高召回率。

我当时实测过，把MTCNN的输入图像从640x480缩放到320x240，P-Net一个前向在RK3399上只需不到5ms，三级全走完也就20ms左右，而YOLOv5s在同等分辨率下要跑到60ms以上。对于停车场这种需要多路视频并发处理的场景，这个性能差距非常关键。

1.3 选型时还考虑过哪些替代方案

在最终确定MTCNN+LPRNet之前，我还认真评估过几种常见的组合：

这里值得多说一句：LPRNet不是传统意义上的"先切割再识别"的OCR，它通过宽通道上的时序预测直接输出整个字符串，不需要精确找到每个字符的位置。这是它和Tesseract这类OCR的根本区别，也是它能在车牌倾斜、字符粘连情况下保持稳定识别的核心原因。

1.4 LPRNet的识别机制给我的启发

LPRNet的网络结构其实不大，主干网络是一系列卷积层叠加，后面接了一个类似RNN的上下文模块做时序建模，最后通过CTC解码输出字符序列。整个网络对输入图像的尺寸要求很宽容，我训练时用的输入宽度是94像素，高度24像素，这个分辨率在车牌识别任务里已经足够，也意味着推理速度非常快——单张车牌识别在CPU上也就10ms左右。

关键点是LPRNet完全绕过了字符分割这个传统难题，它不需要知道每个字符的边界到底在哪，只需要把整张车牌图片拉成一个序列，让网络自己去学习字符间的时序依赖。所以我只需要提供"车牌图片+完整字符串标签"，不用标注每个字符的矩形框。这一点在准备训练数据的时候，给我省了至少一周的标注时间。

2. 数据准备与预处理：决定识别率上限的关键一步

2.1 训练数据的来源与选择策略

数据是车牌识别项目最容易踩坑的环节，很多项目最后识别率上不去，问题不在模型，而在训练数据的覆盖度太差。我这次训练主要用了三个数据来源：公开数据集CCPD、自采停车场视频截图、合成数据补充。

CCPD是公开的中国城市停车场车牌数据集，包含超过20万张图片，覆盖了倾斜、模糊、夜间、阴天等不同场景，是训练LPRNet非常重要的底座数据。但只用CCPD有一个问题：它主要采集自某个特定城市，部分省份简称的样本很少，而且新能源绿牌的占比不够高。所以我额外采集了项目所在城市的多个停车场出入口视频，按帧抽图，清洗后补充进训练集。

合成数据也是个好办法。我写了一个车牌合成脚本，用常见字体渲染字符，随机添加背景噪声、透视变换、光照变化，生成了大约5万张合成车牌图。虽然合成数据在真实场景下识别率会有一定折损，但它能极大丰富字符组合覆盖，特别是能补足冷门省份简称的数据不足问题。

2.2 字符集定义与标签编码

LPRNet的字符集需要我们预先定义好。中国车牌字符由省份简称汉字、英文字母和数字组成，其中字母I和O通常不用（防止和数字1和0混淆），汉字涉及全国各省份简称，加上新能源车牌的特殊结构，最终字符集大约65到68个类别。

训练时每个字符映射到一个整数索引，标签编码为字符序列。LPRNet的标签不是定长的，普通蓝牌是7个字符，新能源绿牌是8个字符，所以CTC loss天然支持变长序列，不需要做padding对齐。这一点也是选择LPRNet的原因之一，它对车牌长度变化足够宽容。

2.3 数据增强与训练集平衡

数据增强这块我做了蛮多尝试，最终固定了几个收益最明显的增强手段：

• 透视变换：模拟从不同角度拍摄车牌的形变效果，角度范围控制在±15度以内。
• 高斯模糊和运动模糊：模拟车辆行驶中的动态模糊，对识别率的提升非常明显。
• HSV颜色扰动：调整亮度、对比度、饱和度，增强模型对光照变化的鲁棒性。
• 随机裁剪和缩放：模拟车牌在画面中的不同尺寸。
• 灰度化：模拟夜间红外相机拍摄的灰度效果。

我踩过的一个坑是数据平衡问题。刚开始直接拿CCPD训练，前几个epoch的loss下降很漂亮，但到了验证集上一看，发现"皖"字开头的车牌识别率极高，而"京""粤"等车牌容易识别错。原因就是训练集里安徽本地车牌占比太大。后来我把各省份简称的样本数量做了均衡采样，每个省份的样本量控制在相近水平，这个问题才得到解决。

3. LPRNet模型结构与训练核心细节

3.1 网络结构的直观理解

LPRNet的网络结构可以直观地拆成三个部分。第一部分是卷积骨干网络，作用是从车牌图片中提取视觉特征，它由若干层卷积、BatchNorm、ReLU和最大池化堆叠而成，把输入从宽94高24的图片逐步压缩成一系列高维特征图。第二部分是上下文模块，我对原版结构做了一点调整，用双向GRU来处理特征序列，让网络在预测某个字符时能同时看到它左右的上下文信息，这对车牌这种固定排列模式的识别非常有用。第三部分是CTC解码器，它把每一帧的特征映射成字符概率分布，再通过CTC算法找到最可能的字符序列。

3.2 训练过程中的关键参数参考

我训练时用的配置可以作为参考起点，但不建议直接照抄，硬件条件和数据集不同，参数需要微调。

# LPRNet训练核心配置参考 batch_size = 64 learning_rate = 0.01 # SGD + Momentum momentum = 0.9 weight_decay = 5e-4 epochs = 60 # 学习率调整：每20个epoch衰减为原来的0.1倍 scheduler = torch.optim.lr_scheduler.StepLR(optimizer, step_size=20, gamma=0.1) # 输入图像尺寸 img_width = 94 img_height = 24 # 字符集大小（省份简称 + 字母 + 数字 + blank） num_classes = 68

这里有个很重要的细节：LPRNet的输入高度24像素是经过验证的经验值，如果把高度加大到32甚至48，识别率并不会有明显提升，反而会增加计算量。车牌字符是扁平的，高度方向上信息密度不大，24像素足够编码字符特征了。

3.3 损失函数与训练策略

训练LPRNet用的损失函数是CTC Loss，它的作用是让网络在不知道每个字符具体对齐位置的情况下，也能学习如何输出正确的字符序列。你可以把车牌图片想象成一张纸条，网络从左到右扫描，每一小段都会产出一个字符预测，但这些预测和真实字符之间没有严格的边界对应关系。CTC通过动态规划计算出所有可能对齐方式的概率之和，只要存在一种对齐方式能让预测结果和真实标签一致，就认为预测正确。

训练策略上，前30个epoch用原始图片训练，后30个epoch加大数据增强的强度，特别是增加透视变换和模糊的幅度，让模型逐步适应更复杂的真实场景。这样做的效果是模型先学稳定的基础特征，再学习对形变的鲁棒性，最终验证集上的车牌级识别率能达到96%以上。

3.4 MTCNN迁移训练要点

MTCNN的迁移训练相对简单，原则上只需要在车牌数据集上微调即可。需要注意两个地方：一是车牌的长宽比和人脸不同，人脸检测的anchor需要调整；二是MTCNN的P-Net输出的候选框形状是正方形，但车牌是长条形，所以P-Net的候选框回归需要额外训练来预测非正方形的边界框。

我在训练MTCNN时保留了ImageNet预训练权重，分别冻结前几层卷积，只微调后面几层的参数。微调数据集用自采的3万张含车牌的停车场图片，标注格式是常见的坐标框格式，每张图片只标注车牌区域。因为MTCNN本身是多任务学习，我把分类loss和边框回归loss的权重比设置为1:0.5，这样模型在保证检测率的同时，边框更贴合车牌的实际边界。

4. 部署落地与工程化实践

4.1 整体推理流程设计

模型训练好后，工程落地才是真正考验功力的环节，一套完整的车牌识别流程大致是这样的：

# 车牌识别推理流程伪代码 def plate_recognition(frame): # MTCNN三级级联检测车牌区域 boxes = mtcnn_detect(frame) results = [] for box in boxes: # 裁剪车牌区域并透视校正 plate_img = perspective_correct(frame, box) plate_img = resize(plate_img, (94, 24)) plate_img = normalize(plate_img) # LPRNet字符识别 code = lprnet_predict(plate_img) results.append((box, code)) return results

有件事必须强调：透视校正（perspective correction）是不可跳过的环节。如果只是简单地按检测框裁剪，车辆采集角度稍微倾斜一点，LPRNet的识别率就会明显下降。我在部署时根据检测框的四个角点，用OpenCV的getPerspectiveTransform把车牌区域矫正成正面视角，这一步对识别率的提升贡献非常大。

4.2 相机取流与识别策略

停车场项目中相机取流是很现实的问题。市面上海康、大华等主流厂商的相机都支持RTSP取流，我统一用RTSP拉流，然后抽帧送入识别管线。抽帧频率不需要太高，车辆通过道闸的速度不快，一般每200毫秒抽一帧就足够了。更高的抽帧率只会浪费算力，并不会带来识别率的提升。

对连续帧的识别结果，我做了多帧投票机制：如果连续三帧识别结果完全一致，或者两帧结果一致且置信度都超过阈值，就作为最终结果输出。这个策略显著降低了因为单帧模糊导致的误识别率。

4.3 对接道闸与计费系统

识别结果产出后，下一步就是与业务系统联动。在停车场场景中，车牌识别结果需要发给道闸控制系统和计费系统。我实际项目中采用了MQTT协议作为中间消息通道，识别服务作为发布端，道闸控制程序和云端计费系统作为订阅端。这个架构的好处是解耦友好，新增一个业务系统只需要订阅对应主题，不需要修改识别服务。

另外在对接海康、大华相机时，很多相机自带车牌识别功能，可以直接用SDK或HTTP接口拿结果，不一定非要自己识别。但自研模型的价值在于：当相机识别结果置信度低时，可以作为兜底方案进行二次识别，双路识别互相校验，大幅提升整体系统的可靠性。

4.4 性能优化与加速实践

跑在边缘盒子上时，性能是绕不开的问题。我的优化思路依次是：模型轻量化、推理框架选择、并发流水线优化。MTCNN和LPRNet本身就很轻量，在CPU上跑完整流程单帧大约需要60到80毫秒。但为了避免单路识别阻塞其他路视频，我把取流、检测、识别拆成三个线程，用队列做缓冲，这样即使某一帧处理超时，也不会积压整个管道。

如果是多路摄像头并发，建议每个摄像头单独分配一个推理线程，避免线程间互相抢占资源。如果需要进一步加速，可以考虑用NCNN或TensorRT把模型转换为特定硬件优化格式，实测在RK3588上用RKNN转换后，识别速度能提升3倍以上。

5. 常见问题与排查技巧实录

5.1 车牌检测漏检或误检

最常见的漏检原因有两个：一是MTCNN的min_face_size参数设置过大，导致P-Net忽略了画面中较小的车牌区域；二是夜晚反光或雨雾天气导致车牌区域对比度太低。

排查时先降低min_face_size参数到人脸检测时的1/3左右，如果漏检问题缓解但误检增多，再配合置信度阈值过滤。至于夜间识别，物理层面的红外补光和相机夜视模式，往往比调模型参数更有效。

5.2 字符识别错乱

字符识别错乱是用户感知最明显的问题。我遇到的高频错误集中在"0和O""1和I"这类相似字符上。由于车牌字符集本身固定，我在LPRNet解码后加了一层规则校验，根据车牌排列规律修正明显不符合规则的识别结果。比如第一位必须是汉字，第二位必须是字母，最后几位必须是数字或字母等，不符合就触发置信度判断或重新识别。

车牌倾斜也是识别错乱的重要原因，尤其当车辆斜着进入识别区域时。透视校正能解决大部分倾斜问题，但遇到极端角度，需要结合车辆行驶轨迹做多帧融合，取多帧中识别最稳定的结果。

5.3 部署环境与网络问题

项目上还有一个特别容易踩坑的地方是相机IP配置。不少相机的默认IP是192.168.1.100这类固定地址，如果现场有多台相机，不做地址规划就会出现IP冲突，导致RTSP拉流失败。建议在上线前就把所有相机IP统一规划、逐一固定，并把RTSP地址、端口提前测试连通。

RTSP拉流卡顿是另一个高频问题，很多时候不是网络问题，而是相机的主码流分辨率过高。在识别场景中，用子码流做车牌识别就够了，如果发现识别率因为画质太低而不达标，再考虑切主码流或调整压缩参数。

5.4 项目实测效果参考

整理一下我最后部署完成后的实测数据，作为对比参考：

这个数据是在RK3399+CPU推理条件下跑出来的，如果换到带NPU的边缘盒子上，整链路耗时还能再降不少。

5.5 工程调优的一点心得

最后分享一个我反复踩坑后的体会：别把识别率的所有希望都押在模型训练上。相机安装角度、补光方式、触发时机这些工程细节，往往比模型调参对最终识别率的影响更大。相机尽量正对车道入口，高度在1.5到2米之间，俯角不要超过30度，车牌的成像质量合格了，模型才能发挥正常水平。先拿一台相机把全链路跑通，观察在实际环境中的识别效果，再铺开安装其他设备，这种推进方式最稳。

本文还有配套的精品资源，点击获取