摘" 要：随着计算机计算能力的提升，人工智能技术在传统领域的应用推动了智能化的发展。传统车牌识别算法在简单场景下表现良好，但面对图像畸变、模糊等复杂场景时，其鲁棒性则显著降低。该研究结合YOLOv5深度学习模型和Tesseract-OCR库，开发了一种适应复杂场景的高效车牌识别系统。系统分为车牌检测和字符识别两部分，显著提升了在不利条件下的识别性能和系统鲁棒性。实验结果表明，系统在多种复杂场景下的车牌检测和字符识别平均精确率分别为98.56%和96.56%，证明了该方法的有效性和优越性能。
关键词：深度学习；YOLOv5；Tesseract-OCR；车牌识别；鲁棒性
中图分类号：TP391.4" 文献标识码：A" 文章编号：2096-4706（2024）23-0053-05
License Plate Detection and Recognition Based on Deep Learning
LIU Lingyuan
（School of International Education， Neusoft Institute Guangdong， Foshan" 528225， China）
Abstract： With the improvement of computer computing power， the application of Artificial Intelligence technology in traditional fields promotes the development of intelligence. While traditional license plate recognition algorithms perform well in simple scenarios， their robustness significantly decreases in complex situations characterized by image distortion and blurriness. This research develops an efficient license plate recognition system suitable for complex scenarios by integrating the YOLOv5 Deep Learning model and the Tesseract-OCR library. The system is divided into two parts of license plate detection and character recognition， substantially improving recognition performance and system robustness under adverse conditions. Experimental results demonstrate that the system achieves average precision rates of 98.56% for license plate detection and 96.56% for character recognition across various complex scenarios， proving the effectiveness and superior performance of the approach.
Keywords： Deep Learning; YOLOv5; Tesseract-OCR; license plate recognition; robustness
0" 引" 言
随着社会快速的发展和人们生活水平的提高，机动车辆数量的快速增长不仅带来了便利，也引发了诸如交通事故和道路拥堵等严重交通问题。为应对这些挑战，国家交通管理部门制定了统一的车牌标准[1]，车牌识别技术随即成为智能交通系统（Intelligent Traffic System， ITS）不可或缺的一部分。近年来，随着计算机计算能力的快速提升，智能交通系统的发展趋势迅速向智能化转变。例如，Smith等人指出，人工智能和大数据技术在交通管理中的应用显著提高了交通系统的效率和安全性[2]。面对传统车牌识别技术在处理复杂场景时的局限性，本研究利用最新的深度学习技术，结合YOLOv5深度学习模型和Tesseract-OCR库，开发了一个高效的车牌识别系统。与传统方法相比，该系统在光线不足、图像模糊、倾斜等恶劣条件下展现了更高的鲁棒性和准确性。实验结果表明，该系统在多种复杂场景下都能达到高召回率和准确率，展现了在智能交通管理应用中的巨大潜力。
1" 研究方向
1.1" 车牌检测技术与字符识别技术的发展
车牌检测技术历经重大变革，从20世纪90年代依赖边缘检测和字符定位的传统图像处理方法，转向采用深度学习技术。早期，Kanayama等人[3]通过Sobel算子的边缘检测显著改善了车牌区域的识别，而特定的字符定位算法，如文献[4]中探讨的，优化了车牌位置的准确识别，尽管这些方法对标准环境有效，但在复杂背景或车牌磨损情况下效果受限。计算机技术和深度学习的进步促使车牌检测朝基于卷积神经网络（CNN）的模型转变。尤其是，YOLO模型的引入，标志性地提高了检测精度并增强了对复杂情况的处理能力[5]，代表了车牌识别技术在适应环境变化方面取得的革命性进展，显著提高了系统的实用性和可靠性。
字符识别在车牌识别过程中占据着核心地位。面对断裂或连续字符，传统基于字符分割的方法遇到显著挑战。深度学习的引入，不仅开启了新的可能性，如Laraca等人[6]通过CNN网络改进字符分割，提升了识别准确性，也推动了相关车牌数据集的构建。Zherzdev等人[7]提出的LPRNet，一种基于卷积神经网络的端到端车牌识别算法，无须字符预切割即可实现高达95%的实时识别准确率，标志着识别技术的一大突破。国内研究，如白明雷[8]利用基于YOLOv3和DB算法的CRNN算法对渔船编号板文本进行识别，达到99.47%的高准确率，进一步证明了深度学习在提升字符识别精确度及系统鲁棒性方面的潜力。这些技术进展不仅展示了深度学习在字符识别中的巨大潜力，也预示着未来研究将探索更先进的模型和算法，旨在全面提升车牌识别系统的性能。
1.2" 主要研究内容
本文主要研究基于深度学习的车牌识别系统，重点在于通过优化算法和技术手段提高车牌定位和字符识别的准确性及效率。主要研究内容包括：
1）车牌定位与算法优化：探索适用于复杂背景和磨损车牌的定位算法，重点优化算法以减少车牌定位时间，同时保证高准确率。
2）字符分割与识别：研究高效的字符分割技术，从车牌图像中确提取单个字符。应用深度学习模型和分类算法提高字符识别准确性和鲁棒性。
3）错误影响因素分析：分析影响车牌定位和识别准确性的主要因素，包括环境因素、实际场景中的问题以及车辆本身的固有因素。针对这些因素，研究相应的解决方案和优化策略。
为实现上述研究目标，车牌识别系统分为三个主要组成部分：图像采集系统、图像处理系统和数据库管理系统。图像采集系统负责获取车牌图像，图像处理系统执行车牌定位、字符分割和字符识别等关键步骤，最后识别出的车牌信息传递给数据库管理系统进行存储和管理。
2" 车牌检测
2.1" 基于YOLOv5的目标检测算法的优势
在车牌识别应用中，目标检测技术的选择至关重要。传统算法依赖于手动设计的特征，如边缘检测和颜色分析，但在复杂环境中的准确性受限。而深度学习模型，尽管在多任务上表现优异，但通常被视为“黑盒”，缺乏解释性且对计算资源和数据的需求高。使用YOLOv5进行车牌检测具有显著优势。有研究表明，基于轻量化YOLOv5的快速头盔和车牌检测方法具有较高的准确性，Wei等人[9]研究发现，轻量级的YOLOv5模型在保持高检测准确率的同时，显著减少了模型的计算负载和内存需求，使其适合部署在资源有限的设备上，并提高了检测速度。
2.2" 网络设计
YOLOv5车牌检测网络采用了卷积神经网络（CNN）的结构，通过卷积层、池化层和全连接层的组合来提取图像特征并进行分类或回归任务。具体设计如下：
1）输入层。Mosaic数据增强技术：用于改善模型对小尺寸目标的识别能力，这对于车牌检测尤为重要；自适应锚框计算：在训练期间帮助改善预测准确性，特别是车牌的准确定位。
2）主干网络。Focus结构：优化输入图像的特征提取过程，通过将图像切片重组，提高特征提取的效率；CSP结构：增强网络的特征提取和学习能力，通过跨阶段部分连接减少计算量，提高网络性能和效率。
3）颈部结构。FPN和PAN结构结合：构建多尺度特征提取网络，提升对不同尺度目标的识别性能。
4）预测层。CIoU_LOSS：优化预测框与实际目标框的对应关系，通过考虑边界框的重叠率、中心点距离和边界长度，使定位更加精确；非极大值抑制方法：精简预测结果，确保检测精度。
2.3" 网络训练
网络训练过程涉及前向传播和反向传播两个阶段，具体内容如下：
1）前向传播：前向传播是指输入数据通过网络层进行前向计算，得到预测结果。假设输入数据为X，网络参数为θ，输出预测结果为：
其中，f为网络的前向计算过程。
在YOLOv5中，前向传播通过一系列卷积层、池化层和全连接层对输入图像进行特征提取和目标检测，最终输出预测的边界框和类别概率。
2）反向传播：反向传播通过计算损失函数和梯度下降来调整网络参数。损失函数L（θ）为预测结果和真实标签之间的差异：
通过梯度下降更新参数：
其中，η为学习率。控制每次参数更新的步长。通过多次迭代，参数逐渐收敛到使损失函数最小的值。
YOLOv5模型的训练使用了CCPD2019数据集，该数据集包含约340 000张720×1 160尺寸的图片，共有8种类型。数据预处 理包括将标注转换为模型兼容格式，并将数据集以80%为训练和20%为验证的比例分配。训练采用迁移学习和递减学习率策略，利用NVIDIA GeForce RTX 3080 GPU和32 GB RAM完成了300个训练周期，具体参数设置如表1所示。
经过训练，模型展现了99%以上的精确度和接近100%的召回率，证明了其在复杂车牌识别任务上的高效性能。训练过程的关键性能指标，包括精确度、召回率和mAP，均显示出稳定提升，如图1所示。
本章深入分析了YOLOv5在车牌检测方面的优势，特别是快速、准确的检测能力在处理高动态范围和不同光照条件下的图像时的表现。这些特点对实时车牌识别系统的构建至关重要。然而，值得注意的是车牌识别的另一关键环节——字符识别，也同样需要强大的技术支持以确保系统的整体效率。未来的研究可能会进一步探索如何优化这一过程，以提高车牌识别系统的性能和可靠性。
3" 车牌字符识别
YOLOv5对车牌进行精确检测之后，车牌上字符的准确识别是接下来的关键步骤。本章介绍了利用Tesseract-OCR进行字符识别的流程，它能有效处理各种光照和角度下的车牌图像。
3.1" Tesseract-OCR的优势
Tesseract-OCR作为开源OCR引擎，在文本识别领域内的应用得益于其对多语言的支持和持续的社区开发。特别是，Tesseract通过集成长短期记忆网络（LSTM）来提高其文本识别能力，这一点在其最新版本中得到了体现。尽管Tesseract在处理含有多种字体、尺寸和布局的复杂文档时可能面临挑战，它的开源和免费特性使其成为一个经济高效的解决方案。相较于基于CNN的OCR技术，Tesseract在资源有限的环境中展现出其独特的优势。与此同时，基于CNN的OCR技术，如通过深度学习模型实现的OCR解决方案，被证明在处理复杂文档或低质量图像方面具有更高的准确率。这类技术能够识别不同字体、大小和布局中的文本，显示出比基于规则的OCR解决方案更强的适应性和准确性[10]。
3.2" 图像预处理与字符识别
图像预处理是字符识别的关键一步。首先，车牌图像被转换为灰度图（如图2所示），以简化图像信息。接着，采用Canny边缘检测算法（如图3所示）强调图像中的边缘，减少噪声干扰。最后，通过霍夫变换（如图4所示）纠正图像倾斜，确保字符识别的准确性。经过预处理的图像输入Tesseract-OCR后，即使在复杂情况下也能准确识别出车牌上的字符（如图5所示）。这显示了Tesseract-OCR在车牌字符识别应用中的有效性。
Tesseract-OCR的集成提升了车牌识别系统的准确率和适应性。结合YOLOv5的车牌定位优势，本研究提供了一个高效且准确的车牌识别解决方案。未来的研究将聚焦于提高识别效率和减少误识率，以期构建一个更加精准和稳定的车牌识别系统。
4" 实验及结果分析
4.1" 实验与评估指标
本研究的测试集由5 000张不同场景的车牌图像组成，分为五组：标准、远距离、低光照、倾斜、雨雪雾，每组1 000张，如图6至图10所示。每个场景的图像都是为了测试车牌检测模型在不同条件下的鲁棒性和准确性。为了全面评估模型的性能，我们采用了交并比（IoU）来评估矩形检测框的准确性，并将车牌检测视作一个二分类问题，其中模型的效果通过召回率、精确度、准确率等指标综合评估。
4.2" 性能评估结果
表2汇总了车牌检测和字符识别在不同测试场景下的性能表现。
在标准测试场景下，车牌检测的召回率和准确率均超过99%，而字符识别也表现出了相似的高效率。在远距离和低光照这些更具挑战性的场景中，虽然性能略有下降，但系统仍然展现了较高的准确性和稳定性，证明了其方法的鲁棒性。
5" 结" 论
本研究成功开发了一种基于YOLOv5和Tesseract-OCR的高效车牌定位与识别系统。通过在5 000张不同场景下的车牌图像上进行综合测试，该系统证明了其在高准确率和鲁棒性方面的能力，特别是在标准、倾斜和恶劣天气场景下的出色表现。尽管在低光照和远距离条件下面临挑战，系统的整体性能表明了它在实际应用场景中的巨大潜力。为了进一步提升系统的性能和实用性，未来的研究将集中在数据集扩展这方面，主要通引入更多样化的车牌图像，增强模型的泛化能力和对复杂环境的适应性。
参考文献：
[1] BRUGGE M H T，NIJHUIS J A G，SPAANENBURG L，et al. License Plate Recognition [J].Knowledge-based intelligent techniques in character recognition，1999：261-296.
[2] 刘雨飞.面向智能交通区块链应用的分片关键技术研究 [D].北京：北京交通大学.
[3] KANAYAMA K，FUJIKAWA Y，FUJIMOTO K，et al. Development of Vehicle-License Number Recognition System Using Real-Time Image Processing and its Application to Travel-Time Measurement [C]//Proceedings of the 41st IEEE Vehicular Technology Conference.St.Louis：IEEE，1991：798-804.
[4] 李丽亚.人工智能中图像识别技术的发现与应用研究 [J].长江信息通信，2022，35（1）：134-136.
[5] SMONTAZZOLLI S，JUNG C. Real-Time Brazilian License Plate Detection and Recognition Using Deep Convolutional Neural Networks [C]//2017 30th SIBGRAPI Conference on Graphics，Patterns and Images （SIBGRAPI）.Niteroi：IEEE，2017：55-62.
[6] LAROCA R，SEVERO E，ZANLORENSI L A，et al. A Robust Real-Time Automatic License Plate Recognition Based on the YOLO Detector [C]//2018 International Joint Conference on Neural Networks （IJCNN）.Rio de Janeiro：IEEE，2018：1-10.
[7] ZHERZDEV S，GRUZDEV A. LPRNet： License Plate Recognition via Deep Convolutional Neural Network [J/OL].arXiv：1806.10447 [cs.CV].[2024-05-08].https：//export.arxiv.org/abs/1806.10447.
[8] 白明雷.基于神经网络的车牌号识别方法研究 [D].青岛：中国石油大学（华东），2016.
[9] WEI C Y，ZHAO T，QING Q X. Fast Helmet and License Plate Detection Based on Lightweight YOLOv5 [J].Sensors，2023，23（9）：4335.
[10]李涛.基于深度学习的复杂场景下车载图像目标检测方法研究 [D].重庆：重庆大学，2018.
作者简介：刘凌远（1995—），男，汉族，云南昆明人，硕士研究生，研究方向：软件开发、机器学习。
