吴安辉 何家峰 何启莉
摘 要：针对传统车牌识别方法在复杂环境下识别准确率不高和过程繁杂的问题，提出一种基于U-Net和CNN的车牌检测和识别的深度学习模型，首先通过U-Net模型进行车牌定位，然后采用透视变换方法对倾斜较大或者形变的车牌实现车牌矫正，最后通过改进的CNN模型对车牌区域进行车牌识别，其识别率为97.5%。实验结果表明该算法在复杂环境下能够精准识别。
关键词：U-Net;CNN;车牌定位;车牌矫正;车牌识别
中图分类号：TP391.41 文献标识码：A 文章编号：2096-4706（2021）01-0081-04
Research on Algorithm of License Plate Detection and Recognition in Complex Scenes
WU Anhui，HE Jiafeng，HE Qili
（School of Information Engineering，Guangdong University of Technology，Guangzhou 510006，China）
Abstract：Aiming at the problems of low accuracy rate and complex process of traditional license plate recognition methods in complex environment，a deep learning model of license plate detection and recognition based on U-Net and CNN is proposed. First，the U-NET model is used to locate the license plate，and then the perspective transformation method is used to correct the license plate with large tilt or deformation. Finally，the improved CNN model is used to recognize the license plate area，and the recognition rate reaches at 97.5%. The experimental results show that the algorithm proposed in this paper can accurately recognize license plates in complex environments.
Keywords：U-Net;CNN;license plate location;license plate correction;license plate recognition
0 引 言
随着经济水平的提高，人们对汽车的需求量日益增长。汽车在满足人们日常需求的同时也带来诸多严重的交通问题。车牌检测与识别从停车管理到交通管制都有广泛应用，在车牌检测与识别任务中，实现速度快、准确性和鲁棒性高的性能对实现智能交通运输尤为重要。随着深度学习技术越来越成熟，将深度学习应用于交通管理已成为一种趋势，通过深度学习的方法进行车牌检测与识别，是实现智能化城市管理的关键一步。
车牌识别技术分为传统图像处理方法和基于深度学习的方法。传统的图像处理方法一般分为三个步骤：图像预处理、字符分割和文本识别。传统方法首先将车牌分割成独立的字符，然后车牌字符进行特征提取，最后通过模板匹配[1，2]或支持向量机（SVM）[3]识别车牌字符。然而，传统的图像处理方法下的字符分割可能存在字符粘连的情况，对光照不均的车牌识别效果不佳。
近几年，基于深度学习的目标检测和图像处理算法取得了较好的进展。U-Net[5]在2015年被提出，并在生物医学图像的分割领域得到了广泛的应用[6]。U-Net模型最大限度地利用了车牌图像的浅层和深层特征，实现对车牌区域精准定位。在无需对字符分割的情况下，通过卷积神经网络（CNN）对车牌实现端到端的识别。
1 相关工作
车牌定位是在图像中获找到车牌区域。传统的图像处理方法提取的车牌特征包括纹理特征[6]、边缘特征[8]、颜色特征[7]等。在深度学习方法中，可以使用分割模型对车牌进行像素级分割，进一步定位到车牌区域。。
车牌矫正是一种对车牌进行空间变换的技术。对车牌进行矫正是为了提高对倾斜或畸变车牌识别的准确性和鲁棒性。传统图像处理方法通常使用边缘检测[10]和投影变换[11]方法进行车牌矫正。在深度学习模型中，局部图像特征包含了大量的特征，这些特征之间的相关性很小，不会因为其某些特征的消失而影响检测和匹配;空间变换网络（STN）[12]通过网络训练对车牌进行空间变换，从而对倾斜、畸变图像进行矫正。
传统的车牌识别方法对数字和字母特征的识别效果较好，但对汉字的识别效果并不理想。传统的车牌识别算法在特定条件下表现良好，但在复杂的环境下对车牌有效识别的难度还是很高。
2 本文网络模型
本文提出了一种基于深度学习的车牌识别方法，其中包括车牌定位、车牌矫正和车牌识别。本文的创新点在于使用U-Net模型对车牌区域进行精确定位以及使用透视变换方法进行车牌矫正。U-Net模型的优点在于通过特征融合还原车牌图像的分辨率，以进一步精准分割车牌区域[13]是以三维空间为介质将倾斜或者形变的二维车牌图像转换到新的二维视图上。在多种角度下均可以矫正，进一步提高车牌的识别率。最后基于改进的CNN模型对车牌区域进行端到端识别。车牌检测与识别算法的模型如图1所示。
2.1 车牌定位
本文采用基于U-Net的像素级定位模型进行车牌定位。在收缩路径中，下采样操作经过两次卷积后再进行最大池化处理以进一步挖掘深层信息;在扩张路径中，通过连续的转置卷积操作将分辨率依次恢复。该模型采用跳跃连接方式将下采样的多通道特征图和上采样层进行特征融合，将融合后的特征图作为上采样过程中的下一个输入。经过4次上采样操作后将特征图的分辨率还原。在最后一层使用大小为1×1的卷积核进行卷积运算得到二分类的通道数，并对每个像素进行预测。将所有正样本进行合并，得到一个相邻的区域，该区域就是像素级定位的车牌区域，定位过程如图2、图3和图4所示。
2.2 车牌矫正
对车牌进行矫正，获取车牌的四个角点坐标，这是对车牌进行识别前的优化处理。首先计算得到车牌区域的边缘坐标和最小外接矩形，再从车牌的边缘坐标中计算出与外接矩形最近的四个角点。最后经过设计后的透视变换方法对倾斜角度较大或形变严重的车牌都能达到较佳的矫正效果，矫正公式为：
（1）
其中， 为变换矩阵，（x，y）为车牌区域的边缘坐标，经过变换得到矫正后的坐标（X，Y），由于车牌图像是二维平面，故需要转化为（X′，Y′），转换公式为：
（2）
2.3 车牌识别
本文提出基于改进的CNN对车牌进行端到端识别。为了提高神经网络的表征能力，把浅层特征与高层语义信息以拼接方式拼接起来，从而准确提取图像的全局特征。对特征图平均池化处理，允许网络更加注重环境特征;对特征图最大池化处理，允许网络更加注重细节特征。将这两种处理方法结合起来使网络获取更加丰富的字符特征。因此将平均池化和最大池化处理引入到CNN模型中，对车牌图像提取出更具有完整性的特征信息。由于车牌识别属于多分类[14]，由于CNN模型的结构和参数是共享的，因此适用于每个字符的识别任务。在CNN模型设计中，车牌的7个标签对应7个输出就可以实现端到端识别。
本文使用Adam损失函数[15]来优化CNN模型，损失值和识别率的计算公式为：
（3）
（4）
其中， 为网络输出层在没有进行归一化情况下的概率，pn为第n个类别的概率，n为输出层的神经元个数。
3 实验结果与分析
为了证实本文提出的车牌识别算法的有效性，需要对该算法进行实验与分析。车牌定位和识别任务所需要的数据集主要来源于CCPD开源数据集、停车场、收费站等，共计50 000张。
本文实验采用基于TensorFlow的深度学习框架。实验平台的CPU为Intel i7-10750H，Python版本为3.6.5。本实验中迭代次数设置为35次，目的是为了提高模型的泛化能力。为了防止过拟合，迭代次数不能过多。经过多次测试后，实验结果表明，迭代次数在30次之后趋于稳定。
在图像分割领域，一般用IoU和DICE衡量网络分割的结果与实际结果之间的相似性。数值越大，说明图像的相似性越高。二者的计算公式为：
（5）
（6）
其中，TP为样本目标和预测目标的交集，FP为误将车牌背景识别为车牌的集合，FN为将车牌误认为背景的部分，TN为正确识别背景的部分。
在车牌定位任务中，使用U-Net模型和FCN模型[16]对车牌进行分割实验对比，并对两个模型进行综合评价，评价指标如表1所示。
U-Net模型在IoU和DICE上都较优于FCN模型。低损耗是视觉定位效果的评价指标之一，模型的参数越小，在识别应用上会更便捷和更具实用性。相较于FCN网络模型，本文的定位模型具有明显的优势。
在车牌矫正任务中，如果只是对车牌区域进行边缘检测，从而获取车牌的四边形，对于倾斜角度较大的车牌来说，矫正效果不好。因此采用透视变换方法，对倾斜角度较大的车牌也能获得良好的矫正效果，进一步提高该车牌识别算法的鲁棒性。车牌矫正示意图如图5、图6所示。
本文提出的车牌识别模型与模板匹配和基于多分类的SVM模型进行对比，不同模型的识别率如表2所示。
对比实验结果表明，文献[2]的模板匹配模型和文献[4]的SVM模型的识别率分别为92%和95%，而使用本文的模型准确率可达到97.5%。因此本文提出的模型对车牌的识别效果更好，在迭代次数相对较少的情况下就能达到更平稳、更高的。
本文选取了不同场景下的的车牌进行检测与识别。由图7可以看出，在不同场景下，本文的车牌识别方法具有很好的性能。
4 结 论
本文基于U-Net和CNN对不复杂环境下的车牌进行检测和识别。实验结果表明，本文提出的深度学习模型对车牌的识别率达到97.5%。本文提出的算法不仅解决了复杂条件下识别效果不佳的问题提高了识别速度，从而实现了实时、高精准度的识别。
参考文献：
[1] 凌翔，赖锟，王昔鹏.基于模板匹配方法的不均匀照度车牌图像识别 [J].重庆交通大学学报（自然科学版），2018，37（8）：102-106.
[2] 张俊峰，尚振宏，刘辉.基于颜色特征与模板匹配的车牌识别系统设计与实现 [J].软件导刊，2018，17（1）：212-215+ 220.
[3] CHEN J R. Chinese license plate identification based on Android platform [C]//2017 3rd International Conference on Computational Intelligence & Communication Technology （CICT）.Ghaziabad：IEEE，2017：234-241.
[4] 李良荣，荣耀祖，顾平，等.基于SVM的车牌识别技术研究 [J].贵州大学学报（自然科学版），2018，35（5）48-54.
[5] RONNEBERGER O，FISCHER P，BROX T. U-Net：ConvolutionalNetworks for Biomedical Image Segmentation [C]//MedicalImage Computing and Computer- Assisted Intervention（MICCAI）.Munich：Springer，2015：234-241.
[6] 周正东，李剑波，辛润超，等.基于带孔U-net神经网络的肺癌危及器官并行分割方法 [J].东南大学学报（自然科学版），2019，49（2）：231-236.
[7] 应宏微，姚明海，张永华.基于纹理分析和垂直投影的车牌定位算法 [J].控制工程，2004（5）：432-435+476.
[8] 杨鼎鼎，陈世强，刘静漪.基于车牌背景和字符颜色特征的车牌定位算法 [J].计算机应用与软件，2018，35（12）：216-221.
[9] 陈宏照，谢正光，卢海伦.颜色与边缘纹理相结合的车牌定位方法 [J].现代电子技术，2018，41（21）：67-70+75.
[10] 曾丽华，李超，熊璋.基于边缘与颜色信息的车牌精确定位算法 [J].北京航空航天大学学报，2007（9）：1112-1116.
[11] WANG M，WANG G H. Method of Vehicle License Plate Correction Based on Characters Projec-tion Minimum Distance [J].Computer Engineering，2008，34（6）：216-218.
[12] 高东东，张新生.基于空间卷积神经网络模型的图像显著性检测 [J].计算机工程，2018，44（5）240-245.
[13] 蔡英凤，张田田，王海，等.基于实例分割和自适应透视变换算法的多车道线检测[J].东南大学学报（自然科学版），2020，50（4）：775-781.
[14] 陆超红.基于多通道循环卷积神经网络的文本分类方法 [J].计算机应用与软件，2020，37（8）：282-288.
[15] 汪友明，徐攀峰.基于改进Adam优化器的CNN电镜医学图像分类 [J].西安邮电大学学报，2019，24（5）：26-33.
[16] LONG J，SHELHAMER E，DARRELL T. Fully convolutional networks for semantic segmentation [C]//2015 IEEE Conference on Computer Vision and Pattern Recognition （CVPR）.Boston：IEEE，2015：3431-3440.
作者简介：吴安辉（1993—），男，汉族，广东湛江人，硕士研究生，主要研究方向：图像处理与模式识别、深度学习;何家峰（1970—），男，汉族，河南信阳人，副教授，博士，主要研究方向：图像处理与模式识别、人工嗅觉信号处理人工情感、雷达成像;何启莉（1995—），女，汉族，四川自贡人，硕士研究生，主要研究方向：机器学习、图像识别。
