自动车牌识别系统算法的研究.doc

1、Abstract 摘 要随着交通运输需求的逐渐增长，而传统的人工交通管理模式并不能及时解决日益增多的交通问题，因此提出了以信息技术为基础的智能交通管理系统。车牌识别系统作为智能交通管理系统中重要的组成部分，近些年来一直是热门的研究课题。在车牌识别系统中，主要由车牌区域定位、车牌字符分割、车牌字符识别组成。在车牌定位算法中，以车辆的垂直边缘图像为基础，利用数字图像处理技术，将车辆图像分割为多个图像区域。利用水平投影法，比较水平投影值，滤除车牌不可能存在的区域。在车牌可能存在的区域中，进行连通域的标记，依据标准车牌的尺寸规格，对各个连通域的几何信息进行判断，得到图像中车牌的候选区域。最后针对各车牌

2、候选区域，提取其中的颜色信息，利用标准车牌规格中字符与车牌背景固定的颜色搭配，如蓝底白字等，进行判断筛选，得到车牌的准确位置。车牌字符分割算法中，首先利用旋转投影法对车牌图像进行水平倾斜校正，利用Radon变换对车牌图像进行垂直倾斜校正，同时利用车牌图像的边缘信息对车牌的边框和铆钉进行消除。然后利用垂直投影法将车牌分割为多个投影区域，在不符合标准车牌字符尺寸规格的投影区域中，判断发生断裂字符情况还是粘连字符情况。针对断裂字符的情况，采用合并投影区域进行修正。针对粘连字符的情况，采用连通域分析法去除由噪声产生的干扰区域，并利用标准车牌的尺寸规格对各个连通域进行判断是否消除粘连字符的情况。对于未消

3、除粘连字符的连通域，利用标准车牌字符信息求得车牌字符的参考边界，然后利用模板匹配字符分类器的分类结果作为反馈信息，对车牌字符的参考边界进行校正，得到理想的字符分割边界。车牌字符识别算法中，着重讨论两种常用的车牌识别算法：BP神经网络算法和SVM算法。利用相同的字符训练样本和字符测试样本对两种算法进行实验，最后得出SVM算法的字符识别准确率较高，因此将SVM算法作为最终的车牌字符识别算法。关键词：标准车牌尺寸；车牌定位；倾斜校正；字符分割；字符识别AbstractAbstractWith the increasing demand of transportation, the tradition

4、al artificial traffic management is not timely solving the increasing traffic problem, therefore the intelligent traffic management system based on the information technology is proposed.As an important part of intelligent transportation management system, license plate recognition system is a hot r

5、esearch topic in recent years. License plate recognition system is mainly composed of license plate localization, license plate character segmentation and license plate character recognition.In the license plate localization algorithm, using digital image processing technology based on the vertical

6、edge image of the vehicle, the vehicle image is divided into multiple image areas. Removing the impossible plate areas by comparing the projection values which is obtained by using horizontal projection method. Processing connected components labeling in the possible plate areas. According to the st

7、andard plate geometry information, it would obtain the candidate plate area by judging the geometry information of each connected domain according to the size of the standard plate. Finally, extracting the color information of each plate candidate area, it would get the accurate location of license

8、plate by using special plate color assortment of standard license, such as blue background and white character. In the license plate character segmentation algorithm, it would adjust the tilt plate by using rotating projection on the horizontal and Radon transformation on the vertical tilt, and wipe

9、 out the plate frame and rivet in the same time. Then the plate would be divided into many domains by using the vertical projection. In the domain which is not conformed to the size of standard plate character, it would be judged for either the fracture character or adhesion character. The fracture

10、character would be amended by combination of the adjacent projection areas. The adhesion character would be eliminated the noise by using the connected domain analysis. Then each domain would be determined whether to adhesion character. To the adhesion character domain, the ideal character boundary

11、would be obtain by using the template matching characters classifier to correct the reference boundary, which is calculated with the size of the standard plate character.In the license plate character recognition algorithm, it would focused on two character recognition algorithms that is back propag

12、ation neural network algorithm and the support vector machine(SVM) algorithm. The recognition experiment to comparing the two character recognition algorithm is conducted by using the same character training samples and the same character test sample. The SVM character recognition algorithm is concl

13、uded to be higher character recognition accuracy. So the final plate character recognition algorithm is the SVM character recognition algorithm.KEY WORDS: standard plate size, license plate detection, tilts correction, character segmentation, character recognitionIII第一章 绪论目录摘 要IABSTRACTII目录IV第一章 绪论2

14、1.1 课题研究的背景31.2 车牌识别系统的主要组成部分及研究现状31.3 论文的主要工作5第二章 车牌定位算法的研究62.1 车牌定位算法概述62.2 车牌定位算法的总体流程图及原理82.3 车牌图像预处理102.3.1 彩色图转换为灰度图102.3.2 图像滤波112.3.3 边缘检测132.3.4 形态学操作142.4 基于投影法和连通域分析的车牌粗定位192.4.1 投影法的基本原理192.4.2 连通域分析的基本原理202.5 基于颜色分析的车牌细定位222.5.1 图像颜色空间介绍232.5.2 车牌颜色分析及定位算法252.6 实验结果262.7 本章小结27第三章 车牌字符分

15、割算法的研究283.1 车牌字符分割算法总体流程283.2 车牌倾斜校正293.2.1 倾斜校正算法概述293.2.2 基于旋转投影法的水平倾斜校正算法293.2.3 基于Radon变换的垂直倾斜校正算法303.3 车牌分割算法概述313.4 基于投影法与连通域分析的字符初次分割313.5 基于模板匹配字符分类器反馈校正的分割算法333.5.1 模板匹配字符分类器原理333.5.2 反馈校正算法原理343.6 实验结果353.7 本章小结35第四章 车牌字符识别算法的研究364.1 字符识别算法概述364.2 字符归一化及特征及特征提取374.2.1 字符归一化374.2.2 字符特征提取37

16、4.3 基于BP神经网络的字符识别算法384.3.1 BP神经网络原理384.3.2 基于BP神经网络算法的字符识别414.4 基于SVM（支持向量机）的字符识别算法414.4.1 SVM基本原理424.4.2 基于SVM算法的字符识别444.5 实验结果454.6 本章小结46第五章 总结47参考文献48个人简历、在校期间发表的学术论文51致谢52V第一章 绪论第一章 绪论1.1 课题研究的背景随着交通运输需求的持续增长，汽车的出现，为人们的工作与生活提供了巨大的便利，但是也带来了一些新的问题：道路交通拥堵现象层出不穷、交通事故屡见不鲜、交通肇事与盗窃现象频繁发生、交通违章与车辆套牌现象也是

17、颇为常见1。传统的人工交通管理模式并不能及时解决日益增多的交通问题，因此，伴随着信息技术的高速发展，提出了以信息技术为核心的智能交通管理系统2。对车辆进行自动区别辨认及获得车辆信息是实现交通自动化和智能化管理的重要环节。由于车辆号牌是车辆独有的信息，通过车牌识别系统能够完成对车辆信息的确认，进而对车辆实现统一化的智能管理3。因此，高识别率的车牌识别系统成为智能交通管理研究中的重要研究方向之一。车牌识别技术开始于20世纪90年代，在经历了20多年的发展过程之后，车牌识别各个部分的相关算法已经日渐成熟，有利地促进了车牌识别系统的普及。现在的车牌识别系统已经广泛的应用于停车场智能管理、偷盗车辆辨识、

18、高速公路监控、交通违章管理、电子收费等领域12。随着车牌识别技术研究的深入和在智能化交通中开发运用的实现，车牌识别应用的领域必将更加广泛，经济和社会价值更加显著。1.2 车牌识别系统的主要组成部分及研究现状车牌识别系统是数字图像处理技术与模式识别技术在智能交通管理系统中的综合应用，主要由车辆图像采集、图像预处理、车牌区域定位、车牌字符分割和车牌字符识别等组成4，其基本流程图如下图1.1所示：图1.1 车牌识别系统基本流程图车牌识别系统通过图像采集设备，对过往车辆进行图像采集。对采集到的车辆图像，运用数字图像处理技术进行图像预处理，并利用标准车牌的尺寸信息作为判断条件，定位并提取车牌区域12。在

19、得到车牌区域图像后，根据车牌的固定结构特征，利用数字图像处理技术，将车牌区域中的车牌号码分割为单个的字符图像。针对单个字符图像，通过特征提取算法，得到各个字符图像的特征向量。利用模式识别算法的相关原理，构造字符识别器，以字符特征向量作为输入，对字符图像进行识别6。最后，按照车牌号码的原位置关系对字符进行组合，完成牌照的识别3。自20世纪80年代以来，各个国家开始对车牌识别技术进行研究。随着新理论、新技术、新方法在车牌识别系统中应用，车牌识别的理论和技术获得了极大的丰富和发展，车牌识别系统的性能也得到的提高和增强3。韩国的Kwang-Baek Kim提出的基于车牌形态学特征，颜色信息以及改进FC

20、M算法的车牌识别系统，在识别率就有很大的提高7，而Jae-Khun Chang提出了实时的车牌识别算法，不仅可以识别韩国的车牌，也可以对国外的车牌进行有效的识别8。澳大利亚的Lihong Zheng研究了一种通过AdaBoost算法进行快速车牌定位，通过OCR软件进行车牌的字符识别，可以满足实时性的要求8。哥伦比亚大学的Ying Wen提出了一种改进的二值化方法，再结合SVM算法对车牌进行识别，取得了很高的识别率10。法国的Nicolas Thome针对各国车牌的格式和标准不一样，提出了一种统计识别算法和结构识别算法相结合的算法，提高了对相似字符的识别率11。20世纪90年代以来，国内经济迅速

21、发展，然而道路管理监控以及科学收费软件等基础设施建设却相对滞后，一方面以往的人工交通管理方式效率低下，不能满足越来越多的车辆行车要求；另一方面，由于夜间行驶的车辆缺乏管制，容易出现违章行车，造成行车危险12，因此我国很重视智能交通系统的发展。国内的车牌识别技术虽然起步较晚，但是发展速度较快。北方工业大学的李宇成、杨光明和王目树采用了基于图像二维能量与HIS彩色空间的方法进行车牌的定位与提取，并使用多级BP神经网络算法，取得了很高的车牌定位率和识别率13。北京理工大学的闫雪梅提出了双重PCA算法链接BP神经网络的方法对车牌进行了识别，与传统的识别方法相比，提高了识别率，减少了训练时间14。中南大

22、学的刘雄飞和雷静提出了一种多尺度模板匹配的算法对车牌字符进行分割，再采用小波神经网络对字符进行识别15。南京航空航天大学的王海涛提出了采用聚类分析与神经网络相结合的方法对车牌字符进行识别，对数字及字母取得了很好的成果，但在汉字的识别上仍有欠缺16。哈尔滨工程大学的黄继聪针对传统BP神经网络在识别过程中的缺点加以改进，使得BP神经网络在字符识别中更加的有效12。浙江大学的任俊通过使用SVM算法对车牌进行识别，取得了很好的结果，同时还将这种算法移植到嵌入式硬件中，使车牌识别系统走向了便携式的道路17。虽然车牌识别技术已经发展了很多年，其算法也越来越成熟，高速度、高识别率的识别算法不断的提出，但是仍

23、然存在一些难点需要解决。主要的难点包括：1. 车牌规格、颜色标准不统一，例如国内车牌存在单层车牌和双层车牌，颜色有蓝色、黄色、白色等；2. 背景的复杂性和光照条件的不确定性。在拍摄车辆图像过程中，由于光照、污点以及遮挡物的影响，造成车牌区域不容易被定位；3. 应用环境的不同，造成摄像角度、方位的不稳定；4. 国内车牌使用汉字、字母、数字的复合组成，增加了识别的难度16；5. 车牌管理不严格、悬挂位置不确定，增加了定位识别的难度。另外，在识别率与识别速度之间存在不可兼顾的矛盾，需要根据实际的情况，对两者进行取舍。1.3 论文的主要工作本文在总结前人研究的基础上，分别对车牌识别系统中的车牌定位、字

24、符分割和字符识别三个部分进行研究，提出了合适的算法。利用Matlab平台对算法进行实验，取得了比较理想的效果6。下面是本文的主要内容和大体结构框架：第一章绪论，分别阐述了本课题的研究背景及意义；车牌识别系统的主要组成部分及主要工作流程；国内外车牌识别系统的发展现状；车牌识别系统存在的难点。第二章车牌定位算法的研究，介绍车牌定位的常用算法，根据实际的车牌情况，提出基于投影法与连通域分析的初定位算法，以及基于颜色分析的判定方法。第三章车牌字符分割算法的研究，同时介绍了车牌倾斜校正和车牌字符分割的常用算法。针对倾斜校正，分别提出了基于旋转投影法的垂直倾斜校正和基于Radon变换的水平倾斜校正。在得到

25、校正后的车牌图像后，首先使用垂直投影法和连通域分析法初步分割车牌字符，然后判断是否出现字符断裂和字符粘连的情况，针对字符断裂的情况，通过合并相邻的分割区域进行消除；针对字符粘连的情况，在应用标准车牌字符格式的基础上，利用模板匹配字符分类器进行反馈校正，得到理想的字符分割边界。第四章车牌字符识别算法研究，首先介绍字符归一化与字符特征提取的相关方法，然后介绍了在车牌识别领域较为常用的两种识别算法：BP神经网络和支持向量机（SVM），通过对比两种算法对相同字符图像的识别结果，得出支持向量机的识别结果优于BP神经网络，并将其作为车牌字符识别的最终算法进行实现。3第二章 车牌定位算法的研究第二章 车牌定

26、位算法的研究2.1 车牌定位算法概述车牌定位是车牌识别系统中的关键组成部分22。摄像头在拍摄到车辆图像后，经过数字成像系统后，在计算机中以数字信号的形式进行存储。因此，车牌定位算法是在数字图像处理算法的基础上实现的。数字图像处理的算法比较容易受到外界干扰影响，比如污点、光照、周边环境以及车牌附近悬挂物等,产生干扰区域，影响最后车牌区域位置的判断。因此，需要依据车牌的已知信息，对经过图像预处理的车辆图像进行判定，删除干扰区域，提取出准确的车牌位置。国内现行的车牌执行标准是2011年1月1日实施的GAR-36中华人民共和国机动车号牌（修订版），该标准的规定包括车牌规格，分类，颜色，适用范围，式样，

27、试验方法及检验规则等23。依据该标准可知，国内的车牌样式繁多，颜色不一，这对车牌定位提出了很高的要求。不过，在各类车牌规格中，部分类别的车牌属于较为常见的车牌规格，因此，定位此种车牌应作为车牌定位算法的重点部分。如下表2.1所示为各常见类别车牌的尺寸规格、颜色及适用范围：表2.1 常见车牌的分类、规格、颜色及适用范围23分类外廓尺寸mmmm颜色数量适用范围大型汽车号牌前：440140后：440220黄底黑字黑框线2中型车（含以上）载客、载货汽车和专项作业车；半挂牵引车；电车。挂车号牌4402201全挂车和不与牵引车固定使用的半挂车。小型汽车号牌440140蓝底白字白框线2中型以下载客、载货汽车

28、和专项作业车使馆汽车号牌黑底白字，红“使”、“领”字白框线驻华使馆车领馆汽车号牌驻华领事馆车港澳出入境汽车号牌黑底白字，白“港”、“澳”字白框线港澳地区出入内地的汽车教练汽车号牌黄底黑字，黑“学”字黑框线教练用汽车警用汽车号牌白底黑字，红“警”字黑框线汽车类警车如上表所示，汽车车牌的尺寸规格包含两种格式，其中440140（mm）如下图2.1所示：图2.1 440mm140mm规格标准号牌440220（mm）格式如下图2.2所示：图2.2 440mm220mm规格标准号牌图2.1中所示为440mm140mm规格的标准车牌图，图2.2中所示为440mm220mm规格的标准车牌图。利用上述图像中所标

29、注的尺寸，可以作为确定车牌区域位置的判断条件。常用的车牌定位算法有以下几种：1. 区域生长法是对车辆边缘图像进行均匀性区域生长，以获得潜在的车牌区域，然后利用车牌的几何特征以及车牌区域内的边缘灰度直方图统计特征删除伪车牌，即得到真实车牌区域24；2. DFT变换法是对图像逐行做DFT变换，然后将频率系数逐行累加平均并根据这些平均值做出频谱曲线，根据频谱曲线中的“峰值”的起始点位置确定车牌水平位置，对这一水平区域逐行做DFT变换可确定车牌竖直位置；3. 基于投影法的车牌定位算法，其基本原理是将车牌的灰度图像按水平方向求差分图，然后按垂直方向求差分图，最后对差分后的车辆图像分别在水平方向和垂直方向

30、投影，按照给定的车牌尺寸范围找出车牌区域；4. 基于颜色特征和小波变换的定位方法，首先利用车牌的颜色特征把车牌分为三种类型，然后在分析RGB颜色模型的基础上，在RGB颜色空间中构造矢量体和似锥体，并对RGB颜色空间进行分割，得到车牌提取的数学模型，对于非蓝车蓝色车牌和非黄车黄色车牌两类车牌，采用基于RGB颜色模型的车牌颜色特征定位方法进行车牌候选区定位；对于其他车牌采用基于小波变换的定位方法进行车牌候选区域定位，最后根据车牌的固有特征利用连通域分析的方法筛选出车牌区域3。在车牌定位算法中，由于车牌位置在车辆图像中的位置并不确定，同时受到车牌周围区域的影响，因此，在车辆图像预处理中，需要将车牌区

31、域在车辆图像中与非车牌区域相分离，然后通过标准车牌规格尺寸的检测，以确定车牌的准确区域。2.2 车牌定位算法的总体流程图及原理车牌定位算法的流程图如下图2.3所示：图2.3 车牌定位算法的流程图车牌定位算法的目的是通过数字图像处理的方法，将车牌区域与非车牌区域进行分离，以便于分析各个区域的特征，依据车牌的固有特点，提取车牌的准确位置24。由于国内车牌分类较多，因此，通过颜色来定位车牌，并不是个好的方式。而由于光照影响，造成车辆的对比度分布不均匀，简单的阈值操作也不能得到很好的定位结果。通过分析车牌后，可知国内的车牌中包含有7个与背景颜色对比明显的字符，即车牌中的边缘信息相对车辆中的大部分区域丰

32、富，而且这种信息也具有通用性，即在各种车辆图像中，车牌边缘信息具有统一的规律，因此，边缘信息可作为定位车牌的重要信息加以利用。同时也要考虑到车辆中其他区域含有的边缘信息与车牌的边缘信息相近，这时可以考虑使用车牌的几何特征和颜色信息进行筛选，选取候选区域中与车牌标准规格更为接近的区域作为车牌区域的位置。2.3 车牌图像预处理在得到车牌候选区域前，需要在车辆图像中将车牌区域从背景中分离出来，以便于进行分析判断。因此，针对车辆图像的预处理过程也是车牌定位过程中的一个重要部分。车辆图像预处理包括彩色图转换为灰度图、图像滤波、边缘检测、形态学操作等基本的图像处理方法。2.3.1 彩色图转换为灰度图在车牌

33、识别系统中，由摄像机所提取到的车辆图像保留了车牌中最主要信息，如车身和车牌的颜色，车牌字符的颜色等，这些信息也是人眼区分车牌时所注重的地方。但是彩色图像受限于数据量大，处理复杂，算法运行慢等问题，因此在图像处理中，经常首先将彩色图转换为灰度图，以减少数据量，降低处理的复杂度，加快算法的运行速度。灰度图虽然减少了图像的颜色信息，但是依然保留了图像中的大部分信息，如图像边缘信息，目标物体的几何信息，以及各个目标物体相对位置关系等，因此，针对灰度图像的处理操作可去除车辆图像中的绝大多数非车牌区域，得到车牌的候选区域。彩色图在计算机中以三维矩阵存储图像数据，其中红、绿、蓝三种颜色分别以二维矩阵存储数据

34、，以表示各个图像像素点中各颜色分量的大小。而灰度图是以二维矩阵存储图像信息，其中矩阵中的各数据值表示该像素点的亮度值。彩色图与灰度图之间的转换关系可用如下数学公式(2.1)表示：（3.2）其中，表示为灰度图矩阵中各个像素点的亮度值，、分别表示彩色图三维矩阵中各个像素点的红、绿、蓝三种颜色分量的亮度值，表示彩色图转换为灰度图时各像素点间的映射关系。常用的典型映射关系如下述公式(2.2)所示：(2.2)该公式是依据人眼的视觉习惯确定。人眼对绿色较为敏感，其次红色，最后为蓝色20。因此，绿色分量的加权值最大，红色分量的加权值次之，蓝色分量的加权值最小。2.3.2 图像滤波数字图像属于数字信号中的一个

35、类别。数字信号中的滤波方式也经常用于数字图像处理中。在数字图像产生、传递和存储的过程中，由于空气、光照、灰尘以及不完善的硬件设备，数字图像中存在有大量的随机噪声，因此去除随机噪声也是图像预处理过程中的一个重要研究方向。一般来说，图像具有局部连续性质，即相邻像素的数值相近，而噪声的存在使得图像在噪声处产生灰度跳跃。假设偶尔出现的噪声并未改变图像局部连续的性质，则图像平滑滤波可基于图像邻域进行操作。其在数学表示上为原始图像与平滑滤波模板进行相关实现。对于大小为的滤波算子模板，其图像滤波表达式如公式(2.3)所示：(2.3)其中(2.4)为滤波算子模板。对于大小为的图像，依次在和时应用上述公式，从而

36、完成对于图像所有像素的处理，得到新的图像。常用的平滑滤波方式分为线性滤波和非线性滤波20。线性滤波是指利用滤波算子对图像进行线性运算，其中滤波算子与图像数据无关系。非线性滤波是指对图像进行非线性运算，其最大的特点是，利用图像数据的相关信息进行滤波，因此具有一定的自适应性，可以得到很好的滤波效果。典型的线性滤波包括均值滤波、高斯滤波等，非线性滤波包括中值滤波等26。中值滤波本质上是一种统计排序滤波器。对于图像中某点，中值滤波的响应值是在以该点为中心的邻域内的所有像素的统计排序的中值。中值不同于均值，是指排序队列中位于中间位置的元素的值26。例如：采用中值滤波器，某点以及其邻域的9个像素值为：12

37、,18,18,11,23,22,13,25,118,统计排序的结果为11,12,13,18,18,22,23,25,118，排在中间位置的18作为点中值滤波的响应。如下图2.4所示为中值滤波后的车辆图像：（a）（b）（c）（d）（e）（f）图2.4 车辆的原灰度图及中值滤波和高斯滤波后的图像上图中，图(a)为车辆的原始灰度图，图(b)为其频域图像，观察可得出图像中包含有大量的随机噪声。图(c)为中值滤波后的车辆图像，图(e)为高斯滤波后的车辆图像。图(d)和图(f)分别为两种滤波图像的频域图像。经过对比可以看出，两种滤波算子均可以图像中的随机噪声，但是中值滤波的频域图的中间位置处比高斯滤波的中

38、间位置多了一条明显的线，表示图像中的边缘信息在中值滤波后有一定的保留，因此在实际的车牌图像滤波过程中使用中值滤波方法。2.3.3 边缘检测在数字图像中，边缘检测是图像分析中最常见的操作之一，其原因在于图像中经常包含有背景及多个不同的物体。背景及不同的物体在颜色和亮度上并不完全相同，因此，不同的物体之间会出现灰度的非连续性变化，此非连续变化的点连接在一起就构成了图像的边缘，即边缘形成了一个对象的轮廓。边缘既可以是对象和背景之间的边界，也可以是不同对象之间的边界。这意味着，如果图像中的边缘可以准确地被识别出来，那么所有的对象都可以被定位，且对象的基本属性，如面积、周长和形状等，都可以被测量出来。由

39、于边缘是由灰度值的变化定义的，因此对这种变化敏感的算子就可以用于边缘检测中。而导数算子的意义之一就是表示函数值的变化率。图像中的灰度值变化率在边缘附近最大，在常量区域很小。因此边缘检测的基本原理是在利用导数算子求取图像点的梯度的基础上，判断梯度值的大小，大梯度值对应的像素点保留为图像边缘点，而小梯度值对应的像素点则认为是干扰点。由于图像是离散形式的数据集合，因此使用差分运算表示导数算子，即像素点的导数可以由一块局部区域内灰度值的变化来近似。常用的边缘检测方式包括Roberts边缘检测、Sobel边缘检测、Prewitt边缘检测、高斯-拉普拉斯边缘检测以及Canny边缘检测等27。其中，Sobe

40、l边缘检测算子和Prewitt边缘检测算子可以分别对图像中的水平边缘和垂直边缘进行检测。在车辆图像中，车牌区域相对于图像中的非车牌区域，包含有大量的垂直边缘信息，因此，为了充分利用这种信息，采用Sobel垂直边缘检测算子。Sobel边缘检测算子在考虑邻域信息的基础上进行边缘检测，相当于对图像先做加权平滑处理，然后再做差分处理。Sobel算子模板如下图2.5所示：图2.5 Sobel算子模板其中，为水平方向的Sobel算子模板，为垂直方向的Sobel算子模板。利用Sobel垂直边缘检测后的车辆图像如下图2.6所示：图2.6 Sobel垂直边缘检测后的车辆图像由上图可以观察得出，在垂直边缘检测后，

41、虽然在车辆图像中其他位置也存在着大量的垂直边缘，但是车牌图像区域与其周围区域已可区分，即在车牌周围区域中，垂直边缘信息较少，而其他垂直边缘丰富的位置可以通过分析该区域的几何信息，如长宽比、面积比等，以及在颜色图像中的颜色信息，进行筛选和消除，以得到车牌的候选区域。2.3.4 形态学操作形态学指的是对象的形式和结构，或者是对象中各个部分之间的布局和相互关系。图像形态学操作是数学形态学理论在图像处理领域中的应用17。图像形态学背后的数学理论是集合论，其思想在于：图像由一组像素组成，这些像素组合起来分组为二维结构，即形状。基本的操作包括腐蚀，即将符合给定模式的像素从图像中删除；以及膨胀，即将约为1个

42、像素的小区域设置为一个给定的模式。根据要处理的图像的类别不同，形态学的基本运算可分为灰度腐蚀和膨胀、灰度开闭运算、二值腐蚀和膨胀、二值开闭运算等26。由于边缘图为二值图像，且边缘宽度为1个像素，因此首先采用二值膨胀操作，将图像中较近的边缘合并为一个图像块区域，根据车牌的几何特点，即车牌为长方形，因此建议使用长方形的结构算子进行膨胀操作。然后利用二值腐蚀操作或者二值的开运算和闭运算，将膨胀后图像块的毛刺边界相处，以得到较为规整的矩形图像块。2.3.4.1 二值膨胀和腐蚀对于上元素的集合和，使用对进行膨胀，记作26，公式化的定义如下式（2.5）所示：（2.5）设想有原本位于图像原点的结构元素，让在

43、整个平面上移动，当其自身原点平移至点时，相对于其自身的原点的映像和有公共的交集，即和至少有1个像素是重叠的，则所有这样的点构成的集合为对的膨胀图像21。如下图2.7所示为对上述车辆垂直边缘图像的膨胀操作的结果图：图2.7 垂直边缘检测图的膨胀操作结果图对于上元素的集合和，使用对进行腐蚀，记作26，公式化的定义如下式（2.6）所示：（2.6）其中表示集合在平面中的平移。让原本位于图像原点的结构元素在整个平面上移动，如果当集合的原点平移到点时能够完全包含于中，则所有这样的点构成的集合即为对的腐蚀图像21。如下图2.8所示为对上述膨胀操作后的图像进行腐蚀操作后的结果图：图2.8 对膨胀操作后的图像进

44、行腐蚀操作后的结果图上述两种形态学操作中采用大小的矩形结构实现膨胀和腐蚀操作。2.3.4.2 二值开闭运算开运算和闭运算是有腐蚀和膨胀复合而成，开元算是先腐蚀后膨胀，闭运算是先膨胀后腐蚀21。使用结构元素对进行开运算，记作26，公式如下式（2.7）所示：（2.7）一般来说，开运算可以使图像的轮廓变的更光滑，还能使狭窄的连接断开和消除细毛刺21。上述腐蚀操作后图像的开运算操作结果图如下图2.9所示：图2.9 对腐蚀图像的开运算操作结果图使用结构元素对进行开运算，记作26，公式如下式（2.8）所示：（2.8）闭运算同样可以是轮廓变得光滑，但与开运算相反，它通常能够弥合狭窄的尖端，填充小的孔洞26。

45、上述腐蚀操作后图像的开运算操作结果图如下图2.10所示：图2.10 对腐蚀图像的闭运算操作结果图通过对开运算和闭运算的结果图进行对比后可以发现，在开运算的结果图中所包含的图像块区域较少，且车牌区域也可被明显的区分为一个较为规整的矩形，因此，在预处理过程中，采用二值开运算对腐蚀后的图像进行形态学操作。2.3.4.3 灰度腐蚀和膨胀令表示灰度图像，为结构元素，使用对进行膨胀，记作26，公式化的定义如下式（2.9）所示：（2.9）其中，是的定义域。计算过程相当于让结构元素关于原点的镜像在图像的所有位置滑过，而在此过程中要保证始终在灰度图像之内。膨胀的结果在定义域内每一点处的取值为以为中心，在规定的局

46、部邻域内与之和的最大值。令表示灰度图像，为结构元素，使用对进行腐蚀，记作26，公式化的定义如下式(2.10)所示：（2.10）其中，是的定义域。计算过程相当于让结构元素关于原点的镜像在图像的所有位置滑过，而在此过程中要保证始终在灰度图像之内。膨胀的结果在定义域内每一点处的取值为以为中心，在规定的局部邻域内与之差的最小值。与二值形态学不同的是，和不再是只代表形状的集合，而是二维函数，它们的定义域指明了其形状，它们的值之处了高度信息。关于灰度膨胀操作和灰度腐蚀操作的结果图如下图2.11所示：（a）（b）图2.11 灰度膨胀操作及灰度腐蚀操作的车辆图像上图中，图像(a)为灰度膨胀后的车辆图像，图像(

47、b)为灰度腐蚀后的车辆图像。在上述灰度形态学操作中，结构元素采用半径为9的圆形结构矩阵。2.3.4.4 灰度开闭元算在灰度膨胀操作和灰度腐蚀操作的基础上定义了灰度开运算和灰度比运算。灰度开运算就是先灰度腐蚀后灰度膨胀，灰度闭运算则是先灰度膨胀后灰度腐蚀。使用结构元素对图像进行灰度开运算，记作26，可表示为：(2.11)使用结构元素对图像进行灰度闭运算，记作26，可表示为：(2.12)在描述灰度开闭运算时，可假设有一个球形的结构元素，开运算相当于推动球沿着曲面的下侧面滚动，是的球体可以紧贴着下侧面来回移动，知道移动位置覆盖整个下侧面21。此时球体的任何部分能够达到的最高点构成了开运算的曲面；而闭运算则相当于让球体紧贴在曲面的上表面滚动，此时球体任何部分所能达到的最低点即构成了闭运算的曲面21。灰度开运算和灰度闭运算后的车辆图像如下图2.12所示：（a）（b）图2.12 灰度开运算以及灰度闭运