随着信息技术及数据通信技术的发展，智能交通已经成为未来交通系统的发展方向，并已广泛应用于公安系统执法、高速公路收费系统、监控系统和公路布控等诸多领域。车牌识别是智能交通的主要组成部分，其主要由图像采集、车牌定位、字符分割以及字符识别4部分构成。从图 1中可以看出，车牌定位是车牌识别中最关键的步骤之一，关系到整个车牌识别的成败。

图 1(Fig. 1)

图 1 车牌识别流程图 Fig. 1 Flow chart of license plate recognition algorithm

车牌图像一般是对室外行驶车辆的拍摄取样，因受天气、光照、环境、拍摄距离等因素的影响，实现准确、快速、具有噪声及仿射变化鲁棒的定位，是车牌定位算法研究的热点。近年来开展了大量针对车牌定位算法的研究工作，这些研究工作大致可分为：基于车牌图像自身特征的定位和基于机器学习的车牌定位算法。基于车牌图像自身特征的车牌定位算法主要有：边缘信息^{[1, 2]}、车牌纹理特征^{[3, 4, 5]}、数学形态学^{[6, 7]}、角点特征^[8]、水平或者垂直方向的投影^[9]、颜色特征^{[10, 11]}的车牌定位算法。如Du等^[2]利用车牌区域周围的边缘和纹理信息确定车牌的位置。该方法可以应用于图像中车牌外边框模糊或有断裂的情况，实现简单且速度快，但对非车牌区的边缘信息较敏感。万燕等^[4]提出利用纹理特征粗定位车牌区域，再通过改进的RGB颜色聚类算法实现车牌的精确定位。文献[5]通过改进Sobel算子提取图像不同方向的纹理特征确定候选区域，并采用2个模式滤波器除去非车牌区域的纹理特征实现车牌定位。Chen等^[9]利用改进的Prewitt算子预处理车牌图像，通过水平或者垂直方向的投影特征确定车牌位置。以上基于纹理特征的车牌定位方法定位速度快，可以实现多车牌定位，但定位结果通常包含了一些车牌外的信息，且对于复杂背景的滤除能力较弱。Li等^[10]通过提取并分析车牌图像的颜色特征和黑白纹理特征，实现复杂环境下的车牌图像定位。王枚等^[11]根据中国车牌颜色特征，融合车牌图像的颜色特征和边缘特征，采用车牌伴生与互补特性定位车牌位置。文献[12]通过最大类间方差法二值化车牌图像，采用改进的数学形态方法进行边缘检测，最后结合图像的颜色特征进行准确定位。这些基于颜色特征的定位方法适用于光照均匀、背景简单的状况，具有较大的针对性和局限性。

随着机器学习方法的发展和普及，大量以机器学习理论为主导的车牌定位算法已经出现。金玲玲等^[13]采用扫描行离差数据、有效谷峰点特征及先验知识确定大致位置，利用色彩分割技术及多级联合混合集成分类器实现车牌的准确定位。刘万军等^[14]根据神经网络和车牌图像的颜色特征和边缘特征，利用细胞神经网络模型训练出一种与车牌颜色特征相结合的车牌定位边缘检测算法。文献[15]采用支撑向量机的方法分析训练车牌的颜色特征和纹理特征，并结合CAMShift方法在视频流中准确定位车牌位置。章品正等^[16]利用Adaboost算法剔除车牌图像中的背景区域，采用SUSAN角点检测方法搜索候选区域的车牌区域，实现车牌的有效定位。

上述基于机器学习的定位方法对车牌定位准确，对于复杂情况下的车牌图像有较好的识别率。但计算时间复杂度高，对于复杂背景的实时场景定位效果有限。此外，这类方法需要大量的训练数据，定位结果也局限于训练数据的类别信息。因此，对于实时通用的车牌定位适用性较差。而基于车牌图像特征的定位算法实现简单、定位速度快，不需要大量的数据存储，对于车牌定位的普遍适用性较强。但这类方法缺乏对于复杂背景、光照变化及仿射变换的车牌图像的鲁棒性定位。

研究提出的车牌定位算法通过提取并融合多尺度角点特征和颜色特征确定车牌候选区域，并结合基于特征点距离和密集关系进行精确定位。算法在高斯差尺度空间，通过多尺度积融合提取具有噪声及仿射不变特征的角点特征；同时基于高斯差尺度空间提取车牌图像的视觉颜色特征；由于角点特征和颜色特征相辅相成，通过2特征融合可得到车牌位置的候选区域；最后通过计算车牌区域特征点之间的距离及密集关系实现车牌的准确定位。实验数据表明，将基于高斯差尺度空间的，通过多尺度积融合提取的角点和颜色特征应用于车牌定位，可以大大减弱噪声、旋转及尺度变换带来的影响。

研究提出的车牌定位算法主要分为3部分：车牌图像预处理、车牌特征提取及特征融合、车牌图像定位。算法的具体流程如图 2所示。

图 2(Fig. 2)

图 2 车牌定位算法流程图 Fig. 2 Flow chart of proposed license plate localization algorithm in this paper

实际应用中采集的车牌图像多属于RGB色彩空间，但该色彩空间不能够很好地拟合人眼对颜色的感知。另一方面，在角点检测中若直接处理彩色图像会增大算法的计算复杂度。因此对获取车牌图像做如下预处理：

1) 提取角点特征之前，将RGB彩色图像转化为灰度图像并作滤波处理去除噪声；

2) 提取颜色对特征之前，将RGB彩色图像从RGB色彩空间转化为HSV色彩空间。

角点特征是指图像中具有代表性以及健壮性的点，是图像重要的局部特征，已被广泛应用于图像匹配、对象识别和跟踪等诸多场景。因车牌具有明显的矩形边框、以及密集的字符区域，故对车牌图像进行角点检测，在车牌部位的角点信息应比其他部位丰富 。另一方面，车牌定位算法要求能够准确地定位车牌，及对噪声、尺度及仿射变化具有鲁棒性，而角点特征具有健壮性的特点，故可以作为车牌底层特征的重要支撑。图 3为利用harris角点检测对一幅车牌图像进行检测的结果，可以看到，车牌位置处有丰富的角点信息。

图 3(Fig. 3)

图 3 角点检测的效果图 Fig. 3 Result of corner detection on license plate image

一般认为，角点是在图像边缘灰度变化剧烈的点或目标轮廓上局部曲率极大值的点。因此，目前的角点检测算法主要从图像的灰度信息和轮廓信息2方面考虑^{[8, 17]}。基于灰度的角点检测将图像灰度与邻域内的点灰度差异足够大的点定义为角点；而基于轮廓信息的角点检测算法通过度量目标轮廓的几何特征来提取角点。目前一些车牌定位的研究方法已考虑将角点信息作为车牌定位的底层视觉特征。如文献[8]采用harris角点检测算法提取图像中的角点，对所有的角点进行AP聚类除去非车牌区域的角点来确定车牌位置。该方法对噪声图像具有一定鲁棒性，但对存在尺度及仿射变化的复杂环境的定位效果较差。

文献[17, 18, 19]基于多尺度技术的角点检测研究表明，利用图像灰度或轮廓多尺度上的信息，能够有效地增强检测角点的抗噪性。基于图像的灰度信息，通过构建高斯尺度空间得到一系列尺度连续变化的图像；随后采用中心 周围尺度差得到高斯差尺度空间下的图像像素与其周围邻域灰度的差异；通过进一步采用多尺度积技术融合各尺度差异信息，最后在融合后结果中寻找灰度变化的极值点作为车牌位置候选关键点。算法的具体步骤如下。

输入： 灰度化处理后的车牌图像IMG；

输出： 车牌图像IMG的角点特征图Corner_img。

步骤1： 构建高斯尺度空间，将预处理后的车牌图像IMG与不同尺度高斯核卷积，得到不同尺度下的高斯图像；

步骤2： 构建高斯差(DoG)尺度空间。在以上高斯空间中取适当尺度的特征图像相减，得到高斯差尺度空间的特征图像；

步骤3： 通过多尺度曲率积融合高斯差尺度空间的特征图像，增强角点特征曲率响应；

步骤4： 求融合后角点特征点的极值点，形成最终的角点特征图Corner_img。

高斯尺度空间采用高斯低通滤波器作为卷积核,从而形成尺度连续变化的一系列不同模糊程度的图像。Lindeberg^[20]已经证明高斯函数是实现尺度变换唯一的线性核函数。

将灰度化处理后的车牌图像IMG与公式1在多个高斯尺度下进行卷积，构建车牌图像的多尺度高斯空间 P_σs。

文献[17, 18, 19, 20]研究了角点在轮廓高斯差空间的演化行为，研究表明角点特征存在于不同尺度的轮廓上，且在低尺度与高尺度下表现为明显不同的差异。在越接近角点的位置，其在不同尺度轮廓之间的差异就越明显，差异在角点位置处达到最大，而在轮廓越光滑的地方差异越小。根据角点的定义，其在轮廓高斯差尺度空间的演化行为应与图像灰度高斯差尺度空间的表现一致。因此在以上构建的图像灰度高斯尺度空间中，选取某些较小尺度σ_i作为中心尺度，较大尺度σ_j=σ_i+δ作为周围尺度，将尺度σ_i下的车牌模糊图像P_σi与尺度σ_j下的卷积图P_σj进行差分运算(如公式2所示)，可以得到图像像素中心与其周围邻域灰度的差异信息，即不同尺度的高斯差分(different of gaussian，DoG)图像P_σiσj^DoG。

图 4(Fig. 4)

图 4 基于高斯差尺度空间的车牌图特征图 Fig. 4 Features of License plate image detected on DoG space

文献[18, 19, 20, 21]基于轮廓尺度空间的角点检测研究表明，随着轮廓尺度的增加，角点的曲率响应不断变化且一直存在，而噪声及弱角点的曲率很快消失，若通过把轮廓高斯差空间得到的不同尺度角点曲率响应进行相乘，可以明显增强角点曲率的曲率幅度，同时可抑制非角点或噪声的曲率幅度，从而能够得到鲁棒性更强的角点特征。借鉴此基于多尺度曲率积的鲁棒角点检测思想，在以上图像灰度高斯差空间，将不同尺度差分得到的DOG图像P_σiσj^DoG以相乘方式融合，并在融合后的结果中寻找灰度变化的极值点，即可实现在图像灰度定义下的角点特征提取。

由此，基于多尺度积的角点检测定义如下

最后，在Corner_img¹的每3×3的邻域取得灰度变化的极值点，得到车牌图像IMG的角点特征图Corner_img。

图 5为基于高斯差尺度空间应用多尺度积融合得到的角点检测结果Corner_img。与图 4相比，图 5中去掉了噪声及弱角点存在的边缘，而增强了车牌周围强角点处的响应，从而得到了对噪声，尺度变化鲁棒的车牌候选区域信息。

图 5(Fig. 5)

图 5 高斯差尺度空间下基于多尺度积融合的角点检测结果(Corner_img) Fig. 5 Corner feature map (Corner_img) based on multi scale product fusion in DoG space

以上实验结果可以看出，包含车牌位置的角点密集而丰富，利用上述基于多尺度积融合的角点特征提取算法可以得到车牌候选区域。但从图 5中可以看出，在非车牌区域也存在不少角点信息。因此单纯基于角点特征不足以实现复杂环境的精确车牌定位。

已有研究文献[10, 11]表明，中国的车牌具有固定的颜色信息，颜色特征是定位车牌的另一有效特征。故进一步考虑利用颜色特征对角点特征得到的车牌候选区域进一步筛选。

中国的车牌按照颜色主要分为蓝底白字，黄底黑字，黑底白字和白底黑字4种类型。为了在车牌图像中提取车牌位置，结合高斯差尺度空间下基于多尺度积融合的角点检测算法框架，将车牌颜色特征同样作为另一种底层特征。通过提取图像的4种颜色对特征，与不同尺度高斯核卷积构建颜色特征高斯尺度空间。视觉心理学研究表明，视觉系统以拮抗方式解释颜色。通过在高斯尺度空间选取同样的中心尺度与周围尺度做差分，可以实现中心 周围视觉感受野的颜色拮抗效应^[22]。在颜色高斯差尺度空间，同样应用多尺度积方法融合各尺度差分图，以实现增强颜色对特征的响应，抑制噪声颜色，得到基于抗噪声及尺度不变鲁棒颜色特征的车牌候选区。具体算法如下。

输入： 已转化为HSV色彩空间的车牌图像IMG；

输出： 车牌图像IMG的视觉颜色对抗色特征图BW_img，YB_img，BW_img，WB_img；

步骤1： 对IMG提取包含蓝、白、黑和黄4种颜色分量的子图像，按照蓝与白、黄与黑、黑与白、白与黑的次序做差分，得到蓝白、黄黑、黑白和白黑4幅颜色对差分图；

步骤2： 将4个颜色对差分图应用于高斯尺度空间(见公式(1))，得到各个视觉颜色对多尺度通道；

步骤3： 在视觉颜色对多尺度空间，应用公式(2)进一步得到各颜色对通道的高斯差DoG图像，即蓝白对DoG图、黄黑对DoG图、黑白对DoG图、白黑对DoG图；

步骤4： 对上步得到的4个颜色对DoG图像，同样应用2.2.2节多尺度积融合高斯差DoG图像(公式(3))，得到视觉颜色对抗色特征图BW_img,YBL_img,BLW_img,WBL_img。

该算法对已转换为HSV色彩空间的车牌图像，分别提取蓝色、白色、黑色、黄色分量。按照中国车牌颜色特性，对包含4种颜色分量的图像配对，即蓝白颜色对、黄黑颜色对、黑白颜色对、白黑颜色对。将配对颜色做差分得到4幅颜色对差分图。再将差分应用于高斯尺度空间，形成4个颜色对尺度通道。在各个颜色对尺度通道做高斯差，即得到4个高斯差尺度空间的颜色对抗色特征图，分别为蓝白对DoG图、黄黑对DoG图、黑白对DoG图、白黑对DoG图。最后，在高斯差空间的同样将不同尺度差分图以乘积形式融合得到4个颜色对抗色特征图。

基于多尺度积的特征融合方法具有快速、高效性特点，将乘积形式的特征融合同样应用于角点特征与颜色对特征的融合中，以实现2种特征相辅相成的融合效果。对1.2节提取的角点特征图分别和1.3节中提取的4种颜色对特征图做乘积的运算，如公式(4)(以蓝白色为例)：

由此可以得到蓝白颜色对角点融合图(Corner_BW)、黑白颜色对角点融合图(Corner_BLW)、黄黑颜色对角点融合图(Corner_ YBL)和白黑颜色对角点融合图(Corner_WBL)。

最终的车牌特征将4幅颜色角点融合图进一步做线性融合，如公式(5)。根据车牌颜色类型的分布：蓝牌占70%左右、黑牌占10%左右、黄牌占10%左右、白牌占10%左右，本文实验中将蓝白颜色对、黑白颜色对、黄黑颜色对、白黑颜色对的对应融合权值依次设置为{0.7,0.1,0.1,0.1}。得到最终的车牌特征融合图Fin_img，如图 6所示。

图 6(Fig. 6)

图 6 多特征融合车牌效果图 Fig. 6 Multi-feature fusion result on license plate image(Fin_img)

以上车牌特征的结果中，除了车牌位置处的特征，仍然存在一些非车牌的噪声区域，因此，进一步设计基于特征点密度的车牌精确定位算法。具体流程如图 7所示。

图 7(Fig. 7)

图 7 车牌精确定位算法流程图 Fig. 7 Flow chart of license plate fine localization algorithm

算法将定位过程进一步分为粗定位和细定位2个过程。粗定位过程中，将特征融合后的图像转换为二值图，从横向和纵向扫描二值化图像中的每个点(从点(1,1)开始扫描)，分别计算点在横向和纵向非零点值的数目，比较横向、纵向的特征点数与设定阈值的大小，将超过阈值的点值设为1；否则将点的值设为0。继而进行下一点扫描到最后一点结束。因大于给定区域距离阈值的点的值为1，小于给定阈值的点的值为0。此过程实现对二值化图像的区域划分，达到对车牌的粗定位。

在粗定位之后，部分区域本属于车牌区域，但被划分为间隔距离较近的小区域。扫描粗定位图像，当横向上某行出现有值的点时，计算此行中所有相邻非零点之间的距离，若给定的阈值大于所有相邻非零点之间的距离，则进行下一行的扫描。否则在纵向和横向上扫描点所在区域中非零点值的数目，若点所在区域中非零点值的数目大于给定的阈值，则点为车牌区域的起始点；将点与此行中最远距离的非 零点之间的距离作为矩形框的长，以车牌的长宽比来确定矩形框大小(车牌的宽由长计算得到：宽=0.3× 长(现实情况中的车牌长宽比得到))，最后，通过该矩形确定车牌区域(如图 8所示)。采用的阈值根据大量图片实验设置。

图 8(Fig. 8)

图 8 基于多尺度积角点检测和视觉颜色特征的车牌定位效果图 Fig. 8 Result of our license plate location algorithm based on multi-scale product of corner and visual color features

实验的主机是一台主频为3 GHz、内存为4 G的微机，系统为64位的Windows7系统。实验的车牌图像包含对实际道路采集的车辆图片集，及部分特殊环境下的车辆图像资料(车辆图片图像库)，共106幅真实车辆图像作为实验数据。在测试图像中，正常情况下的车牌图像有37幅，包含旋转变换和尺度变换的车牌图像各17幅和13幅，包含复杂背景的车牌图像39幅，通过对106幅车辆图像进行测试，算法对车牌定位的有效定位率达到96.2%。在对旋转、尺度变化及噪声鲁棒性方面进一步与文献[8]基于harris角点检测的车牌定位算法分别在只包含尺度变换(13幅图像)、旋转变换(17幅图像)及噪声和复杂背景图像(39幅图像)进行了比较，如表 1所示。可以看出，基于harris角点检测的车牌定位算法对于尺度变化、噪声和仿射变化的鲁棒性较差，但采用多尺度空间提取角点和颜色对特征，避免了尺度和仿射变化的影响，利用多尺度积技术快速有效地融合角点和颜色特征，增强了算法的抗噪性和鲁棒性。提出的车牌定位算法是一种高效快速的车牌定位方法，为了验证算法的高效性，研究与文献[12]和文献[16]中的算法进行比较，如表 2所示。从表中实验的数据可知，基于多尺度积角点检测和视觉颜色特征的车牌定位算法平均定位耗时在1.5 s以内，具有快速定位的特点，具有较强的实用价值。

表 1(Table 1)

表 1 研究算法与基于harris角点检测的车牌定位算法的比较 Table 1 Comparison the proposed license plate location algorithm with Harris corner detection based algorithm 条件 研究算法*准确率/% 文献[8]定位算法*准确率/% *表中数据为照片数 尺度变换(13幅图像) 12 92.3 8 61.5 抗噪声及复杂背景(39幅图像) 37 94.9 30 76.9 仿射变换(17幅图像) 16 94.1 10 62.5

表 1 研究算法与基于harris角点检测的车牌定位算法的比较 Table 1 Comparison the proposed license plate location algorithm with Harris corner detection based algorithm

表 2(Table 2)

表 2 研究算法与文献[12]和文献[16]中车牌定位算法的高效性比较 Table 2 Efficiency comparison between our algorithm and license plate algorithmsin paper[12],[16] 算法 测试集描述 定位耗时/s 平均耗时/s 研究算法 正常图像 1.21 1.34 非正常图像(含尺度变换、复杂背景、仿射变换) 1.47 文献[12]算法 正常图像 1.58 1.69 非正常图像(含尺度变换、复杂背景、仿射变换) 1.79 文献[16]算法 正常图像 2.51 3.46 非正常图像(含尺度变换、复杂背景、仿射变换) 3.77

表 2 研究算法与文献[12]和文献[16]中车牌定位算法的高效性比较 Table 2 Efficiency comparison between our algorithm and license plate algorithmsin paper[12],[16]

此外，通过与文献[5]、^[12]具体比较发现，文献[12]的车牌定位算法，在尺度变化和旋转较小的非复杂背景下的车辆图像取得较好的定位效果，但应对尺度和光照发生变化及复杂环境较差；而文献[5]对非遮挡、车牌边缘连续等非复杂背景下的图像定位效果较好，但对复杂环境下的车牌图像定位效果较差。表 3为研究提出的车牌定位算法与上述2种车牌定位算法准确率的比较结果，从表中可以看出车牌定位算法较其他2种算法，在定位准确率上有一定的提高。车牌定位方法能够克服尺度和旋转变化对车牌定位的影响，对噪声的鲁棒性较好，应用到复杂背景下的车牌图像也能取得较好的定位效果。但此方法对多车牌的图像定位效果不理想，对夜晚和大雾天气下的车牌图像定位效果不理想。

表 3(Table 3)

表 3 研究算法与文献[12],[15]中车牌定位算法的准确率比较 Table 3 Accuracy comparison between our algorithm and license plate algorithmsin paper[12],[15] 算法 准确定位* 错误定位* 准确率/% *表中数据为照片数 文献[12]算法 98 8 92.5 文献[5]算法 96 10 90.1 研究算法 102 4 96.2

表 3 研究算法与文献[12],[15]中车牌定位算法的准确率比较 Table 3 Accuracy comparison between our algorithm and license plate algorithmsin paper[12],[15]

图 9展示了算法对车辆图像的不同尺度变换和复杂背景下的检测结果。图 10展示了在加入椒盐噪声、斑点噪声和高斯噪声之后，采用本文提出的车牌定位算法的定位效果。椒盐噪声、斑点噪声和高斯噪声设置的噪声密度均为0.02。实验结果充分验证了算法对噪声、尺度、及仿射变化的较好鲁棒性。

图 9(Fig. 9)

图 9 算法在不同尺度和复杂环境下的鲁棒性检测效果 Fig. 9 Robustness of the proposal algorithm in different scales and complex environments

图10(Fig. 10)

图 10 对噪声的鲁棒性 Fig. 10 Robustness of the proposal algorithm to noise

研究提出基于多尺度积角点检测和视觉颜色特征的车牌定位算法，充分考虑了尺度及仿射变化等复杂环境对车牌定位的影响。通过在高斯差尺度空间提取车牌图像的多尺度角点特征和颜色对特征，在各特征通道应用多尺度积技术融合特征，以实现增强特征响应，抑制噪声响应的快速特征融合效果，并构建角点与颜色的多特征融合图确定车牌候选区域；最后通过采用融合图像中特征点之间的距离及密集关系，从粗定位和细定位两层粒度确定车牌的准确位置。实验结果表明，研究的车牌定位方法能够克服尺度和旋转变化对车牌定位的影响，对噪声的鲁棒性较好，对复杂背景下的车牌图像能取得快速、高效的定位效果；但此方法对多车牌的图像定位效果不理想，对光照变化较大情况的车牌图像定位鲁棒性稍差。在后续工作中将进一步考虑解决以上情况下的准确定位。