角点定位（精选三篇）
角点定位 篇1
目前,许多车牌定位与分割算法已经被提出。如利用图像边缘检测算子Color Prewitt和彩色边缘检测与区域生长相结合的牌照定位算法[1];用数学形态学的方法进行车牌定位[2];基于神经网络的车牌定位方法[3];利用遗传算法对图像进行优化搜索,结合区域特征矢量构造的适应度函数,最终寻找到车牌区域的最佳定位参量的方法[4]等。这些算法,各有其特点。其中有一些算法也综合考虑了两种或两种以上的车牌特征,但由于基于各特征的定位算法都是独立处理、串行工作的,难于相互协调,这样导致定位出的伪车牌数增加,从而增大了车牌定位的难度。
根据车牌几何形状的特点和纹理特征,提出了一种基于角点检测和边缘提取的车牌定位方法。通过实验证明,在复杂背景和不同环境光照的条件下,该方法有较好的定位效果,而且运算速度较快。
1 车牌特征
经过大量的分析,在对车牌进行识别时,可以将车牌定位分割分为两个阶段:粗分割阶段和细分割阶段。其中粗分割阶段的主要目的是确定车牌所在大致位置,尽量减少细分割阶段的工作范围,同时对分割结果进行预确认。经过粗分割后,分析区域虽然已经相对较小,但仍然不能满足后续处理的要求。因此还需要进行细分割,即沿车牌边界将车牌切出。
车牌图像的情况虽然很复杂,但经过研究发现车牌区域具有以下特征。
(1) 对灰度图像进行二值化操作后,车牌与车身背景交界处、车牌字符与车牌底面均有较大的灰度值跳变。
(2) 车牌字符及车牌底边包含较丰富的角点信息。
(3) 车牌区域有明显的边框,形成一个矩形或较规则四边形区域,在其内部规则排列着多个字符。包括一系列的省名缩写(汉字)、地区代号(英文字母)和s位字母/数字编号,基本成水平排列。
(4) 不同图像中,牌照的大小、位置虽不确定,但具体的场景下,牌照大小变化有一定范围,同时字符大小和字符间距变化也有一定范围。
(5) 随拍摄角度、汽车运动状况及车牌自身污损程度的不同,所采集到的车牌经常出现边框倾斜、断裂、车牌边框及车牌文字模糊等现象。
2 车牌图像预处理
2.1 阈值分割
在对车牌进行定位识别前,需要对图像进行预处理和二值化。由于包含车牌的图像情况比较复杂,即存在图像较清晰、车牌自身状况良好的情况,又存在图像受噪声干扰较大、车牌自身状况污损较重、车牌定位容易受到干扰的情况。通过实验发现,选择单一的全局阈值法或局部阈值法对不同环境下的车牌图像进行处理时,效果不理想。
针对上述问题,采用了一种改进的分割方法:首先,对图像的直方图进行预处理,去除直方图中的虚假峰点和谷点,然后对其进行判别。若直方图呈双峰状态,则利用迭代阈值分割法对图像进行二值化分割,否则就利用自适应阈值法对图像进行二值化分割。分割后的二值图像里面可能仍存在噪声,这些噪声可能是车牌边缘或文字边缘的小突起或毛刺,也可能是车牌与背景之间的搭接。同时,部分车牌边缘信息可能在二值化的过程中损失了。对于这些情况,再运用数学形态学对图像进行处理,可以获得具有较清晰车牌边缘的图像,为车牌定位创造有利条件。
2.2 数学形态学处理
数学形态学[5]是进行图像分析的一种强有力的工具。它依靠非线性的邻域运算来完成对图像的处理。这种邻域被称为结构元素(SE,structuring element)。数学形态学常用的四种基本运算是腐蚀(收缩边界)、膨胀(扩张边界)、开运算(平滑边界,切断细长连接,消除孤立毛刺)和闭运算(平滑边界,连接短的间断,填充小孔)。二值数学形态学中的运算对象是集合A(图像集合)和集合B(结构元素)。
本文先选择3×3的结构元素B1对图像进行全方向膨胀,以连通具有微小间断点的车牌边缘,并增强车牌边缘。膨胀运算为:A⊕B1=∪{A+b:b∈B1}。
然后选择结构元素B2对图像进行开运算以去除车牌图像边缘的毛刺和图像中的其它细小物体,从而得到一幅所需的图像。开运算为:undefined。
其中:
3 利用角点检测和边缘提取的方法对车牌定位
由于车牌区域包含较丰富的角点[6,7]信息。因此,利用角点特征及车牌边缘信息来完成车牌定位是一种较好的办法。角点是图像中目标的一个重要特征,它决定着图像中目标物的形状。在角点检测方法中,SUSAN算法是一种常用的方法。在利用SUSAN原则完成角点检测的过程中,模板形状和尺寸的选取非常关键。经典的SUSAN算法采用圆形模板,目的是使检测达到各向同性。然而在实际运用中,由于图像的数字化,真正的圆形模板无法实现,只能采用近似圆模板来代替。对SUSAN算法中采用的模板做了改进,采用5×5的方形模板,同时在遍历图像时利用隔行隔列的网格方式进行。通过车牌图像处理实验证明,检测到的角点精度与采用近似圆形模板逐点扫描检测到的角点精度相差不大,但运算量有较大程度的减小。
在对车牌进行定位时,为提高车牌定位速度,可根据图像的统计规律,进行分区优选搜索。因此设置图像下半部为优选区域来检测角点。这样在大部分情况下,完成车牌定位所耗费的时间较小,运算量较小。
3.1 候选车牌区域的粗分割
由于车牌区域的角点分布密集而有规则,而非车牌区域角点稀少,只有在车灯、车盖、车窗处及背景中有一些零星的角点分布,因此在获得优选区域中存在的所有角点后,可以通过对角点分布状况的统计重新确定一定区域进行搜索,从而排除伪车牌区域,完成确定车牌候选区域的粗分割。算法步骤如下。
(1) 设定窗口尺寸为W×H。从图像左下角开始,以步长a移动滑动窗口。记录窗体中的角点数为Ni。同时将角点的坐标信息存放在角点矩阵C(i,j)中。
(2) 遍历优选区域。
(3) 对各区域中的角点数目进行排序,确定角点数目最多的区域,记为k。将该区域角点数目与阈值T比较,如果大于或等于T,则执行第4步,否则转到第6步。
(4) 取k区域内所有n个角点的坐标,令xa=min(xi), ya=min(yi), xb=max(xi), yb=max(yi) (i=1,2,…,n),得到四个坐标。即(xa,ya),(xa,yb),(xb,ya),(xb,yb)。利用这四个坐标依次调整滑动窗口位置,重新计算窗体内的角点数目。选取角点数目最多的区域作为车牌候选区域。若出现多个窗口中角点数目相同的情况,则根据这几个坐标缩小车牌候选区域。
(5) 输出标明车牌候选区域的图像,算法结束。
(6) 用滑动窗口遍历图像优选区域外的部分。对各区域中的角点数目进行排序,然后与阈值T比较,如果大于或等于T,则转到第4步,否则报告错误,结束算法。
3.2 车牌的细分割
在完成粗分割之后,包含车牌的区域已经确定,但车牌的最终定位与分割还没有实现。本文参照角点间的相对位置关系及车牌尺寸的先验知识,充分利用车牌边缘信息,设计了边缘提取办法,从而实现了对车牌区域的精确定位和车牌图像的提取。算法步骤如下。
(1) 选择左竖直边缘开始点,依据为候选区域左上方灰度值为0的点。
(2) 在当前像素的四邻域内,沿竖直方向选择灰度值相同的点作为扩展候选点,同时该次搜索轨迹上的像素数目积累器值加1。重复执行S次。
(3) 检查积累器的值是否大于开始阈值S,若大于则转至(4),否则转至(1)。
(4) 检查积累器的值是否大于终止阈值M及处理轨迹F的下一个点灰度是否改变来确定是否为终止点,如果是终止点转至第5步,否则此点作为扩展点并处理轨迹F的下一个点,然后转至第2步;同时若搜索轨迹长度达到候选区域边缘,则搜索强行结束并转至第5步。
(5) 选择下水平边缘开始点,依据为竖直边缘终止点上下方宽为L的区域内灰度值为0的点。
(6) 沿水平方向搜索,方法与(2)—(4)步过程相同,在此不再赘述。
(7) 利用已知的左竖直边缘开始点和下水平边缘终止点,参照车牌尺寸系数Q提取车牌。
(8) 输出车牌图像。
上述过程只检测了车牌的部分边缘,涉及到车牌边缘图像像素的四邻域。如果将搜索范围扩展到八邻域,也可以用于倾斜车牌的提取。
4 实验结果与分析
为了验证算法的定位效果,对不同的条件下的多幅车牌图像进行了实验。在所有实验中,图像大小为640×480,256级灰度,滑动窗口尺寸为213×120,阈值T=10,开始阈值S=10,终止阈值M=100。
实验采用不同自然背景及车身背景,不同光照条件(白天、夜晚)和不同状态(静止、运动)的车牌图像共184幅进行分析与比较,定位错误的有8幅,总的定位正确率为95.7% 。
图1是实验中用到的一幅运动图像。图像中存在着砖墙、车窗、车灯等干扰信息,通过阈值分割(图2)、数学形态学处理(图3),可以在很大程度上减少背景的干扰,并增强车牌边缘。图4为粗分割后的结果(图中灰色矩形框所示区域),由于出现窗口包含角点数目相同的情况,车牌候选区域缩小了。利用边缘提取的方法实现车牌定位及车牌图像提取如图5所示。在输出车牌图像时,为方便起见,选择输出处理后的车牌图像。由于本方法在车牌定位过程中未改变图像中像素的相对位置关系,因此也可以根据定位结果直接输出原始图像中的车牌部分,以利于后继的车牌字符识别。
在错误定位的几幅图像中,经过分析主要存在以下原因: 1) 车牌本身污损较严重;2) 拍摄环境光线不足;3) 车辆处于运动状态造成成像过于模糊。对于这些问题,可以通过图像处理方法的改进来解决,这是今后要研究的一个方向。另一个研究重点是角点检测算法的改进,争取进一步提高车牌定位处理的速度。
参考文献
[1]张引,潘云鹤.彩色汽车图象牌照定位新方法.中国图象图形学报(A版),2001;6(4):374—377
[2]左奇,史忠科.一种基于数学形态学的实时车牌图象分割方法.中国图象图形学报(A版),2003;8(3):281—285
[3]Park S H,Kin K I.Locating car license plates using neural net-works.Electrinics Letters,1999;35(17):1475—1477
[4]是湘全,何苑凌,蔡孟波.遗传算法在车牌定位中的应用.公路交通科技,2000;17(2):33—36
[5]Jean S R.Introduction to mathematical morphology.Computer Vi-sion,Graphics,and Image Processing,1986;35:283—305
[6]卢汉清,彭嘉雄,万发贯.角点在目标识别分类中的应用.数据采集与处理.1992;7(2):182—186
角点定位 篇2
对字幕检测方面研究方面,现有的方法通常可以分为以下三类:
1)通过设定一些限制条件,来连接字幕区域,比如要满足颜色均匀,一定尺寸大小和空间分布等条件。Jain和Yu结合了颜色和尺寸范围两个特征来确定视频帧中的字幕连通区域[2,3]。这类方法的主要问题是不能普遍应用于所有图像。因为颜色,尺寸以及字体形状在不同的图像中可能会有很大的差别。
2)在假设背景比字幕区域光滑的前提下,通过边缘特征或是纹理密度特征就可能区分开字幕区域和非字幕区域。但是,如何减少复杂背景中的噪声一直是这类方法的一个疑难问题。Lyu et al. 提出了一种检测多国语言和多分辨率字幕的方法[4]。他们利用Sobel边缘图特征,并采用一个特定的局部阈值来定位字幕候选区域。Li et al. 提出了一种基于图像块中心矩的方法[1]。他们证明可以利用这个特征来检测不同大小的字幕。
3)基于机器学习的思想,从字幕区域和非字幕区域分别提取出一些特征,来训练支持向量机(SVM)或神经网络,从而将字幕检测转化为分类问题。Hu et al.提出了一个基于范例的自适应SVM,是利用最大梯度差和其他连通组件特征对SVM进行训练[6]。这种方法的误检率相对比较低。基于机器学习方法的不足之处在于,它需要大量不同种类的训练样本。
本论文提出了一种基于角点响应的新字幕检测和定位方法。通过特殊滤波器提取出图像中的灰度值角点,这个滤波器的输出结果就是角点响应。角点响应的局部最大值就是著名的Harris角点。虽然角点响应不包含角点的精确位置信息,但是它反映了该像素作为一个拐角点的概率。同时,我们发现它是一个非常适用于字幕检测的特征。它同样能很好地运用于不同的分辨率,因此,也有可能检测出不同尺寸的字幕。同时,再结合颜色均匀和连通区域尺寸两个特征,便能达到很好的检测结果。
对比之前的研究工作,我们的研究主要具有以下三方面的优点:
1)比其他利用边缘或纹理的方法更鲁棒。因为角点响应更有效,并且它在特征提取阶段就已经减少了噪声。即使是背景复杂的图像,我们也能从中检测出字幕。
2)它能检测出大字体字幕,角点响应特征无论是在高分辨率还是低分辨率图像中都能很好地工作。
3)与文献[5]和[7]中的方法相比,我们的方法更有效。因为角点响应非常容易计算,并且我们无须知道角点的具体位置。
本论文的架构如下:在第2部分,我们提出一种基于角点响应的字幕检测和定位方法;第3部分,主要呈现实验结果,并讨论;第4部分是最终结论。
1 检测和定位字幕区域
这一部分主要是介绍如何利用角点响应找出字幕区域。主要分为3步:1)在多尺度空间中计算出角点响应,并且对这些响应进行阈值分割,以得到字幕候选区域。2)结合颜色和区域尺寸两个特征,对字幕候选区域进行确认。3)利用边界框对字幕行进行定位。图1列出了我们整个方案的总流程图。
1.1 计算多尺度角点响应
角点是一个两维的空间特征点,它在区域边缘具有高曲率,可以通过寻找局部最大角点响应找出区域边缘。在参考文献[7]中,连通区域就是通过视频帧中的角点得到的,但是他们利用角点的数量,而不是角点响应,来区分字幕区域和非字幕区域。用角点响应代替角点数量,可以带来以下两方面的改进:第一,我们没必要知道角点的精确坐标信息,只需知道图像的哪部分可能会有角点。角点响应恰是这样一个描述角点可能性的特征。第二,每个像素都可以得到一个连续的角点响应值,这点非常有利于我们的后续处理。
在这,我们简明介绍下角点响应的计算,至于更多的细节信息,请参阅文献[8]。已知图像I(x,y) ,则计算角点响应的基本等式,如(1)所示。
其中,W(u,v) 是窗口函数。当然,角点响应也可由下列(2)式近似算出。
其中,σ值和模板的尺寸可由我们自己选择。
图2中,列出了图像和它们的相应角点响应值(如图b,黑色表示角点响应值)。从图中我们可以看出,字幕区域可以和背景区域区分开,当然,复杂背景也可能会检测出来,但是,这些复杂背景可以通过后续步骤去除掉。
1.2 筛选字幕候选区域
基于角点响应值得出字幕候选区域。首先,将图像分成小块,在我们的实验中,选择块的大小为8×8。然后,计算出每个小块的角点响应平均强度值Mblk。如果Mblk满足以下等式,则认为当前块为字幕候选块。
式中,Tblk是针对于Mblk的一个阈值,其计算公式如下所示:
这里使用的阈值相对比较低,因为在许多像素中角点响应值为0。这是合理的,我们不希望丢失确实包含字幕的图像块,而由背景产生的噪声图像块可以在后续步骤中去除。图3中展示出了字幕候选区域的筛选结果。
1.3 利用颜色特征确认字幕区域
一般图像中的字幕颜色都一致,同时它又与背景颜色有区别。因此,相对于背景来说,字幕间的灰度值偏差较小,并且,字幕与背景的灰度值相差比较大。我们利用这一特性去除噪声图像块。
按下面等式,在每个候选图像块中,将所有像素的角点响应值与阈值TCR比较,以获取图像块中点Rt和Rb的一个集合。
然后,按下面等式计算出Dev和Dis。式中g(x,y) 是像素的灰度值。
Mt和Mb分别是集合Rt和Rb中像素的灰度平均值。
最后,我们确认下面条件是否满足。
如果满足,则我们认为当前图像块为字幕图像块。图3(c)和图3(d)展示出了字幕区域确认后的结果。虽然存在一些小的噪声区域,但只要利用面积和高度之比非常容易就可以去除这些噪声[3]。
1.4 定位字幕行
经过确认后,我们已经获得了字幕区域,但是,该区域的形状仍然是不规则的,仍需要将这些区域连接成矩形区域。在视频中,字幕区域一般是水平或是垂直排列,我们采用文献[9,10]提出的方案,利用角点响应值对字幕行进行精确定位。其具体做法如下:首先,在每个连通区域中,找出分别处于最边缘的四个像素,并延长成为一个矩形。然后,利用矩形框对字幕行进行定位。对矩形框中的每一行和列,分别计算它们的角点响应强度之和,这样就得出相应曲线,利用此进行行的划分。因为字幕之间存在空隙,必须对曲线进行平滑,因此,我们采用高斯滤波器对曲线进行平滑。最后,利用阈值对矩形框进行修订,精确定位出字幕行。具有的定位结果如图4所示。我们发现,如果设定阈值为峰值的30%时,最后的实验结果比较好。
2 实验结果
我们所提出的字幕检测和定位算法针对大量视频进行了测试,包括电视新闻和电影片段等等。这些视频中的字幕为英语或是中文,分辨率为320×240或是352×288。
在这里,我们采用了三种最广泛使用的量化评估指标:召回率,精度和速度。召回率指的是能正确检测出真实字幕的百分比。精度指的是所检测出的字幕区域百分之多少是正确的。正确的字幕检测指的是所检测出的区域与该字幕真实区域至少有90%的重叠。我们用处理一幅图像的平均时间来评估速度。
表1列出了具体的实验结果,可以看出,相对于文献[4]和[5]的研究,在召回率近似的前提下,我们的方法可以达到更好的精度。原因可以归纳为以下两方面:首先,角点响应相对于其他特征,自身包含更少的噪声,也就是说,角点响应比其他特征更适用于字幕检测。其次,我们同时结合其他特征,比如颜色和区域大小等,来剔除错误检测。相比于文献[7]中的研究,我们的方法更快,更有效。针对同一幅含有字幕的图像,我们的方法仅花费了30ms来计算角点响应,字幕区域的确认和定位也只花了40ms。而文献[7]的方法,仅仅获取Harris角点的位置信息就花费了75ms,还得至少再花费30ms来定位字幕。上述所有的测试是在同一台计算机上进行的,用的也是同一款计算机视觉软件Hdevelop。
3 结束语
本论文提出了一种基于图像角点响应的字幕检测和定位方法。我们的方法分为以下3个基本步骤:第一,根据图像块的角点响应平均值对字幕区域进行候选;第二,结合其他特征对字幕候选区域进行确认;第三,利用角点响应值对字幕行进行精确定位。实验结果证明了我们所提出的字幕检测和定位方法是非常有效的。
摘要：在视频和图像的语义分析中,字幕信息起着重要的作用。该文提出了一种基于角点响应的字幕检测和定位算法,它能有效处理背景复杂的视频和图像中的字幕信息。相对于非字幕区域而言,在字幕区域中,经常存在密集的边缘和角点,因此,我们可以从字幕区域获取相对强的角点,而从非字幕区域,得到相对弱的角点。这些角点给我们的图像字幕检测和定位提供了非常有用的信息。然后,利用简单的阈值机制,就可以得出字幕候选区域。再结合其他的特征,如颜色,连通区域的大小等,对这些候选区域进行进一步的确认。最后,借助于角点响应对字幕行进行精确定位。实验结果显示出我们所提出方法是非常有效的。
角点检测技术综述 篇3
在计算机视觉和机器视觉中, 图像的角点特征是非常重要的一个特征, 它可以使图像的信息数据量大幅降低, 提高有效信息的比率, 大幅降低图像处理的运算量, 在图像匹配、目标识别以及目标跟踪和运动检测中有重要的作用[1]。因此, 分析研究角点检测技术具有重要的研究意义和实用价值。本文对现有的角点检测方法进行了综述, 并对相关的算法进行了分析和总结。
2 角点检测方法
一般来讲, 角点就是图像上某个方面特别突出的点。但是在计算机视觉和机器视觉中, 不同的角点定义, 就会有不一样的角点检测算法, 通过计算, 就会得到不一样的检测结果。一般地, 角点检测方法大致可分为两种:基于边缘的角点检测算法及基于灰度的角点检测算法。
2.1 基于边缘的角点检测算法
基于边缘的角点检测算法需要对图像进行分割和边缘提取, 而边缘检测是计算机视觉处理中比较重要的内容之一, 由于角点是多条边缘线的交点, 所以基于边缘的角点检测算法对图像分割和边缘提取的效果有较高的约束, 且其处理过程也比较复杂。这类算法的代表方法有基于B样条的角点检测方法, 基于Freeman链码的角点检测方法以及基于小波变换的角点检测方法。
2.1.1 基于B样条的角点检测方法
G.Medioni等人在前人研究基础上提出了一种基于B样条的角点检测的算法[2]。该算法通过用B样条来表示图像分割之后链码所表示的边界, 然后在这个基础上进行角点的提取。该类方法对前期的图像分割依赖性很大, 而图像分割本身就是一个很复杂的工作这样检测算法的复杂性就被加大了, 并且图像分割中的错误很容易影响角点检测的结果。
2.1.2 基于Freeman链码的角点检测方法
基于Freeman链码的角点检测方法是通过提取图像分割后图像边缘的Freeman链码, 将方向改变量大的点标记为角点。计算出候选点以后, 对角点的进一步确认可以通过计算曲率来判断。
该方法过程简单, 实现比较容易, 但该方法对图像分割的结果的依赖性很大, 并且容易受噪声影响, 在预处理过程, 需要去噪处理。
2.1.3 基于小波变换的角点检测方法
小波变换角点检测的步骤是:首先用边缘检测算子提取目标边缘, 选出能检测极大值的小波, 然后通过在多个尺度下进行小波变换, 选出在各个尺度下的均是极大值的点, 然后使用一定的筛选规则, 选出正确的角点集合。
2.2 基于灰度的角点检测算法
计算量小, 运算速度快是基于边缘的角点提取算法的特点, 但其有容易受噪声影响和对边缘提取的依赖性的不足, 对此研究者提出了基于灰度的角点检测算法。这类方法可以利用角点本身的性质检测角点, 对图像其它局部特征没有依赖性。
2.2.1 Moravec算子
Moravec是H.P在1977年提出的基于灰度方差的角点提取算法, 它的原理是通过计算各个像素点在水平、垂直、对角线、反对角线四个方向的灰度变化, 选取的兴趣值为最小的灰度方差, 最后在把在规定范围内具有角点相应最大值的像素点定义为角点。Moravec算子对反差较大的边缘提取效果较好, 反之效果较差。
2.2.2 Harris算子
Moravec角点检测算子研究的是图像中窗口内的图像亮度值在经过局部窗口在不同方向进行偏移后的平均变化。Chris Harris和Mike Stephens在此算法的基础之上进行了改进, 在1988年提出的一种基于信号的点特征提取算法, 其将窗口移动方向利用泰勒级数展开, 通过对其进行扩展, 同时引入平滑因子, 增强了鲁棒性。
Harris是一种高效的特征点提取算法, 它有较好的稳定性, 对平移、旋转、噪声可处理, 能够提取出比较均匀的特征点, 并且该算法对于灰度的变化图不敏感。但其也有不足:不具有尺度不变性;算法提取的角点是像素级的, 非亚像素级。
2.2.3 SUSAN算法
SUSAN角点检测算法是Smith等人在1997年提出的一种灰度级角点检测方法。该方法的步骤为:首先定义一个圆形模板, 然后将圆形模版在图像上移动, 模板内的像素点的灰度值与模版中心像素 (核) 值相比, 若其灰度差小于某阈值t时, 就认为该像素与其核具有相同灰度, 并把该区域定义为USAN。
3 结语
本文主要对角点检测相关的算法进行了综述, 角点作为图像上的特征点, 其具有丰富的信息量, 在图像匹配、图像融合及目标识别等领域中有重要的应用价值。如上分析, 精度不够和实时性不高是目前角点检测仍存在的不足, 今后的研究和发展趋势仍将会在检测精度和实时性处理等方面有所进展。
参考文献
[1]戴涛, 朱长仁, 胡树平.图像匹配技术综述[J].数字技术与应用, 2012, 3:174.