SIFT（精选九篇）
SIFT 篇1
关键词：SIFT,PCA,支持向量机
1 概述
人脸表情是人们非语言交流时的最丰富的资源和最容易表达人们感情的一种有效方式, 表情含有丰富的人体行为信息。一个人脸表情识别系统通常由四个部分组成:人脸检测和跟踪, 特征提取, 特征选择, 情感分类。其中选择合适的特征提取和特征选择算法在人脸表情识别中起到核心作用。
尺度不变特征转换算法用来侦测和描述图片中的局部性特征, 首先生成一个尺度空间, 在尺度空间中寻找极值点, 并提取出其位置, 尺度, 旋转不变量。SIFT特征是基于物体上的一些局部外观的兴趣点而与图像的大小和旋转无关。对于光线, 噪声, 一些微视角的改变的容忍度也非常高。本文使用SIFT算法进行人脸特征提取的研究, 并取得了很好的效果。
2 SIFT算法
2.1尺度空间的表示。
一个图像的尺度空间, 定义为一个变化尺度的高斯函数 的卷积。
(x, y) 代表图像的像素位置。σ是尺度空间因子, 值越小表示图像被平滑的越少, 相应的尺度也越小。大尺度对应于图像的概貌特征, 小尺度对应于图像的细节特征。
2.2 高斯金字塔的构建。
图像的金字塔模型是指, 将原始图像不断降阶采样, 由大到小, 构成的塔状模型。原图像为金字塔的第一层, 每次降采样所得到的新图像为金字塔的一层, 每个金字塔共n层。由图片的大小决定建几个塔, 每塔几层图像 (一般为3-5层) , 往上每一层是对其下一层进行拉普拉斯变换。如下公式为尺度空间的所有取值, i为塔数 (第几个塔) , s为每个塔的层数。
2.3 高斯差分金字塔的构建。
据理论验证, 尺度归一化的高斯拉普拉斯函数的极大值和极小值同其它的特征提取函数相比, 能产生最稳定的图像特征。Lowe使用更高效的高斯差分算子代替拉普拉斯算子进行极值检测, 如下：
在实际计算时, 使用高斯金字塔每组中相邻上下两层图像相减, 得到高斯差分图像。
2.4 关键点检测并去除不好的特征点。
在高斯差分尺度空间中, 一个检测点和它同尺度的8个相邻点和上下相邻尺度对应的18个点共26个点相比较, 以确保在尺度空间和二维空间都能够检测到极值点。
通过拟和三维二次函数以精确确定关键点的位置和尺度, 同时去除低对比度的关键点和不稳定的边缘响应点。
空间尺度函数泰勒展开式如下:
对上式求导, 得到X的值为:
在已经检测到的特征点中, 首先去除低对比度点:将X的值代入泰勒展开式, 只取前两项可得:
如果 就将该特征点保留下来, 否则丢弃。在边缘特征点剔除过程中, 要用到2*2的Hessian矩阵:
假设α是矩阵H较大的特征值, β是矩阵H较小的特征值, 令a=rβ, 则只需检测:
2.5 描述关键点。
在实际计算中, 在以关键点为中心的邻域窗口内采样, 并用直方图统计邻域像素的梯度方向。梯度直方图的范围是0~360度, 其中每45度一个柱, 总共8个柱。直方图中的峰值就是主方向。根据关键点周围像素点得到描述符, 在关键点周围确定一个4*4的窗口, 每个窗口有个8个方向, 即描述符是一个4*4*8=128维的向量。
3 实验
本文将使用日本的JAFFE图像库作为标准表情图像库。本图像库中共有213幅灰度图像, 共有十个人七种正面表情 (中性脸、高兴、悲伤、惊奇、愤怒、厌恶和恐惧) , 图像是以大小为256*256的8位灰度级存储的, 格式为.tiff型。平均每个人每种表情有2到4张。每种表情的个数如表1所示。
本文使用SIFT算法对图像库中的图像进行特征提取之后, 利用PCA对得到的向量进行降维, 并利用支持向量机进行特征选择和分类。支持向量机泛化能力很强, 在解决小样本, 非线性和高维模式识别问题方面表现优秀。在支持向量机中使用的核函数主要有四类:线性核函数, 多项式核函数, RBF核函数, Sigmoid核函数。本文中算法采用线性核函数。本实验将标准库中图像按表情分为七组, 每组30张图片 (其中DI使用29张图片) , 训练样本每组20张, 测试样本每组10张, 得出的每种表情的识别率如表2所示。
由表2分析可知, 高兴和惊讶的识别率较高, 是因为高兴和惊讶影响的区域比较多, 特征点提取比较充分。
4 结论
本文的目标是将普遍应用与目标跟踪与检测的SIFT算法应用与人脸表情识别当中, 并取得了不错的效果。说明SIFT算法和LBP, GA-BOR这些局部特征提取算法一样可以应用与人脸表情识别当中, 并且结果优异。
本文只是使用SIFT这种单一的局部特征提取算法进行特征提取, 下一个阶段的目标是将SIFT算法和其他特征提取相结合, 进行研究。
参考文献
[1]莫修飞.基于SIFT算法的人脸表情识别[D].西安电子科技大学硕士论文, 2012.
[2]S.Berretti, A.D.Bimbo, P.Pala, B.B.Amor and M.Daoudi.A Set of Selected SIFT Features for 3D Facial Expression Recognition[C].2010 International Conference on Pattern Recognition:4125-4128.
[3]H.Soyel and H.Demirel.Facial Expression Recognition Based on Discriminative Scale Invariant Feature Transform[J].Electronics Letters, 2010, 46 (5) .
[4]H.Soyel and H.Demirel.Improved SIFT Matching for Pose Robust Facial Expression Recognition.hsoyel@ciu.edu.tr.
[5]Hu Yuxiao, Zeng Zhihong, Yin Lijun, Wei Xiaozhou, Zhou Xi and Thomas S.Huang.Multi-View Facial Expression Recogniton.University of Illinois at Urbana-Champaign.
[6]Ligang Zhang, Dian Tjondronegoro and Vinod Chandran.Discovering the Best Feature Extraction And Selection Algorithms For Spontaneous Facial Expression Recognition[J].IEEE Conference on Multimedia and Expo, 2012:1027-1032
[7]D.G.Lowe.Distinctive Image Features from Scale-Invariant Keypoints[J].International Journal of Computer Vision, 2004:1-28.
基于聚类的SIFT人脸检测算法 篇2
摘要：为解决在人脸识别领域的特征提取问题，提出一种尺度不变特征转换的SIFT算法与聚类分析相结合的算法，在对人脸特征分类时，通过选取最优化的距离阀值，用聚类理论对生成的SIFT特征进行聚类分析，从而得到若干特征类别，去除一些非主要特征类别，排除其他非目标人脸主要特征的干扰，实验结果表明，改进的SIFT算法比原始算法具有更好的特征匹配效果。
关键词：人脸识别；特征提取；SIFT算法；聚类分析
摘要：为解决在人脸识别领域的特征提取问题，提出一种尺度不变特征转换的SIFT算法与聚类分析相结合的算法，在对人脸特征分类时，通过选取最优化的距离阀值，用聚类理论对生成的SIFT特征进行聚类分析，从而得到若干特征类别，去除一些非主要特征类别，排除其他非目标人脸主要特征的干扰，实验结果表明，改进的SIFT算法比原始算法具有更好的特征匹配效果。
关键词：人脸识别；特征提取；SIFT算法；聚类分析
摘要：为解决在人脸识别领域的特征提取问题，提出一种尺度不变特征转换的SIFT算法与聚类分析相结合的算法，在对人脸特征分类时，通过选取最优化的距离阀值，用聚类理论对生成的SIFT特征进行聚类分析，从而得到若干特征类别，去除一些非主要特征类别，排除其他非目标人脸主要特征的干扰，实验结果表明，改进的SIFT算法比原始算法具有更好的特征匹配效果。
融入SIFT的图像对称检测 篇3
关键词：对称性,SIFT,特征点,匹配
1. 引言
图像的对称性就是通过图像的梯度信息、纹理分布等来寻找局部或全局的对称性。图像对称性的检测研究正是在现实应用的需求下逐步发展起来的, 现在各种对称性的检测与度量、利用已成为计算机视觉的热门研究话题, 在物体的定位、识别方面发挥着非常重要的作用, 特别是从复杂的图像中提取图像的对称性, 对于模式识别和数据压缩都有很重要的意义。因此, 图像的对称性研究具有很好的应用前景和实际应用价值。
本文通过使用对于尺度具有鲁棒性的SIFT[1] (Scale Invari-ant Feature Transform) 算法进行特征点的提取, 对于图像中关键特征点的相似匹配, 则采用关键点特征向量的欧氏距离作为两幅图像中关键点相似性判定度量来实现对称检测[2]。
2. SIFT特征点提取
SIFT是一个变换, 它把图像变换成一些具有尺度不变的特征的集合。SIFT算法在尺度空间[3]进行特征点检测, 确定特征点位置和特征点所在的尺度, 然后利用其邻域像素的梯度方向计算该点的主方向, 以实现算子对尺度和方向的无关性, 最后对每个特征点构造相应的特征描述子以便对不同的图像特征[4]点进行匹配。
2.1 尺度空间极值检测
尺度空间理论的主要思想是利用高斯函数对原始图像数进行尺度变换, 获得图像多尺度下的尺度空间表示序列, 对这些序列进行进行尺度空间特征提取。建立DOG尺度空间金字塔, 为了检测到DOG空间的最大值和最小值, DOG尺度空间中中间层 (最底层和最顶层除外) 的每个像素点需要跟同一层的相邻8 个像素点和它上一层和下一层的9 个相邻像素点总共26个像素点进行比较, 以确保在尺度空间和二维图像空间都检测到局部极值, 如图1 所示:
在上图中, 标记为叉号的像素若比相邻26 个像素的DOG值都小或都大, 则该点作为一个局部极值点, 记下它的位置和对应尺度。
2.2 特征点位置的确定
由于D的主曲率与海森矩阵H的特征值成正比。令 α 为H较大的特征值, β 为其较小的特征值, 则
其中Tr (H) 表示矩阵H的迹, 即矩阵H的主对角线元素之和, Det (H) 表示矩阵H的行列式的值。在有些情况下如果矩阵H的行列式的值为负, 则曲率值就会有不同的符号, 那么该点就会被过滤掉而不作为极值处理。令 α=γβ, 则
2.2.3 特征点方向的确定
在关键点位置的基础上, 利用每个关键点邻域像素的梯度模值和方向的分布特性来指定特征点的模值m和方向 θ:
在特征点周围所在的一个区域内, 依据样本点的梯度方向生成一个方向直方图, 这个直方图用36 位来代表360 度的方向。每个样本点根据其梯度值的大小, 同时还依据一个具有参数 б 是特征尺度1.5 倍的高斯权重圆窗口的大小而被加到直方图中。
3. 对称点匹配
对于提取出来的图像特征向量的相似匹配[5], 匹配具体步骤如下:
1. 预先设定比例阈值dis Ratio, 圆形区域半径bb。
2. 对于具有n=Size (des, 1) 个特征向量的图1, 逐个计算第i个关键点与其它所有关键点的位置之差。
其中Size (des1, 1) 中, des1 为SIFT特征向量, Size (des1, 1) 表示图1 的SIFT的特征向量个数, ones (Size (des1, 1) , 1) 对Size (des1, 1) 1 的矩阵归一化;[x, y]表示第i个特征向量的横坐标和纵坐标;loc1 (:, 1:2) 表示取locl矩阵的所有行的第1 列和第2 列元素, 即取出每个特征向量的横坐标和纵坐标;temp为n2 矩阵。
3. 计算矩阵temp与其转置矩阵temp’的乘积n ×n矩阵temp1, 即
4. 以temp1 的主对角线元素构成一个对角矩阵, 即
5. 以temp矩阵的迹为上限, 计算所有满足与第i个关键点的欧氏距离小于temp矩阵迹的算术平方根关键点及其关键点个数。
6. 对满足上述条件5 的关键点进一步验证, 若第k个关键点与第i个关键点的距离小于预先设定的下限值bb, 则此关键点不予第i个关键点匹配, 同时标记这个关键点
令第k个关键点的特征向量归一化, 表示这个特征向量不能被匹配。
7. 对于那些大于下限值bb同时小于上限值 (temp1 的迹) 的算术平方根的关键点, 用K-NN, 取K=2, 则可以得到最近的和次近的欧式距离, 若最近的和次近的欧氏距离小于dist Ratio, 则接受这一对匹配点;否则, 不接受。
4. 实验结果
由于文中采用关键点特征向量的欧式距离作为图像中关键点相似度判定度量, 取dist Ratio=0.6, 由此得到图2 实验结果。
由实验可知, 通过SIFT算法, (a) 图找到了1283 个关键点, 最终正确匹配对有41 对; (c) 找到了找到了556 个关键点, 最终匹配对有6 对。
5. 结束语
本文通过用SIFT算法确定特征点方向的根据提取的稳定特征点之间的相似程度进行匹配, 使用完美的或者近似的对称性来处理全局的反射性对称。实验证明, SIFT算法准确率高, 鲁棒性强, 具有较高的使用价值。
参考文献
[1]R.N.Trebits, R.D.Hayers, LC Bomar.mm-wave Reflectivity of Land and Sea[J], Microwave Journal, 1978, ?21 (8) :49.
[2]MJ Atallah.On Symmetry Detection[J], IEEE Transactions on Computers, 1985, 34 (7) :663-666.
[3]G Marola.On the Detection of the Axes of Symmetry of Symmetric and Almost Symmetric Planar Images[J], IEEE Trans on PAMI, 1989, 11 (1) :104-108.
[4]Hagit Zabrodsky, Shmuel Peleg, David Avnir.Symmetry as a Continuous Feature[J], IEEE Transactions on Pattern Analysis&Machine Intelligence, 1995, 17 (12) :1154-1166.
SIFT 篇4
关键词：异源图像匹配；改进SIFT；互信息
中图分类号：TP391.41 文献标识码：A 文章编号：1673-5048（2014）05-0015-04
0 引言
自1992年的海湾战争起，图像匹配技术被广泛用于导航定位、运动分析、目标识别、机器立体视觉之中。它是指从两幅图像中提取出对应关系，这两幅图像可以取自不同时间、光照、位置、以及不同的传感器。这项技术被应用于导弹制导中，使导弹有了眼睛，大大地增加了打击的精确度。
导弹的成像末制导主要有红外成像制导、可见光图像制导等形式。随着科技的发展红外成像技术日益成熟，在飞行器上，红外传感器相对于可见光传感器来说，有以下优点：一是由于红外成像的基本特性，相当于给飞行器装上了夜视镜，极大地提高了飞行器的夜视能力。二是使飞行器具备更高的机动性和灵活性[1]。由于这两大优势，使得红外景象匹配制导方式在近十余年来飞速发展。现在，一般来说导引头采集目标的实时图像为红外图像，与存储的基准导航图像进行比对，基准导航图像可能为可见光图像，这是一个异源图像匹配的问题。异源图像匹配是图像匹配领域的一个难题，目前在国内外还没有一个比较完善的方法，本文就针对可见光图像与红外图像之间的匹配进行研究。
异源图像之间的匹配采用的方法有基于灰度、基于变换域、以及基于边缘等算法，考虑目前基于SIFT特征匹配的方法在图像匹配领域中得到了广泛应用，取得较好的匹配效果，本文在异源图像匹配领域尝试使用改进的SIFT算子做匹配，再根据两幅图中SIFT特征点邻域的相关信息作为匹配的标准，排除误匹配点。
摘要：针对同一目标的红外与可见光所形成的异源图像对，提出了一种基于改进SIFT与互信息的算法，寻找两幅图像中的相关点，从而实现两幅图像的匹配。为了改善SIFT算子的匹配效果，本文提出的改进方法，成功地增加了正确匹配点数；同时使用局部互信息量作为判断标准，可以在正确匹配点数即使占劣势的情况下，依然能排除错误的匹配点，扩展了匹配算法的适用性。结果和实际测试表明，两种算法结合能显著改善匹配效果。
关键词：异源图像匹配；改进SIFT；互信息
中图分类号：TP391.41 文献标识码：A 文章编号：1673-5048（2014）05-0015-04
0 引言
自1992年的海湾战争起，图像匹配技术被广泛用于导航定位、运动分析、目标识别、机器立体视觉之中。它是指从两幅图像中提取出对应关系，这两幅图像可以取自不同时间、光照、位置、以及不同的传感器。这项技术被应用于导弹制导中，使导弹有了眼睛，大大地增加了打击的精确度。
导弹的成像末制导主要有红外成像制导、可见光图像制导等形式。随着科技的发展红外成像技术日益成熟，在飞行器上，红外传感器相对于可见光传感器来说，有以下优点：一是由于红外成像的基本特性，相当于给飞行器装上了夜视镜，极大地提高了飞行器的夜视能力。二是使飞行器具备更高的机动性和灵活性[1]。由于这两大优势，使得红外景象匹配制导方式在近十余年来飞速发展。现在，一般来说导引头采集目标的实时图像为红外图像，与存储的基准导航图像进行比对，基准导航图像可能为可见光图像，这是一个异源图像匹配的问题。异源图像匹配是图像匹配领域的一个难题，目前在国内外还没有一个比较完善的方法，本文就针对可见光图像与红外图像之间的匹配进行研究。
异源图像之间的匹配采用的方法有基于灰度、基于变换域、以及基于边缘等算法，考虑目前基于SIFT特征匹配的方法在图像匹配领域中得到了广泛应用，取得较好的匹配效果，本文在异源图像匹配领域尝试使用改进的SIFT算子做匹配，再根据两幅图中SIFT特征点邻域的相关信息作为匹配的标准，排除误匹配点。
摘要：针对同一目标的红外与可见光所形成的异源图像对，提出了一种基于改进SIFT与互信息的算法，寻找两幅图像中的相关点，从而实现两幅图像的匹配。为了改善SIFT算子的匹配效果，本文提出的改进方法，成功地增加了正确匹配点数；同时使用局部互信息量作为判断标准，可以在正确匹配点数即使占劣势的情况下，依然能排除错误的匹配点，扩展了匹配算法的适用性。结果和实际测试表明，两种算法结合能显著改善匹配效果。
关键词：异源图像匹配；改进SIFT；互信息
中图分类号：TP391.41 文献标识码：A 文章编号：1673-5048（2014）05-0015-04
0 引言
自1992年的海湾战争起，图像匹配技术被广泛用于导航定位、运动分析、目标识别、机器立体视觉之中。它是指从两幅图像中提取出对应关系，这两幅图像可以取自不同时间、光照、位置、以及不同的传感器。这项技术被应用于导弹制导中，使导弹有了眼睛，大大地增加了打击的精确度。
导弹的成像末制导主要有红外成像制导、可见光图像制导等形式。随着科技的发展红外成像技术日益成熟，在飞行器上，红外传感器相对于可见光传感器来说，有以下优点：一是由于红外成像的基本特性，相当于给飞行器装上了夜视镜，极大地提高了飞行器的夜视能力。二是使飞行器具备更高的机动性和灵活性[1]。由于这两大优势，使得红外景象匹配制导方式在近十余年来飞速发展。现在，一般来说导引头采集目标的实时图像为红外图像，与存储的基准导航图像进行比对，基准导航图像可能为可见光图像，这是一个异源图像匹配的问题。异源图像匹配是图像匹配领域的一个难题，目前在国内外还没有一个比较完善的方法，本文就针对可见光图像与红外图像之间的匹配进行研究。
SIFT算法特征点提取的改进 篇5
SIFT算法的主要过程包括:建立高斯金字塔、通过相邻金字塔的差得到高斯差分金字塔(在高斯金字塔的构成中,在进行变换之前,先将图像扩大一倍[2],其目的是为了得到更多的特征点;在同一阶中相邻两层的高斯函数的比例系数是k,则第1阶第2层的尺度因子是k,其它层以此类推;第2阶的第1层由第1阶的中间层尺度图像进行子抽样得到,第2阶的第2层的尺度因子是第1层的k倍,即,第3阶的第1层由第2阶的中间层尺度图像进行子抽样获得。其它阶的构成以此类推。)、上下左右二十六个点的灰度值进行比较的初始特征点检测(Do G尺度空间中的中间层(最底层和最顶层除外)的每一个像素点需要跟同一层的相邻八个像素点以及它上一层和下一层的九个相邻像素点共26个相邻像素点进行比较,以确保在金字塔的尺度空间和二维空间都检测到局部极值。)、进行三维二次函数拟合[3]得到精确极值点检测、去除低对比度点、借助梯度直方图(计算时,我们在以关键点为中心的邻域窗口(通常取16×16大小)内采样,并用直方图统计邻域像素的梯度方向。梯度直方图的范围是0到360度,其中每10度一个柱,总共36个柱。生成的梯度向量是三十六维的,每一维代表该方向的大小。梯度方向直方图的峰值代表了该关键点处邻域梯度的主方向,即作为该关键点的方向)等方法确定极值点方向、描述特征向量、特征向量的匹配(采用欧氏距离判断特征点之间的距离。获取SIFT特征向量后,可以采用优先k-d树进行优先搜索来找每个特征点的两个近似最近邻特征点。k-d树是二叉检索树的扩展。k-d树的每一层将空间分成八个。树的顶层结点按一维(特征点的第一维)进行划分,下一层结点按另一维(特征点的第二维)进行划分,以此类推,各个维循环迭代。划分要使得,在每个结点中,大约一半存储在子树中的结点能够落入一侧,而另一半能够落入另一侧。当一个结点中的点数少于给定的最大点数时,则结束划分。在这两个特征点中,如果最近的距离和次近的距离的比值能够少于某个比例阈值,则认为该对匹配点匹配成功。降低这个阈值,匹配点数目会减少,但匹配点的正确率会更加稳定。
1 改变算法中的原始取值
在David G..Low的文献[4]中,高斯金字塔是4阶,每阶3层。在S=3的情况下,每一阶只对中间的三层进行初始极值点的搜索,可能会出现特征点漏检的情况。基于这个弊端,将参数S重新设置成S=5,这样将高斯差分金字塔大大的扩展。在S=5的情况下,金字塔的每一阶对5层图像进行初始极值点的搜索,大大增加了寻找到特征点的可能。
本实验选取的图片是通过摄像机平移得到的。图像选取遵循了图像信息量适中,不存在大面积相同或相似区域,亮度相差不多等原则。
在PC(i550-2.6GHz CPU,1024MBRAM,Windows XP OS,MATLAB 6.5)[5]的环境下进行实验。在其他条件不变的情况下,将初始尺度空间参数S由3变为5,得到实验图片的金字塔和运行结果对比如图1、图2。
修改参数S前片,第一张图片提取特征点318个,第二张图片提取特征点256个,匹配105个。修改参数S后第一组图片,第一张图片提取特征点502个,第二张张图片提取特征点527个,匹配132个。
2 实验结论
从图像上可以看出,将S由3变成5后Do G金字塔所含的信息量增加了,同时也增加了寻找特征点的机率。
从时间上说,S取3时算法效率高,但是S=5事的特征点匹配越多。并且,对于特征点比较多的图像,匹配的效率会更高一些。S取5时,对于高斯差分金字塔,每一阶计算五层,金字塔层数增加,特征点的数目也增加,所以找到的特征点对数也增加,这样增强了该算法的特征匹配率,提高了该算法的效率,使该算法查找、匹配能力更强,更多应用在计算机领域。
摘要：SIFT特征点匹配算法是目前图像特征匹配研究领域的一个热点。该匹配效率高,可以处理图像之间发生平移等的变化的匹配,对不同角度拍摄的图像也具备稳定的特征点匹配效率。因此通过参数的变化对SIFT算法的原理进行了研究以及改进,并用图片、运算时间等数据说明该算法的有效性。
关键词：图像配准,SIFT算法,MATLAB
参考文献
[1]王国美,陈孝威.SIFT特征匹配研究[J].盐城工学院学报,2007,2(20):1-3.
[2]蔺想红,王维盛.一种基于特征点匹配的全景自动拼接方法[J].西北师范大学学报,2005,41(4):31-34.
[3]宰小涛,赵宇明.基于SIFT特征描述子的立体匹配算法[J].微计算机信息,2007,23(8):285-287.
[4]David G..Lowe.Distinctive image features from scale-Invariant Key points[J].International Journal of Computer Vision,2004,60(2):91-110.
基于SIFT算法的目标匹配和识别 篇6
目标匹配和识别是计算机视觉领域的一个研究热点,是实现场景识别、机器人跟踪的基础[1]。有关研究人员对图像匹配技术进行了大量的研究,提出了很多有价值的算法,根据匹配思想主要可以分为以灰度为基础的灰度匹配算法和以特征为基础的基于不变量的特征匹配算法[2]。灰度匹配算法的主要思想是采用图像相关技术,按照某种相似性度量方法对图像的灰度列阵进行搜索比较实现图像匹配[3]。该算法的主要缺点是对图像尺度和仿射变化等过于敏感,在实际的应用中很难获得好的效果。SIFT特征匹配算法是目前在国内外特征匹配研究领域应用比较成功的一种算法,该算法匹配能力较强,能提取稳定的特征,对尺度缩放、亮度变化、旋转等具有一定程度的不变性,缺点是算法复杂、计算量较大。
在实际应用中,获得的图像会附带各种各样的噪声,而噪声会影响匹配效果,降低匹配精度。为了克服这个缺点,本研究对同一场景信息进行多次提取,所获得的图像首先应用匹配能力较强的SIFT匹配算法进行特征匹配,根据匹配到的特征点粗略地计算目标坐标,当然该坐标是在有随机噪声干扰的情况下获得的,其精确性值得商榷。然后在此基础上,利用线性卡尔曼滤波对匹配结果进行平滑处理,使噪声干扰误差的均方差最小化,以达到优化匹配结果的目的。
1 SIFT算法简介
SIFT算法是由D.G.Lowe[4]在1999年提出的,并且由他本人在2004年完善总结。SIFT算法的具体实现可以分为图像特征点的生成和不同图像间特征点的匹配两个方面,图像特征点生成的主要流程如图1所示。
尺度空间L(x,y,σ)通过输入图像I(x,y)和尺度可变高斯函数G的卷积得到,为了在尺度空间内有效的检测到稳定的关键点,本研究利用不同尺度空间的差分提出了高斯差分尺度空间:
D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))×I(x,y)
=L(x,y,kσ)-L(x,y,σ) (1)
其中,undefined是空间坐标,σ是尺度空间因子[5]。
极值点通过对检测点与相邻的26个点进行比较获得。为了使关键点具备旋转不变性,本研究利用关键点邻域像素的梯度方向的分布特性为每个关键点指定方向参数:
undefined
θ(x,y)=
tan-1((L(x,y+1)-L(x,y-1))/(L(x+1,y)-L(x-1,y))) (3)
实际过程中,为了增强匹配的稳健性,笔者对每个关键点使用4×4共16个种子点来描述,这样每个关键点最终形成一个128维的SIFT特征向量。当两幅图像的SIFT特征向量生成后,采用关键点特征向量的欧氏距离作为两幅图像中关键点的相似性判定度量[6]。
对两幅图像的特征点匹配结果图如图2所示,左图是原始lenna图像,右图是对左图做了75%的缩放,30°的旋转和改变了亮度后的效果图,可以看到,SIFT特征匹配算法在图像尺度缩放和旋转后的匹配效果较好。
2 基于SIFT的卡尔曼滤波目标匹配算法
在利用SIFT算法对不同强度不同类别噪声的图片进行目标匹配的过程中,笔者发现SIFT算法虽然具有匹配精度高的优点,但是在某些带有高强度噪声的图片中容易产生误匹配,甚至无法得到匹配结果。本研究采用100幅不同强度不同噪声的图片进行实验发现有5幅图片没有实现匹配,另外有10幅图片匹配结果的误差超过100个像素点。为了减小噪声干扰,提高匹配精度,笔者在SIFT匹配算法的基础上提出了基于SIFT的卡尔曼滤波目标匹配算法(如图3所示)。
卡尔曼滤波[7,8,9]是一种通过使估计均方误差最小来估计过程状态的方法,它可以用来估计信号的过去和当前,甚至于将来的状态。笔者设计的算法在利用SIFT算法匹配精度高,众多不变性的优点的基础上,结合卡尔曼滤波估计均方误差最小和状态估计的特性计算候选目标的精确位置,同时对特征点运动向量进行聚类分析,有效地剔除了噪声干扰所引起的错误匹配,提高了匹配精度。
3 仿真结果和分析
在本研究中,使用的仿真工具为Matlab7.0,仿真结果如图4所示,所用图片均加入了方差小于0.25的随机噪声,错误匹配判定阈值设为120个像素点。
如图4所示,x坐标轴的值代表的是对第x幅背景图片进行SIFT匹配,y轴表示的是匹配得到的中心点像素坐标离真实的中心点像素坐标的欧氏距离,图中虚线表示的是通过SIFT变换后所得到中心像素坐标的连线,从图中可以看到,由于加入噪声的影响,匹配结果存在比较大的差异,卡尔曼滤波对结果进行一个最小后验误差均方差的估计,如图中实线所示。滤波后的轨迹要平滑稳定的多,而且在没有实现匹配的情况下,也可以通过卡尔曼滤波的预测估计获得一个较精确的匹配。
如图5所示,左图为未加噪声的图像,左上角的图片为目标模板,在加入如右图所示的噪声后,由于噪声过大,仅使用SIFT算法未能实现匹配,但基于SIFT的卡尔曼滤波目标匹配算法还是很好的寻找到了目标的所在位置,图中虚框与目标模板大小一致。这个方法同样可以应用在运动目标物体被遮挡的情况下。
4 结束语
运动目标的跟踪是当前机器人研究的热点,目标跟踪系统的基础和根本是目标的识别。本研究提出了一种基于SIFT的卡尔曼滤波目标匹配算法,并进行了仿真,仿真结果验证了本算法具有较高的识别精度,并可以运用在目标被遮挡等非正常状态。
但是由于SIFT算法数据处理量较大,要达到对运动目标识别的实时性要求,接下来还需要进行更多的研究。
参考文献
[1]周志铭,余松煜,张瑞.一种基于SIFT算子的人脸识别方法[J].中国图像图形学报,2008,13(10):1882-1885.
[2]KUGLIN C D,HINES D C.The Phase Correlation Image a-lignment method[C]//IEEE Conference on Cybernetics andSociety,New York,1975:163-165.
[3]屠文柯,阎保定,杨海涛.一种基于仿生学原理的复杂彩色目标辨识方法[J].河南科技大学学报,2005,26(6):67-69.
[4]LOWE D G.Distinctive image features from scale-invariantkeypoints[J].International Journal of Computer Vi-sion,2004,60(2):91-110.
[5]钟力,胡小锋.重叠图像拼接算法[J].中国图像图形学报,1998(3):365-369.
[6]李二森,张保明,刘景正.SIFT特征匹配技术在自动相对定向中的应用[J].测绘科学,2008,33(5):16-18.
[7]栗素娟,王纪,阎保定.卡尔曼滤波在跟踪运动目标上的应用[J].现代电子技术,2007(13):110-112.
[8]胡志刚,王耘,胡树根,等.单亲遗传算法在二维不规则件排样中的应用[J].轻工机械,2009(1):46-50.
SIFT 篇7
同源视频检测的实质是判定两段视频是否具有相同的内容。现有的同源视频检测方法通常采用基于帧匹配框架,且一些图像匹配方法被广泛使用,如基于颜色直方图的方法、基于边缘的方法以及基于运动信息的方法[1]等,但这些方法都存在对视频色彩、格式、尺度变化鲁棒性差以及难以准确表征视频信息等问题。基于分块亮度顺序OM(Ordinal Measures)[2]的方法相比于现有其他方法性能更优。该方法通过发现图像块间相对关系来构造不变视觉特征,但是局部变化通常会打乱图像块间的相对关系,导致这类方法失效[3],且该方法受限于OM分块的数量,对视频内容的区分能力较弱[1]。
上述方法的核心问题是所选取特征的鲁棒性及区分性较差,采用鲁棒性及区分性更好的视频图像特征将有利于视频的准确表征,能进一步改善同源视频检测效果。近年来,在计算机视觉领域成熟的图像局部关键点检测算子和描述算子[4]受到广泛关注,并被应用于视频检测中[5,11]。其中SIFT特征在对象识别方面具有较好的性能[6,7]。但是基于单帧SIFT特征的视频检测方法没有充分利用视频特征的时空相关性,不利于视频的表征及检测效果。本文对视频帧序列的SIFT特征进行了时空特性分析,提出了一种视频联合时空SIFT特征。
1 视频序列的SIFT特征分析
1.1 SIFT特征提取算法
SIFT[8](Scale-Invariant Feature Transform)是一种图像特征提取与匹配算法,该算法能处理两幅图像之间发生平移、旋转、尺度变化、光照变化情况下的特征匹配问题,且在一定程度上对视角变化、仿射变化也具备较为稳定的特征匹配能力。该算法已被证实在同类特征中健壮性最强[4,6],能在不同图像中检测识别出相同的物体。SIFT特征在稳定性、独特性方面的优良性能,使得SIFT特征非常适合在连续视频帧中提取稳定性、区分性强的事物特征来表征视频信息,并能够准确地在特征数据库中予以匹配。
1.2 视频序列的SIFT特征时空特性分析
连续视频帧的视觉信息在时域和空域都是不断变化的,其中会有稳定相同的以及新出现的事物和特征。本文以视频帧图像的SIFT特征进行实验分析,对一段运动视频在空域上对每帧图像进行SIFT特征提取,在时域上统计帧与帧之间的SIFT特征匹配数量。实验结果如图1(a)所示,虚线表示每帧图像中SIFT特征的数量,实线表示相邻前后两帧图像相匹配的SIFT特征数量,‘*’线表示后续帧分别与首帧(也可认为是某一固定帧)特征相匹配的数量。该数据表明本实验视频具有以下特性:
(1)相邻的前后帧存在大量相匹配的SIFT特征,即帧间存在特征冗余。
(2)后续帧与首帧之间存在一定数量相匹配的SIFT特征,即后续画面中稳定出现的一些特征,如图1(b)所示。视频中可能会有台标、徽标等长时间出现且未发生变化的物体画面区域。
(3)序列帧间存在特征更新。虽然相邻帧相匹配的特征数量较多,但对于运动等画面内容变动较大的视频,随着帧间隔的扩大,帧间特征匹配数量会减少,即新的特征在增加。
(4)随着后续帧与首帧(或者某一固定帧)相匹配的特征数量的减少,其所占每帧特征总数的比例递减。进一步分析可知,当其减少到一定比例时,可以认为是大量新的视频信息取代了首帧(或者某一固定帧)信息,即新的代表帧甚至是新场景镜头的开始。
通过以上分析容易得出,本实验视频的上述特点具有一定的普遍性。
2 视频序列的联合时空SIFT特征表征及其度量
对于一段视频,仅提取单帧或者关键帧图像的特征会造成一定的视频信息损失,无法充分准确地表征视频。结合1.2节视频序列SIFT特征的时空特性分析,本文进行了视频联合时空SIFT特征构造。
2.1 联合时空SIFT特征的构造
视频联合时空SIFT特征有以下三种构造方法:
(1)对视频帧序列范围内的SIFT特征进行“趋同”处理。由1.2节实验视频特性(2)可知,视频帧序列中会重复、稳定出现一些事物特征,特别是对于镜头固定、画面内容变动不大的视频,此类特征能较准确地表达视频信息。于是以一定序列帧内某一帧为基准,按照式(1)提取帧间稳定出现的、即“趋同”的SIFT特征对视频进行表征。
其中Fi(i=1,…,n)为帧序列中每个单帧的SIFT特征集。显然,V是视频序列精简、稳定的SIFT特征集合。但由实验视频特性分析(4)可知,对于画面内容变动较大的视频而言,随着帧间隔的扩大,帧间趋同的特征数量会逐渐减少,用式(1)提取的特征来表征整段视频会造成一定的信息丢失,且当信息丢失到一定水平后,可以认为该特征集V已经无法准确地表征视频信息。
(2)对视频帧序列范围内的SIFT特征进行“异化”处理。由视频特性分析(3)可知,帧间的特征存在着新旧更替。若提取并整合这类不断更新的特征,即对特征进行“异化”处理,便能得到更充分表达所有视频帧信息的特征。于是按照式(2),建立以首帧(或某一固定帧)为基准,包含后续帧中增量特征的非冗余特征集。
此方法提取的视频特征集包含了所有视频帧的特征,是对整段视频的较完整描述。但同时也会导致提取的特征数量过多、计算量大等问题,因此只适合离线操作。
(3)按照“局部趋同、全局异化”的策略提取SIFT特征。方法(1)、(2)所提取的特征虽然具有精简、稳定的特点,但存在信息丢失或信息全面但计算量大等问题。鉴于两者的优缺点,本文将两种方法予以结合,建立如图2所示的特征提取模型,即在整个视频序列的时域和空域范围内,采用“局部趋同,全局异化”的策略提取SIFT特征,以得到精确且较为充分的视频联合时空SIFT特征。
假设视频序列可以划分为s(s≥1)个区间。在每个局部区间内,采用式(1)进行特征处理,得到“趋同”的特征集Vsi(i=1,2,…,s);在序列全局区间内,对特征集Vsi(i=1,2,…,s)采用式(2)处理,即在“趋同”特征集的基础上,将特征“异化”,吸纳新增特征,得到包含各Vsi(i=1,2,…,s)增量特征在内的联合时空SIFT特征集V。这样得到的V是结合了视频帧序列中,在时域和空域上稳定、较为全面的SIFT特征集。
对于模型中区间的划分,可以通过检测视频序列帧间相匹配特征数量的跳变来实现。假设某段视频序列的总帧数为n,首帧特征数量为Ks0,第i(i
2.2 时空联合SIFT特征的同源度度量
假定两个进行同源视频检测的视频为A和B,其时空联合的SIFT特征数目分别为Key NumA和Key NumB,且相匹配的特征数目为Key MatchAB,则定义同源度[9]θ为:
θ表明了两段视频的同源程度。在判断两个视频同源性的过程中,需要一个门限值θT来判定同源程度的高低。当θ>θT时,则认为两个视频为同源视频。本文中,θT取值为0.837 6。
3 实验及分析
实验环境:Inter 8核CPU 2.93 GHz,内存2.93 GB,采用Matlab与C语言混合编程。
数据集:在TRECVID2010提供的数据集中,抽取300个不同内容分类的源视频作为参考视频,每个视频时间长度在30 s~4 min之间不等。待检测视频共100个,均从其参考视频或者其他非参考视频截取获得,并进行添加logo、提高亮度、画中画、画面模糊、画面尺寸、改变帧率、改变分辨率、画面翻转8种变化。
评价指标:NDCR[10]与平均检测时间。
(1)NDCR:即TRECVID官方评价提出的归一化检测错误率,其意义是评测漏检率和错报率加权调和值,即:
其中,,False Negative表示没有检测到的参考视频数量,Flase Positive表示错误检测到的非参考视频数量,Ntarget表示查询视频中参考视频的数量,Tqueries表示查询视频的总长度,β[10]为统一量纲和加权。NDCR的数值越低,表明视频检测的精度越高。
(2)平均检测时间:由一个查询遍历完所有参考视频所消耗的时间来衡量。
本文将联合时空SIFT方法与目前常用的分块亮度顺序(OM)方法进行同源视频检测的对比实验。如图3(a)中所示的联合时空SIFT特征方法的NDCR总体平均值为0.192 9,远低于OM方法的NDCR总体平均值0.872 1,即前者的检测精度高于后者。图3(b)中联合时空SIFT方法的时间消耗平均为1 000.46 s,远大于OM方法的122.75 s。
由实验可以得出,联合时空SIFT方法对亮度、尺寸、帧率、分辨率、画中画等视频变化都有较好的检测精度,明显好于OM方法。由于SIFT算法本身具有较大的计算量,而联合时空SIFT方法是在提取了SIFT局部点特征的基础上进行了一定的时域及空域的压缩,所以导致了检测时间明显高于OM方法。
SIFT特征具有良好的尺度、旋转、光照和仿射等不变性,是性能优良的特征匹配算子。视频帧序列中,单个图像帧的特征匹配并不能很好地解决所选特征存在的鲁棒性和区分性较弱的问题。本文对视频帧序列进行了SIFT特征时空特性分析,并采用“局部趋同,全局异化”的策略,提出了一种联合时空SIFT特征的视频表征方法。实验表明,使用本文所提出的联合特征进行同源视频检测,能应对如亮度、尺寸、分辨率等视频变化,且较现有的OM方法具有更好的检测精度。但基于该特征的方法也有些不足,如计算量较大等问题,且当参考视频数据库规模较大时,会导致检测时间较长。在进一步的工作中,将继续对本文所提出的方法进行优化研究,以提高处理速度及改善在大容量视频数据库中的应用。
摘要：通过对视频帧序列时空特性的分析,采用“局部趋同,全局异化”的策略,提出了一种联合时域和空域SIFT点特征的特征提取方法。实验表明,基于该特征的同源视频检测方法对于一定的视频变化具有较好的鲁棒性和检测精度。
关键词：同源视频检测,视频帧序列时空特性,联合时空SIFT特征
参考文献
[1]潘雪峰,李锦涛,张勇东,等.基于视觉感知的时空联合视频拷贝检测方法[J].计算机学报,2009,32(1):107-114.
[2]LAW T J,CHEN L,JOLY A,et al.Video copy detection:A Comparative Study[C].Proceedings of CIVR.Amsterdam:The Netherlands,2007.
[3]吴潇,李锦涛,唐胜,等.基于时空轨迹行为特征的视频拷贝检测方法[J].计算机研究与发展,2010,47(11):1871-1877.
[4]MIKOLAJCZYK K,TUYTELAARS T,SCHMID C,et al.Acomparsion of affine region detectors[J].International Journalof Computer Vision,2005,65(1):43-72.
[5]孙晶,褚金奎.图像局部不变特征提取技术研究及其应用[D].大连:大连理工大学,2009.
[6]MIKOLAJCZYK K,SCHMID C.A performance evaluationof local descriptors[J].IEEE Trans.on Pat.Analysis andMachine Intelligence,2005,27(10):1615-1630.
[7]DOUZE M,JEGOU H,SCHMID C.An image-basedapproach to video copy detection with spatio-temporalpost-filtering[J].IEEE Transactions on Multimedia,2008,12(4):257-266
[8]LOWE D G.Distinctive image features from scale-invariantkeypoints[J].International Journal of Computer Vision,2004,60(2):91-110
[9]徐波,孙军.基于视频印记的同源视频检测[D].上海:上交通大学,2008
[10]TREC Video Retrieval Evaluation Home Page[Z].(2011-4-15).http://www-nlpir.nist.gov/projects/trecvid/.
SIFT 篇8
图像特征匹配是计算机视觉和模式识别等领域研究的基本问题以及物体识别、跟踪等应用的重要基础,广泛应用于摄影测量与遥感、资源分析、三维重建、目标识别、图像拼接、图像检索等众多领域, 一直是研究者关注的焦点, 在针对地面图像的特征匹配方面得到了深入研究,以及对运动目标轨迹提取具有较高的研究意义和应用价值。但是由于它受到天气、阳光、遮挡等外界因素的严重影响, 并且存在因不同的成像时间、角度、距离等因素而导致的图像平移、旋转、缩放等问题, 这都给目标特征检测及特征匹配的工作带来了很大的难度[1]。针对这些不足,尤其是在尺度方面的不足,David G.Lowe在2004年总结了现有的基于不变量技术的特征检测方法,提出了一种基于尺度空间的特征匹配算法——尺度不变特征变换(scale invariant feature transform,SIFT)算法[2,3]。SIFT算法检测的点特征是图像的局部特征,该特征对平移、旋转、尺度缩放、亮度变化保持不变性,对视角变化、仿射变化、噪声也保持一定程度的稳定性和适应性,而且即使是信息量较少的图像也能提取大量的SIFT特征点。然而在这些大量特征点中,也会产生一些误匹配点,从而会导致图像匹配精度,尤其是地面图像,由于其本身特征点多、乱、灰度变化不明显以及没有角点、直线、边缘、模板、区域和轮廓等明显特征,导致部分特征点会发生误配和乱配情况[4]。针对上述问题,本文提出基于多目标优化的特征匹配算法,该算法经过同一场景点投影到图像中的模板建立目标函数,根据同一幅图像中模板之间的欧氏距离建立约束条件,剔除误匹配点,实现特征点的二次精确匹配。
1 SIFT 特征匹配理论
1.1 SIFT 特征匹配的主要思想
SIFT 算法是一种基于尺度空间、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述操作数,可以理解两幅图像之间发生平移、旋转、仿射变换、光照变化情况下的匹配问题,甚至在某种程度上对任意角度拍摄的图像也具备较为稳定的特征匹配能力,从而可以实现差异较大的两幅图像之间的特征的匹配[3]。
1.2 SIFT 特征匹配步骤
SIFT操作数首先在尺度空间进行特征检测,并确定关键点的位置和关键点所处的尺度,然后使用关键点邻域梯度的主方向作为该点的方向特征,以实现操作数对尺度和方向的无关性。
(1) 尺度空间的形成。高斯卷积核实现尺度变换的惟一线形核,于是一幅二维图像的尺度空间定义为:L(x,y,σ)=G(x,y,σ)*I(x,y)式中:(x,y)是空间坐标;σ是尺度坐标,图像被平滑的越少,相应的坐标值也就越小。大尺度对应于图像的概貌特征,小尺度对应于图像的细节特征。
为了有效地在尺度空间检测到稳定的关键点,提出了高斯差分尺度空间(DOG)。DOG操作数定义为2个不同尺度的高斯核差分,DOG操作数如下:
(2) 空间极值点的检测。为了寻找尺度空间的极值点,每一个采样要和其所有相邻点比较,以确保在尺度空间和二维图像空间都检测到极值点,通过拟和三维二次函数以精确确定关键点的位置和尺度,同时去除地对比度的关键点和不稳定的边缘回应点,以增强匹配稳定性、提高抗噪声能力[4]。
(3) 关键点方向分配。利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数,使操作数具备旋转不变性。每个关键点有3个信息:位置、尺度、方向。由此确定一个SIFT特征区域。
(4) 特征点描述子生成。为了增强匹配的稳健性,对每个关键点可使用4×4共16个种子点来描述,这样对于一个关键点形成128维的SIFT特征向量[5,6,7]。
2 多目标优化理论与方法
最优化的目的是根据一定的标准(目标)在许多可供选择的方案中搜索出最好的或最令人满意的方案。如果选择时需要同时考虑的标准多于一个,最优化问题就成为多目标优化问题。多目标优化的图像处理问题是通过调节多个目标之间的权衡问题,使在一定的约束条件下同时达到最优,以此来减小图像处理领域中的一些误操作,如:增强、匹配、识别等。
式中:x称为决策向量,x=(x1,x2,…,xn)∈Ω⊆Rn通常由模型参数组成;Ω为决策空间;fi(x)为第i个目标函数;y为目标向量,y∈Y⊆Rk,Y为目标空间,ei(x)为约束条件[8]。
对于∀x∈Ω,如果∃X*∈Ω满足下式,则称向量为Pareto优解。
在图像处理多目标优化问题的可行解集中没有比Pareto优解更好的解。由Pareto优解构成的集合称为Pareto优集,Pareto优集中任何一个解都是可能的最优解。在图像处理优化时,根据图像处理者(称为决策者)对优化目标主观偏好程度与Pareto优解搜索过程之间的相互影响关系,多目标优化方法主要分为3类:先验优先权法、后验优先权法与优先权演化法[9]。
3 基于多目标优化的SIFT 特征特征匹配算法
本文结合SIFT特征的众多不变性优点,对地面图像进行特征提取与匹配,且利用改进的特征点匹配算法计算候选目标的精确位置。然而在特征匹配的过程中,受天气、光线和地面图像复杂度的影响,会出现特征点的误匹配,导致图像出现匹配误差。针对上述问题,该系统在SIFT特征匹配的基础上引入多目标优化理论。在SIFT特征点提取的基础上,利用多目标优化准则,实现2幅图像的SIFT特征点的精确匹配。
如图1所示,在进行图像处理工作时,首先分析图像处理的任务,根据实际要求建立图像处理模型并确定优化目标和约束条件;其次根据优化目标涉及的参数设计相关变量,选择设计优化算法并对变量进行优化搜索,在确定初始参数后,通过对模型参数的优化搜索和对优化结果的评价进行循环迭代,逐渐得到最优解。
在SIFT特征匹配中往往由于孤立点、噪声点和地面图像本身特征点多、乱、灰度变化不明显以及直线、边缘、轮廓等不明显特征的影响,导致部分特征点会发生误匹配和乱匹配,从而降低了特征匹配的精度。
具体算法流程如下:
(1) 利用SIFT算子对采集到的地面图像进行特征点检测,将采集到的特征点进行相似性度量,得到图像间的粗匹配;
(2) 利用多目标优化算法对粗匹配的特征点进行分析。
建立模型如下:
(1) 在相机采集的第n帧图像中,分别寻求图像右半区域3个特征点并结合周围的点组合成模板f11,f12,f13;且l1,l2分别为模板f11与f12之间的距离和f12与f13之间的距离。如图2所示,在第n+1帧图像中,根据车速以及相机的帧率估计第n帧图像中3个特征出现的范围,再从中依次遍历SIFT特征点,并以该点为中心扩展模板f21,f22,f23;l1′,l2′ 分别为f21与f22之间的距离和f22与f23之间的距离。2幅图像中的模板大小应保持一致。
(2) 确定优化设计的目标函数,如图2、图3所示,根据2幅地面图像模板之间的相互关系建立目标函数:
式中:(xi,yi)(i=1,2,3)为第n+1帧图像中的所遍历的SIFT特征点的坐标值;cov[f1i,f2i(xi,yi)]为2个对应模板之间的相关系数。
(3) 确定约束条件。对于2幅相邻的图像,其特征点的之间的距离要么不变,要么随尺度的变化同时放大和缩小,为此可以二者距离的比值作为约束条件。
4 实验验证
为了体现此改进算法匹配精度的优越性,该实验采用高速CCD相机拍取路面图像并进行闭合曲线运动。如图4所示。
在采集到的地面原始图像中提取SIFT特征点,如图5所示,从图中可以看出,在采集图像的过程中,由于地面图像其本身特征点多、乱、灰度变化不明显以及没有角点、直线、边缘、模板、区域和轮廓等明显特征,不可避免地存在部分噪声点和孤立点,导致部分特征点会发生误配和乱配的情况,从其匹配结果(见图6)可以看出这些孤立点和噪声影响到了特征匹配精度。
对粗匹配后的两幅图像进行多目标优化分析,从匹配结果(见图7)来看,剔除了易产生误匹配的特征点,几乎没有发生误匹配现象。故提取出的相机轨迹(见图8)可以看出,与实际的闭合曲线运动轨迹存在误差。从提取出的相机运行轨迹(见图9)来看,相机从某一起点出发并最终回到同一起点,较好地完成了闭合的曲线运动。
5 结 语
本文针对地面提出了一种改进的SIFT特征匹配算法。首先在采集的图像中提取出SIFT粗匹配特征点,然后再对这些特征点进行多目标优化分析,实现特征点的二次精确匹配。从实验结果可看出,这种算法效果明显,能够有效地避免地面图像中的噪声点、孤立点对图像匹配的影响,从而有效地提高了匹配精度。
摘要：SIFT算子在实际应用中,由于地面图像本身特征不明显且提取出的特征点多、乱以及灰度变化不明显等特点的影响,从而导致特征点误匹配。为此提出一种改进的SIFT图像特征匹配算法。该算法是在SIFT特征匹配的基础上,利用多目标优化算法,建立相关匹配模板,利用给定同一场景的两幅图像,寻找同一场景点投影到图像中的模板之间的相关性建立数学模型即目标函数,根据同一幅图像中模板间的距离建立边界约束条件,从而剔除一些误匹配点。实验表明,该算法可以有效地提高图像匹配精度。
关键词：SIFT,多目标优化,特征匹配,误匹配点
参考文献
[1]TOMASI C,KANADE T.Detection and tracking of pointfeature[R].Carnegie Mellon University Technical ReportCMU-CS-91-132,Pittsburgh,USA,1991.
[2]高建,黄心汉.一种简化的SIFT图像特征点提取算法[J].计算机应用研究,2008,25(7):2213-2215.
[3]LOWE David G.Distinctive image features from scale-in-variant keypoints[J].International Journal of Computer Vi-sion,2004,60(2),91-110.
[4]LOWE D G.Object recognition from local scale!invariantfeatures[C]//International Conference on Computer Vi-sion.[S.l.]:[s.n.],1999:1150-1157.
[5]王国美,陈孝威.SIFT特征匹配算法研究[J].盐城工学院学报,2007,20(2):1-5.
[6]王楠,王勇峰,刘积仁.车行轨迹曲线的实施提取与描述[J].东北大学学报,1999,10(2):111-113.
[7]张健,周晓东,张春华.空间目标运动轨迹提取算法研究[J].红外技术,2007,29(8):459-463.
[8]薛毅.最优化原理与方法[M].北京:北京工业大学出版社,2001.
[9]FLETCHER R.Practical Methods of Optimization[M].[S.l.]:Wiley,1980.
SIFT 篇9
图像特征匹配是计算机视觉和模式识别等领域研究的基本问题以及目标识别、跟踪等应用的重要基础,而匹配算法直接影响到后续视觉处理的效果。图像特征匹配一般是针对两幅图像,以获得它们共同元素。随着摄影测量和计算机视觉以及硬件的发展,针对两幅图像的特征匹配得到了深入的研究,如针对运动目标,王兆仲等人提出了一种利用光流确定图像运动场的高精度图像匹配算法[1];对于静态目标主要采用匹配方法,即给定同一场景的两幅图像,寻找同一场景点投影到图像中的像素之间的对应关系,主要步骤为图像特征点提取和最小距离计算。Moravac等人采用角点子算子来立体视觉匹配[2],在此基础上,Harris团队对Moravac算子进行了有效的改进[3],使其角点检测算子具有旋转不变以及缩放不变的的特性,因此被广泛地应用在各种图像匹配算法中。如Schmid和Mohr采用Harris角点检测实现通用目标识别[4]等,但是该算法对尺度、视角、照明变化比较敏感,而且抗噪音能力比较差[5]。1999年,Lowe以及他的团队提出一种更加稳定的SIFT(simplified Scale Invariant Feature Transform)特征算子[6],该算法对光照变化、尺度变化和旋转等具有良好的不变性、稳定性,对于目标的运动、遮挡、噪音等因素也保持了较好的匹配性。该算子目前被广泛的应用于机器人定位和导航、地图生成[7]以及三维目标识别中[8]。它的一个重要的特点是可以获得多数目的匹配点,而且比较稳定,这对于三维目标重建以及复杂目标识别有很大的帮助。但是它使用128维向量来表示每个特征点,因此最终需要处理的数据量大大增加,对于一些无需太多匹配点就可以达到要求的情况,存在一定的局限性,而对于一些实时性要求比较高的情况,如目标初定位、机器人双目识别探深等场合,这样的处理方法时间上又不允许,因此,在某些场合,该算法具有一定的缺陷。本文在SIFT算法的基础上进行了简化,对于每个特征点只采用12维特征向量表示,在降低了匹配点的数量的同时,也较大的提高了计算机处理的实时性,实验表明,本文中的算法保留了原算法的旋转不变性以及稳定等特性,同时又增加了对实时性的适应,在场景要求不高的环境下要优于原算法。
1 SIFT算法
1.1 图像的高斯差分尺度空间
尺度空间理论最早出现在计算机视觉中是为了模拟图像数据的多尺度特征,Koenderink与Lindeberg的研究进一步证明唯一可能的线型尺度核就是高斯核[9]。
二维高斯函数定义如下:
σ代表了高斯正太分布的方差。
在一副二维图像中,在不同尺度下的尺度空间表示可由图像与高斯核卷积得到,该二维图像定义为L(x,y,σ)。则:
式(2)中,(x,y)代表图像的像素位置,σ为尺度空间因子,其值越小则表征该图像被平滑的越少,相应的尺度也就越小。大尺度对应于图像的概貌特征,小尺度对应于图像的细节特征。L代表了图像的尺度空间。
1.2 sift特征匹配算法
Lowe提出的sift算法主要包括4个步骤:
1)尺度空间极值检测。首先建立图像的DOG(Difference-of-Gaussian)金字塔,在DOG尺度空间中的26个领域中检测极值,D(x,y,σ)是两个相邻尺度图像之差,即:
如果一个点在DOG尺度空间本层以及上下两层的26个领域中是最大或最小值时,就认为该点是图像在该尺度下的一个特征点,如图1所示。
2)利用关键点领域像素的梯度方向分布特性。为每个关键点指定方向参数,使算子具备旋转不变性。
在公式(4)中,m(x,y),θ(x,y)分别表示(x,y)处梯度的模值和方向公式。其中L所用的尺度为每个关键点各自所在的尺度。
在实际计算时,在以关键点为中心的邻域窗口内采样,并用直方图统计邻域像素的梯度方向。梯度直方图的范围是0~360度,其中每10度一个柱,总共36个柱。直方图的峰值则代表了该关键点处邻域梯度的主方向,即作为该关键点的方向。图2是采用7个柱时使用梯度直方图为关键点确定主方向的示例。
3)生成SIFT的特征向量,将坐标轴旋到特征点方向,以保证旋转不变性。然后以关键点为中心取8×8的窗口。图3(a)的中央黑点为当前关键点的位置,每个小格代表着关键
点领域所在尺度空间的一个像素,利用公式(4)求的每个像素(i,j)的梯度幅值mi,,j和梯度方向θi,,j,箭头方向代表该像素的梯度方向,箭头长度代表梯度模值,然后用高斯窗口对其进行加权运算,每个像素对应一个向量,长度为G(σ',i,j)*mi,,j,G(σ',i,j)为该像素点的高斯权值,方向为θi,,j,图中圆圈代表高斯加权的范围,根据文献[5]高斯参数σ'取3倍特征点所在的尺度,即3σ'。每个向量在2×2的子窗口范围内投影到8个梯度方向上,绘制每个梯度方向的累加值,即可形成一个8维向量,如图3(b)所示。Lowe在实际应用中采用4×4个小窗口,这样每个特征点就用128维向量表征。最后对特征向量归一化,去除光照影响。
4)特征匹配。当两幅图像的SIFT特征向量生成后,就采用欧式距离以作为两幅图像中关键点的相似性判定度量,当此距离小于某个阈值时就认为这两个点已匹配上。
2 简化算法
2.1 算法描述
根据以往的实验表明,上述步骤3)在整个算法中占用70%以上的计算时间,严重地影响了算法的实时性。为了提高效率,使算法的实时性更加合理,将步骤2)与步骤3)合并,并只采用12维向量表征特征点。具体的简化如下:
1)尺度空间极值检测(同原算法)
2)形成特征向量
(1)在多尺度空间特征点形成之后,以特征点为中心采用圆形窗体来确定需要统计的领域范围(见图4),窗口尺寸采用Lowe推荐的9σ×9σ,所以圆形窗口半径取4.5σ,在该圆形窗体内统计12个梯度方向。
(2)将这12个梯度方向归一化,保证光照不变性。假设D是特征点的特征向量,即D=(d1,d2,…,d12),归一化后得到:
(3)查找最大的梯度方向统计量,如果该统计量元素位于12维向量的头部则向量最终形成,最终特征向量为
否则转(4)。
(4)向左循环移动整个向量序列,直到最大的梯度方向统计量移动到向量的第一个元素,以保证旋转不变性。假设是向量的最大元素,则最终可以获得的特征向量为:
3)特征匹配
了一次匹配,在第一次匹配时,记录下匹配的坐标对,然后交换待匹配图像对的顺序,再匹配一次,当两次匹配的坐标相同时,表明匹配完成。通过实验可以得出:两次匹配能较大地提高匹配时的稳定性。
2.2 维数设定
本算法中最关键的参数就是圆形统计窗口中向量的维数n。对20幅不同类型的图像进行统计,发现随着n的增大,匹配率会增加,但是运算时间也大大增加,同时,当n>12时匹配率并没有明显的提高,如图5所示,其中(a)是正确匹配率,(b)为计算所用平均时间,(c)为匹配率,通过选取最大匹配效率来确定维数。对于匹配效率,定义为:
从图5(c)中可以看出,当n=12的时候,可以获得最大的匹配效率。
3 实验结果
本实验环境参数为:CPU为Intel Core2 Duo CPU T5800 2.0GHz,内存为2G,显存为512M,操作系统为Windows xp,仿真平台为Mat lab 6.1。
选取20幅不同的图像,针对不同的情况进行了实验匹配,部分效果以及运算时间如图6和表1所示。其中图6(a)为SIFT方法,图6(b)为SSIFT方法。
4 结论
由表1可以得知,该简化算法在复杂场景下,虽然其匹配效率不如原算法,但是匹配的时间却大大的缩短了,对于视觉处理的实时性获得了满意的效果,同时在目标不变性方面,继续保持了原算法的优势。对于匹配数量不高,视觉变化不是太突然的场合,如双目视觉测距,机器人目标抓取初定位,爆破机器人目标识别等场所,文中算法的实时性特点比较突出。但是本算法同原算法一样存在相同的缺陷,即对于相似环境或对称环境,其匹配正确率明显下降,误匹配增多[10]。如何在向量中加入全局的元素,以此来提高匹配正确率,同时又可以保证实时性,将是下一步研究工作的重点。
参考文献
[1]Wang Zhaozhong,Zhou Fugen,Liu Zhifang,et al.Image match-ing algorithm with high precision[J].Infrared and Laser Engineering(王兆仲,周付根,刘志芳,等.一种高精度的图像匹配算法.红外与激光工程),2006,35(6):751-755.
[2]David G.Lowe.Computer Science Department,Object Recog-nition from Local Scale-Invariant Features[J],in:International Conference on Computer Vision,1999,1150-1157.
[3]HARRIS C,STEPHENS M.A combined corner and edge det-ector[C]//Fourth Alvey Vision Conference,1988:147-151.
[4]Wei Zhang,Jana Kosecka.Hierarchical building recognition.Image and Vision Computing,2007.
[5]Ville O,Janne H.Image resist ration using blur invariant phasecorrelation[J].IEEE Signal Processing Letters,2007,14(7).
[6]David G.Lowe.Distinctive image features from scale invari-ant key point's[J].International Journal of Computer Vision,2004,60(2).
[7]Pierre Moreels and Pietro Perona.Evaluation of Features Det-ectors and Descriptors based on 3D objects.
[8]Krystian Mikolajczyk and Cordelia Schmid.A Performance Evaluation of Local Descriptors.
[9]T.Lindeberg,Scale-space theory:a basic tool for analyzing structures at different scales,Journal of Applied Statistics 21(2)(1994).