专利名称：基于彩色信息的尺度不变特征点描述和匹配方法
技术领域：
本发明属 于通用图像数据处理技术，特别是一种基于彩色信息的尺度不变特征点描述和匹配方法。
背景技术：
图像特征点是一种能够对多种图像变化都具有一定鲁棒性的图像局部特征。在提取特征点之后，需要使用描述子，利用特征点周围的局部图像信息，通过计算获取各特征点的特征向量，并形成图像的特征向量空间。在两幅图像中匹配相同的特征点就是在这两幅图像的特征向量空间中匹配对应的特征向量。尺度不变特征点不仅能够适应平移、旋转和噪声等图像变化，而且对图像尺度变化(图像缩放)也具有较强的鲁棒性。因而，对应于尺度不变特征点的描述方法以及特征描述向量也需要具有尺度不变性。Mikolajczyk提出了 Harris-Laplace尺度不变特征点，并利用微分不变 (differentialinvariants)描述子来计算特征点的特征向量。微分不变描述子使用被命名为local jet的一系列微分计算来对特征点附近的局部区域图像进行描述，并采用马氏距离(Mahalanobis distance)来判别特征向量之间的相似性。该描述子虽然具有一定的尺度不变性，但是微分计算本身对图像噪声比较敏感(K. Mikolajczyk. Detection of localfeatures invariant to affine transformations [PhD Thesis]. Montbonnot, France :INRIA，2002)。Lowe基于动物视觉神经细胞对外部图像信息的应答特性提出 SIFT(Scale-InvariantFeature Transform)尺度不变特征点和SIFT描述子，将以特征点为中心的局部区域图像划分成16个正方形区域，计算各区域内的八方向梯度方向直方图来组成特征点的128维特征向量，并利用欧式距离进行相似性判别。SIFT描述子的鲁棒性较强，但是由于特征向量的维数较高，向量匹配的计算量也较大(D.G.Lowe. Distinctive imagefeatures from scale-invariant keypoints. International Journal of Computer Vision,2004,60 (2) :91 110)。上述尺度不变特征点描述和匹配方法都是基于图像的灰度信息，并没有利用图像的彩色信息。Swain和Ballard提出彩色直方图对彩色图像进行匹配。彩色直方图中的每一维表示所使用的彩色模型的一个分量，并且依据分量的取值范围进行离散化。直方图中每个单元的数值通过统计落入相应单元中的像素的个数而获得(M. J. Swain,D. H Ballard. Color indexing. International Journal of Computer Vision,1991,7 (1) :11 32)。 RGB彩色直方图不具有对光照改变的适应能力。为了增强对光照变化的鲁棒性，Adjeroh 和Lee选用了具有彩色不变性的彩色比率模型分量来组成彩色比率直方图(D. A. Adjeroh, M. C.Lee. On ratio-based color indexing. IEEE Transactions on ImageProcessing, 2001,10(1) :36 48)。彩色直方图虽然利用了图像的彩色信息，但是对噪声和缩放等图像变化的鲁棒性较差，不适用于图像尺度不变特征点的描述和匹配。
也有学者将图像的RGB或HSV彩色分量当成灰度图像信息来处理，并利用SIFT等原本基于灰度信息的描述子计算各彩色分量图中的彩色分量梯度直方图，最终生成3X^8 =384维特征向量。这种匹配方法实质上是SIFT描述子的一种扩展，但是特征向量维数却大大增加，匹配的实时性受到较大影响。总结国内外公开的图像特征点描述和匹配相关文献及研究成果，存在以下不足 (1)基于微分计算的特征点描述子虽然特征向量维数较低并且匹配计算量小，但是对图像噪声较为敏感；0)SIFT描述子等基于特定区域图像信息分布的描述方法具有较强的鲁棒性，但是由于描述子结构复杂，并且特征向量的维数较高，匹配的计算量往往很大；(3)基于彩色直方图的描述子对图像变化的鲁棒性较差；(4)将图像的彩色分量当成灰度图像来处理，使用SIFT等基于图像灰度信息的描述子，所生成的特征向量的维数会成倍增加，匹配的计算量更大。
发明内容
发明目的本发明所要解决的技术问题是针对现有技术的不足，提供一种以图像 RGB彩色信息为基础的，具有尺度不变特性的图像特征点描述子，实现不同图像的尺度不变特征点之间的有效匹配。为了解决上述技术问题，本发明公开了一种基于彩色信息的尺度不变特征点描述和匹配方法，包括如下步骤步骤1，提取输入数字彩色图像的R、G、B彩色分量；根据图像的噪声设置高斯卷积的标准差，分别对所提取的R、G、B彩色分量图像使用一维高斯模板在垂直和水平方向上先后进行两次一维高斯卷积，作为后续彩色分量均值计算的依据；步骤2，依据各特征点的坐标确定对应同心圆描述子的中心位置，依据特征点的方向确定描述子的基准方向，依据特征点尺度确定描述子的区域大小；对落入同一描述子子区域中的所有像素点计算R、G、B彩色分量的均值，所有16个子区域的彩色分量均值共构建 48维特征向量元素。其中，特征点尺度值等于图像尺度空间中提取该特征点所在图像层所对应的尺度大小；步骤3，依据描述子子区域与特征点之间的距离确定各子区域的高斯权重；按照所属子区域，将各特征向量元素乘以相应的权重值，以区分离特征点距离远近不同的子区域所占的比重；步骤4，将特征向量的48维元素按照所属彩色分量的不同分为三组，对应于R、G、 B彩色分量，其中，每组元素包括16个，对应于描述子的16个子区域；分别对属于同一彩色分量的16个向量元素进行归一化处理，形成最终的特征描述向量；步骤5，对图像所有尺度不变特征点进行特征向量计算后，将所有的特征向量组合成该图像的特征向量空间；在两幅图像的特征向量空间中进行特征点匹配，计算一幅图像中的某个特征点的特征向量与另一幅图像的所有特征向量之间的欧式距离，当最近距离与次近距离的比值小于阈值时，距离最近的一对特征点为匹配特征点。本发明步骤2中，所述特征点描述子为一种同心圆结构，取外圆半径为特征点尺度大小的k倍，k为自然数，内圆的半径为外圆半径的二分之一，等于特征点尺度大小的k/2 倍；内圆每隔90度划分4个子区域，圆环每隔30度划分12个子区域，16个子区域面积相同，编号从内向外逆时针排列，并设置描述子基准方向为其0°方向；在特征向量计算中， 以特征点所在的图像坐标为描述子中心位置，旋转描述子的基准方向与特征点方向一致。
本发明步骤2中，基于同心圆描述子的特征向量计算步骤如下步骤201 依据特征点在图像中的坐标(i，j)、方向β和尺度s，设置同心圆描述子中心在图像坐标(i，j)上，旋转描述子的基准方向指向β角度，并取描述子半径r = ks;步骤202:以图像坐标(i，j)为中心，以2r为边长，选取同心圆描述子的外接正方形A，并确定正方形区域A中的所有像素点，用Im(x，y)表示图像中坐标为(x，y)的像素点， 对于区域A中的每个像素点，有i-2r ^ χ ^ i+2r且j_2r ^ y ^ j+2r ；步骤203:选取区域A内的一个像素点，计算该像素点与特征点之间的距离1，计算该像素点和特征点连线与描述子方向之间的夹角Θ，并转换到0° 360°范围内；步骤204 对距离1进行判别，如果1 > r，像素点未落入描述子的区域内，进行步骤203 ；如果0. 5r < 1 < r，进行步骤205 ；如果1 < 0. 5r，进行步骤206 ；步骤205:用η表示像素点所落入描述子子区域的标号，对θ进行判别，判据如下如果0°彡θ <30°，则η = 5，判定该像素点落入子区域5 ；如果30°彡θ < 60°，则η = 6，判定该像素点落入子区域6 ；如果60°彡θ < 90°，则η = 7，判定该像素点落入子区域7 ；如果90°彡θ <120°，则η = 8，判定该像素点落入子区域8 ；如果120°彡θ <150°，则η = 9，判定该像素点落入子区域9 ；如果150°彡θ < 180°，则η = 10，判定该像素点落入子区域10 ；如果180° ( θ < 210°，则η = 11，判定该像素点落入子区域11 ；如果210°彡θ < 240°，则η = 12，判定该像素点落入子区域12 ；如果240°彡θ < 270°，则η = 13，判定该像素点落入子区域13 ；如果270°彡θ < 300°，则η = 14，判定该像素点落入子区域14 ；如果300°彡θ < 330°，则η = 15，判定该像素点落入子区域15 ；如果330°彡θ < 360°，则η = 16，判定该像素点落入子区域16 ；进行步骤207 ；步骤206 对θ进行判别，判据如下如果0° ^ θ <90°，则η = 1，判定该像素点落入子区域1 ；如果90°彡θ <180°，则η = 2，判定该像素点落入子区域2 ；如果180°彡θ < 270°，则η = 3，判定该像素点落入子区域3 ；如果270°彡θ < 360°，则η = 4，判定该像素点落入子区域4 ；进行步骤207;步骤207 依据下式将该像素点的R、G、B彩色分量值分别累加到与子区域η对应的特征向量的元素中colorFeature[3n_3] = colorFeature[3n-3]+RIm(χ, y),colorFeature[3η_2] = colorFeature[3η_2]+GIm(χ，y)，colorFeature[3η_1] = colorFeature[3η_1]+BIm(χ，y)；其中，RIm(x，y)、GIm(x，y)和BIm(x，y)分别表示像素点 Im(x，y)的 R、G、B 彩色分量值；colorFeature[]表示特征点的特征向量，并且colorFeature[]的维数为48维；步骤208 判定该像素点落入子区域n，根据式pointN[n-1] = pointN[n_l]+l，统计各子区域中的像素点个数，其中，16维向量pointN□用来存储16个子区域分别包含像素点的个数，且pointN [n-1]对应于子区域η ；步骤209 判断区域A中所有像素点是否全部计算完毕，如果没有计算完，进行步骤203，否则进行步骤210 ；步骤 210 依据式 colorFeature [m] = colorFeature [m] /pointN[ [m/3] ] (m = 0， 1,2, ...，47)，计算各描述子子区域中R、G、B彩色分量的均值，作为对应的特征向量元素。 其中，[m/3]为取整数运算。本发明步骤202中，描述子外接正方形区域A超出图像边界范围时，确定像素点的处理方式如下用变量imH和imW分别表示图像的高度和宽度，如果χ < 0 且 y < 0，取 Im(x，y) = Im(-χ, -y)；如果χ > imH-1 且 y < 0，取 Im(x，y) = Im(2 (imH-1)-χ, -y)；如果χ < 0 且 y > imW-1，取 Im(x，y) = Im(-x, 2 (imff-1)-y)；如果χ > imH-1 且 y > imW-1，取 Im (χ, y) = Im (2 (imH-1)-χ, 2 (imff-1)-y) 本发明步骤3中，按照所属子区域与特征点之间的距离，将各特征向量元素乘以相应的高斯权重值，取高斯标准差ο等于r，子区域5 16与子区域1 4的高斯权重比值为0. 7788 ；设置与子区域1 4对应的特征向量元素值不变，而与子区域5 16对应的特征向量元素乘以权重值0. 7788
权利要求
1.一种基于彩色信息的尺度不变特征点描述和匹配方法，其特征在于，包括以下步骤步骤1，提取输入数字彩色图像的R、G、B彩色分量；根据图像的噪声设置高斯卷积的标准差，分别对所提取的R、G、B彩色分量图像使用一维高斯模板在垂直和水平方向上先后进行两次一维高斯卷积，作为后续彩色分量均值计算的依据；步骤2，依据各特征点的坐标确定对应同心圆描述子的中心位置，依据特征点的方向确定描述子的基准方向，依据特征点尺度确定描述子的区域大小；对落入同一描述子子区域中的所有像素点计算R、G、B彩色分量的均值，所有16个子区域的彩色分量均值共构建48 维特征向量元素，其中，特征点尺度值等于图像尺度空间中提取该特征点所在图像层所对应的尺度大小；步骤3，依据描述子子区域与特征点之间的距离确定各子区域的高斯权重；按照所属子区域，将各特征向量元素乘以相应的权重值，以区分离特征点距离远近不同的子区域所占的比重；步骤4，将特征向量的48维元素按照所属彩色分量的不同分为三组，对应于R、G、B彩色分量，其中，每组元素包括16个，对应于描述子的16个子区域；分别对属于同一彩色分量的16个向量元素进行归一化处理，形成最终的特征描述向量；步骤5，对图像所有尺度不变特征点进行特征向量计算后，将所有的特征向量组合成该图像的特征向量空间；在两幅图像的特征向量空间中进行特征点匹配，计算一幅图像中的某个特征点的特征向量与另一幅图像的所有特征向量之间的欧式距离，当最近距离与次近距离的比值小于阈值时，距离最近的一对特征点为匹配特征点。
2.根据权利要求1所述的基于彩色信息的尺度不变特征点描述和匹配方法，其特征在于，步骤2中，所述特征点描述子为一种同心圆结构，取外圆半径为特征点尺度大小的k倍， k为自然数，内圆的半径为外圆半径的二分之一，等于特征点尺度大小的k/2倍；内圆每隔 90度划分4个子区域，圆环每隔30度划分12个子区域，16个子区域面积相同，编号从内向外逆时针排列，并设置描述子基准方向为其0°方向；在特征向量计算中，以特征点所在的图像坐标为描述子中心位置，旋转描述子的基准方向与特征点方向一致。
3.根据权利要求1所述的基于彩色信息的尺度不变特征点描述和匹配方法，其特征在于，步骤2中，基于同心圆描述子的特征向量计算步骤如下步骤201 依据特征点在图像中的坐标(i，j)、方向β和尺度s，设置同心圆描述子中心在图像坐标(i，j)上，旋转描述子的基准方向指向β角度，并取描述子半径r = ks ；步骤202 以图像坐标(i，j)为中心，以2r为边长，选取同心圆描述子的外接正方形A， 并确定正方形区域A中的所有像素点，用Lii(X，y)表示图像中坐标为(x，y)的像素点，对于区域A中的每个像素点，有i-2r ^ χ ^ i+2r且j_2r ^ y ^ j+2r ；步骤203:选取区域A内的一个像素点，计算该像素点与特征点之间的距离1，计算该像素点和特征点连线与描述子方向之间的夹角Θ，并转换到0° 360°范围内；步骤204 对距离1进行判别，如果1 > r，像素点未落入描述子的区域内，进行步骤 203 ；如果0. 5r < 1 < r，进行步骤205 ；如果1 < 0. 5r，进行步骤206 ；步骤205:用η表示像素点所落入描述子子区域的标号，对θ进行判别，判据如下 如果0°彡θ <30°，则η = 5，判定该像素点落入子区域5;如果30°彡θ <60°，则η = 6，判定该像素点落入子区域6; 如果60°彡θ <90°，则η = 7，判定该像素点落入子区域7; 如果90°彡θ <120°，则η = 8，判定该像素点落入子区域8; 如果120° ( θ <150°，则η = 9，判定该像素点落入子区域9 ； 如果150°彡θ < 180°，则η = 10，判定该像素点落入子区域10 ； 如果180°彡θ <210°，则η = 11，判定该像素点落入子区域11 ； 如果210°彡θ < 240°，则η = 12，判定该像素点落入子区域12 ； 如果240°彡θ < 270°，则η = 13，判定该像素点落入子区域13 ； 如果270°彡θ < 300°，则η= 14，判定该像素点落入子区域14; 如果300°彡θ < 330°，则η = 15，判定该像素点落入子区域15 ； 如果330°彡θ < 360°，则η = 16，判定该像素点落入子区域16 ； 进行步骤207 ；步骤206 对θ进行判别，判据如下如果0°彡θ <90°，则η= 1，判定该像素点落入子区域1; 如果90°彡θ <180°，则η = 2，判定该像素点落入子区域2; 如果180° ( θ < 270°，则η = 3，判定该像素点落入子区域3 ； 如果270° ^ θ < 360°，则η = 4，判定该像素点落入子区域4; 进行步骤207 ； 步骤207 依据下式将该像素点的R、G、B彩色分量值分别累加到与子区域η对应的特征向量的元素中 colorFeature[3n_3] = colorFeature[3n-3]+RIm(x, y), colorFeature[3η_2] = colorFeature[3η_2]+GIm(χ, y), colorFeature[3η_1] = colorFeature[3η-1]+BIm(χ, y)；其中，肌111(1，7)、61111“，7)和BIm(x，y)分别表示像素点Im(x，y)的R、G、B彩色分量值；colorFeature []表示特征点的特征向量，并且colorFeature []的维数为48维；步骤208 判定该像素点落入子区域n，根据式pointN[n-l] = pointN[n-l]+l，统计各子区域中的像素点个数，其中，16维向量pointN□用来存储16个子区域分别包含像素点的个数，且pointN[n-l]对应于子区域η ；步骤209 判断区域A中所有像素点是否全部计算完毕，如果没有计算完，进行步骤 203，否则进行步骤210;步骤 210 依据式 colorFeature[m] = colorFeature[m]/pointN[[m/3]] (m = 0,1, 2, ...，47)，计算各描述子子区域中R、G、B彩色分量的均值，作为对应的特征向量元素，其中，[m/3]为取整数运算。
4.根据权利要求3所述的基于彩色信息的尺度不变特征点描述和匹配方法，其特征在于，步骤202中，描述子外接正方形区域A超出图像边界范围时，确定像素点的处理方式如下用变量imH和imW分别表示图像的高度和宽度，如果 χ < 0 且 y < 0，取 Im(x，y) = Im(-χ, -y)；如果 x> imH-1 且 y < 0，取 Im(x，y) = Im(2 (imH-1)-χ, -y)；如果X < 0且7 > imW-1，取 Im (X，y) = Im(-x, 2 (imff-1)-y)；如果 χ > imH-1 且 y > imW-1，取 Im (χ，y) = Im (2 (imH-1) -χ, 2 (imff-1) -y)。
5.根据权利要求1所述的基于彩色信息的尺度不变特征点描述和匹配方法，其特征在于，步骤3中，按照所属子区域与特征点之间的距离，将各特征向量元素乘以相应的高斯权重值，取高斯标准差σ等于r，子区域5 16与子区域1 4的高斯权重比值为0.7788;设置与子区域1 4对应的特征向量元素值不变，而与子区域5 16对应的特征向量元素乘以权重值0. 7788 Γ icolorFeature[w]to = 0,1,2”..，11colorFeature\m\ = <。L J
w = 12,13”..，47
6.根据权利要求1所述的基于彩色信息的尺度不变特征点描述和匹配方法，其特征在于，步骤4中，分别对属于同一彩色分量的16个向量元素进行归一化处理，形成最终的特征描述向量16colorFeature[3万一3] = colorFeature[3^-3]/^colorFeature[3Λ-3] η -1,2”..,16k=l 16colorFeature[3/7-2] = colorFeature[3n-2]/^colorFeature[3k-2] = 1,2”..,16。k=l 16colorFeature[3n-l] = colorFeature[3n-l]/^colorFeature[3k -1] η -1,2, ...,16k=l
全文摘要
本发明公开了基于彩色信息的尺度不变特征点描述和匹配方法，首先分别对数字彩色图像中的R、G、B彩色分量进行高斯卷积；依据特征点的坐标、方向和尺度等信息，确定该特征点描述子的位置和结构；计算描述子同心圆结构中各子区域内的R、G、B彩色分量的均值，将每个均值作为特征向量的一维元素构建特征向量；按照所属子区域与特征点之间的距离，对各维特征向量元素乘以高斯权重；分别对属于同一彩色分量的特征向量元素进行归一化处理；依次计算所有特征点的特征向量，构建图像的特征向量空间；最后在两幅图像的特征向量空间中，计算两两特征向量之间的距离，匹配对应的特征点。
文档编号G06K9/62GK102184411SQ20111011783
公开日2011年9月14日 申请日期2011年5月9日 优先权日2011年5月9日
发明者杨进佩, 梁维泰, 闫晶晶, 高健 申请人:中国电子科技集团公司第二十八研究所