专利名称：数字图像中基于梯度与颜色特征的直线自动匹配方法
技术领域：
本发明涉及计算机视觉中的图像特征自动匹配领域，特别是数字图像中直线自动 匹配方法。
背景技术：
特征匹配技术在图像检索、物体识别、视频跟踪以及增强现实等领域有重要应用。 近年来，以尺度不变特征转换(Scale-invariant featuretransform，简称SIFT)技术的提 出为标志，图像特征点自动匹配技术取得了较大进展。但是，由于直线长度不易统一描述， 并且直线附近纹理一般不丰富，直线自动匹配技术提出的较少。目前已有的主要直线匹配方法主要有如下几种，第一种是基于颜色直方图的方 法，该方法仅利用直线附近的颜色信息构造直方图并进行匹配，无法适用于颜色特征不明 显的灰度图像、遥感图像等；第二种是均值标准差直线描述子(MSLD)的方法，这种方法在 进行直线匹配时，仅利用了图像中的梯度信息构造直线描述子进行匹配，没有使用颜色信 息，对颜色特征显著的图像类型匹配性能不佳；第三种是直线聚类(Line Signatures)方 法，该方法利用直线夹角与长度比值来进行直线匹配，依赖于直线端点的准确提取，但对于 纹理丰富图像的图像类型，一般直线检测算法很难获得端点的准确位置，该方法在仅适用 于场景简单的图像类型；第四种是基于特征点匹配的方法，该方法需要首先进行特征点匹 配，然后利用特征点提供的位置约束进行直线匹配，但对于纹理简单的图像类型，特征点匹 配算法能够获得的匹配对数较少，导致算法最终的性能较差。在图像识别等具体应用中，一般无法提前确定图像类型，并且一些任务场景需同 时处理多种类型的图像，这就要求直线匹配算法能够应用于各种图像类型。而现有的直线 匹配方法只局限于特定的图像类型，不具有通用性。
发明内容
本发明针对现有技术中存在的问题提供一种数字图像中基于梯度与颜色特征的 直线自动匹配方法，该方法能够适用多种图像类型的直线自动匹配，而不限于特定的图像 类型。为了实现本目的，本发明提供了一种数字图像中基于梯度与颜色特征的直线自动 匹配方法，包括以下步骤步骤Sl 采集图像并输入计算机；步骤S2 利用已有直线提取技术提取图像中的直线段；步骤S3 将所述直线为中轴线的矩形区域确定为直线邻域，并其划分为7个矩形子区域；步骤S4 将直线邻域内各点的高斯梯度与其所在矩形子区域的平均梯度分别进 行内积玉外积运算，获得各点的梯度特征；步骤S5 将直线邻域内各点的颜色对其所在矩形子区域的平均颜色进行归一化，获得各点的颜色特征；步骤S6 计算各子区域的梯度均值与标准差向量，将各子区域的梯度均值向量组 成一个向量并归一化获得直线的梯度均值描述向量，将各子区域的梯度标准差向量组成一 个向量并归一化获得直线的梯度标准差描述向量；步骤S7 计算各子区域的颜色均值与标准差向量，将各子区域的颜色均值向量组 成一个向量并归一化获得直线的颜色均值描述向量，将各子区域的颜色标准差向量组成一 个向量并归一化获得直线的颜色标准差描述向量；步骤S8 分别计算直线四个描述向量之间的欧式距离，然后赋予不同的权重系数 后求和，获得直线之间的相似度；步骤S9 基于预先设置的匹配准则，利用直线之间的相似度进行直线匹配，将相 似度数值大于0. 3的匹配作为错误匹配去除，输出结果。本发明提供的数字图像中直线自动匹配方法，不需要已知任何其它先验条件，同 时利用直线邻域内各点的梯度与颜色两种特征，提取子区域特征的均值和标准差来构造直 线的描述向量，然后通过计算描述向量之间的距离并加权求和后获得直线的相似性，最后 基于预先设置的匹配准则准则进行直线匹配。匹配过程中能够通过调整描述向量的加权系 数使该方法适用于不同类型的图像，与借助先验条件或仅基于一种图像特征的已有方法相 比，本发明提供的方法具有更加广泛的适用范围，具备通用性。
图1所示为本发明数字图像中基于梯度与颜色特征的直线自动匹配方法的流程 图。
具体实施例方式如图1所示为本发明数字图像中基于梯度与颜色特征的直线自动匹配方法的流 程图，包括采集图像并输入计算机，提取图像中的直线段，确定直线邻域并划分子区域，计 算邻域内各点的梯度特征，计算邻域内各点的颜色特征，基于梯度特征获得直线的均值与 标准差描述向量，基于颜色特征获得直线的均值与标准差描述向量，计算直线之间的相似 度，进行直线匹配并输出结果。各步骤的具体实施细节如下步骤S1 采集图像并输入计算机。利用数码相机拍摄同一场景不同视角下的两幅 或多幅图像，输入计算机。步骤S2 提取图像中的直线段。首先利用已有边缘检测技术(如Canny算子)检 测图像边缘，然后去除图像中的连结点和曲率较大的点，接着仅保留图像中长度大于20像 素的直线段，最后利用Hough变换拟合直线。步骤S3 确定直线邻域并划分子区域。假设直线L的长度为N，将直线L为中轴 线，大小为NX35的矩形区域确定为直线邻域，记为G(L)；沿垂直于直线L的方向，将直线 邻域划分为7个大小为NX 5的矩形子区域G2，. . .，G7，记7个矩形子区域包含的像素个 数分别为，#G2，…，#G7。步骤S4 计算直线邻域内各点的梯度特征。记点Xk的梯度为▽ f (Xk) = [fx(Xk)，fy(Xk)]，其所在矩形子区域&内各点的平均梯度为▽无= [H]，将Xk的梯度VfCXk)与 平均梯度▽无分别作内积与外积运算，获得点Xk的梯度特征g(Xk) = [gl(Xk), &(Xk)]，其中 gy(Xk) = fx(Xk)-fxi+fy(Xk)-fyi ’ 容2(&)二/(\).7；-/,(\) 无。步骤S5 计算直线邻域内各点的颜色特征。记点Xk的颜色为C0l0r(Xk) = [Rk， Gk，Bk]，其所在矩形子区域Gi内各点的平均颜色为Colors) = [Rmi，Gmi，BJ，将点Xk处的 颜色Color (Xk)对平均颜色Color (G》进行归一化，获得点Xk的颜色特征c (Xk) = [Cl (Xk)，
c2 (Xk)，c3 (Xk)]，其中= ^/r^，讽)=RmiB/RkBmi，讽)=Gmi%iBmi。步骤S6 计算直线的梯度均值与标准差描述向量。记矩形子区 域Gi中像素点Xk的梯度特征为g(Xk) = [gl(Xk), g2(Xk)],计算&内各点梯
度特征的均值向量v _rVl V2 V3 V4 其中厂二Z乐， VLri g,(Xt)<0g2(Xt)>0ff^/ g2(Xj)<0
计算Gi内各点梯度特征的标准差向量，其中
E (Mxk)-cf，I (k(xjKi)2 ，
WLri V )>0‘ Vsi(xt)<o
G U Z (她X)2 ，c =-L I Z {\g2(xk)\-v^f ；
^ V 82 )>0\g2(Xt )<0
将子
区域G” G2，...，G7对应的梯度均值向量组成一个向量并归一化，获得直线的梯度 均值描述向量1^』^8"12’…，8"17)^ v v ]丨丨；将子区域卟‘…，
/ L eml Vgm2，…，vgm7」|j
G7对应的梯度标准差向量组成一个向量并归一化，获得直线的梯度标准差描述向量
Vgs=[Vgsl，Vgs2，...’Vgs7j/^1。
/ [_Vgsi’Vgs2，".,Vgs7』丨 步骤S7 计算直线的颜色均值与标准差描述向量。记矩形子区 域&中像素点Xk的颜色特征为c(Xk) = [Cl(Xk)，c2(Xk), c3(Xk)],计算&内
各点颜色特征的均值向量v 「T/1 t/2 t/3 , 其中，IL Z，
yL=YF 2，2 ，计算Gi内各点颜色特征标准差向量
no^，其中 ^4fe(ci(x')-c)2，《★慍胁
K,；将子区域Gi，G2，. . .，G7对应的颜色均值向量组成一个向量
并归一化，获得直线的颜色均值描述向量V。s -h"11’1^2’’''’1^7]^ v v 111 ；将
||L Vcml Vcm2,..., Vcm7 J||
6子区域G2，. . .，G7对应的颜色标准差向量组成一个向量并归一化，获得直线的颜色标准 差描述向量1["^2,....义；^入，... ||。步骤S8 分别计算直线的四个描述向量之间的欧式距离，分别赋予不同加权系数 后求和获得直线间的相似度。记两条直线U，L2对应的四个描述向量分别为V-、Vgsl、Vgsl、 Vcsl 与 V^V^V^Vd，计算 Li，L2 之间的相似性 SH) = a ^ -S^a (1-^) .S2+(l-a) 3 S3+(l-a) (1-3)S4，其中 Si = || Ygml~Ym2 ||，S2 = || Vgsl_Vgs2 ||，S3 = || VCffll-VCffl2 ||，S4 =II Vcsl-Vcs2 ||，a为梯度颜色系数，其取值范围为0. 3 0. 7，3为均值标准差系数，其取 值范围为0.3 0.7。a取值越大，则梯度特征在匹配过程中的重要性越大，反之，颜色特 征在匹配过程中的重要性越大；系数0与图像场景中的纹理丰富程度有关图像纹理越简 单，系数0取值应越大；图像纹理越复杂，系数0取值应越小。步骤S9 采用预先设置的准则进行直线匹配并输出匹配结果。主要可以采用左右 一致性准则进行直线匹配例如，对于第1幅图像中一条直线段1，记第2幅图像中与1最 匹配(对应的相似度数值最小)的直线段为1'，如果1同时也是第1幅图像中与1'最匹 配的直线段，则1、1'为一对匹配直线段。利用左右一致性准则获得初始匹配后，通过去除 相似度小于0. 3的匹配来去除其中的错误匹配，获得最终的匹配结果并输出。本发明提供的数字图像中直线自动匹配方法，不需要已知任何其它先验条件，同 时利用直线邻域内各点的梯度与颜色两种特征，提取子区域特征的均值和标准差来构造直 线的描述向量，然后通过计算描述向量之间的距离并加权求和后获得直线的相似性，最后 基于左右一致性准则进行直线匹配。匹配过程中能够通过调整描述向量的加权系数使该方 法适用于不同类型的图像，与借助其它先验条件或仅基于一种图像特征的已有方法相比， 本发明提供的方法具有更加广泛的适用范围。
权利要求
一种数字图像中基于梯度与颜色特征的直线自动匹配方法，其特征在于，包括步骤S1采集图像并输入计算机；步骤S2利用直线提取技术提取图像中的直线段；步骤S3将所述直线为中轴线的矩形区域确定为直线邻域，并将其划分为7个矩形子区域；步骤S4将直线邻域内各点的高斯梯度与其所在矩形子区域的平均梯度分别进行内积与外积运算，获得各点的梯度特征；步骤S5将直线邻域内各点的颜色对其所在矩形子区域的平均颜色进行归一化，获得各点的颜色特征；步骤S6计算各子区域的梯度均值与标准差向量，将各子区域的梯度均值向量组成一个向量并归一化获得直线的梯度均值描述向量，将各子区域的梯度标准差向量组成一个向量并归一化获得直线的梯度标准差描述向量；步骤S7计算各子区域的颜色均值与标准差向量，将各子区域的颜色均值向量组成一个向量并归一化获得直线的颜色均值描述向量，将各子区域的颜色标准差向量组成一个向量并归一化获得直线的颜色标准差描述向量；步骤S8分别计算直线的梯度均值描述向量、梯度标准差描述向量、颜色均值描述向量和梯度标准差描述向量这四个描述向量之间的欧式距离，然后赋予不同的权重系数后求和，获得直线之间的相似度；步骤S9基于预先设置的匹配准则，利用直线之间的相似度进行直线匹配，将相似度数值大于0.3的匹配作为错误匹配去除，输出结果。
2.根据权利要求1所述的数字图像中基于梯度与颜色特征的直线自动匹配方法，其特 征在于，所述步骤S3包括记直线的长度为N，将所述直线为中轴线，大小为NX 35的矩形 区域确定为直线邻域；沿垂直于直线方向，将该矩形邻域划分为7个大小为NX5的矩形子 区域G2，. . .，G7，记7个矩形子区域包含的像素个数分别为，#G2，... , #G7。
3.根据权利要求2所述的数字图像中基于梯度与颜色特征的直线自动匹配方法，其特 征在于，所述步骤S4包括记直线邻域内各点为{Xk|Xk G GJ，点Xk的高斯梯度为▽ f (Xk) =[fx(xk)，fy(Xk)](fx(Xk)，fy(Xk)分别表示水平竖直方向上的梯度)，其所在矩形子区域&内各点的平均梯度为砰=[冗，7；]=^7 Z Vf(x山将Xk的高斯梯度Vf(xk)与平均梯度▽无分别作内积与外积运算，获得点xk的梯度特征g(Xk) = [gl(Xk), g2(Xk)]，其中<formula>formula see original document page 2</formula>
4.根据权利要求3所述的数字图像中基于梯度与颜色特征的直线自动匹配方法，其特 征在于，所述步骤S5包括记直线邻域内各点Xk的颜色为Color (Xk) = [Rk，Gk，Bk] (Rk，Gk， Bk分别表示红、绿、蓝三个颜色分量)，其所在矩形子区域&内各点的平均颜色为Color (G》 =[Rmi，Gmi，Bmi]，将点Xk处的颜色Color (Xk)对平均颜色Color (G^进行归一化，获得点Xk 的颜色特征 c (Xk) = [Cl (Xk)，c2 (Xk)，c3 (Xk)]，其中 Cl (Xk) = RmiGk/RkGmi，c2 (Xk) = RmiBk/RkBmi, c3(Xk) = GwBi/Gil^。
5.根据权利要求4所述的数字图像中基于梯度与颜色特征的直线自动匹配方法，其特征在于，所述步骤S6包括记矩形子区域&中步骤S4获得的点Xk的梯度特征为 g(Xk) = [gl(Xk), &(Xk)]，计算&内各点梯度特征的均值向量，「gL，「gL，Cj，其中 <formula>formula see original document page 3</formula>计算Gi内各点梯度特征的标准差向量V =[Vl.,V2,V3 ,V4]， 其中2 (乐(XK )<formula>formula see original document page 3</formula>；将子区域‘G2，. . .，G7对应的梯度均值向量组成一个向量并归一化，获得直线的梯度均值描述向量Vgm =[Vgml，Vgm2，...，Vgm7]/|| [Vgml，Vgm2，...，Vgm7] II (其中 II 口 II 表示向量的取模运算)；将 子区域G2，. . .，G7对应的梯度标准差向量组成一个向量并归一化，获得直线的梯度标准 差描述向量 Vgs = [vgsl，vgs2,...，vgs7]/ || [vgsl，vgs2,...，vgs7] ||。
6.根据权利要求5所述的数字图像中基于梯度与颜色特征的直线自动匹配方法，其 特征在于，所述步骤S7包括记矩形子区域&中步骤S5获得的点Xk的颜色特征为c(Xk) =[Cl (Xk), c2 (Xk), c3(Xk)]，计算Gi内各点颜色特征的均值向量，其中，厂cL E，KL =去 Z C2(XJ ，vlt X c,(Xk)；计算 Gi内各点颜色特征标准差向量v rT. t/2 t/3i其中C =▲」E(“xX)2,vcs, = iKsi，Ksi, Ksi J，VLr' vKl =i77js (^(XJ-^eL)2^(。(xX)2 ；将子区域 Ci，G2，...，G7 对应的颜色均值向量组成一个向量并归一化，获得直线的颜色均值描述向量v = [VCffll, vcm2, ... , Vcm7]/ || [Vcml, Vcm2, ... , Vcm7] || ；将子区域 Gi，G2，. . .，G7 对应的颜色标准差向量组 成一个向量并归一化，获得直线的颜色标准差描述向量v。s = [V。sl，V。s2，Vcs7]/ || [Vcsl, VCS2， ，Vcs7] ||。
全文摘要
本发明涉及一种数字图像中直线自动匹配方法，包括采集图像并输入计算机；提取图像中的直线段；确定直线邻域并划分子区域；将各点高斯梯度与其所在子区域的平均高斯梯度分别进行内积与外积运算获得梯度特征；将各点颜色对其所在子区域的平均颜色进行归一化获得颜色特征；基于梯度特征计算直线的梯度均值描述向量与梯度标准差描述向量；基于颜色特征计算直线的颜色均值描述向量与颜色标准差描述向量；计算直线的描述向量之间的欧式距离，分别赋予不同权重系数后求和，获得直线之间的相似度；进行匹配并输出结果。本发明提供的方法不需要借助任何先验条件，同时利用了梯度与颜色两种图像特征，能够适用于不同类型的图像，具有更加广泛的适应性。
文档编号G06T7/40GK101833767SQ20101017734
公开日2010年9月15日 申请日期2010年5月10日 优先权日2010年5月10日
发明者刘红敏, 王志衡, 薛霄, 贾利琴, 贾宗璞 申请人:河南理工大学