技术领域本发明属于计算机视觉技术领域，特别是涉及一种短基线条件下两视图间线段特征全局匹配方法。
背景技术：
特征匹配是计算机视觉领域所研究的核心问题之一。其中特征点的匹配方法已经比较成熟可靠，如SIFT、SURF等。与特征点相比，在同样的噪声条件下，视图中的线特征受噪声影响更小，且对光照条件和阴影不敏感。然而，线段端点位置的不准确、遮挡、断裂等因素使得线段特征的匹配更具挑战性。近年来，许多学者致力于解决线段特征的匹配问题。整体上线段匹配方法可分为两大类：个体匹配和组匹配。在个体匹配方法中，线段邻域的梯度信息和颜色信息常用来作为线段的特征描述。然而，基于颜色或梯度信息的线段匹配方法受光照影响比较大，且不适用于场景中线特征的颜色信息很相似的情形。另一类个体匹配方法利用了多种几何约束信息，如Schmid等利用不同视图间线段端点的对极几何约束，借助点对应的相关性作为衡量线段间相似性的标准来进行线段特征匹配。然而，该方法的准确性不高。MinChen等利用单应矩阵约束实现了遥感视图中的线段特征匹配。李俊瑶等结合极线约束和单应矩阵约束进行线段特征匹配。目前，在线段特征个体匹配方法中比较成功的是Fan等提出的基于点对应的线特征匹配方法。该方法将不同视图间线段邻域内的点对应作为衡量线段之间相似性的度量，是一种具有较高准确性的线段匹配方法。然而，该方法存在以下问题：当场景中缺少特征点时，很多真实存在的线段对应无法被找到；点对应的匹配错误可能会导致相应的线段对应的匹配错误。线段的组匹配方法将视图中的多条线段看成一个整体，线段间的相对位置关系可以为线段的匹配提供一定的几何约束。然而，该类方法具有较高的计算复杂度，且容易受到线段端点位置不准确的影响。另外，线段因遮挡、断裂以及端点提取不准确等因素而容易造成线段特征匹配时出现“多对多”匹配的问题。为了获得线段的“一对一”匹配，现有方法绝大多数在匹配阶段采用相似度最大原则，即匹配时取相似度最大的一对线段作为匹配结果。然而，在线段相似度接近的场景中上述方法容易发生错配。而且相似度最大原则实质上是一种局部最优匹配，而并未考虑线段匹配的全局最优。
技术实现要素：
为了解决上述问题，本发明的目的在于提供一种短基线条件下两视图间线段特征全局匹配方法。为了达到上述目的，本发明提供的短基线条件下两视图间线段特征全局匹配方法包括按顺序进行的下列步骤：(1)分别从两幅视图中提取出SIFT特征点，并对两幅视图的SIFT特征点进行初始匹配；(2)分别从两幅视图中提取出线段特征，并对每幅视图中临近的线段进行删除、合并；(3)利用步骤(1)中获得的经过初始匹配的SIFT特征点估计出两幅视图间摄像机的旋转变换矩阵，然后通过对第二幅视图施加该旋转变换矩阵的逆变换而使其与第一幅视图之间只有平移变换，最后基于空间相邻性对上述步骤(2)中获得的两幅视图中的线段进行初始匹配，由此获得线段初始匹配集；(4)基于点-线相邻性对步骤(3)中获得的线段初始匹配集进行过滤，由此获得匹配线段集合；(5)基于单应矩阵模型对步骤(4)中经过过滤的匹配线段再进行过滤，由此获得匹配线段的候选解集；(6)基于0-1规划方法对上述步骤(5)获得的候选解集中的匹配线段进行全局匹配。在步骤(1)中，所述的分别从两幅视图中提取出SIFT特征点，并对两幅视图的SIFT特征点进行初始匹配的方法是：基于SIFT算法对上述两幅视图中的SIFT特征点进行提取和初始匹配。在步骤(2)中，所述的分别从两幅视图中提取出线段特征，并对每幅视图中临近的线段进行删除、合并的方法是：首先，基于LSD算法提取每幅视图中的线段，删除其中所有长度小于某一设定长度阈值Tl的线段，然后对临近的线段按近邻约束和倾角约束进行合并。在步骤(3)中，所述的利用步骤(1)中获得的经过初始匹配的SIFT特征点估计出两幅视图间摄像机的旋转变换矩阵，然后通过对第二幅视图施加该旋转变换矩阵的逆变换而使其与第一幅视图之间只有平移变换，最后基于空间相邻性对上述步骤(2)中获得的两幅视图中的线段进行初始匹配，由此获得线段初始匹配集的方法是：首先基于基本矩阵利用步骤(1)中获得的经过初始匹配的SIFT特征点估计出两幅视图间摄像机的旋转变换矩阵，然后通过对第二幅视图施加该旋转变换矩阵的逆变换而使其与第一幅视图之间只有平移变换，最后，基于空间相邻性对上述步骤(2)中获得且经过合并的两幅视图中的线段进行初始匹配，由此获得线段初始匹配集。在步骤(4)中，所述的基于点-线相邻性对步骤(3)中获得的线段初始匹配集进行过滤，由此获得匹配线段集合的方法是：在步骤(3)获得的初始匹配线段中，以第一幅视图中的线段以及第二幅视图中的线段为中心各自构建一个矩形邻域和对于每一对匹配线段的SIFT特征点(pi,p′i)，如果SIFT特征点pi位于邻域内并且SIFT特征点p′i位于邻域内，则线段和之间的相似度增加；最后，对于第一幅视图中的每一条线段，在第二幅视图中将所有相似度大于某一相似度阈值Ts的线段都保留作为与第一幅视图中该线段匹配的线段，而将小于该相似度阈值Ts的所有线段从线段初始匹配集中删除，由此获得匹配线段集合。在步骤(5)中，所述的基于单应矩阵模型对步骤(4)中经过过滤的匹配线段再进行过滤，由此获得匹配线段的候选解集的方法是：基于RANSAC框架，首先，从上述匹配线段集合中随机选择四组匹配线段组成随机样本，根据归一化DLT算法求得单应矩阵H；然后对假设的每组匹配线段计算映射之后的欧式距离d⊥，如果欧式距离d⊥小于某一距离阈值Td，则该组匹配线段为内点，否则为外点；最后，选择获得内点数目最多的单应矩阵H作为真实值，并利用所有内点集重新优化估计单应矩阵H，由此获得匹配线段的候选解集。在步骤(6)中，所述的基于0-1规划方法对上述步骤(5)获得的候选解集中的匹配线段进行全局匹配的方法是：以匹配线段的候选解集作为该部分的输入，计算候选解集中待匹配线段的相似度，利用基于分组策略的两阶段求解算法对该问题进行求解，获得相似度之和最大的线段集合，从而达到线段特征的“一对一”全局精确匹配。所述的长度阈值Tl、相似度阈值Ts、距离阈值Td的确定方法为：长度阈值Tl为经验值，取值为5～10个像素值；相似度阈值Ts为经验值，取值范围为0.6≤Ts≤1.0；距离阈值Td的取值为其中σ为视图坐标具有的高斯噪声的标准差。本发明提供的短基线条件下两视图间线段特征全局匹配方法是首先从两幅视图中提取特征点及线段特征，然后基于空间相邻性的几何约束确定线段的初始匹配，最后分别利用点线相邻性、单应矩阵模型等几何约束以及0-1规划方法实现线段特征匹配的过滤与唯一性筛选。本发明与现有技术相比，具有以下优点：①本发明方法将线段特征全局匹配问题转化为了0-1规划问题，通过求解该问题获得线段的“一对一”匹配结果，解决了现有方法易出现的“多对多”匹配的问题。②本发明方法无需计算线段附近的颜色信息，对光照变化的鲁棒性更强。③本发明方法借助于短基线条件下两幅视图的空间相邻性特点进行线段初始匹配的查找，有助于找到更多潜在的匹配线段。④本发明方法利用多种几何约束对线段匹配进行过滤和筛选，使线段匹配的准确性更高，鲁棒性更强。附图说明图1是线段特征匹配示意图；图2是本发明提供的短基线条件下两视图间线段特征全局匹配方法流程图；图3是线段合并方法示意图；图4是点-线相邻性示意图；图5是基于分组策略的两阶段线段匹配求解示例；图6是线段匹配的实验结果.具体实施方式下面结合附图和具体实施例对本发明提供的短基线条件下两视图间线段特征全局匹配方法进行详细说明。基线是指相机在不同位置采集视图时相机中心的连线。当基线较短时称为短基线。三维空间中的同一线段在以不同视角采集的两幅视图中所呈现的投影线段称为一组匹配线段。然而，由于线段提取过程中线段端点位置的不确定性，以及线段遮挡和断裂等因素均会导致匹配难度较大。本发明所要解决的是短基线条件下两视图间线段特征匹配问题。这里的线段特征匹配是指：定义1：线段特征匹配：两幅视图中的一对线段特征，如果该对线段特征在三维空间中共线并且有重合，则称该对线段特征是一对匹配的线段特征。如图1所示，F1和F2分别为两幅视图，l和l'分别为视图F1和F2中的两条线段，线段l和l'的端点分别为a、b和c、d，线段l和l'对应的三维空间中的线段分别为AB和CD，且AB与CD共线，则称线段l和l'特征是一对匹配的线段特征。为了能够准确地描述本发明所要研究的问题，首先定义如下符号：F1：第一幅视图F2：第二幅视图从视图Fk(k＝1,2)中提取的第i条线段Ωk：从视图Fk(k＝1,2)中提取的线段集合第一二幅视图F1和F2中的一对匹配线段L：两幅视图中所有匹配线段的集合基于上述符号定义，本发明所研究问题的定义如下：定义2：对于短基线条件下的第一幅视图F1和第二幅视图F2，提取线段特征并对其进行一一对应的匹配，从而获得第一幅视图F1和第二幅视图F2中所有匹配线段的集合L。如图2所示，本发明提供的短基线条件下两视图间线段特征全局匹配方法包括按顺序进行的下列步骤：(1)分别从两幅视图中提取出SIFT特征点，并对两幅视图的SIFT特征点进行初始匹配首先，利用SIFT算法分别对两幅视图中的SIFT特征点进行提取，然后对两幅视图中的SIFT特征点进行初始匹配，由此获得SIFT特征点初始匹配集。上述SIFT特征点初始匹配的的具体方法为：假设从第一幅视图F1检测到的SIFT特征点集合为从第二幅视图F2检测到的SIFT特征点集合为定义待匹配样本集为E，通过以SIFT特征点集合B构建k-d树，基于深度优先搜索方法在待匹配样本集E中获得SIFT特征点集合A与SIFT特征点集合B的近邻匹配；如果下面式(1)中条件满足，则称待匹配样本集E的一个样本点的最近邻样本点为即和为一对匹配点。|pi1-pj2|≤|pi1-pt2|,∀pt2∈B,t≠j---(1)]]>其中，表示两样本点间的欧式距离。(2)分别从两幅视图中提取出线段特征，并对每幅视图中临近的线段进行删除、合并本发明方法选取Goio等人于2010年提出的线段检测算法(LineSegmentDetector,LSD)进行线段特征提取。LSD是一种线性时间的具有较高检测精度的线段检测方法。该方法出现的误检测较少且不需要任何参数选取与设置。在完成线段提取之后，需要对提取结果进行进一步处理以提高线段提取的鲁棒性。首先，删除上述每一幅视图中所有长度小于某一设定长度阈值Tl的线段，此长度阈值Tl为经验值，一般取值范围为5～20个像素值，然后对临近的线段进行合并。同时满足以下两个条件的线段需要进行合并：1)两条线段的倾角差小于某一设定倾角阈值Tθ；2)两条线段相对位置小于设定的位置阈值Tloc。为了提高线段匹配的精确度和线段匹配数量，同时降低运算维度，倾角阈值Tθ的取值范围为2°～5°。具体做法为：如果两条线段的倾角差小于某一倾角阈值Tθ，则假设两条线段可能需要合并，计算线段合并后生成的线段的倾角θm：其中，为线段的倾角，为线段的长度。式(2)是以线段的长度作为权值对待合并线段的倾角做加权平均。对于符合条件1)中关于倾角约束的线段，需要继续进行条件2)的判断。根据上述计算出的合并后线段的倾角θm构建新的坐标系，如图3所示，该坐标系中的一个坐标轴um的倾角与合并后线段的倾角θm基本相等，另一个坐标轴vm与坐标轴um相垂直。将待合并的线段分别向坐标轴vm进行投影，记两条线段端点投影后在坐标轴vm上的最大和最小坐标值分别为vmax和vmin，如果满足下面的式(3)，则上述线段将最终被合并。|vmax-vmin|<Tloc(3)其中，Tloc>0为一设定的位置阈值，同样也是个经验值，取值范围为5～10个像素值。为了计算合并后的线段，首先计算合并后线段所在直线。定义合并后线段所在直线为和分别为线段的两个端点，则可通过最小化下面的代价函数来估计Σid⊥2(L^m,Ei,01)+d⊥2(L^m,Ei,11)---(4)]]>其中，d⊥(·)表示点到直线的距离。确定了合并线段所在直线后，将两条待合并线段向该直线投影，取距离最远的两个端点的投影作为合并后线段的端点。(3)利用步骤(1)中获得的经过初始匹配的SIFT特征点估计出两幅视图间摄像机的旋转变换矩阵，然后通过对第二幅视图施加该旋转变换矩阵的逆变换而使其与第一幅视图之间只有平移变换，最后基于空间相邻性对上述步骤(2)中获得的两幅视图中的线段进行初始匹配，由此获得线段初始匹配集由于摄像机在采集相邻视图时距离较近，摄像机平移量较小。而如果在没有旋转变化的情况下，较小的摄像机平移变化所引起的特征在视图中的变化较小。因此，本步骤首先基于基本矩阵模型利用步骤(1)中获得的经过初始匹配的SIFT特征点估计出两幅视图间摄像机的旋转变换矩阵，具体方法为：在RANSAC框架下，每次随机选择8对步骤(1)中获得的经过初始匹配的SIFT特征点，利用归一化的DLT算法计算基本矩阵F的初始值，然后利用该基本矩阵F计算每一对匹配点的特征点Sampon误差，如果该误差大于某个误差阈值Te，则认为该对匹配点相对当前的基本矩阵F为外点；否则，则认为该对匹配点为内点。误差阈值Te的取值为其中σ为视图坐标具有的高斯噪声的标准差。多次迭代上述过程，取内点数最多的基本矩阵F作为真实的基本矩阵值，保留所有符合该基本矩阵模型的内点作为特征点匹配结果，所有的外点将被删除。最后，基于所有内点，通过优化下列代价函数来重新估计基本矩阵F：argminF^,x^i1,x^i2Σid(xi1,x^i1)+d(xi2,x^i2)---(5)]]>其中，和为一对匹配的SIFT特征点的观测值，和为该匹配的SIFT特征点的估计值，为基本矩阵F的估计值，d(·)表示两SIFT特征点间的几何距离。然后，通过下式对基本矩阵F的估计值进行分解，从而获得摄像机在两幅视图之间的旋转变换。F＝(K)-T[t]×RK-1(6)其中，K为摄像机的内参数矩阵，可通过标定获得。R和t分别为两幅视图之间摄像机的旋转矩阵及平移向量。符号[·]×为叉乘运算的斜对称矩阵表示。然后通过对第二幅视图F2施加该旋转变换矩阵的逆变换而使其与第一幅视图F1之间只有平移变换。在消除了两幅视图间的旋转差异后，位于两幅视图中的两条线段被认为是匹配线段的充分必要条件是：线段中点在视图中的距离小于中点阈值Tmd，相对于视图原点坐标的距离，一般采用极坐标形式表示，如下所述，计算视图空间原点距离两条线段和所在直线的距离分别为和则几何位置约束为：|da1-db2|<Tmd]]>Tmd为经验值，一般取值范围为0～40个像素值。并且线段的方向差小于方向差阈值Tdirection，方向差阈值Tdirection由线段的倾角确定，一般取值范围为2°～5°。最后，基于空间相邻性对上述步骤(2)中获得且经过合并的两幅视图中的线段进行初始匹配，由此获得线段初始匹配集。该线段初始匹配集中可能会出现“多对多”的关系，即第一幅视图F1中的一条线段在第二幅视图F2中可能存在多条与之匹配的线段，反之亦然。此步为线段的初始匹配，目的是找到尽可能多的潜在匹配线段，其中不可避免地会存在错误匹配及“多对多”匹配的情况，本发明方法将在下面的步骤中利用多种几何约束对此处的初始匹配结果进行过滤和优化。(4)基于点-线相邻性对步骤(3)中获得的线段初始匹配集进行过滤，由此获得匹配线段集合在步骤(3)获得的初始匹配线段中，以第一幅视图F1中的线段以及第二幅视图F2中的线段为中心各自构建一个矩形邻域和对于每一对匹配线段的SIFT特征点(pi,p′i)，如果SIFT特征点pi位于邻域内并且SIFT特征点p′i位于邻域内，则线段和之间的相似度加1。如图4所示，每对位于线段邻域内的匹配点为这两条线段的相似性加1。最后，对于第一幅视图F1的每一条线段，在第二幅视图F2中将所有相似度大于某一相似度阈值Ts的所有线段都保留作为与第一幅视图F1中该线段匹配的线段，而将小于该相似度阈值Ts的所有线段从线段初始匹配集中删除，由此获得匹配线段集合。相似度阈值Ts为经验值，一般取值范围为0.6≤Ts≤1.0。(5)基于单应矩阵模型对步骤(4)中经过过滤的匹配线段再进行过滤，由此获得匹配线段的候选解集在步骤(4)中获得的匹配线段集合的基础上，基于RANSAC算法确定单应矩阵以及符合该单应矩阵模型的匹配线段。在摄像机只有旋转运动的情况下，所采集的视图对应特征间满足单应矩阵模型。本发明所研究的是短基线条件下两视图间线段特征匹配，由于摄像机在采集两幅视图时距离较近且平移量较小，因而与场景中特征距离摄像机的距离相比该平移量可近似忽略。因此，两幅视图中匹配的线段特征应近似满足同一个单应矩阵模型。本发明基于RANSAC框架，首先，从上述匹配线段集合中随机选择四组匹配线段组成随机样本，根据归一化DLT算法求得单应矩阵H；然后对假设的每组匹配线段计算映射之后的欧式距离d⊥，如果欧式距离d⊥小于某一距离阈值Td，则该组匹配线段为内点，否则为外点；距离阈值Td的取值为其中σ为视图坐标具有的高斯噪声的标准差。最后，选择获得内点数目最多的单应矩阵H作为真实值，并利用所有内点集重新优化估计单应矩阵H，由此获得匹配线段的候选解集。通过单应矩阵模型可进一步过滤掉线段初始匹配集中的错误匹配。(6)基于0-1规划方法对上述步骤(5)获得的候选解集中的匹配线段进行全局匹配根据上面的步骤可以从两幅视图中找到包含所有可能的匹配线段的候选解集。在该候选解集中，任意一条线段可能存在多个与之匹配的线段，即存在“多对多”的匹配关系。而在实际中，一条线段在另一幅视图中最多只能与一条线段进行匹配。因此，需要从候选解集中的“多对多”匹配关系中寻找出最终的“一对一”匹配结果。本步骤将讨论如何从所有可能的候选解中选择合适的匹配线段，使其满足上述要求。1)问题建模对于候选解集中的每对匹配线段，可以通过计算一个相似度来衡量该对匹配线段的匹配程度。相似度越大，表明该对匹配线段的匹配性越好。这样，上述线段特征全局匹配问题的实质就可以描述为：以候选解集为操作数据集，在满足上述匹配约束的前提下，使匹配结果的相似度之和最大。定义为根据上面步骤处理后得到的候选解集，其中为其中的一对匹配线段。定义匹配线段的相似度函数为该函数的具体形式将在后文给出。定义线段是否与线段匹配的变量为xi,j，如果线段为线段的匹配线段，则变量xi,j的值为1，否则为0，即上述线段全局匹配问题可被定义为如下0-1规划问题：argXmaxΣiΣjϵ(li1,lj2)xi,j---(8)]]>需要满足如下约束条件：Σixi,j≤1,Σjxi,j≤1---(9)]]>式(9)中的约束条件保证了一条线段在另一幅视图中最多有一条线段与之匹配。相似度函数的定义为线段邻域内匹配的SIFT特征点的密度，即ϵ(li1,lj2)=Nsift(li1,lj2)min{Area(Ne(li1)),Area(Ne(lj2))