基于空间前方交会和链码形似性的同名标记点匹配方法
【专利摘要】本发明提出了一种基于空间前方交会和链码形似性的同名标记点匹配方法,首先需要对两相机进行标定，得到相机的内外参数，在被测物体表面粘贴非编码标记点；拍摄被测物体，采集到左右两张相片，对每张图片上的标记点检测识别，提取出标记点的中心坐标；根据空间前方交会原理构建左右两张相片上的标记点所对应投影线间的距离矩阵，自动设定合理的距离阈值实现标记点的初匹配；然后对左右两图的初匹配结果分别构建查分链码，根据链码的形似性剔除误匹配。本发明适合双目立体视觉测量系统的标记点二维匹配方法，不仅能够消除误匹配，还能自动的设定最佳的阈值而提高剔除误匹配的效率且减少了匹配遗漏，算法的鲁棒性较高。
【专利说明】基于空间前方交会和链码形似性的同名标记点匹配方法
【技术领域】
[0001]本发明涉及光学测量【技术领域】，具体是一种基于空间前方交会和链码形似性的同名标记点匹配方法。
【背景技术】
[0002]在点云拼接技术中，基于非编码标记点的拼接方法不受被测物体形状的限制，标记点定位精度高，易于识别，且拼接算法运算量小，可以达到自动的高精度数据拼接要求，因此非编码标记点常用到双目立体视觉测量系统中。在每次测量过程中，需要对左右相机所拍摄的两幅图像上的同名标记点进行二维匹配，这是实现测量自动化的关键环节，该环节直接关系到标记点三维坐标的求解和点云拼接。
[0003]双目测量系统中的同名标记点匹配主要存在两个问题:误匹配和匹配遗漏。误匹配是将两张图片上的非同名标记点匹配在一起，影响标记点三维坐标的求解，继而会严重影响不同视角下点云拼接精度，然而误匹配是可以通过合理的方法得以避免；在合理的视角拍摄物体时，应保证两张相片上的匹配点对不少于3对，否则两张图片作废，匹配遗漏在两张图片上标记点点较少时可以避免，当标记点较多时会不可避免的出现匹配遗漏的情况，这与标记点的识别和定位精度有关。
[0004]近年来多名学者基于极线几何理论对多个图像上的同名标记点进行匹配，这些方法至少需要在三个摄站采集的图片的基础上进行同名点匹配，并不适合双目立体视觉测量系统；东南大学的卢韶芳等人根据查分链码的不变性实现不同图片上同名标记点的匹配，但需要保证两张相片上的标记点个数相同，且每个标记点都有同名标记点，且需相机垂直拍摄物体表面，同样不适合双目立体视觉测量系统；南京航空航天大学的张辉和张丽艳等人利用极线几何实现初匹配，采用自适应迭代松弛算法剔除误匹配，但需要设定多个阈值，鲁棒性不高。针对以上问题本发明提出一种新的针对两相机所拍摄的两张相片上同名标记点进行匹配的方法，解决误匹配和减少匹配遗漏的问题。
【发明内容】
[0005]要解决的技术问题
[0006]为解决现有双目立体视觉系统中的标记点二维匹配以及所存在误匹配和匹配遗漏的问题，本发明提出了一种基于空间前方交会和链码形似性的同名标记点匹配方法。
[0007]技术方案
[0008]本发明首先需要对两相机进行标定，得到相机的内外参数，在被测物体表面粘贴非编码标记点；拍摄被测物体，采集到左右两张相片，对每张图片上的标记点检测识别，提取出标记点的中心坐标；根据空间前方交会原理构建左右两张相片上的标记点所对应投影线间的距离矩阵，自动设定合理的距离阈值实现标记点的初匹配；然后对左右两图的初匹配结果分别构建查分链码，根据链码的形似性剔除误匹配。
[0009]本发明的技术方案为:[0010]所述一种基于空间前方交会和链码形似性的同名标记点匹配方法，其特征在于:采用以下步骤:
[0011]步骤1:标定两台拍摄相机的内外参数，所述内外参数包括焦距f、两台相机在基准坐标系下的距离向量T (Tx, Ty, Tz);在被测物体表面粘贴非编码标记点，且任意三个标记点不能共线；
[0012]步骤2:采用步骤I中的两台相机拍摄被测物体，得到左右两张图片，其中左图上有η个标记点,右图上有m个标记点，η和m均大于4 ；
[0013]步骤3:对步骤2采集得到的左右两张图片上的标记点进行检测识别，分别提取左右两张图片中各个标记点中心在基准坐标系中的坐标；设左相机在基准坐标系下的空间坐标为SJ0，O, O)，由两台相机在基准坐标系下的距离向量T (Tx, Ty, Tz)得到右相机在基准坐标系下的空间坐标为SK=(TX，Ty, Tz);根据左右两张图片中各个标记点中心在基准坐标系中的坐标和左右相机在基准坐标系下的空间坐标，得到左右两图上标记点对应的投影直线SfjP SKPK，其中K为左图上的标记点，Pr为右图上的标记点；根据异面直线间的距离公式得到左图中所有标记点对应的投影直线到右图上所有标记点的投影直线间距离的距离矩阵(Dui)nxm，矩阵(Dui)nxm的第i行表示左图上第i个标记点对应的投影直线与右图所有标记点投影线间的距离集合；
[0014]步骤4:从距离矩阵(Dui)nxm中找出每一行元素的最小值，将这些元素按照从小到大的顺序排序，组成集合Min = (Min1, Min2, Min3,...,Mini,...,MinJ ;取测量系统精度的量度G=Min3，若Min3≤k *g，则认为左右两张图片匹配的同名标记点的少于三个，将这两幅图片报废处理，则返回步骤2重新拍摄，其中k为判断参数，取3~η之间的整数，g为双目立体视觉测量系统精度值；若組113 < k*g，将集合Min中的每一个元素均与M*G相减，得到最小差值对应的元素，取该元素值为距离阈值δ，其中M取3~m中的整数；
[0015]再取Dui中每一行的次最小值，并判断每一行的次最小值与M*G的大小，若存在次最小值小于M*G且大于δ，则取该次最小值为距离阈值δ，若存在多个次最小值满足小于M*G且大于δ条件，则取这些满足条件的次最小值的平均值为距离阈值δ ；
[0016]步骤5:将矩阵Dui中每一行元素.与δ作比较，对于矩阵Dui中的第i行，若其存
在元素值小于S，则左图中第i个标记点存在初始匹配标记点对集合G(Z)=丨./ΡΛ，.__，./, !，
集合G(i)中元素表示与左图第i个标记点相匹配的右图中的标记点的标号表示左图中第i个标记点对应的初始匹配标记点对集合中的元素个数；所述与左图第i个标记点相匹配的右图中的标记点指矩阵Dui第i行中小于δ的元素对应的右图中的标记点；左图中存在初始匹配标记点对集合的标记点形成左图标记点集合；
[0017]步骤6:由步骤5得到的初匹配结果，根据唯一性约束，剔除误匹配，找出正确的同名标记点:按照左图标记点集合中标记点的顺序，将左图中存在初始匹配标记点对集合的标记点顺次连接构建查分链码，并将其作为基准查分链码，将右图上对应的K种情况的标记点组合按照标记点顺序，构建K种查分链码,其中K =..ti*...*tn ;将这K种查分链码与基准查分链码相比较做差，若满足条件:K种查分链码中存在某一个查分链码与基准查分链码的差值数组中的每一个元素绝对值都不大于1，则该差分链码上对应的右图标记点为左图中同名标记点，记录下对应的标记点，从而实现左右两张相片上的同名标记点匹配；若不满足上述条件，则找出差值数组中绝对值最大的元素对应的左图标记点，并将其从左图标记点集合中删除，同时删除与该左图标记点相匹配的右图中的标记点；再进行比较，若最终左图标记点集合的元素少于三个，则将这两幅图片报废处理，则返回步骤2重新拍摄。
[0018]有益效果
[0019]本发明提出的一种基于空间前方交会和查分链码的同名点匹配方法，是适合双目立体视觉测量系统的标记点二维匹配方法，不仅能够消除误匹配，还能自动的设定最佳的阈值而提高剔除误匹配的效率且减少了匹配遗漏，算法的鲁棒性较高。
【专利附图】
【附图说明】
[0020]图1:左右两相机所拍摄的贴有非编码标记点的被测物体的图片；
[0021]图2:空间前方交会的两投影线间的距离示意图；
[0022]图3:是查分链码的比较图；
[0023]图4:是左右两图上的同名标记点连线图。
【具体实施方式】
[0024]下面结合具体实施例描述本发明:
[0025]本实施例中的一种基于空间前方交会和链码形似性的同名标记点匹配方法，采用以下步骤:
[0026]步骤1:搭建实验平台，在被测工具箱表面粘贴非编码标记点，且任意三个标记点不能共线，如图1所示。标定两相机得到内外参数，所述内外参数包括焦距f、两台相机在基准坐标系下的距离向量T (Tx，Ty，Tz)。
[0027]相机型号为DMK-21BU04，焦距16mm，水平视角12.781°，两台相机在导轨上平行配置，两相机光轴的角度误差值约-5°?5°。被测工具箱表面粘贴的标记点尽量接近等边三角形。
[0028]步骤2:采用步骤I中的两台相机拍摄被测物体，得到左右两张图片，如图1所示，其中左图上有η个标记点，右图上有m个标记点，η和m均大于4。
[0029]步骤3:对步骤2采集得到的左右两张图片上的标记点进行检测识别，分别提取左右两张图片中各个标记点中心在基准坐标系中的坐标:对于左右两张图片上各一个标记点，其在各自图片坐标系中的坐标为匕(&，yL)和Pk(xK，yK)，根据相机的焦距f得到两个标记点分别在各自相机坐标系下的坐标为yL, -f)和Pk(χκ，yE, _f);设左相机在基准坐标系下的空间坐标为SJ0，O, O)，由两台相机在基准坐标系下的距离向量T (Tx, Ty, Tz)得到右相机在基准坐标系下的空间坐标为Sk= (Tx，Ty, Tz)，从而得到左右两图中标记点在基准坐标系下的坐标。
[0030]根据左右两张图片中各个标记点中心在基准坐标系中的坐标和左右相机在基准坐标系下的空间坐标，得到左右两图上标记点对应的投影直线和SkPk，其中PL为左图上的标记点，Pk为右图上的标记点，如图2所示；根据异面直线间的距离公式得到左图中所有标记点对应的投影直线到右图上所有标记点的投影直线间距离的距离矩阵(Dui)nxm，矩阵(Dui)nxm的第i行表示左图上第i个标记点对应的投影直线与右图所有标记点投影线间的距离集合。[0031]步骤4:从距离矩阵(Dui)nxm中找出每一行元素的最小值，将这些元素按照从小到大的顺序排序，组成集合Min = (Min1, Min2, Min3,...,Mini,...,MinJ ;取测量系统精度的量度G=Min3，若Min3≤k *g，则认为左右两张图片匹配的同名标记点的少于三个，将这两幅图片报废处理，其中k为判断参数，取3~η之间的整数，g为双目立体视觉测量系统精度值；若Min3 < k.g，将集合Min中的每一个元素均与M*G相减，得到最小差值对应的元素，取该元素值为距离阈值δ，其中M取3~m中的整数。
[0032]再取Dui中每一行的次最小值，并判断每一行的次最小值与M*G的大小，若存在次最小值小于M*G且大于δ，则取该次最小值为距离阈值δ，若存在多个次最小值满足小于M*G且大于δ条件，则取这些满足条件的次最小值的平均值为距离阈值δ。
[0033]步骤5:将矩阵Dui中每一行元素.与δ作比较，对于矩阵Dui中的第i行，若其存在元素值小于S，则左图中第i个标记点存在初始匹配标记点对集合M/) = {./]，./:，___，./, I.，集合G(i)中元素表示与左图第i个标记点相匹配的右图中的标记点的标号表示左图中第i个标记点对应的初始匹配标记点对集合中的元素个数；所述与左图第i个标记点相匹配的右图中的标记点指矩阵Dui第i行中小于δ的元素对应的右图中的标记点。左图中存在初始匹配标记点对集合的标记点形成左图标记点集合。
[0034]步骤6:在步骤5得到一对多的初匹配结果，即对于得到的左图标记点集合，在右图中存在K = h.t2....ti.....1^种对应的标记点组合与其对应,接下来根据唯一'丨生约束，剔除误匹配，找出正确的同名标记点:按照左图标记点集合中标记点的顺序，将左图中存在初始匹配标记点对集合的标记点顺次连接构建查分链码，并将其作为基准查分链码，将右图上对应的K种情况的标记点组合按照标记点顺序，构建K种查分链码；将这K种查分链码与基准查分链码相比较做差，若满足条件:K种查分链码中存在某一个查分链码与基准查分链码的差值数组中的每一个元素绝对值都不大于1，则该差分链码上对应的右图标记点为左图中同名标记点，记录下对应的标记点，从而实现左右两张相片上的同名标记点匹配；若不满足上述条件，则找出差值数组中绝对值最大的元素对应的左图标记点，并将其从左图标记点集合中删除，同时删除与该左图标记点相匹配的右图中的标记点；再进行比较，若最终左图标记点集合的元素少于三个，则将这两幅图片报废处理，则返回步骤2重新拍摄。
【权利要求】
1.一种基于空间前方交会和链码形似性的同名标记点匹配方法，其特征在于:采用以下步骤: 步骤1:标定两台拍摄相机的内外参数，所述内外参数包括焦距f、两台相机在基准坐标系下的距离向量T (Tx, Ty, Tz);在被测物体表面粘贴非编码标记点，且任意三个标记点不能共线； 步骤2:采用步骤I中的两台相机拍摄被测物体，得到左右两张图片，其中左图上有η个标记点，右图上有m个标记点，η和m均大于4 ； 步骤3:对步骤2采集得到的左右两张图片上的标记点进行检测识别，分别提取左右两张图片中各个标记点中心在基准坐标系中的坐标；设左相机在基准坐标系下的空间坐标为Sl(O, O, O)，由两台相机在基准坐标系下的距离向量T (Tx, Ty, Tz)得到右相机在基准坐标系下的空间坐标为SK=(TX，Ty, Tz);根据左右两张图片中各个标记点中心在基准坐标系中的坐标和左右相机在基准坐标系下的空间坐标，得到左右两图上标记点对应的投影直线和SKPK，其中匕为左图上的标记点，Pk为右图上的标记点；根据异面直线间的距离公式得到左图中所有标记点对应的投影直线到右图上所有标记点的投影直线间距离的距离矩阵(Dui)nXm，矩阵(Dui)nxm的第i行表示左图上第i个标记点对应的投影直线与右图所有标记点投影线间的距离集合； 步骤4:从距离矩阵(Dui)nxm中找出每一行元素的最小值，将这些元素按照从小到大的顺序排序，组成集合Min = (Min11Min2, Min3, -,Mini,…，MinJ ;取测量系统精度的量度G=Min3，若Min3≥k.g，则认为左右两张图片匹配的同名标记点的少于三个，将这两幅图片报废处理，则返回步骤2重新拍摄，其中k为判断参数，取3~η之间的整数，g为双目立体视觉测量系统精度值；若組113 < k*g，将集合Min中的每一个元素均与M*G相减，得到最小差值对应的元素，取该元素值为距离阈值δ，其中M取3~m中的整数； 再取Dui中每一行的次最小值，并判断每一行的次最小值与M*G的大小，若存在次最小值小于M*G且大于δ，则取该次最小值为距离阈值δ，若存在多个次最小值满足小于M*G且大于δ条件，则取这些满足条件的次最小值的平均值为距离阈值δ ； 步骤5:将矩阵Dui中每一行元素.与δ作比较，对于矩阵Dui中的第i行，若其存在元素值小于S，则左图中第i个标记点存在初始匹配标记点对集合(小)=U,Λ，…丨，集合G⑴中元素表示与左图第i个标记点相匹配的右图中的标记点的标号，\表示左图中第i个标记点对应的初始匹配标记点对集合中的元素个数；所述与左图第i个标记点相匹配的右图中的标记点指矩阵Dui第i行中小于δ的元素对应的右图中的标记点；左图中存在初始匹配标记点对集合的标记点形成左图标记点集合； 步骤6:由步骤5得到的初匹配结果，根据唯一性约束，剔除误匹配，找出正确的同名标记点:按照左图标记点集合中标记点的顺序，将左图中存在初始匹配标记点对集合的标记点顺次连接构建查分链码，并将其作为基准查分链码，将右图上对应的K种情况的标记点组合按照标记点顺序，构建K种查分链码,其中K =..ti*...*tn ;将这K种查分链码与基准查分链码相比较做差，若满足条件:κ种查分链码中存在某一个查分链码与基准查分链码的差值数组中的每一个元素绝对值都不大于1，则该差分链码上对应的右图标记点为左图中同名标记点，记录下对应的标记点，从而实现左右两张相片上的同名标记点匹配；若不满足上述条件， 则找出差值数组中绝对值最大的元素对应的左图标记点，并将其从左图标记点集合中删除，同时删除与该左图标记点相匹配的右图中的标记点；再进行比较，若最终左图标记点集合的元素少于三个，则将这两幅图片报废处理，则返回步骤2重新拍摄。
【文档编号】G01C11/08GK103487036SQ201310354176
【公开日】2014年1月1日 申请日期:2013年8月14日 优先权日:2013年8月14日
【发明者】卢万崎, 常智勇, 黄亮, 聂寇准, 卢津 申请人:西北工业大学