激光散射斑点辅助下的双目立体匹配算法与装置的制造方法
【专利摘要】本发明提出了一种激光散射斑点辅助下的双目立体匹配算法与装置，在左右视角2个摄像机中间增加一个激光器装置，给目标增加了激光散射斑点，使得本来没有纹理或纹理稀疏的目标区域变成丰富的纹理区域，然后通过基于特征点匹配的算法得到立体匹配结果。在得到特征点匹配的初步结果后，本发明还提出一种邻近点距离和角度约束条件对结果进行筛选，有效的减少误匹配的数目，显著提高匹配的正确率。本发明采用的装置简单，成本较低，算法复杂度小，拥有很好的实用价值。
【专利说明】
激光散射斑点辅助下的双目立体匹配算法与装置
技术领域
[0001] 本发明涉及计算机视觉领域处理技术，特别涉及一种激光散射斑点辅助下的双目 立体匹配算法与装置。
【背景技术】
[0002] 双目立体匹配是指从左右视角2个摄像机拍摄同一场景的两幅图像中找出匹配点 对，进而求出原始场景的深度信息。双目立体视觉在机器人导航、数字化医学、三维测量和 虚拟现实等领域都有广泛的应用，是计算机视觉领域的重要问题之一。
[0003] 目前立体匹配方法主要分为两类:基于局部约束的算法和基于全局约束的算法。 基于局部约束的算法只使用兴趣点周围的局部信息，因此计算复杂度较低，但容易受噪声 的影响，对纹理稀疏区域的匹配效果不理想，代表方法有特征匹配法、区域匹配法。基于全 局约束的算法是对扫描线或整个图像数据的信息进行约束，建立匹配能量函数，再通过各 种方法求得能量函数的极值。这类算法由于是全局寻优，所以匹配准确度较高，但求解过程 较为复杂，时间消耗较多，代表方法有动态规划法、图割法。
【发明内容】
[0004] 针对现有技术存在的技术问题，本发明的目的是提供一种激光散射斑点辅助下的 双目立体匹配算法与装置。
[0005] 为实现上述技术目的，本发明采用的技术方案是：
[0006] -种激光散射斑点辅助下的双目立体匹配算法，包括以下步骤：
[0007] Sl.激光散射斑点辅助下的双目立体匹配装置
[0008] 激光散射斑点辅助下的双目立体匹配装置包括左右两个摄像机以及设置在左右 两个摄像机之间的红外激光器，所述红外激光器的前方设置有一块毛玻璃，红外激光器对 准目标射出准直后的激光束，通过毛玻璃进行散射，从而在目标表面得到所需的散斑图 案。；两个摄像机都对着目标进行拍摄的，拍摄的图像包括目标以及目标表面的散斑图案。 其中：红外激光器为kinect红外激光器。为了让散斑图案分别的更加均匀，将kinect红外激 光器放置在左右两个摄像机之间的靠中间的位置，但不严格要求在正中间，通过这样的装 置，可以使得拍摄的左右视图均具有丰富的纹理信息，然后通过基于下面的特征点匹配的 算法得到立体匹配结果。
[0009] S2.通过左右两个摄像机拍摄左右两个视角的图像分别记为左视图和右视图；
[0010] S3.通过图像金字塔和分区域Harris角点检测分别提取左、右视图的特征点；
[0011] 首先对左视图进行特征点提取，方法如下：对左视图进行金字塔处理，得到3层金 字塔图像，然后分别对这3层金字塔图像进行分区域的Harris角点检测，得到3个特征点集 合，然后将3个特征点集合进行合并，得到最终的特征点集合D 1;
[0012] 采用与左视图同样的方式对右视图进行特征点提取，得到右视图的特征点集合 D2 ;
[0013] S4.采用二进制特征描述子对每个特征点进行描述，得到一个128维的比特字符串 即该特征点对应的特征向量；
[0014] S5.通过特征向量的最近邻距离比进行匹配，得到初始的特征点的匹配集合；
[0015] S6.通过一种邻近点距离和角度约束条件对初始特征点匹配集合进行筛选，剔除 不符合条件的匹配点对，得到最终的特征点匹配集合，即为立体匹配结果。
[0016]本发明的步骤S3中，对左视图进行金字塔处理，得到3层金字塔图像，其中：第1层 金字塔对应原始图像，第2层金字塔为对第1层图像实施1/2的下采样所得，第3层金字塔为 对第2层图像实施1 /2的下采样所得。
[0017]本发明的步骤S3中，分别对3层金字塔图像进行分区域的Harris角点检测的具体 方法是:首先将该层金字塔图像均匀分为多个子区域，在每个子区域中使用Harris角点检 测算法进行特征点检测，如果检测出多个特征点，则选择角点响应值最大的特征点，如果没 有检测出特征点，则选取子区域的中间点作为特征点，通过这种提取特征点的方法，每层金 字塔图像的每个子区域都有一个特征点。
[0018]本发明的步骤S4的方法为：
[0019]在左视图中，选择特征点集合Di中的一特征点doti，以特征点doti为中心，半径为 15的左视图图像区域作为该特征点如七对应的图像区域，然后在特征点Clot1对应的图像区 域里随机选择两个点（图像区域中普通的图像点)组成一个点对(x，y)，一共进行128次这样 点对的随机选择，则得至I」128个点对( Xi，yi)，对每一个点对(X，y)，有一个0或1的取值：
[0020]
[0021 ]其中g(x)、g(y)分别是点X和y的强度值；
[0022] 这样128个点对可以组成一个128维的比特字符串vec:
[0023]
[0024] 依照上面的方法，对左视图的特征点集合D1进行特征描述，左视图的特征点集合0丄 中的每一个特征点可以得到一个128维的二进制向量vec，记为该特征点对应的特征向量； [0025]同理，对右视图的特征点集合D2进行特征描述，右视图的特征点集合出中的每一个 特征点可以得到一个128维的二进制向量vec，记为该特征点对应的特征向量。
[0026] 本发明的步骤S5的方法为:通过最近距离比对两个特征点集合DjPD2进行特征匹 配，共得到M对特征点匹配结果{(du，d2i) I CUiEDhd2iED2J = I,…，M};其中du是D冲的特 征点，d2i是D2中的特征点，i表示匹配的序号，一共有M对。
[0027] 本发明的步骤S6中，假设(dn，d21)和(d12，d22)是匹配集合的距离较近的两个匹配 对，则邻近点距离约束条件定义如下：
[0028；
[0029] 其中￡1是距离约束阈值，取值0.2;
[0030]点dll到di2的向量用α表示，点d2i到d22的向量用β表示，贝幌个向量夹角的约束条件 如下：
[0031]
[0032] 其中￡2是角度约束阈值，取值10度。
[0033]本发明的步骤S6的方法是：
[0034] S6.1任选匹配集合中的一个匹配对，计算它和近邻的10个匹配对的邻近点距离约 束和角度约束，记录违反上述两种约束条件的次数作为该匹配对的错误率；
[0035] S6.2统计所有匹配对的错误率，如果每个匹配对的错误率都为0，则结束；否则将 错误率最大的匹配对作为误匹配从匹配集合中剔除，再转到步骤S6.1;
[0036]当剔除所有误匹配后，匹配点对从开始的M对降低到N对，记新的匹配集合也即最 终的立体匹配结果为{(dli，d2i) |(11#〇1，(12#〇2 4 = 1，~少}，其中(^是〇1中的特征点，(^ 是出中的特征点，i表示匹配的序号，一共有N对。
[0037]本发明的有益技术效果：
[0038] 对于现有的图像立体匹配方法，在全体像素上建立能量函数，导致求解过程非常 耗时。本发明通过激光器装置，给目标增加了激光散射斑点，使得本来没有纹理或纹理稀疏 的目标区域变成丰富的纹理区域，这种纹理丰富的目标图像可以采用算法复杂度较低的特 征点匹配方法，大大提高计算效率。本发明在得到特征点匹配的初步结果后，还提出两种新 的约束条件对结果进行筛选，有效的减少误匹配的数目，显著提高匹配的正确率。本发明采 用的装置简单，成本较低，算法复杂度小，拥有很好的实用价值。
【附图说明】
[0039] 图1是本发明激光散射斑点辅助下的双目立体匹配装置的原理示意图；
[0040] 图2是本发明激光散射斑点辅助下的双目立体匹配算法的流程图；
【具体实施方式】
[0041] 激光在散射体表面的漫反射或通过一个透明散射体(如毛玻璃)时，在散射表面或 附近的光场中可以观察到一种无规分布的亮暗斑点，这种斑点称为激光散射斑点。利用这 种装置可以使得本来没有纹理或纹理稀疏的区域变成丰富的纹理区域。
[0042] 基于上述原理，本发明提供一种激光散射斑点辅助下的双目立体匹配装置，包括 左右两个摄像机以及设置在左右两个摄像机之间的红外激光器，所述红外激光器的前方设 置有一块毛玻璃，红外激光器对准目标射出准直后的激光束，通过毛玻璃进行散射，从而在 目标表面得到所需的散斑图案。两个摄像机都对着目标进行拍摄的，拍摄的图像包括目标 以及目标表面的散斑图案。
[0043] 基于上面的激光散射斑点辅助下的双目立体匹配装置，可以使得拍摄的左右视图 均具有丰富的纹理信息，然后通过本发明提供的激光散射斑点辅助下的双目立体匹配算法 得到立体匹配结果。
[0044] 激光散射斑点辅助下的双目立体匹配算法，包括以下步骤：
[0045] 第一步.通过左右两个摄像机拍摄左右两个视角的图像分别记为左视图和右视 图；
[0046] 第二步.通过图像金字塔和分区域Harris角点检测分别提取左、右视图的特征点；
[0047] 为了使特征点适应多尺度的需求，参考传统的图像金字塔思想，根据输入图像构 造 η层的金字塔图像(η取3)，第1层金字塔对应原始图像，第2层金字塔为对第1层图像实施 1/2的下采样所得，第3层金字塔为对第2层图像实施1/2的下采样所得。这样一幅图像可以 得到3层金字塔图像，分别对这3层金字塔图像进行处理（即特征点提取），得到3个特征点集 合，然后进行合并，得到最终的特征点集合。
[0048] 在对每一层金字塔图像进行特征点提取时，为了使选取的特征点比较均匀地分布 于图像之中，本发明首先将该图像均匀分为多个子区域，在每个区域中使用Harris角点检 测算法进行特征点检测，如果检测出多个特征点，则选择角点响应值最大的特征点，如果没 有检测出特征点，则选取子区域的中间点作为特征点。通过这种提取特征点的方法，图像的 每个子区域都有一个特征点。
[0049] 本步骤中，首先对左视图进行特征点提取，方法如下:对左视图进行金字塔处理， 得到3层金字塔图像，然后分别对这3层金字塔图像进行分区域的Harris角点检测，得到3个 特征点集合，然后进行合并，得到最终的特征点集合D 1;
[0050] 采用与左视图同样的方式对右视图进行特征点提取，得到右视图的特征点集合 D2 ;
[0051] 第三步，采用二进制特征描述子对每个特征点进行描述，得到一个128维的比特字 符串即该特征点对应的特征向量；
[0052]以左视图为例，选择特征点集合Di中的一特征点doti，以特征点doti为中心，半径 为15的左视图图像区域作为该特征点如七对应的图像区域，然后在图像区域里随机选择两 个点组成一个点对(x，y)，一共进行128次，则得到128个点对(Xi，yi)，对每一个点对(x，y)， 有一个0或1的取值：
[0053]
[0054] 其中g(x)、g(y)分别是点X和y的强度值。
[0055] 这样128个点对可以组成一个128维的比特字符串vec:
[0056]
[0057] 这样每一个特征点可以得到一个128维的二进制向量vec，记为该特征点对应的特 征向量。一个128维的比特字符串vec长度仅为16字节，远低于同等维数下sift描述器的512 字节。对于两个特征向量进行匹配时，采用汉明距离仅需计算两个特征向量对应位不同的 数量，这样的匹配方式能够有效降低匹配的计算量、大大提高匹配的效率。
[0058] 分别对左视图和右视图的特征点集合01和02进行特征描述，每一个特征点都会得 到一个特征向量。
[0059]第四步、通过特征向量的最近邻距离比进行匹配，得到初始的特征点的匹配集合；
[0060] 然后通过经典的特征匹配方法一一最近距离比对两个特征点集合〇1和出进行特征 匹配，共得到M对特征点匹配结果{(du，d 2i) I duED1，d2ieD2，i = 1，…，M};其中du是D冲的 特征点，d2i是D2中的特征点，i表示匹配的序号，一共有M对。
[0061] 第五步、通过一种邻近点距离和角度约束条件对初始特征点匹配集合进行筛选， 剔除不符合条件的匹配点对，得到最终的特征点匹配集合，即为立体匹配结果。
[0062] 虽然最近邻距离比匹配策略较为严格，匹配正确率较高，但依然存在一些误匹配。 为了剔除匹配集合中的误匹配对，本发明提出两种约束条件:邻近点距离拘束和角度约束， 限制两个距离较近的特征点之间的距离变化和角度变换，使匹配集合中的每一个匹配对与 其邻近的一些匹配对的相容性得到最大的满足。假设是(dn，d 21)和(d12，d22)是匹配集合的 距离较近的两个匹配对，则距离约束条件定义如下：
[0063]
[0064] 其中￡1是距离约束阈值，这里取值0.2。
[0005]点dii到di2的向量用α表示，点d2i到d22的向量用β表示，贝幌个向量夹角的约束条件 如下：
[0066]
[0067]其中￡2是角度约束阈值，这里取值10度。
[0068] 本步骤中筛选过程如下：
[0069] (1)任选匹配集合中的一个匹配对，计算它和近邻的10个匹配对的距离和角度约 束，记录违反上述两种约束条件的次数作为该匹配对的错误率；
[0070] (2)统计所有匹配对的错误率，如果每个匹配对的错误率都为0,则算法结束;否则 将错误率最大的匹配对作为误匹配从匹配集合中剔除，再转到步骤(1)。
[0071] 通过这种距离和角度的约束，能够有效的剔除匹配集合中的误匹配，进一步提供 匹配准确率。
[0072] 当剔除所有误匹配后，匹配点对从开始的M对降低到N对，记新的匹配集合也即最 终的立体匹配结果为{(如，(12〇|(11#〇1，(12#〇2 4 = 1，~』}，其中(^是〇1中的特征点，(^ 是出中的特征点，i表示匹配的序号，一共有N对。
[0073] 以上包含了本发明优选实施例的说明，这是为了详细说明本发明的技术特征，并 不是想要将
【发明内容】
限制在实施例所描述的具体形式中，依据本
【发明内容】
主旨进行的其他 修改和变型也受本专利保护。本
【发明内容】
的主旨是由权利要求书所界定，而非由实施例的 具体描述所界定。
【主权项】
1. 一种激光散射斑点辅助下的双目立体匹配算法，其特征在于:包括W下步骤：51. 激光散射斑点辅助下的双目立体匹配装置 激光散射斑点辅助下的双目立体匹配装置包括左右两个摄像机W及设置在左右两个 摄像机之间的红外激光器，所述红外激光器的前方设置有一块毛玻璃，红外激光器对准目 标射出准直后的激光束，通过毛玻璃进行散射，从而在目标表面得到所需的散斑图案;两个 摄像机都对着目标进行拍摄的，拍摄的图像包括目标W及目标表面的散斑图案；52. 通过左右两个摄像机拍摄左右两个视角的图像分别记为左视图和右视图；53. 通过图像金字塔和分区域Harris角点检测分别提取左、右视图的特征点； 首先对左视图进行特征点提取，方法如下：对左视图进行金字塔处理，得到3层金字塔 图像，然后分别对运3层金字塔图像进行分区域的化rris角点检测，得到3个特征点集合，然 后将3个特征点集合进行合并，得到最终的特征点集合化； 采用与左视图同样的方式对右视图进行特征点提取，得到右视图的特征点集合化；54. 采用二进制特征描述子对每个特征点进行描述，得到一个128维的比特字符串即该 特征点对应的特征向量；55. 通过特征向量的最近邻距离比进行匹配，得到初始的特征点的匹配集合；56. 通过一种邻近点距离和角度约束条件对初始特征点匹配集合进行筛选，剔除不符 合条件的匹配点对，得到最终的特征点匹配集合，即为立体匹配结果。2. 根据权利要求1所述的激光散射斑点辅助下的双目立体匹配算法，其特征在于:步骤 S3中，对左视图进行金字塔处理，得到3层金字塔图像，其中：第1层金字塔对应原始图像，第 2层金字塔为对第1层图像实施1/^2的下采样所得，第3层金字塔为对第2层图像实施1/^2的下 采样所得。3. 根据权利要求1或2所述的激光散射斑点辅助下的双目立体匹配算法，其特征在于： 步骤S3中，分别对3层金字塔图像进行分区域的化rris角点检测的具体方法是:首先将该层 金字塔图像均匀分为多个子区域，在每个子区域中使用化rris角点检测算法进行特征点检 巧。，如果检测出多个特征点，则选择角点响应值最大的特征点，如果没有检测出特征点，贝U 选取子区域的中间点作为特征点，通过运种提取特征点的方法，每层金字塔图像的每个子 区域都有一个特征点。4. 根据权利要求1所述的激光散射斑点辅助下的双目立体匹配算法，其特征在于:步骤 S4的方法为： 在左视图中，选择特征点集合化中的一特征点doti，W特征点doti为中屯、，半径为15的 左视图图像区域作为该特征点doti对应的图像区域，然后在特征点doti对应的图像区域里 随机选择两个点组成一个点对(X，y)，一共进行128次，则得到128个点对(xi，yi)，对每一个 点对(x，y)，有一个0或1的取值：其中g(x)、g(y)分别是点X和y的强度值； 运样128个点对可W组成一个128维的比特字符串vec:依照上面的方法，对左视图的特征点集合化进行特征描述，左视图的特征点集合化中的 每一个特征点可W得到一个128维的二进制向量vec，记为该特征点对应的特征向量； 同理，对右视图的特征点集合化进行特征描述，右视图的特征点集合化中的每一个特征 点可W得到一个128维的二进制向量vec，记为该特征点对应的特征向量。5. 根据权利要求4所述的激光散射斑点辅助下的双目立体匹配算法，其特征在于:步骤 S5的方法为:通过最近距离比对两个特征点集合化和化进行特征匹配，共得到Μ对特征点匹 配结果Kdii，d2i) I diiEDi，d2iED2,i = l,…，Μ};其中dii是Di中的特征点，d2i是〇2中的特征 点，i表示匹配的序号，一共有Μ对。6. 根据权利要求5所述的激光散射斑点辅助下的双目立体匹配算法，其特征在于:步骤 S6中，假设(dll，d21)和(dl2，d22)是匹配集合的距离较近的两个匹配对，则邻近点距离约束条 件定义如下： 其中ε 1是距离约束阔值，取值0.2;点dll到di2的向量用α表不，点d2i至帖2的向量用β表不，则两个向量夹角的约束条件如 下：其中E2是角度约束阔值，取值10度。7. 根据权利要求6所述的激光散射斑点辅助下的双目立体匹配算法，其特征在于:步骤 S6的方法是： S6.1任选匹配集合中的一个匹配对，计算它和近邻的10个匹配对的邻近点距离约束和 角度约束，记录违反上述两种约束条件的次数作为该匹配对的错误率； S6.2统计所有匹配对的错误率，如果每个匹配对的错误率都为0，则结束；否则将错误 率最大的匹配对作为误匹配从匹配集合中剔除，再转到步骤S6.1; 当剔除所有误匹配后，匹配点对从开始的Μ对降低到N对，记新的匹配集合也即最终的 立体匹配结果为{(dii,d2i) I diieDi,d2iED2, i = l,…，Ν}，其中dii是Di中的特征点，d2i是〇2 中的特征点，i表示匹配的序号，一共有N对。8. -种激光散射斑点辅助下的双目立体匹配装置，其特征在于:包括左右两个摄像机 W及设置在左右两个摄像机之间的红外激光器，所述红外激光器的前方设置有一块毛玻 璃，红外激光器对准目标射出准直后的激光束，通过毛玻璃进行散射，从而在目标表面得到 所需的散斑图案。
【文档编号】G06T7/00GK105844616SQ201610153485
【公开日】2016年8月10日
【申请日】2016年3月17日
【发明人】罗文峰
【申请人】湖南优象科技有限公司