专利名称：一种从二维图像序列检测平面区域的方法
技术领域：
本发明涉及机器人视觉中2D图像分析和处理技术，具体地说是从两幅或多幅2D 图像中提取出同一空间平面点，并估计出平面参数从而实现平面区域检测的方法。
背景技术：
在机器视觉的图像处理技术中，如果采用平面特征来描述一个场景，可以改善结 果的精度、稳定性和计算过程的收敛速度等。传统的基于2D图像来分析三维空间平面的方 法，主要有有基于透视不变量的方法，利用空间平面投影时满足的一些透视不变量来判断 是否是平面；通过简化摄像机和场景之间的相对位置关系，使得摄像机移动成像时，同平面 点的成像满足一定的约束，来得到平面信息等。这些方法存在的主要问题是(1)基于先 验假设的环境知识对图像进行处理，通常在人造环境中比较适用，这类环境中存在大量的 结构化信息，但对于复杂的自然场景，一旦无法定位这些结构化信息，该类方法就失效了 ；—些基于2D图像的分析方法，分析结果依赖于特征提取的精度，因此对噪声、误差等敏 感，因此对图像的成像质量、特征定位精度要求很严格，这在实际应用中存在很多限制。
发明内容
本发明要解决的技术问题是，提供一种在提取的图像特征点存在噪声的情况下， 稳定可靠地检测出2D图像中的平面点以及可靠检测出多个平面区域的方法。为了解决上述技术问题，本发明的技术解决方案提供一种从二维图像序列中检测 平面区域的方法，根据同平面点应当满足平面单因矩阵约束的特点，对平面参数进行稳定 估计，实现同平面点的归类，并可检测出2D图像上多个平面区域。所述的方法，其包括下列主要步骤
a)对用摄像机拍摄的两幅或多幅图像进行处理，提取得到多个2D图像特征点；并建立 不同图像上多个2D特征点之间的对应关系；选取其中任意一幅图像作为参考图像；
b)在参考图像上，建立一个区域作为种子区域，利用种子区域内的特征点及这些特征 点在其它图像中的对应点计算得到一组初始平面参数；
c)根据初始平面参数，计算平面单应矩阵，在剩余特征点中，筛选出和初始平面距离小 于阈值的所有点，称之为“初选点集”；
d)针对初选点集，重新估计平面参数，并根据平面参数，计算所有点到该平面的距离， 并标记出所有距离小于阈值的点，记录当前得到的平面参数和对应的特征点；
e)将步骤d)中标记出来的点移去，对剩下的所有点，重复步骤b)、c)、d)，直到所有的 点标记完毕，或者剩余点的个数小于一定值，则结束。步骤a)中所述图像是单个摄像机在两个或者多个位置下获取的图像，或者是两个 或者多个摄像机在同一时刻获得的图像，或者图像序列。本方法中要检测的平面区域可以是单个的也可以是是多个。步骤d)针对对初选点集的采用LMEDS算法或鲁棒估计方法来估计平面参数。
本发明与已有的平面检测技术相比具有如下优点
在参考图像中选择种子区域内的特征点来估计平面参数，在估计平面参数时采用鲁棒 方法，减小了噪声、乃至错误匹配点对计算结果的影响，稳定性有很大提高；同时，平面点的 判别不依赖任何关于场景的先验假设，有较好的通用性。
图1是本发明提出的平面检测方法流程图； 图2是二维图像平面上，种子区域的建立示意图； 图3是二维图像平面上，种子区域的增长示意图； 图4是平面的检测与提取示意图。
具体实施例方式本发明具体实现原理及过程如下
同一个摄像机在两个不同位置下对同一场景进行成像(或者两个摄像机同时对一个场 景成像，原理是一样的)，场景中属于同一个空间平面内的点，在两幅图像中的坐标位置，应 当满足平面单应矩阵约束，即
Pi ccHpi
这里乂，Pi为两幅图像上，同一空间点对应的图像坐标，H为平面单应矩阵。在空间中，不在同一直线上的三个点可唯一决定一个平面，空间平面可以用参数 [ 叉-rff来描述，其中η是空间平面的法向矢量，d是空间平面到摄像机系圆点的距离。该
空间平面参数可以用三个特征点，用线性方法计算得到。在图像平面上，定义点到平面的距离为
4(Pi，P'i -H) = !Pi - H"Vi If +Il^i - Hpj『
在平面检测时，首先对获取的图像提取2D特征点，并建立特征之间的对应关系。在参考图像上，选择其中一个特征点(一般可从图像的中心区域的点开始)为 中心点(如Λ.)，在一个给定的半径R范围(种子区域)内选择三个特征点，所选取的三个 特征点要求能构成一个三角形，以及在其它图像中的对应点，计算得到一组空间平面参数如果以该组平面参数重新计算该种子区域各点的误差，如果误差值较大的点的个 数大于一定值，则舍弃该种子区域，选择另一个特征点及其邻域的点构成一个种子区域，如 图3所示，重复上述过程，直到找到一个合理的种子区域为止，并记录对应的平面参数值。
根据得到的一组平面参数值，可以计算对应的平面单应矩阵 H=K(I^irWr)K-1.
式中，(R, )为摄像机的外部参数，R为旋转矩阵，t为平移矢量，K为摄像机的内参数 矩阵，(R，i，K)可以通过摄像机的标定得到，在本发明中，我们假定通过摄像机标定的方法 得到这些参数。(AiZ)为计算得到的平面参数。然后将参考图像平面上所有的特征点及其在其它图像中的对应点，根据点到平面 的距离公式，计算出各个点对的距离误差值。将所有误差值小于一个阈值的点初步归类为 同一平面的点，即得到“初选点集”。此处所说阀值根据本领域技术人员的经验得到。对于初选点集，可以采用LMEDS方法，再次优化计算可得到更为稳定的平面参数， 根据更新后的平面参数去除距离误差较大值点，剩下的点就是属于该平面内的点。将这些
点标记出来，不再参与后续的处理，以减小计算量。如图4所示，^r1为检测得到的一个同平
面的点集(用虚线圈出的点)。对剩余的特征点，采用同样的过程，即先确定一个种子区域，然后计算种子区域的 平面参数(A d),以及平面单应矩阵(功，然后计算各个点到该平面的距离误差值(^)，根据 阈值去除误差值大的点，得到一组新的平面点及其对应参数。重复上述过程，直到剩余特征 点的个数少于一定值，处理过程结束。一般来说，在图像特征提取过程中特征点的定位是有噪声的，另外，特征点的对应 性建立过程，可能会产生错误的匹配点等因素，本发明通过采用鲁棒参数估计方法减少了 这些因素对平面检测结果的影响，使得结果更为可靠。本发明提出的方法直接对二维灰度 图像进行处理，也没有对场景设定先验的约束条件，更具有普遍性。本发明能够实现稳定、可靠的平面检测，可用于机器人视觉导航，环境建模，计算 机视觉、图像处理与分析等领域的需要。下面结合附图和实施例对本发明作进一步说明。实施例一
一台摄像机安装在一个移动机器人上。实验时，移动机器人在遥控模式下，带着摄像机 从一个位置运动到另一个位置，在两个位置下，获取了两幅图像。摄像机的内参数矩阵为
在第二个位置下，烏= = [-0.4 O 0.02f。 按照图1所示步骤操作，对获取的两幅图像进行特征点提取及建立匹配关系， 选其中一幅图作参考图像，在参考图像上建立种子区域，然后计算种子区域的平面参数 in, d\以及平面单应矩阵(功，然后用鲁棒算法计算各个点到该平面的距离误差值(^)，根 据设定的阈值去除误差值大的点，得到一组新的平面点及其对应参数。重复上述过程，直到
2676.6 285 6将世界坐标系设于第一个位置下摄像机的光轴中心处，
则第一个位置下摄像机的外参数矩阵是
5剩余特征点的个数少于一定值，处理过程结束。 实验结果如下图像中只有一个平面，计算得到平面参数为
η
.实施例:
0 2141,8 2SG两个小型CMOS摄像机固定在 O O 1
-块PCB板上，被安装在一辆小车上。两个CMOS摄像机的相对位置经过标定的，参数如下
I of两个CM0S摄像机之间的相对位置为
实验过程同实施例一中的步骤。
实验结果如下图像中有两个互相垂直的平面，一个是地面，另一个是与之垂直的 墙壁。两个平面的参数为
权利要求
一种从二维图像序列检测平面区域的方法，其特征在于，根据同平面点应当满足平面单应矩阵约束的特点，对平面参数进行稳定估计和判别，实现对图像序列中平面区域的检测；其包括以下主要步骤a)对用摄像机拍摄的两幅或多幅图像进行处理，提取得到多个2D图像特征点；并建立不同图像上多个2D特征点之间的对应关系；选取其中任意一幅图像作为参考图像；b)在参考图像上，建立一个区域作为种子区域，利用种子区域内的特征点及这些特征点在其它图像中的对应点计算得到一组初始平面参数；c)根据初始平面参数，计算平面单应矩阵，在剩余特征点中，筛选出和初始平面距离小于阈值的所有点，称之为“初选点集”；d)针对初选点集，重新估计平面参数，并根据平面参数，计算所有点到该平面的距离，并标记出所有距离小于阈值的点，记录当前得到的平面参数和对应的特征点；e)将步骤d)中标记出来的点移去，对剩下的所有点，重复步骤b)、c)、d)，直到所有的点标记完毕，或者剩余点的个数小于一定值，则结束。
2.根据权利要求1所述的方法，其特征在于步骤a)中所述图像是单个摄像机在两个 或者多个位置下获取的图像，或者是两个或者多个摄像机在同一时刻获得的图像，或者图 像序列。
3.根据权利要求1所述的方法，其特征在于要检测的平面区域是单个的，或者是多个。
4.根据权利要求1所述的方法，其特征在于步骤d)针对对初选点集的采用LMEDS算 法或鲁棒估计方法来估计平面参数。
全文摘要
一种从二维图像序列检测平面区域的方法，属于图像处理技术领域，首先对图像序列中的前后两幅或者多幅图像进行处理，提取得到图像上的一系列2D特征点，然后建立不同图像上2D特征点的对应关系；然后根据3D空间内，同一个空间平面上的点在不同图像上投影应当满足的约束条件，来判别所提取的2D特征点是否属于同一空间平面；从而将2D特征点初步划分为不同平面区域的点，对初步分类后的2D特征点采用一种鲁棒估计算法对平面参数进行参数估计，并排除干扰点，实现对2D特征点的平面划分及对应平面的参数估计。本发明能在有噪声的数据环境下稳定的分割出属于同一平面的特征点，并能准确地计算出对应平面的参数，在不需要对3D场景做任何先验假设的前提下，实现对2D图像内平面特征的分析。
文档编号G01C11/08GK101968357SQ20101028889
公开日2011年2月9日 申请日期2010年9月21日 优先权日2010年9月21日
发明者宋永瑞, 王忠立 申请人:北京交通大学