基于三维视觉系统图像特征和三维信息的运动估计方法

基于三维视觉系统图像特征和三维信息的运动估计方法
【专利摘要】本发明公开了一种基于三维视觉系统图像特征和三维信息的运动估计方法，该方法基于三维视觉系统实时获取场景二维图像信息和按二维图像像素对应的空间三维信息；采用相邻帧采样间隔自适应调整方法控制相邻帧采集间隔，根据t-1时刻和t时刻相邻帧之间有效匹配图像特征点对数目，自动调整t+1时刻相对t时刻的采样间隔，在满足三维估计准确性和可靠性的基础上有效减少了计算量；根据当前相邻帧二维图像特征匹配点对数目，综合场景二维图像特征和三维点云信息进行三维运动估计，获得高精度的三维运动估计，具有计算量小，应用场景限制性小等优点。
【专利说明】基于三维视觉系统图像特征和三维信息的运动估计方法
【技术领域】
[0001]本发明涉及一种基于三维视觉系统图像特征和三维信息的运动估计方法。
【背景技术】
[0002]高精度高可靠的三维运动估计是机器人领域的研究难点和热点之一，其目标是实时计算出相邻两相邻时刻机器人三维空间位置变化量，是机器人自定位、地图创建、三维重建、运动跟踪等研究的核心内容。传统惯性导航系统原理简单，被广泛应用于运动估计，但是其存在漂移、误差累计等问题，其对应运动估计的精度低、可靠性比较差。相对于惯性导航系统，基于视觉的运动估计不存在物理漂移问题，具有较高的稳定性。目前基于单目视觉的运动估计无法获得三维相对运动的尺度信息；立体摄像机可获得三维运动估计，但是存在计算量大、可靠性受环境和噪声影响大、测量精度超过景深范围后急速下降等问题。随着三维激光测距仪、三维摄像机等三维传感器的引入，空间环境的三维信息实时获取成为可能。基于ICP的三维点云匹配算法开始被应用于相邻两帧的三维信息估计。但是由于噪声、误差和不匹配区域比例的增长，ICP迭代算法容易陷入局部优化解，从而该类算法仅在较小空间变换范围内或基于较好的初始估计情况下可获得准确的估计结果。为实现精确可靠的三维运动估计，通常采用高频率采样获取相邻帧三维信息，从而将相邻帧空间变换限制在较小范围；而高频率采样必然导致计算量巨大，难以实时应用。相对于三维激光测距仪，三维摄像机不仅可获得场景二维彩色图像信息，还可以获得空间场景对应的三维信息，如Kinect、SR4000等三维摄像机等。基于此人们提出基于相邻帧图像的不变性特征点构成三维点集求解三维运动的初始估计，以提高ICP算法的估计性能。但是该类方法的缺陷在于严重依赖于特征点选择，首先特征点集中的误匹配点集将对三维估计初始值造成严重影响；其次该算法仅对图像特征点较多的场景有效，若场景特征点集非常稀疏以致无法获取正确可靠的初始估计值时，将直接导致算法失败，从而无法获得三维相对估计。
[0003]因此，如何充分利用三维视觉系统的二维彩色图像信息和空间三维信息，实时获取精确的三维运动信息，是本领域急需解决的技术问题。

【发明内容】

[0004]本发明所要解决的技术问题是提供一种基于三维视觉系统图像特征和三维信息的运动估计方法，基于三维视觉系统获取的相邻帧的场景二维彩色图像信息和按二维彩色图像像素对应的空间三维信息，采用本发明的改进SIFT特征匹配算法、采样间隔自适应调整方法和三维运动优化估计算法实现相邻帧的快速高精度三维运动估计，具有精度高、计算量小、应用场景限制性小等突出优点。
[0005]一种基于三维视觉系统图像特征和三维信息的运动估计方法，包括以下步骤:
[0006]步骤1:基于三维视觉系统，动态确定相邻帧场景之间的采样间隔Δ t ；
[0007]步骤2:按照步骤I确定的采样间隔At，利用三维视觉系统分别在t时刻和t+1时刻获取相邻帧场景的二维彩色图像It和I+1、场景对应的三维点云Dt和Dt+1 ；[0008]所述三维视觉系统可同时获取场景的二维彩色图像I与三维点云信息D，其中二维彩色图像I与三维点云D按二维彩色图像像素点一一对应，即二维彩色图像中第U行第V列的像素点r(u，v)与三维点云Du,v(x，y, z)相对应；所述三维点云是指二维彩色图像所有像素点对应的三维空间点集合；
[0009]步骤3:利用SIFT算法对相邻帧场景的二维彩色图像It和It+1进行特征点提取与匹配，得到相邻帧场景的匹配图像特征点对集合M ;
[0010]步骤4:剔除集合M中的误匹配图像特征点对，得到最终的匹配图像特征点对集合M3;
[0011]I)基于双向一致性检查的误匹配剔除；
[0012]采用欧式距离作为特征点128维向量描述子的相似性度量，对t+Ι时刻的二维彩色图像It+1的任一图像特征点Fit+1，依次从t时刻的二维彩色图像It的图像特征点中找出相匹配的特征点G，构成匹配特征点对集合M'，11和^的交集构成新的匹配图像特征点对集合M1,以剔除非双向一致的误匹配图像特征点对；
[0013]2)基于颜色一致性检查的误匹配剔除；
[0014]步骤a:分别提取t时刻和t+Ι时刻获取的二维彩色图像It和It+1的HSV空间颜色信息；
[0015]步骤b:依据I)中获得的匹配特征点对集合M1,建立集合M1中所有特征点的HSV空间分量的索引信息；
[0016]所述索引信息是指特征点在二维彩色图像坐标系中的坐标与该特征点的HSV空间颜色分量的对应关系；
[0017]步骤c:依据步骤b中建立的HSV空间分量索引信息和匹配特征点对集合M1，分别获取匹配特征点对集合M1的HSV信息[Ht, St, Vt]和[Ht+1, St+1, Vt+1]，其中，[Ht, St, Vt]为M1中t时刻二维彩色图像匹配特征点对应的HSV信息，[Ht+1, St+1, Vt+1]为M1中t+Ι时刻二维彩色图像匹配特征点对应的HSV信息；
[0018]步骤d:对匹配特征点对集合M1中的任一特征点对[F；?Ff 进行HSV空间颜色一致性检查处理，若同时满足如下约束，则认为是正确匹配点对，否则认为是误匹配点对，并从札中剔除，得到新的匹配特征点对集合M2 ；
[0019]约束判定条件如下:
[0020]
【权利要求】
1.一种基于三维视觉系统图像特征和三维信息的运动估计方法，其特征在于，包括以下步骤: 步骤1:基于三维视觉系统，动态确定相邻帧场景之间的采样间隔At ; 步骤2:按照步骤I确定的采样间隔At，利用三维视觉系统分别在t时刻和t+Ι时刻获取相邻帧场景的二维彩色图像T和T+1、场景对应的三维点云Dt和Dt+1 ； 步骤3:利用SIFT算法对相邻帧场景的二维彩色图像It和It+1进行特征点提取与匹配，得到相邻帧场景的匹配图像特征点对集合M ; 步骤4:剔除集合M中的误匹配图像特征点对，得到最终的匹配图像特征点对集合M3 ； 1)基于双向一致性检查的误匹配剔除； 采用欧式距离作为特征点128维向量描述子的相似性度量，对t+Ι时刻的二维彩色图像It+1的任一图像特征点FiI依次从t时刻的二维彩色图像It的图像特征点中找出相匹配的特征点构成匹配特征点对集合M'，11和的交集构成新的匹配图像特征点对集合M1,以剔除非双向一致的误匹配图像特征点对； 2)基于颜色一致性检查的误匹配剔除； 步骤a:分别提取t时刻和t+Ι时刻获取的二维彩色图像It和It+1的HSV空间颜色信息； 步骤b:依据I)中获得的匹配特征点对集合M1，建立集合M1中所有特征点的HSV空间分量的索引信息； 所述索引信息是指特征点在二维彩色图像坐标系中的坐标与该特征点的HSV空间颜色分量的对应关系； 步骤c:依据步骤b中建立的HSV空间分量索引信息和匹配特征点对集合M1，分别获取匹配特征点对集合M1的HSV信息[Ht, St, Vt]和[Ht+1, St+1, Vt+1]，其中，[Ht, St, Vt]为M1中t时刻二维彩色图像匹配特征点对应的HSV信息，[Ht+1, St+1, Vt+1]为M1中t+Ι时刻二维彩色图像匹配特征点对应的HSV信息； 步骤d:对匹配特征点对集合M1中的任一特征点对进行HSV空间颜色一致性检查处理，若同时满足如下约束，则认为是正确匹配点对，否则认为是误匹配点对，并从M1中剔除，得到新的匹配特征点对集合M2 ； 约束判定条件如下:
2.根据权利要求1所述的基于三维视觉系统图像特征和三维信息的运动估计方法，其特征在于，所述步骤I中相邻帧场景之间的采样间隔At的确定依据如下: 所述三维视觉系统的采样频率范围为[fmin，fmax]，相邻帧场景的动态采样间隔At变化范围为[Δ tmin, Δ tmax]，其中 Λ t 最小值 Λ tmin=l/fmax,最大值 Λ tMax=l/fmin ； 采样间隔At的初始值设定为Atmin ;在运动过程中，基于t-Ι时刻和t时刻相邻帧的匹配图像特征点对集合M3中匹配图像特征点对数目Num(M3)和当前采样间隔Att,依据表I动态确定下一步采样间隔Att+1: 表1相邻帧之间采样间隔Λ t动态计算
3.根据权利要求2所述的基于三维视觉系统图像特征和三维信息的运动估计方法，其特征在于，所述步骤3利用SIFT算法对相邻帧场景的二维彩色图像It和It+1进行特征点提取与匹配，得到相邻帧场景的匹配特征点对集合M的具体步骤如下: 1)对t时刻和t+Ι时刻获取的相邻场景的二维彩色图像It和i+1，利用SIFT算法分别提取尺度旋转不变特征点集合Ft和Ft+1 ； 2)对Ft的任一特征点FiS采用欧式距离作为特征点128维向量描述子的相似性度量，然后从t+Ι时刻获取的二维彩色图像特征点Ft+1中，依次找出与FJ匹配的特征点，构成匹配特征点对 3)对Ft中所有特征点执行步骤2)，得到匹配特征点对集合M。
4.根据权利要求1-3任一项所述的基于三维视觉系统图像特征和三维信息的运动估计方法，其特征在于，所述步骤4误匹配点剔除中的3)采用RANSAC算法对匹配特征点对集合仏中的误匹配进一步剔除，得到最终的匹配特征点对集合M3的具体步骤如下: ①随机选择M2中的s组匹配特征点对组成随机样本集M3，并基于该样本计算匹配模型H ;即使得匹配特征点对，满足如下方程:
其中
【文档编号】G06T7/00GK103559711SQ201310544349
【公开日】2014年2月5日 申请日期:2013年11月5日 优先权日:2013年11月5日
【发明者】余洪山, 罗堪, 蔺薛菲, 王耀南, 赵科, 孙欢, 万琴, 朱江, 段峰, 代扬 申请人:余洪山