一种基于混合摄像机的室内场景定位方法
【专利摘要】本发明公开了一种基于混合摄像机的室内场景定位方法，包括：(1)混合相机拍摄室内场景的深度图和彩色图；(2)追踪相机位置；(3)利用标准贪婪森林算法对拍摄的室内场景的深度图和彩色图进行训练，构建回归森林；(4)进行室内场景定位时，只需利用混合摄像机拍摄的当前帧的深度图和彩色图以及训练好的回归森林便可计算出当前摄像机对应的世界坐标，完成定位。本发明采用混合摄像机拍摄，采用回归森林算法来训练一个已知场景中的每个像素点，不需要使用稀疏特征点或者稠密特征点来进行场景定位；节省了特征点检测、描述、匹配的时间，使摄像机定位与状态无关；进而不必承受摄像机追踪的累积误差，有效提高场景定位的精度和效率。
【专利说明】一种基于混合摄像机的室内场景定位方法
【技术领域】
[0001] 本发明属于室内场景定位【技术领域】，具体涉及一种基于混合摄像机的室内场景定 位方法。
【背景技术】
[0002] 随着数字图像数据的快速增长，让计算机自动理解图像成为越来越迫切的需求， 作为图像理解的重要研宄内容，场景定位得到了广泛关注，是当前计算机视觉领域的研宄 热点。目前主流的场景定位方法大多是基于彩色图像的。
[0003] 基于彩色图像的场景定位方法大体可以分为两类：第一类是基于稀疏特征点匹配 的场景定位方法。该类算法采用的策略是在相机正常追踪时，从场景图像中提取一定数量 的关键点，对这些关键点进行特征描述，然后将这些关键点的特征算子连同它们对应的三 维坐标存储到特征点数据库中。当需要进行场景定位时，就从相机捕获的当前图像中提取 特征点，和已有特征点数据库中的数据进行比较匹配，通过匹配上的那些特征点的三维信 息计算出当前的相机姿态，完成场景定位。该类算法的优点在于只要能够匹配上足够数目 的特征点，就可利用三点法计算出相机的姿态。由于该类方法对场景进行的是稀疏表达，加 上有些场景的纹理信息过于单一以及相机移动过程中存在运动模糊等问题，进行场景定位 却无法匹配上足够数量特征点的情况时有发生，严重影响了场景定位的精度。而且特征点 的检测、描述、匹配等算法都要消耗大量的运算资源，为了不影响场景定位的速度，此类算 法大部分都限制了特征点数据库的规模，进而影响了场景定位的范围。
[0004] 另一类是基于全局图像匹配的场景定位方法。和基于稀疏特征点匹配的场景定位 算法不同，此类算法无需显式地进行特征点检测，而是使用整幅图像信息进行匹配比较。具 体的做法是在在相机正常追踪时将一部分图像确定为关键帧，对这些关键帧进行编码并将 每个关键帧对应的相机姿态一同存储到关键帧数据库中。当需要进行场景定位时，就对相 机捕获的当前帧进行编码并和关键帧数据库中的数据进行比较，对匹配上的最相近的几个 关键帧对应的相机姿态进行加权处理，就可还原出当前的相机姿态。该类算法的优点在于 省去了特征点检测、描述、匹配的步骤，节约了大量的运算资源。不足之处在于每个关键帧 在编码时通常都会采用下采样和亮度信息归一化等操作，随着关键帧数量的增加，关键帧 之间的相似计算会变得越来越困难。而且对基于全局图像匹配的这类场景识别算法而言， 识别结果只能依赖于数据库中存储的有限个相机姿态，严重制约了该类方法的可扩展性。
【发明内容】
[0005] 针对现有技术所存在的上述技术问题，本发明提供了一种基于混合摄像机的室内 场景定位方法，节省了特征点检测、描述、匹配的时间，使摄像机定位与状态无关，有效提高 场景定位的精度和效率。
[0006] 一种基于混合摄像机的室内场景定位方法，包括如下步骤：
[0007] (1)利用RGB-D(红绿蓝三原色加距离深度）混合摄像机拍摄室内场景，获得一路 RGB图像序列和一路深度图像序列；
[0008] (2)提取深度图像序列每一帧图像中每个像素点的深度信息，实时产生室内场景 的三维点云图并实时计算出混合摄像机参数；
[0009] (3)提取RGB图像序列每一帧图像中每个像素点的RGB信息并结合对应的深度信 息，计算出每个像素点的特征值；进而根据实时的混合摄像机参数计算出RGB图像序列每 一帧图像中每个像素点的世界坐标；
[0010] ⑷根据各像素点的特征值和世界坐标，利用标准贪婪森林训练算法构建随机回 归森林模型；
[0011] (5)针对当前利用RGB-D混合摄像机在室内拍摄得到一帧包含RGB和深度信息的 场景图像，并计算出该场景图像中每个像素点的特征值输入至所述的随机回归森林模型中 得到对应的世界坐标；
[0012] (6)对场景图像中的像素点进行分组，利用每组像素点的世界坐标以及摄像机坐 标计算出一个当前摄像机的世界坐标；遍历各组得到多个当前摄像机的世界坐标，并从中 选出最优的一个作为当前视点的位置信息。
[0013] 所述的步骤（2)中根据以下算式实时计算混合摄像机参数：
[0014]
【权利要求】
1. 一种基于混合摄像机的室内场景定位方法，包括如下步骤： (1) 利用RGB-D混合摄像机拍摄室内场景，获得一路RGB图像序列和一路深度图像序 列； (2) 提取深度图像序列每一帧图像中每个像素点的深度信息，实时产生室内场景的三 维点云图并实时计算出混合摄像机参数； (3) 提取RGB图像序列每一帧图像中每个像素点的RGB信息并结合对应的深度信息，计 算出每个像素点的特征值；进而根据实时的混合摄像机参数计算出RGB图像序列每一帧图 像中每个像素点的世界坐标； (4) 根据各像素点的特征值和世界坐标，利用标准贪婪森林训练算法构建随机回归森 林模型； (5) 针对当前利用RGB-D混合摄像机在室内拍摄得到一帧包含RGB和深度信息的场景 图像，计算出该场景图像中每个像素点的特征值输入至所述的随机回归森林模型中得到对 应的世界坐标； (6) 对场景图像中的像素点进行分组，利用每组像素点的世界坐标以及摄像机坐标计 算出一个当前摄像机的世界坐标；遍历各组得到多个当前摄像机的世界坐标，并从中选出 最优的一个作为当前视点的位置信息。
2. 根据权利要求1所述的室内场景定位方法，其特征在于：所述的步骤（2)中根据以 下算式实时计算混合摄像机参数：
其中：Μ_为当前的混合摄像机参数，M为混合摄像机姿态的变换矩阵且M= [R|t]，其 由混合摄像机的旋转矩阵R和平移向量t组成；士和d i分别为前一帧三维点云图和当前帧 三维点云图中第i个点的坐标，Iii为坐标Cli处的切平面法向量，ω 当前帧三维点云图中 第i个点所对应的权重系数，T为深度图像的像素总数。
3. 根据权利要求1所述的室内场景定位方法，其特征在于：所述的步骤（3)中根据以 下算式计算每个像素点的特征值：
其中：f (P)为任一帧RGB图像中第P个像素点的特征值，I I为向上取整函数，D (P)为 任一帧RGB图像中第p个像素点对应的深度值，δ种δ 2均为二维偏移量，c种c 2均表示 RGB任一分量，/(/：
C1)表不任一帧RGB图像中第
个像素点在C1分量 上的颜色值，.
表不任一帧RGB图像中第，-
H象素点在C2分量 上的颜色值。
4. 根据权利要求1所述的室内场景定位方法，其特征在于：所述的步骤⑷中，以特征 值作为自变量，世界坐标作为因变量，利用标准贪婪森林训练算法构建随机回归森林模型。
5. 根据权利要求1所述的室内场景定位方法，其特征在于：所述的步骤￠)中像素点 的摄像机坐标即利用混合摄像机的内参数结合像素点的深度值计算求得。
6. 根据权利要求1所述的室内场景定位方法，其特征在于：所述的步骤￠)中，利用每 组像素点的世界坐标以及摄像机坐标通过奇异值分解算法计算出一个当前摄像机的世界 坐标。
7. 根据权利要求1所述的室内场景定位方法，其特征在于：所述的步骤（6)中，遍历得 到多个当前摄像机的世界坐标后，利用RANSAC算法从中选出最优的一个作为当前视点的 位置信息。
【文档编号】G06T7/00GK104517289SQ201410766903
【公开日】2015年4月15日 申请日期:2014年12月12日 优先权日:2014年12月12日
【发明者】李阳, 王梁昊, 李东晓, 张明 申请人:浙江大学