基于深度图像利用遮挡信息确定下一最佳观测方位的方法
【专利摘要】本发明公开了一种利用深度图像中的遮挡信息确定下一最佳观测方位的方法，属于计算机视觉领域，包括以下步骤：获取视觉目标的一幅深度图像及其遮挡边界和摄像机内外参数；根据已获得的深度图像中的遮挡边界信息确定出每个遮挡边界点对应的最大深度差相邻点；利用深度图像中的遮挡边界点及其对应的最大深度差相邻点的三维坐标以及摄像机的当前观测方位计算遮挡区域外接表面上各小平面对应的候选参考观测方向及观测中心点；基于投影降维思想确定遮挡区域外接表面最佳小平面集合并基于该最佳小平面集合的信息计算下一最佳观测方位。本发明无需预先获取视觉目标的先验知识及将摄像机的观测位置限定在固定表面上，适用于具有不同型面的视觉目标。
【专利说明】基于深度图像利用遮挡信息确定下一最佳观测方位的方法
【技术领域】
[0001]本发明涉及计算机视觉领域，尤其是涉及一种下一最佳观测方位的确定方法。
【背景技术】
[0002]下一最佳观测方位的确定一直是三维重建、机器人导航、自动装配、目标识别等领域重要且困难的研究课题之一，它根据当前观测到的信息，确定出摄像机(传感器)的下一观测方向和位置，使得从该方向和位置能够最大量地获取场景或视觉目标的未知信息。
[0003]目前下一最佳观测方位确定算法所基于的图像信息类型主要有两种:图像亮度信息和图像深度信息。基于图像亮度信息的下一最佳观测方位确定算法相对较少，并且同2D的亮度图像相比，2.5D的深度图像更利于获得场景的三维信息，因此，现有的下一最佳观测方位确定算法一般都基于深度图像实现。然而，既基于深度图像又仅利用遮挡信息确定下一最佳观测方位的文献较少。同时，少数几个既基于深度图像又利用遮挡信息确定下一最佳观测方位的方法在求解方式、适用范围等方面存在一些不足。Maver J和Bajcsy R在文章“Occlusion as a guide for planning the next view.1EEE Transactions on PatternAnalysis and Machine Intelligence, 1993,15 (5):417_432” 所提方法针对于特定的设备。Banta J E和Wong L M等在文章“Next-best-view system for autonomous3_D objectreconstruction.1EEE Transactions on Systems, Man, and Cybernetics, Part A:Systemsand Humans, 2000, 30(5): 589-598”所提方法确定出的观测位置被限定在一个固定的表面(如球体表面、圆柱体表面等)，因此方法的通用性受到了限制。Chen S Y和Li Y F在文章“Automatic sensor placement for model-based robot vision.1EEE Transactions onSystems, Man, and Cybernetics, Part B: Cybernetics, 2004, 34(1): 393-408” 中所提方法需要预先获取场景的先验知识，如场景中视觉目标的尺寸等，因此不适用于未知场景。
【发明内容】
[0004]针对上述存在问题，为了基于遮挡信息确定出下一最佳观测方位，本发明旨在提出一种基于深度图像利用遮挡信息确定下一最佳观测方位的方法，本发明避免了对摄像机观测方位的限制，通过综合考虑最佳小平面集合中每个小平面的影响，确定出合理的下一最佳观测方位。
[0005]本发明通过下述技术方案来实现:一种基于深度图像利用遮挡信息确定下一最佳观测方位的方法，该方法包含以下步骤:
[0006](I)获取深度图像及其遮挡边界和摄像机内外参数；
[0007](2)提取深度图像最大深度差相邻点:
[0008]2a)计算深度图像中各像素点的最大深度差值，记录下该最大深度差值对应的邻域点的像素坐标，
[0009]2b)结合拍摄深度图像时摄像机的内外参数信息，对深度图像进行反投影变换，重建深度图像中每个像素点的三维坐标；[0010](3)利用深度图像中的遮挡边界点及其对应的最大深度差相邻点的三维坐标以及摄像机的当前观测方位计算遮挡区域外接表面上各小平面对应的候选参考观测方向及观测中心点；
[0011](4)基于投影降维思想确定遮挡区域外接表面最佳小平面集合并根据该最佳小平面集合的信息计算下一最佳观测方位:
[0012]4a)计算每个候选参考观测方向所对应的遮挡边界点和最大深度差相邻点的欧氏距离，即每个小平面所对应的遮挡线段的长度，
[0013]4b)计算每个候选参考观测方向在指定的坐标系xoy平面内的投影与该坐标系χ轴正方向的夹角α，
[0014]4c)根据已计算出的每个候选参考观测方向对应投影向量的夹角α，基于积分原理，计算由指定角度Φ起始，固定角度Y范围内对应的遮挡区域外接表面面积S41，其中0°≤Φ〈360° ;记录计算最大观测面积Smax及其对应的角度范围[Φ_η，Φ』，其中
对应的Φ值为Abegin;对每个对应夹角值在[Φ_η，范围内的候选参考观测方向计算其对应的权值Wi,
[0015]4d)根据上述计算出的信息，计算下一最佳观测方向及观测中心点，如果Smax小于遮挡区域外接表面面积阈值st，则进行步骤4dl)及4d2)，如果Smax大于或等于遮挡区域外接表面面积阈值St，则进行步骤4d3)至4d6):
[0016]4dl)计算摄像机当前观测方向的反方向并将其作为下一最佳观测方向，
[0017]4d2)计算当前观测方位下获取到的视觉目标三维坐标的中心点并将其作为下一最佳观测中心点，
[0018]4d3)获得夹角α在[φ”(J)i+gamma]范围内的所有投影向量对应的候选参考观测方向，
[0019]4d4)获取上述候选参考观测方向对应的观测中心点和权值ω y
[0020]4d5)对获取的所有候选参考观测方向加权求和得到下一最佳观测方向，
[0021]4d6)对获取的所有观测中心点加权求和得到下一最佳观测中心点，
[0022]4e)依据计算出的下一最佳观测方向和观测中心点计算摄像机的观测位置，
[0023]4f)输出计算出的下一最佳观测方位。
[0024]本发明首先从某一观测方位获取视觉目标的一幅深度图像，然后根据已获得的深度图像中的遮挡信息确定出下一最佳观测方位，从而使摄像机在所求观测方位下能够最大量地观测到当前观测方位下视觉目标上的被遮挡区域。本发明从遮挡区域出发展开研究，避免了对摄像机观测方位的限制，通过综合考虑最佳小平面集合中每个小平面的影响，确定出合理的下一最佳观测方位。
[0025]本发明较之现有技术的优势在于:
[0026](I)所需输入数据为深度图像、该图像中的遮挡边界以及获取该幅深度图像时摄像机的内外参数，无需预先获取视觉目标的先验知识。
[0027](2)基于分治思想，依据深度图像中的遮挡边界点及其最大深度差相邻点的信息确定下一最佳观测方位，对视觉目标表面形状无依赖关系，适用于具有不同型面的视觉目标。
[0028](3)以遮挡区域为研究对象，利用遮挡区域外接表面最佳小平面集合实现了对下一最佳观测方位简便、高效的求解，整个过程未对摄像机位置做特殊限制。
【专利附图】
【附图说明】
[0029]图1是本发明基于深度图像利用遮挡信息确定下一最佳观测方位的方法的流程图；
[0030]图2是本发明不同情形下候选参考观测方向及观测中心点示意图；
[0031]图3是本发明不同情形下Q点在深度图像平面的投影点位置示意图；
[0032]图4是本发明摄像机观测遮挡区域外接表面时的可视空间及候选参考观测方向投影示意图；
[0033]图5是本发明投影向量的分布情况示意图；
[0034]图6是本发明候选参考观测方向在指定坐标系xoy平面的投影示意图；
[0035]图7是本发明下一最佳观测方向和观测中心点与摄像机观测位置之间的关系；
[0036]图8是基于本发明的部分实验结果。
【具体实施方式】
[0037]以下结合附图对本发明做出更加详细的说明，但该实施过程不应理解为对本发明的限制。
[0038]如图1所示，所述基于深度图像利用遮挡信息确定下一最佳观测方位包括以下步骤:`
[0039]步骤1:获取深度图像及其遮挡边界和摄像机内外参数。
[0040]利用已有深度图像或深度图像获取设备(如Kinect)获取深度图像同时记录下获取深度图像时的摄像机内外参数，在此基础上利用已有的遮挡检测方法对深度图像进行遮挡检测得到遮挡信息。
[0041]步骤2:提取深度图像最大深度差相邻点。
[0042]2.1)设深度图像中某点的坐标为(i，j)，深度值为cbpth (i，j)，则其8个邻域点的坐标分别为(1-1, j-1)、(i, j-1)、(i+1, j-1)、(1-1, j)、(i+1, j)、(i_l，j+1)、(i, j+1)和(i+1, j+1)，深度值分别为 depth (1-1, j-1)、depth (i, j-1)、depth (i+1, j-1)、depth (1-1, j)、depth (i+1, j)、depth (1-1, j+1)、depth (i, j+1)和 depth (i+1, j+1)。定义
点(i，j)的最大深度差值为
[0043]
【权利要求】
1.一种基于深度图像利用遮挡信息确定下一最佳观测方位的方法，其特征在于，该方法包含以下步骤: (1)获取深度图像及其遮挡边界和摄像机内外参数； (2)提取深度图像最大深度差相邻点: 2a)计算深度图像中各像素点的最大深度差值，记录下该最大深度差值对应的邻域点的像素坐标， 2b)结合拍摄深度图像时摄像机的内外参数信息，对深度图像进行反投影变换，重建深度图像中每个像素点的三维坐标， (3)利用深度图像中的遮挡边界点及其对应的最大深度差相邻点的三维坐标以及摄像机的当前观测方位计算遮挡区域外接表面上各小平面对应的候选参考观测方向及观测中心点； (4)基于投影降维思想确定遮挡区域外接表面最佳小平面集合并根据该最佳小平面集合的信息计算下一最佳观测方位: 4a)计算每个候选参考观测方向所对应的遮挡边界点和最大深度差相邻点的欧氏距离，即每个小平面所对应的遮挡线段的长度， 4b)计算每个候选参考观测方向在指定的坐标系xoy平面内的投影与该坐标系X轴正方向的夹角α，4c)根据已计算出的每个候选参考观测方向对应投影向量的夹角α，基于积分原理，计算由指定角度Φ起始，固定角度Y范围内对应的遮挡区域外接表面面积S41，其中0°≤Φ〈360° ;记录计算最大观测面积Smax及其对应的角度范围[Φ_η，Φ』，其中对应的Φ值为Abegin;对每个对应夹角值在[Φ_η，范围内的候选参考观测方向计算其对应的权值Oi, 4d)根据上述计算出的信息，计算下一最佳观测方向及观测中心点，如果Smax小于遮挡区域外接表面面积阈值St，则进行步骤4dl)及4d2)，如果Smax大于或等于遮挡区域外接表面面积阈值St，则进行步骤4d3)至4d6): 4dl)计算摄像机当前观测方向的反方向并将其作为下一最佳观测方向， 4d2)计算当前观测方位下获取到的视觉目标三维坐标的中心点并将其作为下一最佳观测中心点， 4d3)获得夹角α在[φ” J范围内的所有投影向量对应的候选参考观测方向， 4d4)获取上述候选参考观测方向对应的观测中心点和权值Oi, 4d5)对获取的所有候选参考观测方向加权求和得到下一最佳观测方向， 4d6)对获取的所有观测中心点加权求和得到下一最佳观测中心点， 4e)依据计算出的下一最佳观测方向和观测中心点计算摄像机的观测位置； 4f)输出计算出的下一最佳观测方位。
2.根据权利要求1所述的一种基于深度图像利用遮挡信息确定下一最佳观测方位的方法，其中步骤2a)所述的计算深度图像中各像素点的最大深度差值，按如下公式计算:
3.根据权利要求1所述的一种基于深度图像利用遮挡信息确定下一最佳观测方位的方法，其中步骤(3)所述的计算遮挡区域外接表面上各小平面对应的候选参考观测方向及观测中心点，按如下步骤进行: 3a)计算候选参考观测中心点P，设其坐标为(Xp，yP, zP)，计算公式如下:
4.根据权利要求1所述的一种基于深度图像利用遮挡信息确定下一最佳观测方位的方法，其中步骤4b)所述的计算每个候选参考观测方向在指定的坐标系xoy平面内的投影与该坐标系χ轴正方向的夹角α，按如下步骤进行: 4bl)确定指定坐标系的χ轴、y轴和z轴正方向的单位向量， 4b2)获取所有候选参考观测方向对应的投影向量， 4b3)计算每个候选参考观测方向在指定坐标系xoy平面的投影向量， 4b4)计算每个投影向量与χ轴正方向的夹角α ,按下式计算:
5.根据权利要求1所述的一种基于深度图像利用遮挡信息确定下一最佳观测方位的方法，其中步骤4c)中 所述的遮挡区域外接表面面积S41，按下式计算:
6.根据权利要求1所述的一种基于深度图像利用遮挡信息确定下一最佳观测方位的方法，其中步骤4dl)所述的下一最佳观测方向Vnbv，按下式计算:
7.根据权利要求1所述的一种基于深度图像利用遮挡信息确定下一最佳观测方位的方法，其中步骤4d2)所述的下一最佳观测中心点Pview，按下式计算:
8.根据权利要求1所述的一种基于深度图像利用遮挡信息确定下一最佳观测方位的方法，其中步骤4d5)所述的下一最佳观测方向Vnbv，按下式计算:
9.根据权利要求1所述的一种基于深度图像利用遮挡信息确定下一最佳观测方位的方法，其中步骤4d6)所述的下一最佳观测中心点Pvirat，按下式计算:
10.根据权利要求1所述的一种基于深度图像利用遮挡信息确定下一最佳观测方位的方法，其中步骤4e)所述的摄像机的观测位置P。.^，按下式计算:
【文档编号】G06T3/00GK103810700SQ201410015961
【公开日】2014年5月21日 申请日期:2014年1月14日 优先权日:2014年1月14日
【发明者】张世辉, 刘建新, 桑榆 申请人:燕山大学