一种基于Kinect的物体支撑关系推断方法
【专利摘要】本发明公开了一种基于Kinect的物体支撑关系推断方法，包括：利用基于RGB-D图像的分层分割算法对图像进行分割、构建场景结构等级模型、基于结构等级的场景支撑关系模型、支撑关系约束规则、采用线性规划求取场景支撑关系、利用场景支撑关系对场景中物体进行稳定性推断几个步骤。本发明有效利用了Kinect采集的深度数据，创新性的提取了场景中的支撑关系，能够有效的辅助机器人视觉和目标识别的工作。
【专利说明】一种基于Kinect的物体支撑关系推断方法
【技术领域】
[0001] 本发明涉及场景分析领域，具体是一种基于Kinect的物体支撑关系推断方法。
【背景技术】
[0002] 随着摄像采集设备的发展，目前已经能够采集到包含深度数据的图像信息。如何 利用好深度信息，使其在机器人视觉，物体识别等领域发挥更大的作用已经成研宄热点。近 几年来，大量的研宄基于RGB-D数据的场景分析，而其中对于场景结构的分析仍然欠缺，而 通过场景结构获取支撑关系能够很好的辅助机器人视觉，判别场景内物体的稳定性，也能 够为目标识别提供新颖的识别特征，日后必将成为场景理解中重要组成部分。
[0003] 目前已有的场景结构提取方法中，主要是提取场景的中物体的包围盒、场景整体 结构信息、重要的线信息以及不同区域的结构等级信息，对场景中物体之间的联系的研宄 尚有欠缺。目前的场景结构提取方法尚有以下欠缺：
[0004] 侧重于场景的整体结构信息的提取，只能够勾勒出简单的场景整体三维信息，而 在目前能够采集到深度信息的情况下，场景整体结构信息已经不能满足场景结构提取的需 要。
[0005] 场景内物体包围盒的提取只能够提取单个物体的包围盒，忽略了场景间不同物体 之间的联系，这样做不能够很好的体现物体之间的联系。
[0006] 现有的支撑关系提取算法研宄较少，在已有的技术中，对场景中对核心的场景约 束关系提取不够全面，导致算法的正确率不高。
【发明内容】
[0007] 本发明的目的是提供一种基于Kinect的物体支撑关系推断方法，以解决现有技 术场景结构提取中的缺陷，以及现有支撑关系提取算法的不足。
[0008] 为了达到上述目的，本发明所采用的技术方案为：
[0009] 1、一种基于Kinect的物体支撑关系推断方法，其特征在于：包括以下步骤：
[0010] (1)、利用Kinect相机拍摄待分析场景的图像，其中包括场景的深度图像和彩色 图像；对深度图像进行差分操作，得到场景详细深度数据；通过立体视觉算法将深度图像 和彩色图像进行配准，从而生成场景的RGB-D图像；
[0011] ⑵、RGB-D图像数据预处理，包括以下步骤：
[0012] (2. 1)、提取深度图像中每个像素的法向量信息：像素法向量信息利用像素点周围 8*8区域的深度信息，在该区域选取和像素点灰度值相差不大于5的点，提取领域内所有点 拟合一个平面，将该平面的法向量作为像素点法向量；
[0013] (2. 2)、场景坐标系与世界坐标系的配准：对每一个像素利用其周围像素的深 度数据，通过最小二乘法求取平面参数；通过从图像中提取直线和计算表面法向量的 mean-shift模型，选取一定量的主方向候选，通过公式（1)-公式（3)计算出该三元组正交 主方向的评分：
【权利要求】
1. 一种基于Kinect的物体支撑关系推断方法，其特征在于：包括以下步骤： (1) 、利用Kinect相机拍摄待分析场景的图像，其中包括场景的深度图像和彩色图像； 对深度图像进行差分操作，得到场景详细深度数据；通过立体视觉算法将深度图像和彩色 图像进行配准，从而生成场景的RGB-D图像； (2) 、RGB-D图像数据预处理，包括以下步骤： (2. 1)、提取深度图像中每个像素的法向量信息：像素法向量信息利用像素点周围8*8 区域的深度信息，在该区域选取和像素点灰度值相差不大于5的点，提取领域内所有点拟 合一个平面，将该平面的法向量作为像素点法向量； (2. 2)、场景坐标系与世界坐标系的配准：对每一个像素利用其周围像素的深度数据， 通过最小二乘法求取平面参数；通过从图像中提取直线和计算表面法向量的mean-shift 模型，选取一定量的主方向候选，通过公式（1)-公式（3)计算出该三元组正交主方向的评 分：
公式（1)-公式（3)中，vl，v2，v3是像个主方向，N是像素点的平面参数，L是采样的线 的主方向，NN和NL分别是平面中点和线的个数，wn和wl是法向量和直线方向向量的权重 参数，通过计算每组正交线段的评分，选择得分最高的作为室内场景坐标系的坐标轴，然后 通过旋转矩阵就能将室内场景坐标系和世界坐标系进行配准； (3) 、基于辅助信息的分层分割，包括以下步骤： (3. 1)、分水岭算法对图像进行过分割，首先将图像转换成梯度图像，如公式（4)一（6) 所示：
其中I(i，j)代表坐标为i，j的点的像素值，通过对每个像素点在X和y方向上的像素 值变化率得到G(x，y)，并生成梯度图像，通过分水岭算法生成过分割图像； (3. 2)、边缘强度预测，给定一个区域之后，得到边缘强度函数，通过最小化边缘强度可 以对不同边缘进行分类，通过多次迭代的方法最终得到最终的分割图像； (4) 、基于约束规则的场景之城关系提取，包括以下步骤： (4. 1)、场景结构等级模型定义： 对于一个已分割为R个区域的图像，支撑模型的建立如下：给每个区域赋一个隐藏变 量SCi,其中i表示属于哪个区域，如公式（7)所示：
(4. 2)、场景支撑关系模型定义： 对于一个已分割为R个区域的图像，支撑关系模型的建立如下：1)使用隐藏变量Si:i=1，…，R表示一个区域i的支撑区域：(a)被图像中可视的某一区域支撑，SiG{1，--?，!?}; (b)被图像中不可视的物体支撑，Si=h; (c)不需要支撑，这也表示该区域为地面，Si=g; 2)使用STi表示区域i的支撑类型：(a)被区域Si从底部进行支撑，STi=O(b)被区域Si 从背后进行支撑，STi= 1 ; (4. 3)、场景结构等级与支撑类型分类： 选取每个场景的区域的SIFT特征，生成该区域的特征描述器，之后使用逻辑回归分类 器进行分类，如公式（8)和公式（9)所示：
P=CxcrHa1S^a2Sf-JanSn (9) 式中a,为最大似然估计求取的权值分布，Si为样本数据的SIFT特征描述器，通过训 练样本数据并采用逻辑回归分类器的方法，得到场景中每一个区域的结构等级与支撑类型 分类； (4. 4)、支撑约束规则：为了对支撑关系的正确的求取，提出了以下几种约束规则， 1) 结构等级约束项丨^:将其公式（10)如下：
其中和句分别表示区域i的最高点和区域j的最低点； 2) 相邻约束项itSST:其公式（11)如下：
和和//::分别代表i区域的最低点和si区域的最高点，D(i，Si)代表i区域和Si区 域的最小水平距离； 3) 支撑约束项：其公式（12)如下：
场景中除了地面没有支撑外，场景中的其他区域均需要一个支撑，且在场景坐标系中， 均比地面高； (4. 5)、能量函数建立： 由步骤（4.3)可得到能量函数的两个初始项：区域结构等级与支撑类型分类器，完整 能量函数如下所示： E(S,ST,SC) =Es (S,ST) +Esc (SC) +Eps (S,ST,SC) (13)
其中，C『为区域i和Si的支撑特征，Dsp为步骤4. 3所述的支撑类型分类器，If为区 域i的结构特征，Ds。为步骤4. 3中的结构等级分类器，Eps为步骤4. 4中支撑约束规则； (4. 6)、线性约束求解： 对于最小能量函数的求解可以用整数规划来进行求解，首先引入布尔指示变量Bsr表 示支撑区域和支撑类型S、ST，BSc表示结构等级SC，场景中区域的总数为可见区域的总数 加上一个未知区域，用R#=R+1表示场景中区域的总数； 令布尔变量j: 1彡i彡N，1彡j彡2N#+1来表示区域间的支撑关系--同时表示Si和STi，当1彡j彡R%，表示区域Ri被区域Rj从底部进行支撑，S卩STi=O; 当If+l彡j彡2R%SriJ= 1表示区域Ri被区域Rj从背部进行支撑，即STi= 1， =1表示区域i为地面（Si=g); 令变量Sci^来表示区域i的结构等级，若scp= 1表示区域i的结构等级为入； 指示变量表示j= 1，sci，人=1，sc』，Y = 1 ; 利用上述完备的布尔表示方法，即可将式（13)的最小化能量函数问题，转换如下公式 的整数规划问题：将能量函数的求解近似的转化为一个线性约束方程式：
【文档编号】G06T7/00GK104504690SQ201410766797
【公开日】2015年4月8日 申请日期:2014年12月12日 优先权日:2014年12月12日
【发明者】洪日昌, 何川, 汪萌, 刘学亮, 郝世杰, 杨勋 申请人:合肥工业大学