室内场景的功能性建模方法
【专利摘要】本发明提供一种室内场景的功能性建模方法，包括：(1)提取深度摄像机的位姿，融入到ICP算法中，并依此对三维表面进行实时配准重建；(2)进行分割聚类，得到场景的语义分割；(3)提取面积大于预设阈值的点云集合；(4)判断是否有垂直于地面的点云集合；(5)提取把手；(6)拉开所述把手，记录打开、关闭过程及内部结构，进行功能性标注；(7)判断是否有平行于地面的点云集合；(8)进行欧几里得聚类，分割得到多个单独的物体；(9)移走单独的物体，记录被遮挡的部分，进行功能性标注；(10)进行汇总，得到室内场景的功能性模型。本发明在带有标注处进行功能性操作，极大的提升了用户的交互体验。
【专利说明】室内场景的功能性建模方法
【技术领域】
[0001]本发明涉及三维建模，尤其涉及一种室内场景的功能性建模方法。
【背景技术】
[0002]在计算机中真实再现客观环境的数字化信息，可以方便地处理和分析环境信息，三维场景信息的数字化表示使得现实场景可以在不同视角下充分展现细节部分。近年来，多种三维测量设备的迅速发展也为三维场景重构提供了更多的实现手段。
[0003]传统的针对室内场景进行三维建模的方法主要有两种:一种是将场景数据获取装置，如深度摄像机、激光雷达、双目视觉相机等固定在移动机器人的某一部位，再由移动机器人在室内环境中导航完成扫描工作；另外一种是由人直接拿着扫描仪等场景数据获取装置，对待扫描的环境进行捕捉，从而生成三维环境的模型。
[0004]现有技术的主要缺点有:
[0005](I)现有的针对室内场景进行三维建模的方法受到室内环境中相对比较杂乱、遮挡严重等因素影响，难以获取较完整的3D模型，且一般只对室内场景中物体的表面进行重建,无法对物体内部(如柜子内部)进行重建；
[0006](2)现有的对室内场景进行三维建模的方法和技术没有实现对场景的功能性重建，现有方法的重建均丢失了场景中有意义物体的功能信息。如对于一个衣柜来说，传统建模方法只是重建了它的表面几何信息，最多给它赋予“衣柜”这一标签，却并没有告诉这个衣柜的柜门是可以打开的以及以什么样的方式打开，而衣柜柜门可以打开这是一个非常重要的功能；
[0007]因此，研发一种能重建出室内场景中物体功能性信息的方法，将此类重建出的模型提供给用户用于室内场景漫游、交互、设计等，大大提高用户与重建得到的功能性场景之间的交互体验就成了未来室内场景重建的发展方向之一。
【发明内容】
[0008]有鉴于此，我们提供一种室内场景的功能性建模方法，用于提升用户的交互体验。
[0009]本发明的种室内场景的功能性建模方法，通过机器人和深度摄像机进行取景和分析，包括如下步骤:(I)提取深度摄像机的位姿，融入到扩展迭代最近点(ICP)算法中，并依此对三维表面进行实时配准重建，获得室内场景三维表面重建；(2)对所述室内三维表面重建进行分割聚类，每一类都是一个点云集合，得到场景的语义分割；(3)排除墙面、屋顶和地板，提取面积大于预设阈值的点云集合；(4)判断步骤(3)中是否有垂直于地面的点云集合；(5)提取把手；(6)机器人拉开所述把手，记录打开、关闭过程及内部结构，并进行功能性标注；(7)判断步骤(3)中是否有平行于地面的点云集合；(8)进行欧几里得聚类，分割得到多个单独的物体；(9)移走单独的物体，记录被遮挡的部分，并进行功能性标注；
[10]对步骤(I)、(2)、(6)、(9)进行汇总，得到室内场景的功能性模型。
[0010]优选地，在步骤(I)中，由所述机器人抓握所述深度摄像机，并提供所述深度摄像机的位姿，用以初始化所述ICP算法的初值。
[0011]优选地，在步骤(2)中，通过区域增长分割算法进行语义分割，根据平滑约束将距离小于阈值的点合并在一起，并输出一系列的点云类，每一类都是一个点云集合。
[0012]优选地，在步骤(2)中，还可以通过辅助程序进行手工交互的分割。
[0013]优选地，在步骤(5)中，结合稀疏几何结构以及表面反射性来确定把手，对垂直于地面的点云集合中的每一点选取邻域，并在邻域中计算曲率，并对于曲率上升幅度大于阈值的点就视为把手。
[0014]优选地，在步骤(7)中，对于平行于地面的点云集合的平面特征，采取随机抽样一致性(Random Sample Consensus, RANSAC)算法集。
[0015]本发明通过对室内场景进行三维表面重建、语义建模、及功能性标注，得到室内场景的功能性模型，可以打开柜门或抽屉、摆放及移走桌上物体，极大的提升了用户的交互体验。
【专利附图】
【附图说明】
[0016]图1是本发明中室内场景的功能性建模方法的流程示意图。
[0017]图2是本发明中室内场景的功能性建模系统的结构示意图。
【具体实施方式】
[0018]为了使本发明的目的、技术方案及优点更加清晰，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所标注的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0019]发明思想概述:首先通过机器人和深度摄像进行三维表面重建；第二，进行语义建模；第三，进行功能性标注；第四，综合形成的室内场景的功能性建模。具体的实施方法及系统，请分别参照实施例1与实施例2。
[0020]实施例1
[0021]请参阅图1，所示为本发明中室内场景的功能性建模方法的流程示意图。
[0022]在步骤SlOl中，首先通过机器人和深度摄像进行三维表面重建，即，提取深度摄像机的位姿，融入到扩展迭代最近点的算法中，并依此对三维表面进行实时配准重建。
[0023]具体而言，在这一步中，核心是我们将深度摄像机的位姿变化信息融入到扩展迭代最近点(ICP)算法中，利用此方法对三维表面进行实时配准重建。ICP算法广泛应用于三维点云数据的配准以及基于自由形态曲面的配准。ICP算法的核心就是将数据配准问题转换为求解数据集合间距离函数最小化的精确解问题。将场景数据点云间的欧式距离作为衡量标准，满足欧式距离最小的匹配对作为ICP算法的输入量。场景间的数据可以看作是多个坐标系间的旋转平移运动，这样我们每做一次旋转平移运动就会更新一次数据，通过反复迭代变换矩阵更新输入数据以最小化场景数据间的便宜误差函数，不断更新迭代，直到误差满足一定的精度要求。经典的ICP算法是主要是进行点对点的匹配，而后来发展起来的扩展ICP算法则是利用点到面的距离进行配准。为了能够实现对三维数据持续融合，我们在这里使用刚性点对面的ICP算法，该ICP算法的目的是决定数据帧与帧之间的变化(包括旋转和平移变换)。传统的ICP算法中，第t帧的结果是利用第t-1帧的转化矩阵来初始化的，当t-1帧到t帧的运动变化较小时，这一初始化的方法没有太大问题，但是一旦前一帧的转化矩阵出现不准确的情况或者第t帧没有明显的特征，ICP算法就很可能会得到一个较差的局部解而且收敛得很慢。但是因为机器人系统能实时准确获取其抓取器末端(即抓握深度摄像机的位置)的位姿变化，即前一时间点与后一时间点之间的刚体变换，所以我们用机器人提供的位姿变化信息来初始化ICP算法的初值，这样就能保证ICP算法的准确性，减少ICP算法的迭代次数，提高了重建速度和效率的同时大大保证了重建结果的准确性。
[0024]在步骤S102中，进行语义建模，即，对室内场景三维表面重建进行分割聚类，得到场景的语义分割。
[0025]在这一步骤中，我们利用区域增长分割算法来对表面重建得到的结果进行语义分害I]，该算法根据平滑约束将足够近的点合并在一起，最后的输出就是一系列的点云类，每一类都是一个点云集合，该集合被视为是同一块平滑表面，该算法主要是比较点之间法向量的角度。该算法的工作流程包括以下步骤:
[0026](I)根据三维点的曲率值对它们进行排序，之所以要这样做的原因是区域增长是从最小曲率值的点开始的，拥有最小曲率值得点位于较平的区域；
[0027](2)算法选取最小曲率值的点将排过序的点云形成一个集合，称之为种子点；
[0028](3)对于种子点集合中的每一个点，算法寻找它的邻近点，主要是比较每一个邻近点和当前种子点的法向量夹角，如果该夹角低于设定的阈值则将该邻近点加到种子点所在的区域；
[0029](4)对每一个邻近点计算曲率；
[0030](5)如果曲率低于设定的阈值，那这一邻近点就加入种子点集合中，并将当前的种子点从集合中移除；
[0031](6)直到种子点集合为空，这就说明该区域已经增长完毕，应该进行另外一个区域的增长。
[0032]如果分割的结果不够理想，本系统也允许用户进行手工交互式分割。
[0033]接下来，进行功能性标注，涉及的步骤包括S103至S109，根据分割的结果，依据两个原则一针对“拥有较大面积垂直于地面的三维点云的物体(非墙面)，即柜子”进行“把手提取”分析和针对“拥有较大面积平行于地面的三维点云数据的物体(非屋顶)，即桌子”进行“平面提取”分析。
[0034]在步骤S103中，首先排除墙面、屋顶和地板，然后提取面积大于预设阈值的点云
口 O
[0035]室内场景常见的摆设家具基本是固定的，主要有立柜、桌子、沙发、茶几、椅子、电脑等组成。其中预设阈值可以设置为略小于茶几、桌面、或立柜的标准面积，即可提取出上述物体。
[0036]在步骤S104中，判断是否有垂直于地面的点云集合，目的是提取立柜等收纳作用的家具。
[0037]在步骤S105中，我们对符合这些条件的三维点云进行“把手”提取。
[0038]该提取算法主要结合稀疏几何结构以及表面反射性(强度)在立柜中寻找把手，对立柜的三维点云中的每一点选取邻域，并在邻域我们计算曲率，得到大部分点的曲率接近于O (因为这些点都在一个平面上)，而对于曲率陡然上升的点就很可能是“把手”。
[0039]在步骤S106中，机器人拉开把手，记录打开、关闭过程及内部结构，并进行功能性标注。
[0040]具体而言，得到把手位置后，利用机器人右手的末端抓取器对把手进行操作(打开，关闭)，并用左手抓握深度摄像机记录下打开、关闭的过程，再将深度摄像机伸入打开的柜门、抽屉中进行扫描。
[0041]在步骤S107中，判断是否有平行于地面的点云集合，目的是提取桌面。
[0042]对于桌子的平面特征,我们则采取随机抽样一致性(Random Sample Consensus,RANSAC)算法，该算法是一种从点集中抽取平面特征的稳健估计方法，其主要思想是:从观测值中随机抽取满足计算需要的样本，通过拟合剔除局外点(outliers)，构建由局内点(inliers)组成的子集。
[0043]本文采用RANSAC与ICP相结合的方法来提取激光点云中的局部平面特征，其具体步骤如下:
[0044]I)从点云中随机选择一个点P_l，利用P_1和它的两个邻域点P_2、P_3确定一个平面π，该平面的法向量记为η —；
[0045]2)对于数据集中的所有点X，若满足式I (χ-Ρ_1).ιΤ |〈 ε，则判断其属于局内点；
[0046]3)若局内点的数量达到某一阈值(根据实验的具体情况设定)，则进一步采用迭代最近点算法进行优化:所有局内点构成模型集Μ，它们在平面π上的投影构成数据集D，通过一定代数的迭代达到ICP误差函数的最小化。利用求得的坐标转换系数(R，t)，完成对局内点的平面拟合；
[0047]将上述局内点从原数据集中剔除掉，对剩余的点集重复步骤1-3，直至完成对点云中全部数据的计算。经过上述步骤完成了对全部激光数据的局部平面拟合，接下来还需将相邻的局部平面合并成一个完整的平面。两个局部平面的合并需要满足以下条件:①两平面间的夹角小于某一阈值；②两平面间的距离小于某一阈值。于是得到了桌子的平面所在。
[0048]在步骤S108中，得到桌子平面后，再对桌子上的点云进行欧几里得聚类(Euclidean Cluster Extraction),分割得到多个单独的物体,这些物体就是在这个桌子上可任意移动的物体。
[0049]在步骤S109中，移走单独的物体，记录被遮挡的部分，并进行功能性标注。
[0050]由于室内场景的复杂性、杂乱性，有时为获得某一物体的完整模型，机器人可以先移走桌面上的遮挡物体，再对被遮挡物体进行扫描，以期获得尽可能完整的场景模型。
[0051]在步骤SllO中，重构带功能性标注的室内场景的功能性模型，所述功能性标注处可以进行交互操作。
[0052]实施例2
[0053]请参阅图2，是本发明中室内场景的功能性建模系统的结构示意图。
[0054]该室内场景的功能性重建的系统，主要由双臂移动机器人10和深度摄像机20组成。
[0055]双臂移动机器人10拥有两条7自由度的手臂且各配有一个二指抓取器，其底盘为可全向移动平台，能在室内环境中自由移动。为了让机器人10牢牢抓住深度摄像机20，我们利用3D打印机设计制造了一个和深度摄像机底座适配的且易被机器人10抓取器握住的连接件，深度摄像机20就固定在这一连接件上。
[0056]其相互之间的协作关系如下:
[0057](I)室内场景功能性数据的获取，利用双臂移动机器人拿着深度摄像机在室内场景中移动获取场景的功能性信息；
[0058](2)控制器根据机器人末端抓取器的位姿变化，同时对获取到的功能性数据进行配准，使获取到的数据成为一个完整的整体；
[0059](3)控制器对得到的整体功能性模型数据进行预分割，得到一个个物体的功能性点云；并且确定天花板、地面、墙等基准室内环境组成部分的点云；
[0060](4)控制器针对拥有较大面积垂直于地面的功能性点云的物体(非墙面)，进行“把手提取”分析；得到把手所在后，机器人左手抓握深度摄像机，记录机器人右手的开关柜门动作，得到柜门打开和关闭的一系列点云数据，利用此连续帧点云数据重建柜门、抽屉等室内可操作物体的开、闭状态。
[0061](5)控制器针对拥有较大面积平行于地面的三维点云数据的物体进行平面提取，再对平面以上的点云进行欧几里得聚类，分割得到多个单独的物体。为获得某一物体的完整模型，机器人可以先移动遮挡物体，再对被遮挡物体进行扫描。
[0062](6)控制器得到一个带有功能标注(柜门、抽屉可打开关闭、桌面的物体可打开摆放移除)的三维室内场景模型，用户可直接操作移动该模型中带有功能标注的物体。
[0063]其中，控制器30可以为单独的设备，如由一台电脑进行人为协助，也可以设置在机器人10中，全程自动完成。
[0064]有益效果:
[0065]1.因为机器人系统能实时获取扫描仪的位姿变化，所以本发明和传统方法相比可以更快速、更高效、更鲁棒地重建室内场景(物体表面);
[0066]2.本发明能获取现有技术常常忽视的室内场景物体内部的功能性信息，并将其重建结果和物体外部表面进行结合，得到一个内外部就有重建结果的完整功能性模型；
[0067]3.本发明还能记录室内场景中可操作移动物体的运动状态(而这是现有技术没有涉及的)，并对可以移动、操作的物体进行功能性标注，最终得到一个功能性重建的室内模型。
[0068]以上所述仅是本发明的优选实施方式，应当指出，对于本【技术领域】的普通技术人员，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
【权利要求】
1.一种室内场景的功能性建模方法，通过机器人和深度摄像机进行取景和分析，其特征在于，包括如下步骤: (1)提取深度摄像机的位姿，融入到扩展迭代最近点(ICP)算法中，并依此对三维表面进行实时配准重建，获得室内场景三维表面重建； (2)对所述室内三维表面重建进行分割聚类，每一类都是一个点云集合，得到场景的语义分割； (3)排除墙面、屋顶和地板，提取面积大于预设阈值的点云集合； (4)判断步骤(3)中是否有垂直于地面的点云集合，如果没有，则跳到步骤(7)，如果有，则执行步骤(5)； (5)提取把手； (6)机器人拉开所述把手，记录打开、关闭过程及内部结构，并进行功能性标注； (7)判断步骤(3)中是否有平行于地面的点云集合，如果没有，则跳到步骤(10)，如果有，则执行步骤(8)； (8)进行欧几里得聚类，分割得到多个单独的物体； (9)移走单独的物体，记录被遮挡的部分，并进行功能性标注；及 (10)对步骤(I)、(2)、(6)、(9)进行汇总，得到室内场景的功能性模型。
2.如权利要求1所述的室内场景的功能性建模方法，其特征在于，在步骤⑴中，由所述机器人抓握所述深度摄像机，并提供所述深度摄像机的位姿，用以初始化所述ICP算法的初值。
3.如权利要求1所述的室内场景的功能性建模方法，其特征在于，在步骤(2)中，通过区域增长分割算法进行语义分割，根据平滑约束将距离小于阈值的点合并在一起，并输出一系列的点云类，每一类都是一个点云集合。
4.如权利要求3所述的室内场景的功能性建模方法，其特征在于，在步骤⑵中，还可以通过辅助程序进行手工交互的分割。
5.如权利要求1所述的室内场景的功能性建模方法，其特征在于，在步骤(5)中，结合稀疏几何结构以及表面反射性来确定所述把手。
6.如权利要求5所述的室内场景的功能性建模方法，其特征在于，在步骤(5)中，对垂直于地面的点云集合中的每一点选取邻域，并在邻域中计算曲率，并对于曲率上升幅度大于阈值的点就视为把手。
7.如权利要求1所述的室内场景的功能性建模方法，其特征在于，在步骤(7)中，对于所述平行于地面的点云集合的平面特征，采取随机抽样一致性(Random SampleConsensus, RANSAC)算法集。
【文档编号】G06T17/00GK103914875SQ201410154913
【公开日】2014年7月9日 申请日期:2014年4月17日 优先权日:2014年4月17日
【发明者】黄惠, 龙品辛 申请人:中国科学院深圳先进技术研究院