基于低质量grb-d数据的场景恢复方法及装置的制造方法
【技术领域】
[0001]本发明涉及三维建模技术领域，特别是涉及一种基于低质量GRB-D数据的场景恢复方法及装置。
【背景技术】
[0002]随着互联网上三维模型数量的增加(例如Google 3D Warehouse等模型库)以及模型检索技术的发展，即使是没有任何专业技术背景的普通人也可以通过搜索和摆放模型来构建室内三维场景模型。尤其是在消费级深度相机(如Microsoft Kinect)普及后，室内场景点云采集的成本越来越低，数字化构建虚拟室内场景的需求变得越来越旺盛。
[0003]传统的三维重建方法，其目标是精确地恢复出物体的几何结构；而通过模型库中的虚拟三维模型来匹配点云的方法则更强调利用点云检索出语义上正确的、视觉上符合标准的模型。这种新兴的重建方法被成为语义重建。
[0004]现有的语义重建方法要么需要大量人工交互，比如“An interactive approachto semantic modeling of indoor scenes with an RGBD camera( 一种从 RGBD 相机中恢复室内场景的交互方法)”，需要人工的分割，选择和摆放模型；要么对采集设备的精度有着较高的要求，比如 “A search-classify approach for cluttered indoor sceneunderstanding( 一种基于“搜索-分类”模式的复杂室内场景理解)”。
【发明内容】
[0005]针对现有技术中需要大量人工交互以及对采集设备精度要求高的缺陷，本发明提供了一种基于低质量GRB-D数据的场景恢复方法及装置。
[0006]一方面，本发明提供一种基于低质量GRB-D数据的场景恢复方法，包括:
[0007]获取RGB-D图像，并对所述RGB-D图像进行拼接，得到过分割拼接后的场景点云；
[0008]根据语义关系以及点云分类器，将所述场景点云与模型库中的模型进行匹配；所述语义关系为从扰动后的模型中提取得到的物体之间的语义关系，所述点云分类器为针对每一类别的物体模型分别训练出基于点云的分类器；
[0009]提取所述场景点云中未能匹配模型的小物体的轮廓，根据所述语义关系与所述模型库中的模型进行轮廓匹配。
[0010]进一步地，在所述获取RGB-D图像的步骤之前，所述方法还包括:
[0011]对模型库中的模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之间的语义关系；
[0012]针对所述模型库中每一类别的物体模型分别训练出点云分类器。
[0013]进一步地，所述对模型库中的模型进行模拟现实世界场景的扰动的步骤，包括:
[0014]多次更新模型库中小物体模型的位置和朝向对所述模型库中的模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之间的语义关系。
[0015]进一步地，所述将所述场景点云与所述模型库中的模型进行匹配的步骤，包括:
[0016]采用自顶向下的匹配方法识别场景点云，并判断是否满足预设的置信度，若是则将所述场景点云与识别出的物体模型进行匹配；
[0017]否则，将所述场景点云分割成不可能属于同一物体的两个以上部分；
[0018]将分割后得到的场景点云重复执行上述步骤。
[0019]进一步地，所述将所述场景点云分割成不可能属于同一物体的两个以上部分的步骤，包括:
[0020]采用RANSAC方法检测所述场景点云中的平面，然后将检测得到的平面删除，根据连通性对删除所述平面后得到的场景点云进行过分割。
[0021]另一方面，本发明还提供一种基于低质量GRB-D数据的场景恢复装置，包括:
[0022]图像处理模块，用于获取RGB-D图像，并对所述RGB-D图像进行拼接，得到过分割拼接后的场景点云；
[0023]点云匹配模块，用于根据语义关系以及点云分类器，将所述场景点云与模型库中的模型进行匹配；所述语义关系为从扰动后的模型中提取得到的物体之间的语义关系，所述点云分类器为针对每一类别的物体模型分别训练出基于点云的分类器；
[0024]轮廓匹配模块，用于提取所述场景点云中未能匹配模型的小物体的轮廓，根据所述语义关系与所述模型库中的模型进行轮廓匹配。
[0025]进一步地，所述装置还包括:
[0026]语义关系模块，用于对模型库中的模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之间的语义关系；
[0027]点云分类器模块，用于针对所述模型库中每一类别的物体模型分别训练出点云分类器。
[0028]进一步地，所述语义关系模块具体用于:
[0029]多次更新模型库中小物体模型的位置和朝向对所述模型库中的模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之间的语义关系。
[0030]进一步地，所述点云匹配模块，具体用于:
[0031]根据语义关系以及点云分类器，采用自顶向下的匹配方法识别场景点云，并判断是否满足预设的置信度，若是则将所述场景点云与识别出的物体模型进行匹配；
[0032]否则，将所述场景点云分割成不可能属于同一物体的两个以上部分；
[0033]将分割后得到的场景点云重复执行上述步骤。
[0034]进一步地，所述点云匹配模块，还用于:
[0035]采用RANSAC方法检测所述场景点云中的平面，然后将检测得到的平面删除，根据连通性对删除所述平面后得到的场景点云进行过分割。
[0036]本发明提供的一种基于低质量GRB-D数据的场景恢复方法及装置，通过首先根据语义关系以及点云分类器恢复出场景中的主要物体模型，然后从对应的彩色图像准确的提取出小物体的轮廓，采用轮廓检索方法来帮助恢复细小物体。这样极大提高了从低质量RGB-D图像序列中恢复三维模型的准确率，实现了在不需要人工干预的前提下自动恢复出语义上正确的、视觉上逼真的虚拟三维场景模型。
【附图说明】
[0037]通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中:
[0038]图1是本发明一个实施例中一种基于低质量GRB-D数据的场景恢复方法的流程示意图；
[0039]图2是本发明一个实施例中一种基于低质量GRB-D数据的场景恢复方法的过程示意图；
[0040]图3是本发明一个实施例中一种基于低质量GRB-D数据的场景恢复方法的效果示意图；
[0041]图4是本发明一个实施例中一种基于低质量GRB-D数据的场景恢复装置的结构示意图。
【具体实施方式】
[0042]现结合附图和实施例对本发明技术方案作进一步详细阐述。
[0043]图1示出了本实施例中一种基于低质量GRB-D数据的场景恢复方法的流程示意图，如图1所示，本实施例提供的一种基于低质量GRB-D数据的场景恢复方法，包括:
[0044]SI，获取RGB-D图像，并对所述RGB-D图像进行拼接，得到过分割拼接后的场景点云。
[0045]举例来说，对于一组目标场景的RGB-D图像，既包括RGB (彩色)图像信息，也包括D印th(深度)图像信息，根据图像的D印th图像信息可以通过计算机将这组图像过分割后拼接成一个完整的场景点云。
[0046]S2，根据语义关系以及点云分类器，将所述场景点云与模型库中的模型进行匹配；所述语义关系为从扰动后的模型中提取得到的物体之间的语义关系，所述点云分类器为针对每一类别的物体模型分别训练出基于点云的分类器。
[0047]S3，提取所述场景点云中未能匹配模型的小物体的轮廓，根据所述语义关系与所述模型库中的模型进行轮廓匹配。
[0048]在具体实施过程中，对于场景中诸如桌子与椅子、写字台与电脑、沙发与茶几或者床与床头柜之类的大件物体，根据语义关系以及点云分类器可以很容易的在所述模型库中匹配找到相应的物体模型。
[0049]但是，由于消费级深度相机采集的深度信息质量较差，深度信息在一些具有反光材质的物体表面常常缺失，分辨率也不足以描述一些小物体，如鼠标、铅笔或小勺等。为此，需要从对应的彩色图像提取出小物体的轮廓，通过轮廓检索方法来帮助恢复细小物体。
[0050]优选的，在所述获取RGB-D图像的步骤之前，所述方法还包括:
[0051]S01，对模型库中的模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之间的语义关系；
[0052]S02，针对所述模型库中每一类别的物体模型分别训练出点云分类器。
[0053]事实上，在现实世界场景中的物体之间总是存在着很明显的语义关系，例如，椅子经常出现在桌子周围，笔记本经常放置在写字台上等，而充分利用这些语义关系则可以极大的提高场景中模型的检索正确率。
[0054]同时，由于大部分的人造场景模型中物体模型总是跟坐标轴对齐的，导致人造场景模型中的物体大部分都是互相平行或垂直的，不符合现实世界中物体之间位置关系。为此，我们首先需要对模型库中的模型进行模拟现实世界场景的扰动。
[0055]如图2所示，是采用本实施例上述方法来实现的一个室内场景恢复的具体过程示意图。
[0056]进一步地，在所述步骤SOl中，所述对模型库中的模型进行模拟现实世界场景的扰动的步骤，包括:多次更新模型库中小物体模型的位置和朝向对所述模型库中的模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之间的语义关系。
[0057]在具体实施过程中，为了能够使得所述模型库中的物体模型位置关系更接近现实世界场景，可以采用对小物体随机次数迭代更新其位置及其方向的方