法进行扰动，这是由于在现实世界场景中，大件的物体位置一般很少发生移动，而小件物体则会经常发生随意的移动或转向。
[0058]举例来说，对于一张餐桌与四把椅子的位置关系而言，有可能其中两把椅子靠紧餐桌摆放，另外两把则离餐桌有一定距离，同时对于离餐桌有一定距离的两把椅子其中一把有可能是正对的餐桌摆放，另一把则斜对着餐桌摆放。
[0059]并且，从扰动后的模型中提取物体之间的语义关系，采用贝叶斯网络模型表示。
[0060]优选的，由于根据所述RGB-D图像获得的场景点云往往是整个场景的整体点云，而在模型库中则为具体单个物体的模型，为了能够准确的找到视觉上逼真的物体模型，则需要对场景点云不断进行匹配、分割、再匹配的操作。所述将所述场景点云与所述模型库中的模型进行匹配方法的步骤，包括:
[0061]采用自顶向下的匹配方法识别场景点云，并判断是否满足预设的置信度，若是则将所述场景点云与识别出的物体模型进行匹配；
[0062]否则，将所述场景点云分割成不可能属于同一物体的两个以上部分；
[0063]将分割后得到的场景点云重复执行上述步骤。
[0064]举例来说，假如目标场景点云为一张餐桌与四把椅子，在进行第一次匹配后没有找到准确的模型，则将点云分割成一把椅子点云和一张餐桌与三把椅子点云两部分，这样在第二次匹配中即可找到一把椅子的模型相匹配。重复执行上述步骤则最终可将得到一张餐桌与四把椅子的场景模型。
[0065]为了能够简化场景点云的分割，本实施例还提供了一种场景点云的分割方法，具体包括:
[0066]采用RANSAC方法检测所述场景点云中的平面，然后将检测得到的平面删除，根据连通性对删除所述平面后得到的场景点云进行过分割。
[0067]例如在上述一张餐桌与四把椅子的场景点云中，首先采用RANSAC方法检测所述场景点云中的平面，得到最符合条件的平面即是地面，然后将该地面删除，删除地面之后餐桌与四把椅子之间由于没有共同的连通部分，则独立成为五个不同的个体，因此很容易便可得到一张餐桌点云与每把椅子的场景点云。
[0068]如图3所示为采用本实施例提供的一种基于低质量GRB-D数据的场景恢复方法获得的室内场景模型的效果示意图
[0069]本实施例提供的一种基于低质量GRB-D数据的场景恢复方法，通过首先根据语义关系以及点云分类器恢复出场景中的主要物体模型，然后从对应的彩色图像准确的提取出小物体的轮廓，采用轮廓检索方法来帮助恢复细小物体。这样极大提高了从低质量RGB-D图像序列中恢复三维模型的准确率，实现了在不需要人工干预的前提下自动恢复出语义上正确的、视觉上逼真的虚拟三维场景模型。
[0070]另一方面，如图4所示，本实施例提供的一种基于低质量GRB-D数据的场景恢复装置，包括:
[0071]图像处理模块101，用于获取RGB-D图像，并对所述RGB-D图像进行拼接，得到过分割拼接后的场景点云；
[0072]点云匹配模块102，用于根据语义关系以及点云分类器，将所述场景点云与模型库中的模型进行匹配；所述语义关系为从扰动后的模型中提取得到的物体之间的语义关系，所述点云分类器为针对每一类别的物体模型分别训练出基于点云的分类器；
[0073]轮廓匹配模块103，用于提取所述场景点云中未能匹配模型的小物体的轮廓，根据所述语义关系与所述模型库中的模型进行轮廓匹配。
[0074]优选的，所述装置还包括:
[0075]语义关系模块，用于对模型库中的模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之间的语义关系；
[0076]点云分类器模块，用于针对所述模型库中每一类别的物体模型分别训练出点云分类器。
[0077]进一步地，所述语义关系模块具体用于:
[0078]多次更新模型库中小物体模型的位置和朝向对所述模型库中的模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之间的语义关系。
[0079]进一步地，所述点云匹配模块，具体用于:
[0080]根据语义关系以及点云分类器，采用自顶向下的匹配方法识别场景点云，并判断是否满足预设的置信度，若是则将所述场景点云与识别出的物体模型进行匹配；
[0081]否则，将所述场景点云分割成不可能属于同一物体的两个以上部分；
[0082]将分割后得到的场景点云重复执行上述步骤。
[0083]进一步地，所述点云匹配模块，还用于:
[0084]采用RANSAC方法检测所述场景点云中的平面，然后将检测得到的平面删除，根据连通性对删除所述平面后得到的场景点云进行过分割。
[0085]本发明提供的一种基于低质量GRB-D数据的场景恢复装置，首先通过点云匹配模块，根据语义关系以及点云分类器恢复出场景中的主要物体模型；然后通过轮廓匹配模块，从对应的彩色图像准确的提取出小物体的轮廓，采用轮廓检索方法来帮助恢复细小物体。这样极大提高了从低质量RGB-D图像序列中恢复三维模型的准确率，实现了在不需要人工干预的前提下自动恢复出语义上正确的、视觉上逼真的虚拟三维场景模型。
[0086]虽然结合附图描述了本发明的实施方式，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
【主权项】
1.一种基于低质量GRB-D数据的场景恢复方法，其特征在于，所述方法包括: 获取RGB-D图像，并对所述RGB-D图像进行拼接，得到过分割拼接后的场景点云； 根据语义关系以及点云分类器，将所述场景点云与模型库中的模型进行匹配；所述语义关系为从扰动后的模型中提取得到的物体之间的语义关系，所述点云分类器为针对每一类别的物体模型分别训练出基于点云的分类器； 提取所述场景点云中未能匹配模型的小物体的轮廓，根据所述语义关系与所述模型库中的模型进行轮廓匹配。2.根据权利要求1所述的方法，其特征在于，在所述获取RGB-D图像的步骤之前，所述方法还包括: 对模型库中的模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之间的语义关系； 针对所述模型库中每一类别的物体模型分别训练出点云分类器。3.根据权利要求2所述的方法，其特征在于，所述对模型库中的模型进行模拟现实世界场景的扰动的步骤，包括: 多次更新模型库中小物体模型的位置和朝向对所述模型库中的模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之间的语义关系。4.根据权利要求1至3任一项所述的方法，其特征在于，所述将所述场景点云与所述模型库中的模型进行匹配的步骤，包括: 采用自顶向下的匹配方法识别场景点云，并判断是否满足预设的置信度，若是则将所述场景点云与识别出的物体模型进行匹配； 否则，将所述场景点云分割成不可能属于同一物体的两个以上部分； 将分割后得到的场景点云重复执行上述步骤。5.根据权利要求4所述的方法，其特征在于，所述将所述场景点云分割成不可能属于同一物体的两个以上部分的步骤，包括: 采用RANSAC方法检测所述场景点云中的平面，然后将检测得到的平面删除，根据连通性对删除所述平面后得到的场景点云进行过分割。6.一种基于低质量GRB-D数据的场景恢复装置，其特征在于，所述装置包括: 图像处理模块，用于获取RGB-D图像，并对所述RGB-D图像进行拼接，得到过分割拼接后的场景点云； 点云匹配模块，用于根据语义关系以及点云分类器，将所述场景点云与模型库中的模型进行匹配；所述语义关系为从扰动后的模型中提取得到的物体之间的语义关系，所述点云分类器为针对每一类别的物体模型分别训练出基于点云的分类器； 轮廓匹配模块，用于提取所述场景点云中未能匹配模型的小物体的轮廓，根据所述语义关系与所述模型库中的模型进行轮廓匹配。7.根据权利要求6所述的装置，其特征在于，所述装置还包括: 语义关系模块，用于对模型库中的模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之间的语义关系； 点云分类器模块，用于针对所述模型库中每一类别的物体模型分别训练出点云分类器。8.根据权利要求7所述的装置，其特征在于，所述语义关系模块具体用于: 多次更新模型库中小物体模型的位置和朝向对所述模型库中的模型进行模拟现实世界场景的扰动，并从扰动后的模型中提取物体之间的语义关系。9.根据权利要求6至8任一项所述的装置，其特征在于，所述点云匹配模块，具体用于: 根据语义关系以及点云分类器，采用自顶向下的匹配方法识别场景点云，并判断是否满足预设的置信度，若是则将所述场景点云与识别出的物体模型进行匹配； 否则，将所述场景点云分割成不可能属于同一物体的两个以上部分； 将分割后得到的场景点云重复执行上述步骤。10.根据权利要求9所述的装置，其特征在于，所述点云匹配模块，还用于: 采用RANSAC方法检测所述场景点云中的平面，然后将检测得到的平面删除，根据连通性对删除所述平面后得到的场景点云进行过分割。
【专利摘要】本发明涉及三维建模技术领域，特别是涉及一种基于低质量GRB-D数据的场景恢复方法及装置。本发明提供的一种基于低质量GRB-D数据的场景恢复方法及装置，通过首先根据语义关系以及点云分类器恢复出场景中的主要物体模型，然后从对应的彩色图像准确的提取出小物体的轮廓，采用轮廓检索方法来帮助恢复细小物体。这样极大提高了从低质量RGB-D图像序列中恢复三维模型的准确率，实现了在不需要人工干预的前提下自动恢复出语义上正确的、视觉上逼真的虚拟三维场景模型。
【IPC分类】G06T17/00, G06K9/62
【公开号】CN105469103
【申请号】CN201410461249
【发明人】胡事民, 陈康, 吴育昕
【申请人】清华大学
【公开日】2016年4月6日
【申请日】2014年9月11日