专利名称：室内场景的分类与重建方法及系统的制作方法
技术领域：
本发明涉及一种三维点云分类与重建方法，特别是涉及一种室内场景的分类与重建方法及系统。
背景技术：
构建室内外场景的三维模型是现实世界三维数字化的主要内容。在城市建设规划、决策与应急指挥、虚拟现实、影视制作及电脑游戏等方面具有重要的意义。例如三维模型可以应用于高层建筑火灾的应急救援和人群疏散、气体污染物泄露扩散、“数字噪声地图”的城市噪音仿真模拟等。传统的二维城市管理系统是无法解决这些实际应用问题的，而这些应用正是提高城市中人们安全保障和生活质量的有效途径。在这些需求的推动下，美、欧、日、韩等国家已经投入巨资开始有关城市场景建模和感知的研究。现有的大部分研究工作主要针对室外场景，研究对象主要包括建筑物、树木、道路等，而鲜有针对室内场景的研究。然而在现实中，室内场景作为人类生活的主要场所，与室外场景相比有更重要的地位，·在城市生活的方方面面也发挥着重要的作用。对室内场景的研究能够极大地推动城市管理和相关服务(例如公共安全、室内定位、导航等)向智能化、智慧化的方向发展。传统常用的室内场景三维重建方法是基于图像和扫描数据的混合三维重建方法。该室内场景三维重建方法结合图像和扫描数据，利用图像数据补充激光扫描仪未能获取的信息，同时扫描数据保证几何精度并为立体图像的匹配提供场景结构信息。该室内场景三维重建方法的主要流程如下首先将三维扫描数据分割为一系列点集，并平面拟合所得点集；然后将属于每一个空间平面的三维点分别投影到两幅图像上，拟合对应于该空间平面的视差层；然后通过立体匹配找出主图像中各个像素点所属的空间平面；再在扫描数据缺失区域添加三维顶点，最后生成网格模型。传统的室内场景三维重建方法的主要目标是重建场景的三维几何模型，重建结果并不包含室内场景语义的描述。这给后续重建好的三维模型的使用、编辑等操作带来不便，降低了操作效率。
发明内容
基于此，有必要提供一种室内场景的分类与重建方法及系统，使用该室内场景的分类与重建方法所重建好的室内场景进行了分割与识别，被分割与识别的物体具有确定的语义信息，从而方便后续对重建好的室内场景进行编辑与使用，以提高操作效率。一种室内场景的分类与重建方法，包括以下步骤对需要重建的三维点云进行过分割处理，得到多个光滑的初级曲面片；将相邻的N个初级曲面片组成次级曲面片，其中N为自然数；选取多个次级曲面片作为种子，根据预先构建的室内场景分类器筛选初级曲面片加入次级曲面片形成有意义的物体；利用预先建立的模型库中的模板拟合有意义的物体得到有意义的物体的三维模型。在其中一个实施例中，所述对需要重建的三维点云进行过分割处理，得到多个光滑的初级曲面片的步骤之前还包括对三维点云的形状特征进行提取与训练得到所述室内场景分类器的步骤。在其中一个实施例中，所述通过对三维点云的形状特征进行人工提取与训练得到室内场景分类器的步骤之后还包括对需要重建的三维点云进行增强处理的步骤。在其中一个实施例中，所述利用预先建立的模型库中的模板拟合有意义的物体得到有意义的物体的三维模型的步骤之后还包括删除被错误分割出来的初级曲面片及合并相互重合的初级曲面片的步骤。在其中一个实施例中，所述选取多个次级曲面片作为种子，根据预先构建的室内场景分类器筛选初级曲面片加入次级曲面片形成有意义的物体的步骤包括选取多个次级曲面片作为种子；向每个次级曲面片中加入与每个次级曲面片相邻的所有初级曲面片；利用室内场景分类器检测每加入一个相邻的初级曲面片后形成的次级曲面片的置信度；选择置信度最高的一个次级曲面片作为新的次级曲面片；利用室内场景分类器比较新的次级曲面片与上一次形成的次级曲面片的置信度，当新的次级曲面片的置信度小于上一次形成的 次级曲面片的置信度时，结束操作，以最后形成的次级曲面片作为有意义的物体，否则返回向每个次级曲面片中加入与每个次级曲面片相邻的所有初级曲面片的步骤。在其中一个实施例中，所述选取多个次级曲面片作为种子的步骤中所选取的多个次级曲面片是表面面积较大的次级曲面片。在其中一个实施例中，所述将形成的有意义的物体与模型库中的模板进行拟合得到有意义的物体的三维模型的步骤包括根据得到的每一个有意义的物体在模型库中分别选出对应于每一个有意义的物体的全部模板；将每一个有意义的物体的全部模板分别进行非刚性变形，以使有意义的物体到变形后的模板的单向平均距离最小；选取变形后的模板到有意义的物体的单向平均距离最小的一个模板替代三维点云中的有意义的物体。在其中一个实施例中，所述室内场景分类器是由随机决策森林分类器生成的。在其中一个实施例中，所述相邻的N个初级曲面片中任何两个相邻的初级曲面片之间的距离小于15厘米。一种室内场景的分类与重建系统，包括过分割模块，用于对需要重建的三维点云进行过分割处理，得到多个光滑的初级曲面片；组合模块，用于将相邻的N个初级曲面片组成次级曲面片，其中N为自然数；生长模块，用于选取多个次级曲面片作为种子，根据预先构建的室内场景分类器筛选初级曲面片加入次级曲面片形成有意义的物体；拟合模块，用于利用预先建立的模型库中的模板拟合有意义的物体得到有意义的物体的三维模型。在其中一个实施例中，所述室内场景的分类与重建系统还包括分类器生成模块，用于对三维点云的形状特征进行提取与训练得到所述室内场景分类器。在其中一个实施例中，所述室内场景的分类与重建系统还包括调整模块，用于删除被错误分割出来的初级曲面片及合并相互重合的初级曲面片。在其中一个实施例中，所述生长模块包括曲面片选取模块，用于选取多个次级曲面片作为种子；添加模块，用于向每个次级曲面片中加入与每个次级曲面片相邻的所有初级曲面片；检测模块，用于利用室内场景分类器检测每加入一个相邻的初级曲面片后形成的次级曲面片的置信度；筛选模块，用于选择置信度最高的一个次级曲面片作为新的次级曲面片；判断模块，用于利用室内场景分类器比较新的次级曲面片与上一次形成的次级曲面片的置信度，当新的次级曲面片的置信度小于上一次形成的次级曲面片的置信度时，结束操作，以最后形成的次级曲面片作为有意义的物体，否则继续向每个次级曲面片中加入与每个次级曲面片相邻的所有初级曲面片的。在其中一个实施例中，所述拟合模块包括模板选择模块，用于根据得到的每一个有意义的物体在模型库中分别选出对应于每一个有意义的物体的全部模板；变形模块，用于将每一个有意义的物体的全部模板分别进行非刚性变形，以使有意义的物体到变形后的模板的单向平均距离最小；替换模块，用于选取变形后的模板到有意义的物体的单向平均距离最小的一个模板替代三维点云中的有意义的物体。上述室内场景的分类与重建方法及系统先将三维点云进行分割处理而得到很多个曲面片，然后将分割得到的曲面片通过室内场景分类器不断添加与其相邻的曲面·片以得到一个有意义的物体，最后将得到的有意义的物体与模型库中的模板进行拟合与处理就可实现室内场景的重建。由于重建的室内场景是由有意义的物体组成，所以重建好的室内场景就具有语义信息，这样该室内场景也就可以为后续的编辑与使用带来方便，以提高操作效率。
图I为一个实施例的室内场景的分类与重建方法流程图；图2为选取多个次级曲面片作为种子，根据室内场景分类器筛选初级曲面片加入次级曲面片形成有意义的物体的方法的流程图；图3为将形成的有意义的物体与模型库中的模板进行拟合的方法的流程图；图4为一个实施例的室内场景的分类与重建系统的内部结构示意图。
具体实施例方式请参考图1，本发明的一个实施例提供一种较为详细的室内场景的分类与重建方法。该室内场景的分类与重建方法包括以下步骤步骤S120，对需要重建的三维点云进行过分割处理，得到多个光滑的初级曲面片。步骤S130，将相邻的N个初级曲面片组成次级曲面片，其中N为自然数。步骤S140，选取多个次级曲面片作为种子，根据预先构建的室内场景分类器筛选初级曲面片加入次级曲面片形成有意义的物体。步骤S150，利用预先建立的模型库中的模板拟合有意义的物体得到有意义的物体的三维模型。步骤S160，删除被错误分割出来的初级曲面片及合并相互重合的初级曲面片。其中，有意义的物体是指具有确定意义，现实中存在的物体，而不只是一个物体的一部分。例如可以是椅子、桌子、花瓶等，而不是椅子、桌子、花瓶等的没有具体名字的一部分。模型库是由许多模板组成的，模板是一个个具体物体的三维模型，例如模板是椅子、桌子、花瓶等的三维模型。模型库中一类物体一般有多个模板，例如桌子这类物体在模型库中可以有多个模板与其相对应，且各个模板的形状不同，即为不同的桌子。具体的，在该实施例中，该室内场景的分类与重建方法首先执行步骤S110，通过对三维点云的形状特征进行人工提取与训练得到室内场景分类器。
该步骤SllO主要是通过对大量手工标注场景进行训练得到室内场景分类器。在该步骤SllO中，首先利用扫描仪获取足够多的室内场景的物体数据，一般要求每类物体至少100个；然后人工对每个物体进行分割与标注，这些标注好的场景将作为训练分类器的数据集；最后训练得到所需要的室内场景分类器。为了对原始扫描的物体数据(此处的数据为点云数据)进行分割，需要针对室内场景中扫描得到的物体定义一套具有良好区分度和差异性的描述特征。此处，首先，通过对物体数据中主要水平面进行提取，获得地面信息(也可以手工辅助完成)。然后，将物体沿水平方向均匀地分割为三个部分，分别为底部、中部、顶部。此处为了描述这个物体我们采用了一些几何特征，其中所用的几何特征定义如下该物体的高度为Bh，宽度(或者长度)为Bh，深度(或者宽度)为Bd。该物体的高度与横截面尺寸之比
权利要求
1.一种室内场景的分类与重建方法，包括以下步骤 对需要重建的三维点云进行过分割处理，得到多个光滑的初级曲面片； 将相邻的N个初级曲面片组成次级曲面片，其中N为自然数； 选取多个次级曲面片作为种子，根据预先构建的室内场景分类器筛选初级曲面片加入次级曲面片形成有意义的物体； 利用预先建立的模型库中的模板拟合有意义的物体得到有意义的物体的三维模型。
2.根据权利要求I所述的室内场景的分类与重建方法，其特征在于，所述对需要重建的三维点云进行过分割处理，得到多个光滑的初级曲面片的步骤之前还包括对三维点云的形状特征进行提取与训练得到所述室内场景分类器的步骤。
3.根据权利要求2所述的室内场景的分类与重建方法，其特征在于，所述通过对三维点云的形状特征进行人工提取与训练得到室内场景分类器的步骤之后还包括对需要重建的三维点云进行增强处理的步骤。
4.根据权利要求I所述的室内场景的分类与重建方法，其特征在于，所述利用预先建立的模型库中的模板拟合有意义的物体得到所述有意义的物体的三维模型的步骤之后还包括删除被错误分割出来的初级曲面片及合并相互重合的初级曲面片的步骤。
5.根据权利要求I所述的室内场景的分类与重建方法，其特征在于，所述选取多个次级曲面片作为种子，根据预先构建的室内场景分类器筛选初级曲面片加入次级曲面片形成有意义的物体的步骤包括 选取多个次级曲面片作为种子； 向每个次级曲面片中加入与每个次级曲面片相邻的所有初级曲面片； 利用室内场景分类器检测每加入一个相邻的初级曲面片后形成的次级曲面片的置信度； 选择置信度最高的一个次级曲面片作为新的次级曲面片； 利用室内场景分类器比较新的次级曲面片与上一次形成的次级曲面片的置信度，当新的次级曲面片的置信度小于上一次形成的次级曲面片的置信度时，结束操作，以最后形成的次级曲面片作为有意义的物体，否则返回向每个次级曲面片中加入与每个次级曲面片相邻的所有初级曲面片的步骤。
6.根据权利要求5所述的室内场景的分类与重建方法，其特征在于，所述选取多个次级曲面片作为种子的步骤中所选取的多个次级曲面片是表面面积较大的次级曲面片。
7.根据权利要求I至6中任一权利要求所述的室内场景的分类与重建方法，其特征在于，所述将形成的有意义的物体与模型库中的模板进行拟合得到有意义的物体的三维模型的步骤包括 根据得到的每一个有意义的物体在模型库中分别选出对应于每一个有意义的物体的全部模板； 将每一个有意义的物体的全部模板分别进行非刚性变形，以使有意义的物体到变形后的模板的单向平均距离最小； 选取变形后的模板到有意义的物体的单向平均距离最小的一个模板替代三维点云中的有意义的物体。
8.根据权利要求I至6中任一权利要求所述的室内场景的分类与重建方法，其特征在于，所述室内场景分类器是由随机决策森林分类器生成的。
9.根据权利要求I至6中任一权利要求所述的室内场景的分类与重建方法，其特征在于，所述相邻的N个初级曲面片中任何两个相邻的初级曲面片之间的距离小于15厘米。
10.一种室内场景的分类与重建系统，其特征在于，包括 过分割模块，用于对需要重建的三维点云进行过分割处理，得到多个光滑的初级曲面片; 组合模块，用于将相邻的N个初级曲面片组成次级曲面片，其中N为自然数； 生长模块，用于选取多个次级曲面片作为种子，根据预先构建的室内场景分类器筛选初级曲面片加入次级曲面片形成有意义的物体； 拟合模块，用于利用预先建立的模型库中的模板拟合有意义的物体得到所述有意义的物体的三维模型。
11.根据权利要求10所述的室内场景的分类与重建系统，其特征在于，所述室内场景的分类与重建系统还包括分类器生成模块，用于对三维点云的形状特征进行提取与训练得到所述室内场景分类器。
12.根据权利要求10所述的室内场景的分类与重建系统，其特征在于，所述室内场景的分类与重建系统还包括调整模块，用于删除被错误分割出来的初级曲面片及合并相互重合的初级曲面片。
13.根据权利要求10所述的室内场景的分类与重建系统，其特征在于，所述生长模块包括 曲面片选取模块，用于选取多个次级曲面片作为种子； 添加模块，用于向每个次级曲面片中加入与每个次级曲面片相邻的所有初级曲面片； 检测模块，用于利用室内场景分类器检测每加入一个相邻的初级曲面片后形成的次级曲面片的置信度； 筛选模块，用于选择置信度最高的一个次级曲面片作为新的次级曲面片； 判断模块，用于利用室内场景分类器比较新的次级曲面片与上一次形成的次级曲面片的置信度，当新的次级曲面片的置信度小于上一次形成的次级曲面片的置信度时，结束操作，以最后形成的次级曲面片作为有意义的物体，否则继续向每个次级曲面片中加入与每个次级曲面片相邻的所有初级曲面片的。
14.根据权利要求10所述的室内场景的分类与重建系统，其特征在于，所述拟合模块包括 模板选择模块，用于根据得到的每一个有意义的物体在模型库中分别选出对应于每一个有意义的物体的全部模板； 变形模块，用于将每一个有意义的物体的全部模板分别进行非刚性变形，以使有意义的物体到变形后的模板的单向平均距离最小； 替换模块，用于选取变形后的模板到有意义的物体的单向平均距离最小的一个模板替代三维点云中的有意义的物体。
全文摘要
本发明提供一种室内场景的分类与重建方法及系统。该方法先将三维点云进行分割处理而得到很多个曲面片，然后在分割得到的曲面片上利用室内场景分类器不断添加与其相邻的曲面片以得到一个有意义的物体，最后将得到的有意义的物体与模型库中的模板进行拟合与处理得到重建好的室内场景。由于重建的室内场景是由有意义的物体组成，所以重建好的室内场景就具有语义信息，这样该室内场景也就可以为后续的编辑与使用带来方便。
文档编号G06K9/62GK102945567SQ20121040127
公开日2013年2月27日 申请日期2012年10月19日 优先权日2012年10月19日
发明者南亮亮, 谢科, 黄惠, 陈宝权 申请人:深圳先进技术研究院