室内场景扫描重建的方法及装置的制造方法
【技术领域】
[0001] 本发明涉及三维扫描重建技术领域，特别涉及一种室内场景扫描重建的方法及装 置。
【背景技术】
[0002] 目前，三维重建技术一直是计算机视觉和计算机图形学领域研究的重点。从最初 的对三维空间中一个点的三维重建到对某个特定物体的三维重建，再到对整个室内场景乃 至整个城市的三维重建，三维重建的研究取得了长足的发展和进步，且已经应用到了人类 日常生活的方方面面，例如：3D打印、数字博物馆、视觉跟踪、地形导航等。对于三维场景建 模来说，数字化再现技术可以方便的处理和分析周围的环境信息，使得现实场景能在每个 角度看清细节，最终使得不论是人类还是机器人，都可以解读所在的周边环境。现如今，随 着科技的迅速发展各种3D测量设备随之出现，3D各场景的重建有了更多方法和途径。场景 从一开始的简单的小型物体到复杂的大型室内外场景，使得人们生活愈加享受到3D重建 带来的优越。
[0003] 近年来，对大范围室内场景进行数字化的研究受到了越来越多的关注。真实场景 的数字化，可以让我们可以在不同视角下充分观察欣赏场景的各个部分。近年来，多种三维 测量设备的迅速发展也为三维场景重构提供了更多的实现手段。但是由于室内场景中各种 物体间的互相遮挡，或数据获取装置自身的物理限制等原因，利用传统的室内场景三维重 建及分割方法很难得到一个完整、较高精度的环境模型，且重建得到三维模型往往功能意 义不明确，用户也无法与之交互。要想得到有明确意义的室内场景模型，我们需要对扫描重 建得到地结果进行分割，但由于室内场景情况复杂、遮挡严重，使得完全使用软件算法的分 割方法极具挑战性。如果在后续工作中想将此重建模型用到虚拟漫游、室内设计等应用中， 很多时候都需要人为进行一些分割、识别、添加语义、实现动画等一系列工作。
[0004] 在现有典型的室内场景获取工作中，通常是一个操作员手持深度摄像机在室内场 景中移动来扫描捕捉场景数据。但是对于人类来说，精细化的场景扫描是一个枯燥无聊的 活，特别是对于大尺度、包含很多物体的室内场景。要解决这一问题，利用移动机器人对室 内场景进行全自动扫描就成了一个十分吸引人的方案。
[0005] 从单个物体的点云数据中进行表面重建的研究已经趋近成熟，现今关于三维扫描 和重建的研发重点越来越多地转向了室内场景。特别是随着低成本深度传感器（如微软公 司的Kinect深度传感器，华硕公司的XtionLive深度传感器，Intel公司的Realsense传 感器）的快速发展和SLAM相关技术的成熟，实时场景扫描和重建得到了学术界和产业界的 一致重视。这些方法的共同之处是，最终都是用一个三维模型来表示整个重建的场景。然 而，室内场景是由它其中的物体及物体之间的空间关系所表征的。如果不能有效地表示室 内场景中有意义的、具体的物品，那么重建得到的场景三维模型的作用是有很大限制的。如 之前所述的工作，因为最后得到的是单个三维模型，所以无法用于场景中的物体检索、编辑 与合成。因此，更有意义、更具使用价值的室内场景重建应该要能够提取重建场景中的各种 物品并由此能推断各物品之间的相关关系。
[0006] 要想提取场景中的各个物品，就得对重建场景进行分割分析。传统的方法主要是 利用3D模型数据要辅助进行物体提取和识别。有些工作利用室内场景中物体重复出现作 为线索进行场景理解，还有一些工作利用人类在室内场景的活动数据来帮助进行场景语义 分析。但是，这些工作都是使用扫描好的场景数据作为输入，这种线下的分析方法缺少关于 场景结构的第一手信息，必须依靠先验知识（由人或另外的数据库提供）或者扫描时记录 的额外信息才完成分析。
[0007]利用机器人对单个物体进行扫描重建在之前已经有不少工作，但是从全局重建， 特别是物体级别的场景重建的角度来评价，现在只有很少的工作研究了如何进行全自动 场景扫描重建。此外，目前也有一些通过机器人交互从场景中提取物体的技术方案，最接 近并且最新的解决方案是一种基于机器人推动的场景中物体分割方法，该方法的核心思 想是利用RGB图像和三维点云作为输入来计算推动点和推动方向，并在推动过程中提取 Shi-Tomasi特征利用光流跟踪法对物体进行跟踪，最后对特征的运动轨迹进行聚类以分割 物体。
[0008] 综上所述，现有技术的缺点主要包括以下几点：
[0009] (1)处理场景有限：现有技术只能对桌面上的若干个物体进行分析，不能对大范 围杂乱的整个室内场景进行处理。
[0010] (2)分割准确率不高：在相同交互次数（10次左右）、相同场景（桌面上的日常物 品）的情况下，现有方法的分割准确率只有70%~80%。
[0011] (3)交互效率不高：现有技术对只有5-6个物体的小场景就需要推动10-12次才 能得到令人满意的分割结果。
[0012] (4)不能有效地重建场景中的物体：现有工作都没有考虑如何重建分割出来的物 体。
【发明内容】
[0013] 本发明实施例提供了一种室内场景扫描重建的方法，用以对大范围杂乱的整个室 内场景进行处理，有效地重建场景中的物体，提高室内场景重建的效率和精度，该方法包 括：
[0014] 获得位于室内空间的机器人捕获的所述室内空间的扫描图像信息，根据所述扫描 图像信息重建所述室内空间的三维场景模型图；
[0015]将所述三维场景模型图分割为多个兴趣区域；对于每个兴趣区域，均执行以下操 作：将兴趣区域分割为多个小区域；控制所述机器人对每个小区域对应物体施加推力，获 得施加推力后的所述多个小区域的图像；将施加推力后的小区域图像与施加推力前的小区 域图像进行比较，根据比较结果，分割图像中的物体，以及控制机器人对施加推力后分离的 物体中没有扫描完全的部分进行扫描，获取物体完整的三维数据；
[0016]根据分割出的物体和物体的完整三维数据，对室内场景进行重建。
[0017] 本发明还提供了一种室内场景扫描重建的装置，用以对大范围杂乱的整个室内场 景进行处理，有效地重建场景中的物体，提高室内场景重建的效率和精度，该装置包括：
[0018]初步扫描重建模块，用于获得位于室内空间的机器人捕获的所述室内空间的扫描 图像信息，根据所述扫描图像信息重建所述室内空间的三维场景模型图；
[0019] 分割扫描处理模块，用于将所述三维场景模型图分割为多个兴趣区域；对于每个 兴趣区域，均执行以下操作：将兴趣区域分割为多个小区域；控制所述机器人对每个小区 域对应物体施加推力，获得施加推力后的所述多个小区域的图像；将施加推力后的小区域 图像与施加推力前的小区域图像进行比较，根据比较结果，分割图像中的物体，以及控制机 器人对施加推力后分离的物体中没有扫描完全的部分进行扫描，获取物体完整的三维数 据；
[0020] 重建模块，根据分割出的物体和物体的完整三维数据，对室内场景进行重建。
[0021] 与现有技术相比较，本发明实施例提供的技术方案，首先，利用机器人对整个室内 场景进行粗略地全局扫描重建，获得位于室内空间的机器人捕获的所述室内空间的扫描图 像信息，根据所述扫描图像信息重建所述室内空间的三维场景模型图；然后，将所述三维场 景模型图分割为多个兴趣区域；对于每个兴趣区域，均执行以下操作：将兴趣区域分割为 多个小区域；控制所述机器人对每个小区域对应物体施加推力，获得施加推力后的所述多 个小区域的图像；将施加推力后的小区域图像与施加推力前的小区域图像进行比较，根据 比较结果，分割图像中的物体，以及控制机器人对施加推力后分离的物体中没有扫描完全 的部分进行扫描，获取物体完整的三维数据；最后，根据分割出的物体和物体的完整三维数 据，对室内场景进行重建，通过该技术方案，本发明实施例至少具有以下有益技术效果：
[0022] (1)现有技术只能对桌面上的若干个物体进行分析，本发明通过上述技术方案，可 以对大范围杂乱的整个室内场景进行处理。
[0023] (2)在相同交互次数（10次左右）、相同场景（桌面上的日常物品）的情况下，现 有方法的分割准确率只有70%~80%，而本发明通过上述技术方案能达到90%左右，提高 了分割的准确率。
[0024] (3)现有技术对只有5-6个物体的小场景就需要推动10-12次才能得到令人满意 的分割结果。而本发明通过上述技术方案，对于含有20-30个物体的大场景进行12左右 的交互就能得到90%左右的分割准确率，使得在机器人扫描场景的时候可以进行物体的分 析，并通过物理上的轻推交互来验证分割准确性，从而大大提高了传统三维重建对于物体 分析的能力，提高了交互的效率。
[0025] (4)现有技术的实际工作都没有考虑如何重建分割出来的物体，不能有效地重建 场景中的物体。而本发明提出了一个物体层面的场景重建和物体级别的场景分析框架，使 得重建和分析都是针对场景中的物体，进而使得本发明提出的框架能更好地为下一步的识 另IJ、语义理解等工作所用。同时，由于轻推之后往往可以使得扫描更加充分，提高了物体重 建的置信度。
[0026] 通过上述可知，本发明实施例提供的室内场景扫描重建的方法，可以对大范围杂 乱的整个室内场景进行处理，有效地重建场景中的物体，提高了分割效率和交互效率，提高 了室内场景重建的效率和精度，通过该方法可以得到一个带有分割信息的、可以与用户交 互的、重建完整的三维室内场景模型。
【附图说明】
[0027] 此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，并不 构成对本发明的限定。在附图中：
[0028] 图1是本发明实施例中室内场景扫描重建的方法的流程示意图；
[0029] 图2是本发明实施例中在过分割和欠分割的情况下区别一些错误分割的示意图；
[0030]