三维重建方法、装置、终端设备及可读存储介质与流程

本申请属于测绘技术领域，尤其涉及三维重建方法、装置、终端设备及可读存储介质。

背景技术：

三维重建是指利用图像信息的到物品或区域的三维信息的数学过程和计算机技术，现有技术中，一般是将多个图像信息拼接成三维信息，当拼接任意两个图像信息时，需要以两个图像信息重合的部分为基准，推导出两个图像信息的相对位置，因此，在获取图像信息时，需要人工在被扫描的物品或区域内设置立体标靶，使两个图像信息内都包含立体标靶的信息，在两个图像信息拼接过程中，计算机算法识别图像信息中立体标靶的位置和方向，推导出两个图像信息的相对位置，通过人工设置立体标靶的方式较为繁琐，自动化程度不高。

技术实现要素：

鉴于此，本申请实施例提供了三维重建方法、装置、终端设备及可读存储介质，可以解决通过人工设置立体标靶的方式较为繁琐，自动化程度不高的问题。

第一方面，本申请实施例提供了一种三维重建方法，包括：

获取三维重建区域的结构信息；

根据所述结构信息确定至少一个测量位置；

基于所述测量位置获取与测量位置对应的图像信息；

根据所述测量位置和所述图像信息确定所述区域的三维重建图。

第二方面，本申请实施例提供了一种三维重建装置，包括：

结构获取模块，用于获取三维重建区域的结构信息；

测量位置确定模块，用于根据所述结构信息确定至少一个测量位置；

图像信息获取模块，用于基于所述测量位置获取与测量位置对应的图像信息；

三维重建图确定模块，用于根据所述测量位置和所述图像信息确定所述区域的三维重建图。

第三方面，本申请实施例提供了一种终端设备，包括：包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现第一方面所述的三维重建方法。

第四方面，本申请实施例提供了一种计算机可读存储介质，可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的三维重建方法。

本实施例中，通过获取三维重建区域的结构信息，根据结构信息确定至少一个测量位置，基于测量位置获取与测量位置对应的图像信息，根据测量位置将图像信息转换为同一坐标系下的目标图像信息，将目标图像信息拼接成三维重建图，可以通过位置信息推导出两个图像的相对位置，不用通过人工设置立体标靶，可以提高三维重建的自动化程度。

可以理解的是，上述第二方面至第四方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

附图说明

为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本申请实施例一提供的可移动机器人的结构示意图；

图2是本申请实施例一提供的三维重建方法的流程示意图；

图3是本申请实施例一提供的扫描设备盲区的示意图；

图4是本申请实施例一提供的三维重建方法在一个应用场景下控制机器人移动的流程示意图；

图5是本申请实施例二提供的三维重建装置的结构示意图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。

应当理解，当在本申请说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

还应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

如在本申请说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地，短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在本申请说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。

实施例一

本申请实施例提供的三维重建方法可以应用于搭载测量设备的可移动机器人，本申请实施例对可移动机器人和测量设备的具体类型不作任何限制。

图1是本申请一个示例性实施例提供的可移动机器人1的结构示意图。该可移动机器人1包括：测量设备11、处理器12和存储器13。测量设备11与存储器13还分别与处理器12电性相连。

测量设备11可以用于测量目标物体或区域，用于提取目标物体和区域中的图像信息，例如，三维激光测量仪，点云扫描仪或全站仪。

处理器12可以是中央处理单元(centralprocessingunit，cpu)，该处理器12还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

存储器13存储有计算机程序14，该计算机程序可供处理器12执行。示例性的，处理器执行该计算机程序时可以实现本申请所述的三维重建方法。存储器13在一些实施例中可以是所述机器人10的内部存储单元，例如测量设备10的硬盘或内存。所述存储器13在另一些实施例中也可以是所述机器人10的外部存储设备，例如所述机器人10上配备的插接式硬盘，智能存储卡(smartmediacard,smc)，安全数字(securedigital,sd)卡，闪存卡(flashcard)等。进一步地，所述存储器13还可以既包括所述机器人10的内部存储单元也包括外部存储设备。所述存储器13用于存储操作系统、应用程序、引导装载程序(bootloader)、数据以及其他程序等，例如所述计算机程序的程序代码等。所述存储器13还可以用于暂时地存储已经输出或者将要输出的数据。

本实施例中，可移动机器人以搭载点云扫描仪的可移动机器人为例。测量设备以点云扫描仪为例。

如图2所示，本实施例提供了一种三维重建方法，应用于上述搭载点云扫描仪的可移动机器人，所述三维重建方法，可以包括：

s201、获取三维重建区域的结构信息。

可选的，处理器可以获取储存于存储器中的结构信息，结构信息可以预存在存储器中。

可选的，可移动机器人还可以包括输入设备，用户可以通过输入设备向可移动机器人输入结构信息，处理器可以获取用户输入的结构信息。

可选的，用户可以获取三维重建区域的结构信息。

在应用中，结构信息可以为计算机辅助设计(cad，computeraideddesign)图纸或平面布置图，或者可以反映区域内结构的信息，例如：建筑物的墙、门窗、楼梯、地面的布局。

s202、根据所述结构信息确定至少一个测量位置。

可选的，处理器可以根据结构信息和预设的测量规则确定至少一个测量位置，预设规则可以存储于存储器中，并可以根据实际情况进行调整。

可选的，用户可以根据结构信息和测量规则确定至少一个测量位置。

可选的，测量规则可以包括两个测量位置对应的测量区域之间包含相同的物体，例如柱面，门框等物理或结构。

可选的，测量规则可以包括：所有测量位置对应的测量区域覆盖三维重建区域。测量区域可以为测量设备可以测量到的区域。

可选的，测量规则可以包括测量位置与墙面、柱面等结构的距离大于距离阈值，距离阈值可以根据实际需要确定。以测量设备为徕卡blk360为例，预设水平阈值可以为1米。

在应用中，测量规则可以根据扫描设备的扫描范围进行修改。

在一个实施例中，结构信息包括结构平面信息和结构高度信息，步骤s201可以包括：

获取点云扫描设备的设备信息。

在应用中，可移动机器人可以装载点云扫描设备，云扫描设备的设备信息可以包括点云扫描设备的测量范围、有效测量距离和最佳测量距离。

可选的，处理器可以获取储存于存储器中的的设备信息。

可选的，用户可以读取点云扫描设备的型号确定点云扫描设备的设备信息。

根据所述设备信息、结构平面信息和结构高度信息确定所述测量位置。

在应用中，结构信息可以为标记了高度的计算机辅助设计(cad，computeraideddesign)图纸、标记了高度的平面布置图。结构平面信息可以包括：建筑物的墙、门窗、楼梯、地面的布局。结构高度信息可以包括：墙、门窗或屋顶等物体的高度。

可选的，测量位置包括水平测量位置和高度测量位置。水平测量位置可以为在水平面上的坐标，高度测量位置可以为距离地面的高度。处理器或者用户可以根据结构平面信息确定水平测量位置，根据确定的设备信息、水平测量位置、结构平面信息和结构高度信息判断当测量设备位于水平测量位置且位于预设高度测量位置时是否存在测量盲区，若存在测量盲区，则在具有测量盲区的水平测量位置上设置多个高度测量位置。

可以理解的是，点云扫描设备的测量范围是有限的，一般的点云扫描设备在传感器的下方存在扫描盲区，扫描盲区在空间中呈锥形。以徕卡blk360为例，徕卡blk360的水平扫描范围为360度，垂直为300度，在徕卡blk360的下方存在顶角为60度的锥形盲区。处理器或者用户可以根据云扫描设备的有效测量范围和结构平面信息确定水平测量位置，确保所有水平测量位置对应的测量区域覆盖三维重建区域，处理器或用户可以根据设备信息、水平测量位置、结构平面信息和结构高度信息判断当测量设备位于水平测量位置和预设高度测量位置时是否存在测量盲区，例如，如图3所示，当扫描设备3的水平测量位置与墙31或柱子等物体之间的距离小于预设水平阈值且预设高度位置与地面的距离大于预设垂直阈值时，物体下方可能存在无法被测量的盲区32，处理器或者用户可以在水平测量位置上设置两个或两个以上的不同高度测量位置，确保全部三维重建区域可以被测量设备测量到。处理器可以根据水平测量位置和高度测量位置确定测量位置。

在一个实施例中，步骤s202还可以包括：根据所述测量位置确定路径信息。

可选的，处理器可以根据测量位置和结构信息确定路径信息，路径信息可以控制可移动机器人依次抵达所有测量位置。

可选的，用户可以根据测量位置和结构信息确定可移动机器人的移动路径，可以通过输入装置将移动路径输入至可移动机器人中，处理器可以根据移动路径生成路径信息，控制可移动机器人依次抵达所有的测量位置。

根据所述路径信息控制机器人依次移动至所述测量位置。

可以理解的是，可移动机器人可以具有移动装置，处理器可以根据路径信息控制控制移动装置，使机器人抵达测量位置。

可选的，可移动机器人还可以具有升降装置，可以控制机器人或者扫描设备抵达不同的高度测量位置。

在一个实施例中，如图4所示，所述根据所述路径信息控制机器人依次移动至所述测量位置，还可包括：

s401、根据所述路径信息控制所述机器人向所述测量位置移动，并检测在所述机器人的移动路线上是否存在障碍物。

可选的，机器人可以具有双目视觉系统，在机器人的移动过程中，可以通过双目视觉系统生成深度图，处理器可以通过深度图识别障碍物。

可选的，移动路线可以包括机器人需要经过的一段路线，机器人可以识别机器人需要经过的一段路线上是否存在障碍物。障碍物可以包括机器人无法穿越的的物体，例如具有一定体积的箱子或桶。

s402、当存在障碍物时，则获取所述障碍物的障碍物信息。

可选的，处理器可以根据深度图获取障碍物信息，比如障碍物的体积、位置、质心坐标。

s403、根据所述障碍物信息确定局部路径信息。

可选的，处理器可以根据障碍物信息确定局部路径信息，局部路径信息的局部路径可以起始点和终点都位于路径信息确定的路径上。

在一个实施例中，障碍物信息可以包括所述障碍物的质心坐标，步骤s403还可以包括：

当所述移动路线中存在两个所述障碍物时，确认所述质心坐标之间的距离，并根据所述质心坐标确定局部路径信息。

可以理解的是，当移动路线内存在多个障碍物时，机器人可以选取距离机器人最近的两个障碍物，并确定两个障碍物质心坐标之间的距离，根据距离确定局部路径信息。

在一个实施例中，当所述移动路线中存在两个所述障碍物时，确认所述质心坐标之间的距离。

可以理解的是，当移动路线中存在一个障碍物时，处理器可以生成局部路径信息，处理器根据局部路径信息控制机器人从障碍物周边绕过，当移动路线中存在两个及以上的障碍物时，则处理根据深度图确定质心坐标之间的距离。

在一个实施例中，当所述距离大于预设阈值时，则根据所述局部路径信息控制所述机器人从两个所述障碍物之间穿过。

可以理解的是，预设阈值可以根据实际需要确定，例如根据机器人的尺寸。当距离大于预设阈值时，则可以确定机器人可以从两个障碍物之间穿过。

在一个实施例中，当所述距离小于或等于所述预设阈值时，则根据所述局部路径信息控制所述机器人从两个所述障碍物周边绕过。

可以理解的是，预设阈值可以根据实际需要确定，例如根据机器人的尺寸。当距离小于预设阈值时，则可以确定机器人无法从两个障碍物之间穿过，因此需要从障碍物周边穿过。

可选的，机器人可以根据障碍物的尺寸确定从两个障碍物的左边或右边穿过。处理器可以判断出绕行距离最短的局部路径，并生成局部路径信息。

可以理解的是，当移动路线中存在多个障碍物时，处理器可以根据上述步骤确定局部路径信息。例如，移动路线中存在第一障碍物、第二障碍物和第三障碍物，当第一障碍物距离机器人最近，第三障碍物距离机器人最远时，处理器可以根据深度图判断第一障碍物对应的第一质心和第二障碍物对应的第二质心之间的第一距离，若第一距离大于预设距离，局部路径信息对应局部路径从第一障碍物和第二障碍物中间穿过，处理器可以判断第二障碍物对应的第二质心和第三障碍物对应的第三质心之间的第二距离，若第二距离小于预设距离，局部路径信息对应的路径从第二障碍物远离第三障碍物的一边绕过，或从第三障碍物远离第二障碍物的一边绕过。

s404、根据所述路径信息和所述局部路径信息控制所述机器人移动至所述测量位置。

可以理解的是，处理器可以根据路径信息和局部路径信息控制机器人依次移动至测量位置。

可选的，当移动路线中不存在障碍物时，处理器可以根据路径信息控制机器人移动，当移动至移动路线中存在障碍物时，则根据局部路径信息移动。

s203、基于所述测量位置获取与测量位置对应的图像信息。

可选的，当机器人移动到测量位置时，处理器可以控制扫描设备进行扫描得到图像信息，图像信息可以存储于存储器中。

s204、根据所述测量位置和所述图像信息确定所述区域的三维重建图。

可选的，处理器可以根据测量位置和图像信息确定三维重建区域的三维重建图。例如，存储器中包含用于进行三维重建的软件，处理器可以获取三维重建的软件，并根据测量位置和图像信息确定三维重建图。

可选的，用户可以获取存储于存储器中的图像信息，并将图像信息导入外部终端设备，比如电脑、笔记本电脑、平板电脑等计算机上。终端设备包括用于进行三维重建的软件，可以根据测量位置和图像信息确定三维重建图。

在一个实施例中，测量位置可以包括测量坐标和测量姿态，步骤s204可以包括：根据所述测量坐标和所述测量姿态将所述图像信息转换为目标图像信息。

可选的，测量姿态可以为测量设备的摆放姿态，处理器可以根据测量位置中的测量姿态控制测量设备的摆放姿态，处理器可以根据测量位置控制机器人和测量设备移动至测量坐标。

可选的，机器人可以搭载视觉里程计系统，视觉里程计系统可以获取机器人的测量坐标和测量姿态，并将测量坐标和测量姿态存储于存储器中。用户可以获取测量坐标和测量姿态并导入终端设备。

可选的，机器人的处理器或者终端设备的处理器可以根据图像信息和图像信息对应的测量坐标和测量姿态确定目标图像信息。机器人的处理器或者终端设备的处理器可以将所有图像信息转换为同一坐标下的目标图像信息。机器人的处理器或者终端设备的处理器也可以选取两个图像信息，根据测量坐标和测量姿态推导出两个图像信息的相对位置，将两个图像信息转换到同一坐标系下，重复该转换步骤直到将所有图像信息转换为同一坐标系下的目标图像信息。

根据所述目标图像信息确定所述区域的三维重建图。

可选的，机器人的处理器或者终端设备的处理器可以将同一坐标下的目标图像信息拼接为三维重建图。

在本实施例中，通过获取三维重建区域的结构信息，根据结构信息确定至少一个测量位置，基于测量位置获取与测量位置对应的图像信息，根据测量位置和图像信息确定区域的三维重建图，将图像信息拼接成三维重建图时，可以通过位置信息推导出图像信息之间的相对位置关系，不用通过人工设置立体标靶，可以提高三维重建的自动化程度。

其次，通过设备信息、结构平面信息和结构高度信息确定所述测量位置，因为测量设备可能存在测量盲区，通过设备信息、结构平面信息和结构高度信息可以判断当测量设备位于水平测量位置且为预设高度测量位置时是否存在测量盲区，若存在测量盲区则在水平测量位置上设置两个或两个以上的不同高度测量位置，根据水平测量位置和高度测量位置确定测量位置，可以减少测量设备在测量位置获取的图像信息中存在盲区的可能性，避免了在因为图像信息存在盲区导致三维重建图不完整的问题，也避免了因为图像信息存在盲区导致需要进行对盲区进行补测的问题，提高了测量效率。

另外，通过根据测量位置确定路径信息，并根据所述路径信息控制机器人依次移动至测量位置，基于所述测量位置获取与测量位置对应的图像信息，可以用可移动机器人实现对每个测量位置进行测量，不需要人工在测量位置布置扫描设备，提高了三维重建的自动化程度。

实施例二

如图5所示，本实施例提供了一种三维重建装置5，用于实现实施例一中所述的三维重建方法，所述三维重建装置5具体可以是机器人的处理器中的软件程序装置。所述三维重建装置5包括：

结构获取模块51，用于获取三维重建区域的结构信息。

测量位置确定模块52，用于根据所述结构信息确定至少一个测量位置。

图像信息获取模块53，用于基于所述测量位置获取与测量位置对应的图像信息。

三维重建图确定模块54，用于根据所述测量位置和所述图像信息确定所述区域的三维重建图。

在一个实施例中，三维重建装置5还可以包括：

路径确定模块，用于根据所述测量位置确定路径信息。

移动模块，用于根据所述路径信息控制机器人依次移动至所述测量位置。

在一个实施例中，移动模块还可以包括：

检测单元，用于根据所述路径信息控制所述机器人向所述测量位置移动，并检测移动环境在所述机器人的移动路线上是否存在障碍物。

获取单元，用于当所述移动环境存在预设物体存在障碍物时，则获取所述预设物体障碍物的预设物体障碍物信息。

局部路径信息确定单元，用于根据所述预设物体障碍物信息确定局部路径信息。

移动控制单元，用于根据所述路径信息和所述局部路径信息控制所述机器人移动至所述测量位置。

在一个实施例中，局部路径信息确定单元，还用于所述移动路线中存在两个所述预设物体障碍物时，确认所述质心坐标之间的距离，并根据所述质心坐标确定局部路径信息。

在一个实施例中，局部路径信息确定单元，包括：

距离确定子单元，用于当所述移动路线中存在两个所述障碍物时，确认所述质心坐标之间的距离。

第一局部路径信息确定单元，用于当所述距离大于预设阈值时，则根据所述局部路径信息控制所述机器人从两个所述预设物体障碍物之间穿过。

第二局部路径信息确定单元，用于当所述距离小于或等于所述预设阈值时，则根据所述局部路径信息控制所述机器人从两个所述障碍物周边绕过。

在一个实施例中，结构信息包括结构平面信息和结构高度信息，测量位置确定模块包括：

设备信息获取单元，用于获取所述点云扫描设备的设备信息

测量位置确定单元，用于根据所述设备信息、所述结构平面信息和所述结构高度信息确定所述测量位置。

在一个实施例中，测量位置包括测量坐标和测量姿态，三维重建图确定模块包括：

目标图像信息确定单元，用于根据所述测量坐标和所述测量姿态将所述图像信息转换为目标图像信息。

单位重建图确定单元，用于根据所述目标图像信息确定所述区域的三维重建图。

需要说明的是，上述装置/单元之间的信息交互、执行过程等内容，由于与本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时可实现上述各个方法实施例中的步骤。

本申请实施例提供了一种计算机程序产品，当计算机程序产品在输入轴编码器、输出轴编码器的机器人上运行时，使得机器人执行时可实现上述各个方法实施例中的步骤。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括：能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请的范围。