三维模型获得方法、装置及系统与流程

本发明涉及三维建模技术领域，具体而言，涉及一种三维模型获得方法、装置及系统。

背景技术：

现代化城市都朝大型化和数字化的方向飞速发展，三维数字城市模型是智慧城市的重要基础数据，在管理、规划、消防、公安等各种城市相关的应用场景中具有重要的价值。三维数字城市模型的建设工作成本高、速度慢，同时耗费大量人力和物力。近年来，国际地理信息领域将传统航空摄影技术和地面采集技术结合起来，发展了一种称为机载倾斜摄影的技术，简称倾斜摄影技术，其逐步称为建立三维数字城市模型的重要技术手段之一。

随着无人机的普及，倾斜摄影技术逐渐应用于无人机上，现有技术采用的是小型多旋翼五镜头无人机。这种倾斜摄影系统由五个拍摄角度不同的相机固定在一起构成，搭载在多旋翼无人机上。上述小型多旋翼五镜头无人机中采用五个小型低分辨率相机，续航时间短、成本高，进而使影像数据采集和三维建模效率低。

技术实现要素：

本发明的目的在于提供一种三维模型获得方法、装置及系统，其能够通过多角度拍摄多张照片快速获取影像数据，并根据影像数据进行三维建模，解决影像数据采集和三维建模效率低的问题。

本发明的实施例是这样实现的：

第一方面，本发明实施例提供一种三维模型获得方法，该方法在实施过程中，首先控制具有单镜头的无人机飞到第一区域对应的第一空中区域，再控制所述无人机在至少两个角度拍摄获得所述第一区域的影像数据，最后基于所述影像数据，建立所述第一区域的第一三维模型。

综合第一方面，所述控制具有单镜头的无人机飞到第一区域对应的第一空中区域，包括：获取所述第一区域的第一定位数据以及所述无人机正常飞行的基础飞行参数，并基于所述第一定位数据和所述基础飞行参数，控制所述无人机飞到所述第一区域对应的所述第一空中区域。

综合第一方面，所述控制所述无人机在至少两个角度拍摄获得所述第一区域的影像数据，包括：控制所述无人机环绕所述第一区域的中心点进行环绕飞行，同时在所述无人机在进行所述环绕飞行过程中，控制所述无人机在至少两个角度拍摄获得所述第一区域的影像数据。

综合第一方面，所述控制所述无人机环绕所述第一区域的中心点进行环绕飞行，包括：获取环绕飞行参数，控制所述无人机基于所述环绕飞行参数环绕所述第一区域的中心点进行所述环绕飞行。所述控制所述无人机在至少两个角度拍摄获得所述第一区域的影像数据，包括：获取拍摄参数，控制所述无人机基于所述拍摄参数在进行所述环绕飞行时在至少两个角度拍摄获得所述第一区域的影像数据。

综合第一方面，所述控制所述无人机环绕所述第一区域的中心点进行环绕飞行，包括：控制所述无人机环绕以所述第一空中区域的中心点确定的圆的周线环绕飞行，其中，所述圆所在平面与所述第一区域所在平面平行。

综合第一方面，基于所述影像数据，建立所述第一区域的第一三维模型，包括：基于影像匹配技术将所述影像数据与拍摄所述影像数据时获取的当前第二定位数据进行匹配，得到匹配数据。然后基于所述匹配数据建立所述第一区域的第一三维模型。

综合第一方面，所述基于所述匹配数据建立所述第一三维模型，包括：首先获取投影矩阵，其中，所述投影矩阵是基于拍摄所述影像数据时所述无人机的当前姿态数据计算得到。再基于三角原理根据所述投影矩阵和所述匹配数据建立所述第一区域的第一三维模型。

第二方面，本发明实施例提供一种三维模型获得装置，所述装置包括无人机控制模块、影像获取模块以及模型建立模块。其中，所述无人机控制模块用于控制具有单镜头的无人机飞到第一区域对应的第一空中区域。所述影像获取模块用于控制所述无人机在至少两个角度拍摄获得所述第一区域的影像数据。所述模型建立模块用于基于所述影像数据，建立所述第一区域的第一三维模型。

综合第二方面，所述无人机控制模块包括参数获取单元以及控制执行单元。其中，所述参数获取单元用于获取所述第一区域的第一定位数据以及所述无人机正常飞行的基础飞行参数。所述控制执行单元用于基于所述第一定位数据和所述基础飞行参数，控制所述无人机飞到所述第一区域对应的所述第一空中区域。

第三方面，本发明实施例提供一种三维模型获得系统，包括无人机、控制站和建模设备。所述具有单镜头的无人机包括用于从控制站接收数据的第一接收模块，以及用于向所述控制站发送数据的第一发送模块；所述控制站与所述无人机连接，包括用于向所述无人机发送数据的第二发送模块，以及用于从所述无人机接收数据的第二接收模块；所述建模设备与所述控制站连接，用于根据所述控制站从所述无人机接收的数据建立第一三维模型。

本发明实施例的有益效果是：

本发明提供的三维模型获得方法、装置及系统，在对某区域进行三维建模时，通过本三维模型获得方法控制具有单镜头的无人机飞到第一区域在至少两个角度拍摄获得第一区域的影像数据，基于该目的区域的影像数据建立第一区域的三维模型，提高了影像数据采集效率，进而提高了三维建模效率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了一种应用于本发明实施例中的电子设备的结构框图；

图2为本发明第一实施例提供的一种三维模型获得方法的流程图；

图3为本发明第一实施例提供的一种三维模型获得方法中环绕飞行的轨迹示意图；

图4为本发明第一实施例提供的一种三维模型获得方法中的步骤s300的流程图；

图5为本发明第二实施例提供的一种三维模型获得装置的结构框图；

图6为本发明第三实施例提供的一种三维模型获得系统的结构框图。

图标：100-电子设备；101-存储器；102-存储控制器；103-处理器；104-外设接口；105-输入输出单元；106-无线传输单元；107-显示单元；200-三维模型获得装置；210-无人机控制模块；220-影像获取模块；230-模型建立模块；300-三维模型获得系统；310-具有单镜头的无人机；320-控制站；330-建模设备。

具体实施方式

下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

请参照图1，图1示出了一种可应用于本申请实施例中的电子设备100的结构框图。电子设备100可以包括三维模型获得装置、存储器101、存储控制器102、处理器103、外设接口104、输入输出单元105、无线传输单元106、显示单元107。

所述存储器101、存储控制器102、处理器103、外设接口104、输入输出单元105、无线传输单元106、显示单元107各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。所述三维模型获得装置包括至少一个可以软件或固件(firmware)的形式存储于所述存储器101中或固化在所述三维模型获得系统中的软件功能模块。所述处理器103用于执行存储器101中存储的可执行模块，例如所述三维模型获得装置包括的软件功能模块或计算机程序。

其中，存储器101可以是，但不限于，随机存取存储器(randomaccessmemory，ram)，只读存储器(readonlymemory，rom)，可编程只读存储器(programmableread-onlymemory，prom)，可擦除只读存储器(erasableprogrammableread-onlymemory，eprom)，电可擦除只读存储器(electricerasableprogrammableread-onlymemory，eeprom)等。其中，存储器101用于存储程序，所述处理器103在接收到执行指令后，执行所述程序，前述本发明实施例任一实施例揭示的流过程定义的服务器所执行的方法可以应用于处理器103中，或者由处理器103实现。

处理器103可以是一种集成电路芯片，具有信号的处理能力。上述的处理器103可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现成可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器103也可以是任何常规的处理器等。

所述外设接口104将各种输入/输出装置耦合至处理器103以及存储器101。在一些实施例中，外设接口104，处理器103以及存储控制器102可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

输入输出单元105用于提供给用户输入数据实现用户与所述服务器(或本地终端)的交互。所述输入输出单元105可以是，但不限于，鼠标和键盘等。

无线传输单元106向用户提供音频接口，其可包括一个或多个麦克风、一个或者多个扬声器以及音频电路。

显示单元107在所述电子设备100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示单元107可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器103进行计算和处理。

所述外设接口104将各种输入/输入装置耦合至处理器103以及存储器101。在一些实施例中，外设接口104，处理器103以及存储控制器102可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。

输入输出单元105用于提供给用户输入数据实现用户与处理终端的交互。所述输入输出单元105可以是，但不限于，鼠标和键盘等。

可以理解，图1所示的结构仅为示意，所述电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。图1中所示的各组件可以采用硬件、软件或其组合实现。

第一实施例

请参考图2，图2为本发明第一实施例提供的一种三维模型获得方法的流程图，所述方法具体包括如下步骤：

步骤s100：控制具有单镜头的无人机飞到第一区域对应的第一空中区域。

获取第一区域的第一定位数据以及无人机正常飞行的基础飞行参数，基于第一定位数据和基础飞行参数控制具有单镜头的无人机飞到第一区域对应的第一空中区域。其中，基础飞行参数用于保证无人机的正常飞行，其包括无人机的飞行高度和飞行速度。无人机的飞行高度和飞行速度可根据具体的航空环境和飞行情况确定，还可以在无人机飞到第一区域对应的第一空中区域途中由操作人员对应特定情况进行合理更改。

作为一种实施方式，在无人机飞到第一区域对应的第一空中区域的过程中还可以通过全球定位系统(即gps)或北斗卫星导航系统(即bds)获得无人机的即时位置和即时速度，以对无人机的飞行状态进行实时监控。

步骤s200：控制所述无人机在至少两个角度拍摄获得所述第一区域的影像数据。

在无人机抵达第一区域对应的第一空中区域后，获取操作人员设定的无人机环绕飞行参数，基于环绕飞行参数控制无人机环绕第一区域的中心点进行环绕飞行；获取无人机的拍摄参数，基于拍摄参数控制无人机在进行环绕飞行时至少在两个角度拍摄获得第一区域的影像数据。

其中，由于无人机环绕飞行时需要进行影像数据拍摄工作，环绕飞行与基础飞行的参数不同，所以在抵达第一区域对应的第一空中区域后需要进行重新设定一个无人机的环绕飞行参数。环绕飞行参数用于保证无人机在拍摄时的飞行稳定性，包括无人机的环绕飞行高度、环绕飞行速度。拍摄参数用于控制无人机的镜头进行拍摄，包括拍摄位置、快门速度和曝光时间等基础相机设置参数。操作人员将根据具体环境手动设置调整拍摄参数，或无人机的镜头根据具体环境会自动设置调整拍摄参数，以使无人机拍摄获得的影像数据更适于三维建模。

作为一种实施方式，控制无人机环绕以第一空中区域的中心点确定的圆的周线环绕飞行，其中，该圆所在平面与第一区域所在平面平行。

进一步地，在基于拍摄参数控制无人机在进行环绕飞行时至少在两个角度拍摄获得第一区域的影像数据时，将通过全球定位系统(即gps)或北斗卫星导航系统(即bds)对无人机进行即时定位获得的定位数据作为第二定位数据，并在进行拍摄影像数据时记录拍摄时间以及拍摄时无人机的当前第二定位数据。同时，通过获取无人机的第二定位数据还便于对无人机在环绕飞行时进行精确地实时定位监控，以控制无人机快速地适应具体飞行环境，从而保证无人机拍摄获得的第一区域的影像数据的质量。

同时，在基于拍摄参数控制无人机在进行环绕飞行时至少在两个角度拍摄获得第一区域的影像数据时，还将通过安装在无人机上的姿态传感器获取无人机的姿态数据。姿态传感器是基于mems技术的高性能三维运动姿态测量系统。它包含三轴陀螺仪、三轴加速度计，三轴电子罗盘等运动传感器，通过内嵌的低功耗arm处理器得到经过温度补偿的三维姿态与方位等数据。利用基于四元数的三维算法和特殊数据融合技术，实时输出以四元数、欧拉角表示的零漂移三维姿态方位数据。姿态数据用于确定无人机的镜头拍摄所述影像数据时镜头的方向。

应当理解地是，在无人机完成第一区域的影像数据采集后，还可以获取操作人员设置的第二定位数据，根据第二定位数据控制无人机飞至与第二区域对应的第二空中区域，基于获取的环绕飞行参数和拍摄参数对第二区域进行环绕飞行，完成对第二区域的影像数据采集工作。

以一平方公里区域为例，如使用传统无人机规划镜头朝向分别为前、后、左、右和正的五条航线进行影像数据采集要耗时3小时25分钟，若使用本实施例提供的环绕飞行方式每一平方公里面积影像数据采集耗时约为1小时34分钟。其中，如图3所示，图中的圆形是无人机进行环绕飞行的轨迹，方形是影像数据采集区域。无人机可执行64次环绕飞行完成面积为一平方公里区域的影像采集，环绕飞行半径可设定为140米，环绕飞行高度为120米，环绕飞行速度为10米/秒。

步骤s300：基于所述影像数据，建立所述第一区域的第一三维模型。

基于影像数据以及与所述影像数据匹配的第二定位数据和姿态数据，基于三角原理对所述第一区域进行三维恢复，建立第一区域的第一三维模型。

请参考图4，图4为本发明实施例提供的一种三维模型获得方法中的步骤s300的流程图，基于所述影像数据，建立所述第一区域的第一三维图像，具体包括以下步骤：

步骤s310：基于影像匹配技术将所述影像数据与拍摄所述影像数据时获取的当前第二定位数据进行匹配，得到所述第一区域的视差图像。

其中，影像匹配是生成数字表面模型等空间数据产品的基础，也是建筑物等人工地物目标三位重建的基础。本实施例采用影像密集匹配技术，所谓的密集匹配，其实是一个能量优化的过程，用于对影像上少量的有效点、显著特征或显著区域进行成功匹配，同时解决广泛存在于影像上的遮挡、纹理缺乏/重复区域以及灰度不连续性边界等典型困难区域的视差计算问题，以输出逐像素或稠密的视差图。密集匹配的最后结果，是要求得到一个稠密的深度图，即恢复每个像素的深度信息，密集匹配结果的正确与否，很大程度上影响着最后三维模型的精度。

步骤s320：基于拍摄所述影像数据时所述无人机的当前姿态数据计算得到投影矩阵。

基于无人机拍摄所述影像数据时所述无人机的当前姿态参数和第二定位数据可获得无人机排数所述影像数据时的空间坐标位置，根据所述空间坐标位置获得投影矩阵。

其中，无人机的当前姿态参数即为无人机的飞行姿态参数，飞行姿态指无人机的三轴在空中相对于某条参考线或某个参考平面,或某固定的坐标系统间的状态。

步骤s330:基于三角原理根据所述投影矩阵和所述视差图像建立所述第一区域的第一三维模型。

使用三角原理基于投影矩阵将所述第一区域的视差模型转换为所述第一区域的深度图像，根据所述第一区域的深度图像建立所述第一区域的第一三维模型。

其中，深度图像也被称为距离影像，是指将从图像采集器到场景中各点的距离(深度)作为像素值的图像，它直接反映了景物可见表面的几何形状。三角原理指的是一种数学原理，是利用探测器在不同位置探测目标方位，然后运用三角几何原理精准确定目标的位置和距离。

本发明提供的三维模型获得方法，在对某区域进行三维建模时，通过本三维模型获得方法控制具有单镜头的无人机飞到第一区域在至少两个角度拍摄获得第一区域的影像数据，基于该目的区域的影像数据建立第一区域的三维模型，提高了影像数据采集效率，进而提高了三维建模效率。

第二实施例

请参考图5，图5为本发明第二实施例提供的一种三维模型获得装置200的结构框图，所述装置具体包括：无人机控制模块210、影像获取模块220和模型建立模块230。

无人机控制模块210，用于控制具有单镜头的无人机飞到第一区域对应的第一空中区域，还用于控制无人机环绕第一区域进行环绕飞行。

其中，无人机控制模块210包括：参数获取单元以、控制执行单元、姿态获取单元和定位单元。

参数获取单元，用于获取第一区域的第一定位数据以及无人机正常飞行的基础飞行参数，还用于获取环绕飞行参数。

控制执行单元，用于基于第一定位数据和基础飞行参数，控制无人机飞到第一区域对应的第一空中区域；还用于基于环绕飞行参数，控制无人机环绕第一区域进行环绕飞行。

姿态获取单元，用于获取无人机在环绕飞行时的姿态参数。

定位单元，用于检测获取无人机运行时的第二定位数据。

影像获取模块220，用于控制无人机在至少两个角度拍摄获得第一区域的影像数据。

其中，影像获取模块220包括：拍摄参数获取单元、拍摄控制执行单元和存储单元。

拍摄获取单元，用于获取拍摄参数。

拍摄执行单元，用于基于拍摄参数，控制无人机的镜头对第一区域进行拍摄，完成影像数据采集。

存储单元，用于存储拍摄获得的影像数据。

可选地，影像获取模块220还包括用于传输所述影像数据的数据传输单元。

模型建立模块230，用于基于所述影像数据，建立所述第一区域的第一三维模型。

其中，模型建立模块230包括影像匹配单元、矩阵获取单元、深度处理单元。

影像匹配单元，用于基于影像匹配技术将影像数据与拍摄影像数据时获取的当前第二定位数据进行匹配，得到所述第一区域的视差图像。

矩阵获取单元，用于基于拍摄影像数据时无人机的当前姿态数据获取投影矩阵。

深度处理单元，用于基于投影矩阵和视差图像获得深度图像，并对深度图像进行处理后建立所述第一区域的第一三维模型。

本实施例对三维模型获得装置200的各功能模块实现各自功能的过程，请参见上述图1所示描述的内容，此处不再赘述。

第三实施例

请参考图6，图6为本发明第三实施例提供的一种三维模型获得系统300的结构框图，所述系统具体包括：具有单镜头的无人机310、控制站320和建模设备330。

具有单镜头的无人机310，包括第一接收模块和第一发送模块。所述第一接收模块用于从控制站320接收第一定位数据、基础飞行参数、环绕飞行参数。所述第一发送模块用于向控制站320发送影像数据、第二定位数据和姿态参数。

控制站320，包括第二接收模块和第二发送模块。第二接收模块用于从具有单镜头的无人机310接收影像数据、第二定位数据、姿态参数。第二发送模块用于向具有单镜头的无人机310发送第一定位数据、基础飞行参数、环绕飞行参数。

建模设备330，用于根据从控制站320接收的影像数据、第二定位数据和姿态数据进行三维建模，获得三维模型。本发明实施例中，建模设备330可以是常用的计算机等具有满足建模需求计算处理能力的处理设备。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

综上所述，本发明实施例提供一种三维模型获得方法、装置及系统，在对某区域进行三维建模时，通过本三维模型获得方法控制具有单镜头的无人机飞到第一区域，并环绕第一区域进行轨迹为圆形的环绕飞行，并于环绕飞行时在至少两个角度拍摄获得目的区域的影像数据，基于该目的区域的影像数据建立第一区域的三维模型，提高了影像数据采集效率，进而提高了三维建模效率。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。