航空影像三维建模方法及相关产品与流程

本发明涉及图像以及航拍技术领域，具体涉及一种航空影像三维建模方法及相关产品。

背景技术：

计算机视觉是一个相对年轻而又发展迅速的领域，其研究目标是使计算机具有通过二维图像认知三维环境信息的能力，这种能力将不仅使机器能感知三维环境中物体的几何信息，包括它的形状、位置、姿态、运动等，而且能对它们进行描述、存储、识别与理解。

随着数字城市、智慧城市、城市规划与管理、工程设计、三维导航以及旅游开发等对三维模型的需求，快速建立有真实纹理的三维模型日益突显出较高的经济价值和应用前景。在航摄过程中，存在飞行器姿态不稳定、影像畸变大等问题，这对数据三维建模带来了困难；在传统航空影像三维建模过程中存在效率慢、稳定性差(变形、失真)、操作繁琐等问题，急需解决。

技术实现要素：

本发明实施例提供了一种航空影像三维建模的方法及相关产品，提高建模效率以及稳定性。

第一方面，本发明实施例提供一种航空影像三维建模的方法，所述方法包括如下步骤：获取正射影像以及至少四张倾斜影像，获取位置信息，将所述位置信息导入到该正射影像以及至少四张倾斜影像内，所述位置信息包括：经纬度坐标以及高程信息；对该正射影像以及至少四张倾斜影像执行空中三角测量生成影像外方位元素，恢复初步处理的正射影像以及至少四张倾斜影像在拍摄时的姿态；对初步处理正射影像以及初步处理至少四张倾斜影像采用运动恢复结构生成三维密集点云；对该密集点云的网格上曲率突变点作为特征点，将无序的特征点集有针对性的分组连接，提取初始位置的特征线；对该初始位置的特征线采用三角形折叠简化和特征保持算法并输出模型得到三维建模。

可选的，所述对该正射影像以及至少四张倾斜影像执行空中三角测量生成影像外方位元素，恢复初步处理的正射影像以及至少四张倾斜影像在拍摄时的姿态，包括：

每个影像按一定规则生成分辨率由低到高、数据量由小到大的金字塔结构；对每个影像利用基于几何特征的点提取算法，依据图像的灰度信息提取特征点，利用立体视觉原理，基于灰度分布、梯度分布的匹配，确定影像间的对应关系；根据匹配点在影像中的投影作为标准，同时提炼出描述场景结构的3d点坐标、相对运动参数和相机的光学参数，解算生成影像外方位元素，恢复初步处理的正射影像以及至少四张倾斜影像在拍摄时的姿态。

可选的，所述对初步处理正射影像以及初步处理至少四张倾斜影像采用运动恢复结构生成三维密集点云，包括：

依据多角度影像间的内在几何关系构造kruppa方程，然后通过影像间的匹配点解算kruppa方程，求解相机参数；对每个影像的特征点进行匹配、建立连接关系、提取立体像对；把各个立体像对的连接点，按像素坐标构造tin网、三角划分区域；每个区域按基线同向原则，宽松匹配提取更多匹配点；首先对匹配点进行三维曲面拟合，然后应用滤波算子，对距离曲面远的点剔除；以拟合三维曲面的高度值作为参考地表高程，分别对每个像对的所有像素二次匹配，提取误差在约束范围内的点，生成稠密点云。

可选的，所述至少四张倾斜影像包括：左45°倾斜图像、右45°倾斜图像，前45°倾斜图像以及后45°倾斜图像。

第二方面，提供一种航空影像三维建模的系统，所述系统包括：

获取单元，用于获取正射影像以及至少四张倾斜影像，获取位置信息，将所述位置信息导入到该正射影像以及至少四张倾斜影像内，所述位置信息包括：经纬度坐标以及高程信息；

处理单元，用于对该正射影像以及至少四张倾斜影像执行空中三角测量生成影像外方位元素，恢复初步处理的正射影像以及至少四张倾斜影像在拍摄时的姿态；对初步处理正射影像以及初步处理至少四张倾斜影像采用运动恢复结构生成三维密集点云；对该密集点云的网格上曲率突变点作为特征点，将无序的特征点集有针对性的分组连接，提取初始位置的特征线；对该初始位置的特征线采用三角形折叠简化和特征保持算法并输出模型得到三维建模。

可选的，所述处理单元，具体用于每个影像按一定规则生成分辨率由低到高、数据量由小到大的金字塔结构；对每个影像利用基于几何特征的点提取算法，依据图像的灰度信息提取特征点，利用立体视觉原理，基于灰度分布、梯度分布的匹配，确定影像间的对应关系；根据匹配点在影像中的投影作为标准，同时提炼出描述场景结构的3d点坐标、相对运动参数和相机的光学参数，解算生成影像外方位元素，恢复初步处理的正射影像以及至少四张倾斜影像在拍摄时的姿态。

可选的，所述处理单元，具体用于依据多角度影像间的内在几何关系构造kruppa方程，然后通过影像间的匹配点解算kruppa方程，求解相机参数；对每个影像的特征点进行匹配、建立连接关系、提取立体像对；把各个立体像对的连接点，按像素坐标构造tin网、三角划分区域；每个区域按基线同向原则，宽松匹配提取更多匹配点；首先对匹配点进行三维曲面拟合，然后应用滤波算子，对距离曲面远的点剔除；以拟合三维曲面的高度值作为参考地表高程，分别对每个像对的所有像素二次匹配，提取误差在约束范围内的点，生成稠密点云。

可选的，所述至少四张倾斜影像包括：左45°倾斜图像、右45°倾斜图像，前45°倾斜图像以及后45°倾斜图像。

第三方面，提供一种计算机可读存储介质，其存储用于电子数据交换的计算机程序，其中，所述计算机程序使得计算机执行第一方面提供的所述的方法。

第四方面，提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行第一方面提供的方法。

实施本发明实施例，具有如下有益效果：

可以看出，通过本发明实施例，由不同位置的一台或者多台相机经过移动或旋转拍摄同一幅场景，通过计算空间点在两幅图像中的视差，获得该点的三维坐标值。双目视觉直接模拟人类双眼处理景物的方式，具有可靠简便的优点。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的一种航空影像三维建模的方法流程示意图。

图2a是本发明实施例公开的一种该初始位置的特征线采用三角形折叠简化和特征保持算法的处理流程示意图。

图2b为本发明提供的针对城市建筑的实景三维建模方法的流程示意图。

图3是本发明具体实施例提供的一种航空影像三维建模系统的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。

在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。

针对三维建模最重要的两个步骤建立地貌几何模型和添加纹理信息，本系统采用摄影测量与计算机视觉技术最新技术成果，具有高效、稳定和自动化程度高等优点。作为计算机视觉的一个重要分支双目立体视觉技术，是研究如何利用二维投影图像恢复三维景物世界，即由不同位置的一台或者多台相机经过移动或旋转拍摄同一幅场景，通过计算空间点在两幅图像中的视差，获得该点的三维坐标值。双目视觉直接模拟人类双眼处理景物的方式，具有可靠简便的优点。

多目立体匹配利用摄影测量的空中三角测量原理，对多度重叠点进行“多方向的前方交会”，既能较有效地解决随机的误匹配问题，同时又能增加交会角，提高高程测量的精度。在计算机视觉测量当中，同名点的自动匹配通过计算机模式识别等来实现，是实现测量自动化的必要环节。摄影测量是一门从物体二维影像重建三维空间物体的学科，航空影像三维建模难点在于对应性和计算算法问题。而计算机视觉与数字摄影测量的两者结合有助解决三维建模两大难点：在不同影像上量测的同名特征对应性问题；影像与影像、影像与空间的解析关系。这对于解决飞行器姿态不稳定、影像畸变校正等方面具有重要作用。

参阅图1，图1为本发明具体实施方式提供的一种航空影像三维建模的方法的流程示意图，如图1所示，该方法包括如下步骤：

步骤s101、获取正射影像以及至少四张倾斜影像，获取位置信息，将该位置信息导入到该正射影像以及至少四张倾斜影像内。

上述步骤s101中的位置信息包括但不限于：经纬度信息以及高程信息，该正射影像具体可以为俯视拍摄的影像，该至少四张倾斜影像

具体可以为：左45°倾斜图像、右45°倾斜图像，前45°倾斜图像以及后45°倾斜图像。

步骤s102、对该正射影像以及至少四张倾斜影像执行空中三角测量生成影像外方位元素，恢复初步处理的正射影像以及至少四张倾斜影像在拍摄时的姿态。

可选的，上述步骤s102的实现方法具体可以为：

建立影像金字塔。

每个影像(正射影像以及至少四张倾斜影像)按一定规则生成分辨率由低到高、数据量由小到大的金字塔结构，为匹配相对定向点做准备。

提取特征点

对每个影像利用基于几何特征的点提取算法，依据图像的灰度信息提取特征点。

匹配特征点

利用立体视觉原理，基于灰度分布、梯度分布的匹配，确定影像间的对应关系。

解算外方位元素

根据匹配点在影像中的投影作为标准，同时提炼出描述场景结构的3d点坐标、相对运动参数和相机的光学参数，解算生成影像外方位元素，恢复初步处理的正射影像以及至少四张倾斜影像在拍摄时的姿态。

步骤s103、对初步处理正射影像以及初步处理至少四张倾斜影像采用运动恢复结构生成三维密集点云。

上述步骤s103的实现方法具体可以为：

标定相机

依据多角度影像间的内在几何关系构造kruppa方程，然后通过影像间的匹配点解算kruppa方程(1张影像以及特征点)，求解相机参数。

立体像对：

对每个影像的特征点进行匹配、建立连接关系、提取立体像对。

分区匹配：

把各个立体像对的连接点，按像素坐标构造tin网、三角划分区域；每个区域按基线同向原则，宽松匹配提取更多匹配点；

删除误匹配：

首先对匹配点进行三维曲面拟合，然后应用滤波算子，对距离曲面远的点剔除；

描述场景稠密：

以拟合三维曲面的高度值作为参考地表高程，分别对每个像对的所有像素二次匹配，提取误差在约束范围内的点，生成稠密点云。

本发明提供的技术方案利用cmvs(英文：clusteringviewsformulti-viewstereo，多视点立体视图的聚类视图)将sfm的输出分成一个个小的图片簇，然后独立并行的重建，具有更快的效率和更好的建模效果。

步骤s104、对该密集点云的网格上曲率突变点作为特征点，将无序的特征点集有针对性的分组连接，提取初始位置的特征线。

上述步骤s104的实现方法具体可以为：

采用主曲率极值法来判断提取出模型的特征顶点，把已提取出的所有特征点看作一个特征点集，集合中特征点的排列是无序的，且存在某些杂点或不是主要关注的特征点。本系统采用计算机视觉学中的图像主成分分析(pca)方法，将无序的特征点集有针对性的分组连接，提取建模需要的初始位置的特征线。首先，将无序的特征点集有序化，形成一串沿特征方向行进的特征点序列，即主特征方向识别。然后，以初始特征点为中心，进行主特征方向识别，应用pca方法提取初始特征域的主特征方向线后，将初始特征域内的所有特征点投影至主特征方向线上，取出距离质心最远的特征点，作为后继特征点加入特征点序列，且记录初始特征点至该后继特征点的方向为特征线的行进方向。其次，再以刚求出的后继特征点为中心，进入下一轮的主特征方向提取。重复以上步骤，寻找又一后继特征点，如此迭代，直至寻找的后继特征点落回到初始特征域内才结束，最终，可得到一串有序的特征点集合，用非均匀b样条曲线拟合生成光滑特征线。

步骤s105、对该初始位置的特征线采用三角形折叠简化和特征保持算法并输出模型得到三维建模。

上述步骤s105的实现方法具体可以包括：

如图2a所示，该对该初始位置的特征线采用三角形折叠简化和特征保持算法的处理流程如图2a所示。

三角形折叠

将三角网格中一个满足条件的三角形简化为一个顶点，将该三角形三个顶点所有邻接点与新顶点相连，同时删除与该三角形相邻接的三角形，主要删除基本元素是三角面片。

特征保持：

采用三角形狭长度控制三角形折叠顺序，保持模型的特征，同时将局部区域尖锐度作为特征区域的度量标志之一，避免因法向量加权抵消造成的误判，能够更好地保持模型的特征区域。

基于三角形折叠简化和特征保持算法可以在保持模型外观的同时，有效低减少模型的顶点数和面数，降低模型的规模。

输出模型的步骤如下：

坐标转换：

对影像进行坐标转换，解决相邻影像在深度方向上由于影像采集时采用焦距所带来的差异。

校正影像畸变：

根据空三计算得到的相机参数kruppa方程，对每张航片畸变校正。

生成局部模型：

以一组影像(包括一张正射影像和四张倾斜影像)特征点为空间点，按像素坐标构造tin网、计算纹理坐标，生成局部模型；

局部匹配：

根据重叠区域同名点关系，将多组局部影像模型融合在一起。

边界平滑：

重叠区域按相机入射角最大原则保留纹理，然后在纹理边界多重采样平滑过渡。把模型的纹理图片合并，与位置信息一起压缩输出最终三维建模。

上述针对城市建筑的实景三维建模方法的具体实现方法如图2b所示。

采用本发明所提供的一种针对城市建筑的实景三维建模方法，具有如下有益效果：该方法基于倾斜摄影数据，可得到地貌精确的几何模型以及真实的纹理信息(确定纹理)，结合三维模型制作，能够得到真实的三维场景；该方法效率高、工作量小、成本低且周期短，建立的地貌物几何模型真实、精度高且能表现细部特征，解决了传统三维建模效率低、不能够很好地反映真实地物以及真实纹理采集困难的问题；解决了建立的实景三维模型精细度和纹理不够理想而需要事后处理加工等问题，为快速建立高精度、低成本的三维数字城市模型提供了一个有效途径，非常适合于大规模区域的城市实景三维建模。

本系统是一款集数据处理自动化、高效稳定运行、数据成果专业级精度等优势于一体的航空影像三维建模系统，它完美地结合了摄影测量与计算机视觉技术最新研究成果，克服了飞行器姿态不稳定、影像畸变大导致三维建模困难等问题，具有全自动、高效率、高精度、支持海量数据处理等特点。

参阅图3，图3提供一种航空影像三维建模的系统，所述系统包括：

获取单元301，用于获取正射影像以及至少四张倾斜影像，获取位置信息，将所述位置信息导入到该正射影像以及至少四张倾斜影像内，所述位置信息包括：经纬度坐标以及高程信息；

处理单元302，用于对该正射影像以及至少四张倾斜影像执行空中三角测量生成影像外方位元素，恢复初步处理的正射影像以及至少四张倾斜影像在拍摄时的姿态；对初步处理正射影像以及初步处理至少四张倾斜影像采用运动恢复结构生成三维密集点云；对该密集点云的网格上曲率突变点作为特征点，将无序的特征点集有针对性的分组连接，提取初始位置的特征线；对该初始位置的特征线采用三角形折叠简化和特征保持算法并输出模型得到三维建模。

可选的，处理单元302，具体用于每个影像按一定规则生成分辨率由低到高、数据量由小到大的金字塔结构；对每个影像利用基于几何特征的点提取算法，依据图像的灰度信息提取特征点，利用立体视觉原理，基于灰度分布、梯度分布的匹配，确定影像间的对应关系；根据匹配点在影像中的投影作为标准，同时提炼出描述场景结构的3d点坐标、相对运动参数和相机的光学参数，解算生成影像外方位元素，恢复初步处理的正射影像以及至少四张倾斜影像在拍摄时的姿态。

可选的，处理单元302，具体用于依据多角度影像间的内在几何关系构造kruppa方程，然后通过影像间的匹配点解算kruppa方程，求解相机参数；对每个影像的特征点进行匹配、建立连接关系、提取立体像对；把各个立体像对的连接点，按像素坐标构造tin网、三角划分区域；每个区域按基线同向原则，宽松匹配提取更多匹配点；首先对匹配点进行三维曲面拟合，然后应用滤波算子，对距离曲面远的点剔除；以拟合三维曲面的高度值作为参考地表高程，分别对每个像对的所有像素二次匹配，提取误差在约束范围内的点，生成稠密点云。

可选的，所述至少四张倾斜影像包括：左45°倾斜图像、右45°倾斜图像，前45°倾斜图像以及后45°倾斜图像。

可以看出，通过本发明实施例，移动终端通过对不同的生物识别的识别顺序来分配不同的优先级，并且在设定时间内，如启动的第二应用程序与第一应用程序的类型不同，需要重新执行多生物识别操作，避免了直接给不同类型的应用程序最高优先级，影响安全性的问题。

本发明实施例还提供一种计算机存储介质，其中，该计算机存储介质存储用于电子数据交换的计算机程序，该计算机程序使得计算机执行如上述方法实施例中记载的任何一种航空影像三维建模的方法的部分或全部步骤。

本发明实施例还提供一种计算机程序产品，所述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质，所述计算机程序可操作来使计算机执行如上述方法实施例中记载的任何一种航空影像三维建模的方法的部分或全部步骤。

需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本发明所必须的。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件程序模块的形式实现。

所述集成的单元如果以软件程序模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：read-onlymemory，简称：rom)、随机存取器(英文：randomaccessmemory，简称：ram)、磁盘或光盘等。

以上对本发明实施例进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。