三维建模系统及三维建模方法与流程

1.本发明涉及三维建模领域，特别涉及三维建模系统及三维建模方法。


背景技术：

2.随着我国城市的快速发展，数字城市、智慧城市的潮流正影响着社会中的各行各业，对城市和地表对象的空间信息精细表达可为相关领域的管理决策提供有效辅助服务。三维模型既可定性反映对象的形状、颜色、纹理等样貌；亦可定量描述建模对象的位置参考、长度面积，以及体积等几何信息，因而受到广泛关注。三维模型的构建主要包括基于图形的建模与基于实景传感器建模两种方式。相较基于二维图形绘制三维虚拟模型的方法，实景传感器构建的三维模型可以更加真实客观地还原目标对象的实景信息。
3.实景三维重建作为摄影测量领域的研究热点，近年来，倾斜摄影测量、地面移动测量、地面/机载激光扫描等技术的发展给实景三维重建提供了多元化的数据源与处理方式。精密激光扫描仪设备造价昂贵且操作相对不便捷，倾斜摄影测量与地面移动测量成为更加普遍的建模方式。
4.倾斜摄影测量利用多传感器从不同的角度对目标进行影像采集，同时获取区域内地面及物体的顶部信息与侧面轮廓和纹理，结合内业处理生成三维实景模型等产品。倾斜摄影测量可以全面感知目标物的复杂场景，也提升了内业处理过程中的自动化程度与建模效率。但对于城市建筑物等地物，倾斜摄影难以获取所有地面侧面完整的信息，其建模结果往往存在纹理模糊、几何模型扭曲的情况。
5.地面移动测量系统搭载多方位相机等多种传感器，以车载或行人移动的采集方式围绕场景进行连续拍摄，获取场景地面与地物侧面的纹理信息。地面移动测量可以弥补倾斜摄影在建筑物密集地区的获取信息不足的缺点，提供清晰度高、重叠度大的影像数据。但地面移动测量系统无法同时获取地面及物体的顶部信息，依然无法单独实现场景的完整重建。


技术实现要素：

6.本发明为解决上述问题，提供三维建模系统及三维建模方法。
7.为实现上述目的，本发明采用以下具体技术方案：
8.一种三维建模系统，包括：用于获取空中全景视频的空中视频获取单元、用于获取地面全景视频的地面视频获取单元、处理器单元；处理器单元用于根据空中全景视频和地面全景视频进行三维建模，得到三维实景模型；
9.空中视频获取单元包括用于进行空中移动的无人机、用于拍摄空中全景视频的空中全景相机；无人机与空中全景相机连接，带动空中全景相机进行空中移动数据采集；
10.地面视频获取单元包括用于进行地面移动的地面移动装置、用于拍摄地面全景视频的地面全景相机；地面移动装置与地面全景相机连接，带动地面全景相机进行地面移动数据采集；
11.处理器单元包括用于进行视频拼接的视频拼接模块、用于抽取地面关键帧的地面视频帧抽取模块、用于生成地面密集点云的地面密集点云生成模块、用于抽取空中关键帧的空中视频帧抽取模块、用于生成空中密集点云的空中密集点云生成模块、用于生成空地三维点云的点云融合模块、用于三维网格模型构建的三维网格构建模块、用于生成映射影像集的映射影像生成模块、用于选取最佳映射影像的最佳映射影像选取模块、用于生成三维实景模型的三维实景模型生成模块。
12.一种三维建模方法，包括以下步骤：
13.s1、通过空中视频获取单元和地面视频获取单元同时进行视频获取，得到待建模区域的空中全景视频和地面全景视频；
14.s2、通过处理器单元根据空中全景视频和地面全景视频进行三维建模，得到三维实景模型。
15.优选地，在步骤s1前，还包括以下步骤：
16.s0、在待建模区域的地面及物体侧面均匀布设标志点组，建立坐标系，测量标志点组包含的所有标志点的现实三维坐标。
17.优选地，步骤s2包括以下步骤：
18.s201、通过处理器的视频拼接模块，使用球形全景模型对空中全景视频和地面全景视频进行拼接，得到空地全景视频；
19.s202、通过处理器的地面视频帧抽取模块对地面全景视频进行视频帧自适应抽取，得到用于三维重建的地面关键帧组；通过处理器的地面密集点云生成模块，根据标志点组对地面关键帧组进行空中三角测量，根据地面关键帧组获取地面多视影像集，并根据地面多视影像集进行立体重建，得到地面密集点云；
20.通过处理器的空中视频帧抽取模块对空中全景视频进行视频帧自适应抽取，得到用于三维重建的空中关键帧组；通过处理器的空中密集点云生成模块，根据标志点的测量平差对空中关键帧组进行空中三角测量，根据空中关键帧组获取空中多视影像集，并根据空中多视影像集进行立体重建，得到空中密集点云；
21.s203、通过处理器的点云融合模块对地面密集点云和空中密集点云进行点云配准，并对配准后的地面密集点云和空中密集点云进行融合，得到空地三维点云；
22.s204、通过处理器的三维网格构建模块，根据空地三维点云，构建三维网格模型；通过处理器的纹理影像生成模块，对三维网格模型的每个网格面片生成映射影像，得到每个网格面片的映射候选影像集；通过处理器的最佳映射影像选取模块，在映射候选影像集中选取最佳映射影像；通过处理器的三维实景模型生成模块，根据最佳映射影像进行纹理映射，生成三维实景模型。
23.优选地，在步骤s202中，对地面全景视频进行视频帧自适应抽取包括以下步骤：
24.通过地面视频帧抽取模块对比地面全景视频的相邻视频帧的相似度，去除停留片段视频帧；
25.获取地面全景视频中每帧视频帧的左视切片和右视切片，根据相邻侧视切片之间的相对水平位移进行计算，去除旋转片段视频帧；
26.设定进行去除后的地面全景视频的第一帧视频帧为第一地面关键帧，计算后续视频帧与前一关键帧之间的重叠率，并与预设重叠率阈值进行对比，视频帧中与前一关键帧
之间的重叠率满足预设重叠率阈值的视频帧选取为当前关键帧，直至遍历所有视频帧，得到地面关键帧组；
27.根据地面关键帧组获取地面多视影像集包括以下步骤：
28.根据地面关键帧组中的每帧地面关键帧的左视切片和右视切片，对相邻关键帧进行最优交会视角切片，得到地面多视影像集。
29.优选地，在步骤s202中，对空中全景视频进行视频帧自适应抽取包括以下步骤：
30.通过空中视频帧抽取模块对比空中全景视频的相邻视频帧的相似度，去除停留片段视频帧；
31.获取空中全景视频中每帧视频帧的下视切片，根据相邻下视切片之间的重心坐标变化进行计算，去除旋转片段视频帧；
32.设定进行去除后的空中全景视频的第一视频帧为第一空中关键帧，计算后续视频帧与前一关键帧之间的重叠率，并与预设重叠率阈值进行对比，视频帧中与前一关键帧之间的重叠率满足所述预设重叠率阈值的视频帧选取为当前关键帧，直至遍历所有视频帧，得到空中关键帧组；
33.根据空中关键帧组获取空中多视影像集包括以下步骤：
34.根据空中三角测量解算的空中关键帧方位，确定空中关键帧组中的相邻空中关键帧范围内的采集方向；
35.对每帧空中关键帧进行垂直于采集方向的两个视角的直线投影，得到每帧空中关键帧的左视切片和右视切片；
36.根据每帧空中关键帧的左视切片和右视切片，对相邻关键帧进行最优交会视角切片，得到空中多视影像集。
37.优选地，在步骤s203中，对地面密集点云和空中密集点云进行点云配准包括以下步骤：
38.s2031、通过点云融合模块，结合标志点组及待建模区域的自然标志点，在地面密集点云和空中密集点云中标记对应的标志点；
39.s2032、通过迭代最近点方法对地面密集点云和空中密集点云进行配准，并计算配准后标志点对三维点位均方根误差与配准采样点距离均方根误差；
40.s2033、若配准后标志点对三维点位均方根误差与配准采样点距离均方根误差均处于预设误差范围，则导出进行配准时的刚体变换，根据该刚体变换对地面密集点云和空中密集点云进行融合，得到空地三维点云；
41.若配准后标志点对三维点位均方根误差或配准采样点距离均方根误差超出预设误差范围，则返回步骤s202之前，重新进行三维建模。
42.优选地，在步骤s204中，构建三维网格模型包括以下步骤：
43.s2041、通过三维网格构建模块，采用泊松碟采样算法对空地三维点云进行抽稀；
44.s2042、利用泊松重建法，对抽稀后的空地三维点云进行构建，得到三维网格模型。
45.优选地，在步骤s204中，得到每个网格面片的映射候选影像集包括以下步骤：
46.s2043、通过纹理影像生成模块，计算每个网格面片的三角面法向量、采集方向和网格面片的投影面积，确定网格面片的映射视角；
47.s2044、通过马尔可夫随机场对网格面片之间的邻接关系进行建模，再通过图割法
计算马尔科夫随机场组合的最优解；
48.s2045、根据网格面片的映射视角和马尔科夫随机场组合的最优解，得到每个网格面片的映射候选影像集。
49.优选地，在步骤s204中，在映射候选影像集中选取最佳映射影像包括以下步骤：
50.s2046、通过最佳映射影像选取模块，对每个网格面片的映射候选影像进行tenengrad评价函数计算，得到每个映射候选影像的清晰度评价，去除模糊度高于预设模糊度阈值的映射候选影像；
51.s2047、对进行去除后的映射候选影像集中的每个映射候选影像进行亮度检测，选取亮度异常指示参数值最小的映射候选影像作为最佳映射影像。
52.本发明能够取得以下技术效果：
53.(1)与倾斜摄影与地面移动测量相比，全景视频可以从视场角和连续场景两个维度增加对区域及区域中对象进行多视覆盖，在无人机单架次与地面移动装置单次的采集任务中尽可能多地完成场景信息获取，通过结合空中与地面全景视频进行场景三维重建，实现地面及物体的高效精细建模，为智慧城市感知、政府智能决策与应急实时管理提供有效地理信息数据基础；
54.(2)将空中全景摄影测量与地面移动全景三维重建进行有效融合，进行空中
‑
地面协同的地理空间信息获取与感知，得到目标区域中地面及物体的精确几何模型与全方位纹理信息，真实地重构场景的三维样貌；
55.(3)通过近景全景数据弥补空中全景在覆盖侧面及底部场景的缺陷，充分发挥全景数据在时空维度对场景全方位覆盖的优势，进一步降低数据采集的难度，提高三维模型制作过程中预处理、空中三角测量、多视密集重建与模型纹理映射等过程的自动化程度与效率，从而利用更小的人、物力成本完成更准确的重建效果。
附图说明
56.图1是根据本发明实施例的三维建模方法的流程图。
具体实施方式
57.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，而不构成对本发明的限制。
58.本发明实施例提供的三维建模系统，包括：用于获取空中全景视频的空中视频帧获取单元，空中全景视频体现待建模区域的顶部信息及侧面上部信息、用于获取地面全景视频的地面视频帧获取单元，地面全景视频体现待建模区域的近地信息及侧面下部信息、处理器单元；处理器单元用于根据空中全景视频和地面全景视频进行三维建模，对空中全景视频的地面全景视频进行视频处理，提取待建模区域的场景信息，得到三维实景模型；
59.空中视频获取单元包括用于进行空中移动的无人机、用于拍摄空中全景视频的空中全景相机；无人机与空中全景相机连接，带动空中全景相机进行空中移动数据采集；空中全景相机的不同镜头同步获取垂直视角影像和水平视角影像，以六镜头全景相机为例，一个竖直向下的镜头获取底部正射视角影像，其余五个水平朝向相机获取水平方位的影像；
60.地面视频获取单元包括用于进行地面移动的地面移动装置、用于拍摄地面全景视频的地面全景相机；地面移动装置与地面全景相机连接，带动地面全景相机进行地面移动数据采集；地面全景相机的不同镜头同步获取垂直视角影像和水平视角影像，以六镜头全景相机为例，一个竖直向上的镜头获取顶部正射视角影像，其余五个水平朝向相机获取水平方位的影像；
61.处理器单元包括用于进行视频拼接的视频拼接模块、用于抽取地面关键帧的地面视频帧抽取模块、用于生成地面密集点云的地面密集点云生成模块、用于抽取空中关键帧的空中视频帧抽取模块、用于生成空中密集点云的空中密集点云生成模块、用于生成空地三维点云的点云融合模块、用于三维网格模型构建的三维网格构建模块、用于生成映射影像集的映射影像生成模块、用于选取最佳映射影像的最佳映射影像选取模块、用于生成三维实景模型的三维实景模型生成模块；各个模块分别进行不同处理，确保各步骤顺序进行，不产生干扰，减少处理中产生的错误。
62.上述内容详细说明了本发明提供的三维建模系统的结构，与该系统相对应，本发明还提供一种利用三维建模系统对待建模区域进行三维建模的方法。
63.如图1所示，本发明实施例提供的三维建模方法，包括以下步骤：
64.s1、通过空中视频获取单元和地面视频获取单元同时进行视频获取，得到待建模区域的空中全景视频和地面全景视频；
65.空中全景视频体现待建模区域的顶部信息及侧面上部信息，地面全景视频体现待建模区域的近地信息及侧面下部信息；
66.s2、通过处理器单元根据空中全景视频和地面全景视频进行三维建模，得到三维实景模型；
67.根据空中全景视频和地面全景视频提取待建模区域的信息，对信息进行处理，将处理后的信息数据用于三维建模，得到三维实景模型。
68.在本发明的一个实施例中，在步骤s1前，还包括以下步骤：
69.s0、在待建模区域的地面及物体侧面均匀布设标志点组，建立坐标系，测量标志点组包含的所有标志点的现实三维坐标；
70.通过标志点组，建立起影像中坐标与现实三维坐标的转换关系。
71.在本发明的一个实施例中，步骤s2包括以下步骤：
72.s201、通过处理器的视频拼接模块，使用球形全景模型获取每帧水平360
°
及垂直180
°
全景影像，对空中全景视频和地面全景视频进行拼接，得到在时空维度对场景完全覆盖的空地全景视频；
73.s202、通过处理器的地面视频帧抽取模块对地面全景视频进行视频帧自适应抽取，去除包含重复信息的多余视频帧，得到用于三维重建的地面关键帧组，减少后续处理的数据量；通过处理器的地面密集点云生成模块，根据标志点组对地面关键帧组进行空中三角测量，根据地面关键帧组获取地面多视影像集，并根据地面多视影像集进行立体重建，得到地面密集点云，地面密集点云体现地面全景视频的特征；
74.通过处理器的空中视频帧抽取模块对空中全景视频进行视频帧自适应抽取，去除包含重复信息的多余视频帧，得到用于三维重建的空中关键帧组；通过处理器的空中密集点云生成模块，根据标志点的测量平差对空中关键帧组进行空中三角测量，根据空中关键
帧组获取空中多视影像集，并根据空中多视影像集进行立体重建，得到空中密集点云，空中密集点云体现空中全景视频的特征；
75.s203、通过处理器的点云融合模块对地面密集点云和空中密集点云进行点云配准，通过点云配准得到使空中全景视频与地面全景视频中的同一特征点重合的配准参数，并根据该配准参数对配准后的地面密集点云和空中密集点云进行融合，得到空地三维点云，空地三维点云体现根据空中全景视频和地面全景视频得到的待建模区域的特征；
76.s204、通过处理器的三维网格构建模块，根据空地三维点云，构建三维网格模型；通过处理器的纹理影像生成模块，基于几何视角，对三维网格模型的每个网格面片生成映射影像，每个网格面片在空中全景视频和地面全景视频中具有多个映射影像，对多个映射影像进行初步筛选，得到每个网格面片的映射候选影像集；通过处理器的最佳映射影像选取模块，基于影像清晰度、色彩等辐射质量评价指标，在映射候选影像集中选取最佳映射影像；通过处理器的三维实景模型生成模块，根据最佳映射影像对三维网格模型进行纹理映射，生成待建模区域的三维实景模型。
77.在本发明的一个实施例中，在步骤s202中，对地面全景视频进行视频帧自适应抽取包括以下步骤：
78.通过地面视频帧抽取模块对比地面全景视频的相邻视频帧的相似度，去除停留片段视频帧；
79.以结构相似度(structural similarity，ssim)指标进行快速停留帧剔除；ssim结构相似性度量由式(2
‑
1)获取，(x，y)为当前对比的两帧图像；
80.ssim(x，y)＝[b(x，y)
α
][c(x，y)
β
][s(x，y)
γ
]
ꢀꢀ
(2
‑
1)
[0081]
其中：
[0082][0083][0084][0085]
式中，b(x，y)为亮度差异，c(x，y)为对比度差异，s(x，y)为结构差异，μ
x
与μ
y
分别代表x，y的平均值，σ
x
与σ
y
为图像x，y的标准差，σ
xy
为图像x，y的协方差，而c1，c1，c1为避免分母为0的系统常数，α，β，γ为大于0的系数。
[0086]
对冗余度很高的初始帧，并不直接依次对相邻帧进行相似度比对，而是预设帧间隔k
inter
(k
inter
＝5)，若间隔为k
inter
的两帧相似度超过相似度上限阈值sim
max
(0.94)，则说明两帧之间基本未发生运动，剔除所有中间帧，同时扩大影像间隔k
inter
再进行比较。若相似度低于下限阈值sim
min
(0.90)，则说明两张影像间隔过大，缩小影像间隔k
inter
再进行比较，直到相似度适中，选取新的视频帧为关键帧并进行后续视频帧的停留筛选。
[0087]
获取地面全景视频中每帧视频帧的左视切片和右视切片，根据相邻侧视切片之间的相对水平位移进行计算，去除旋转片段视频帧；
[0088]
选取侧视切片影像进行两两切片之间的相对水平位移计算，从第一张影像开始判断位移，若存在连续三个相对位移为负的影像，则以第一张为负的基础影像开始记录，若连续三张为正且后续两张不为负的影像，则以最后一张为负的匹配影像停止记录。所记录的影像为一段疑似旋转片段；
[0089]
设定判断阈值，寻找并记录疑似旋转片段的左右端点侧视切片分比为sl、sr，以及片段长度around＝sr
‑
sl；计算左端点sl与右端扩充区域(sr+around)切片的相似度以及右端点sr与左端扩充区域(sl
‑
around)切片的相似度；判断相似度方差是否大于阈值(0.04)，若大于则认定为异常旋转片段，记录左端点为tl、右端点为tr；标记并去除tl与tr之间的影像。
[0090]
设定进行去除后的地面全景视频的第一帧视频帧为第一地面关键帧，计算后续视频帧与前一关键帧之间的重叠率，并与预设重叠率阈值进行对比，视频帧中与前一关键帧之间的重叠率满足预设重叠率阈值的视频帧选取为当前关键帧，直至遍历所有视频帧，得到地面关键帧组；
[0091]
在orb匹配基础上，通过ransac外点剔除策略，可以建立起帧间单应变换矩阵h，
[0092][0093]
其中，h为单应矩阵，x1，y1与x2，y2分别为两帧视频帧中对应点的坐标；
[0094]
单应矩阵h反映两张影像间匹配点对的单应性变换，定义一幅影像的方形窗口(x
a
y
a
，x
b
y
b
，x
c
y
c
，x
d
y
d
)，通过h确定前一帧内以像主点为中心局部窗口顶点坐标(x
a
y
a
，x
b
y
b
，x
c
y
c
，x
d
y
d
)变换至后一帧的点位(x
a
′
y
a
′
，x
b
′
y
b
′
，x
c
′
y
c
′
，x
d
′
y
d
′
)，进一步获取像中心变化前后坐标(x
cen
，y
cen
)与(x
cen
′
，y
cen
′
)，计算位移变化(δx
cen
，δy
cen
)；
[0095]
基线δbase的估算公式如式(2
‑
6)，即x、y方向的l2范数，重叠度overlap的计算公式为(2
‑
7)，其中，l为多视切片长度，以像素为单位：
[0096][0097][0098]
为重叠率overlap设置上下限阈值，将视频帧中与前一关键帧间隔符合重叠要求的视频帧选取为当前关键帧，直至帧序列遍历结束。
[0099]
根据地面关键帧组获取地面多视影像集包括以下步骤：
[0100]
根据地面关键帧组中的每帧地面关键帧的左视切片和右视切片，对相邻关键帧进行最优交会视角切片，得到完整场景的具有重叠与交会的地面多视影像集。
[0101]
在本发明的一个实施例中，在步骤s202中，对空中全景视频进行视频帧自适应抽取包括以下步骤：
[0102]
通过空中视频帧抽取模块对比空中全景视频的相邻视频帧的相似度，去除停留片段视频帧；
[0103]
对空中全景视频进行去除停留片段视频帧的方法与对地面全景视频进行去除停留片段视频帧的方法相同，此处不再进行赘述。
[0104]
获取空中全景视频中每帧视频帧的下视切片，根据相邻下视切片之间的重心坐标变化进行计算，去除旋转片段视频帧；
[0105]
通过单应矩阵判断旋转状态；单应矩阵h反映两张影像间匹配点对的单应性变换，在单应矩阵的基础上，以方形兴趣窗口重心偏移判断影像旋转；定义一幅影像的方形窗口(x
a
y
a
，x
b
y
b
，x
c
y
c
，x
d
y
d
)，根据h计算对应匹配点(x
a
′
y
a
′
，x
b
′
y
b
′
，x
c
′
y
c
′
，x
d
′
y
d
′
)；计算两窗口各自重心坐标(x
cen
，y
cen
)与(x
cen
′
，y
cen
′
)之间的变化量(δx
cen
，δy
cen
)，当变化量都较小时则为旋转停留状态，予以剔除。
[0106]
设定进行去除后的空中全景视频的第一视频帧为第一空中关键帧，计算后续视频帧与前一关键帧之间的重叠率，并与预设重叠率阈值进行对比，视频帧中与前一关键帧之间的重叠率满足所述预设重叠率阈值的视频帧选取为当前关键帧，直至遍历所有视频帧，得到空中关键帧组；
[0107]
对空中全景视频选取空中关键帧组的方法与对地面全景视频选取空中关键帧组的方法相同，此处不再进行赘述。
[0108]
根据空中关键帧组获取空中多视影像集包括以下步骤：
[0109]
根据空中三角测量解算的空中关键帧方位，确定空中关键帧组中的相邻空中关键帧范围内的采集方向；
[0110]
对每帧空中关键帧进行垂直于采集方向的两个视角的直线投影，得到每帧空中关键帧的左视切片和右视切片；
[0111]
根据每帧空中关键帧的左视切片和右视切片，对相邻关键帧进行最优交会视角切片，得到空中多视影像集。
[0112]
在本发明的一个实施例中，在步骤s203中，对地面密集点云和空中密集点云进行点云配准包括以下步骤：
[0113]
s2031、通过点云融合模块，结合标志点组及待建模区域的自然标志点，在地面密集点云和空中密集点云中标记对应的标志点；
[0114]
s2032、通过迭代最近点方法对地面密集点云和空中密集点云进行配准，并计算配准后标志点对三维点位均方根误差与配准采样点距离均方根误差；
[0115]
点云配准是指输入两幅点云数据源点云q(source)与目标点云p(target)，输出一个变换f，使得变换后点云f(q)与p尽可能具有高重合度。本实施例中的f为刚性变换，只包括平移与旋转。变换公式如下：
[0116]
f([x，y，z]
t
)＝r[x，y，z]
t
+t
ꢀꢀ
(3
‑
1)
[0117][0118]
t＝[x0，y0，z0]
t
ꢀꢀ
(3
‑
3)
[0119]
其中[x，y，z]
t
为源点云中各点三维坐标，r为旋转变换矩阵，t为平移变换矩阵；用e(r，t)来表示源点集q在变换矩阵(r，t)下与目标点集p之间的误差，求解最优变换f的过程实际上就是求解满足min(e(r，t))的最优解(r，t)，如公式(5
‑
4)所示，n
q
为源点集q大小，q
i
与p
i
为源点集与目标点集中一对对应点。
[0120][0121]
迭代最近点方法的基本原理是在待匹配的源点云q与目标点云p中按照一定的约束条件，找到最邻近点对(q
i
，p
i
)，随后计算最优变换参数r与t，使得式(3
‑
4)中的误差函数e(r，t)最小。迭代最近点方法实质上是基于最小二乘法的最优匹配，通过迭代求解减小误差，最终得到使误差函数最小或满足某个收敛准则的旋转变换矩阵r与平移变换矩阵t。
[0122]
迭代的过程为确定点集对应关系与计算最优刚体变换的不断循环，具体算法步骤如下：
[0123]
(1)在目标点云p中取部分点集p，p∈p。
[0124]
(2)在源点云q中寻找p对应点集q，q∈q，使得‖q
‑
p‖＝min。
[0125]
(3)计算旋转矩阵r与平移矩阵t，使得误差函数e(r，t)最小。
[0126]
(4)对p使用步骤(3)中得到的旋转与平移矩阵进行变换，得到新的点集p
′
，p
′
＝rp+t，p∈p。
[0127]
(5)计算p
′
与q的平均距离n为点集p
′
的大小。
[0128]
(6)如果d小于给定的阈值或者迭代次数大于预设的最大迭代次数，则停止迭代；否则返回步骤(2)，直到满足收敛条件。
[0129]
s2033、将标志点作为三维检查点，基于配准后标志点对三维点位均方根误差与配准采样点距离均方根误差检验空中
‑
地面点云配准精度，若配准后标志点对三维点位均方根误差与配准采样点距离均方根误差均处于预设误差范围，则导出进行配准时的刚体变换，根据该刚体变换对地面密集点云和空中密集点云进行融合，得到空地三维点云；在本实施例中，预设误差范围为3厘米；
[0130]
若配准后标志点对三维点位均方根误差或配准采样点距离均方根误差超出预设误差范围，则返回步骤s202之前，重新进行三维建模。
[0131]
在本发明的一个实施例中，在步骤s204中，构建三维网格模型包括以下步骤：
[0132]
s2041、通过三维网格构建模块，采用泊松碟采样算法对空地三维点云进行抽稀，去除多余的三维点数据；
[0133]
s2042、利用泊松重建法，对抽稀后的空地三维点云进行构建，得到三维网格模型。
[0134]
在本发明的一个实施例中，在步骤s204中，得到每个网格面片的映射候选影像集包括以下步骤：
[0135]
s2043、通过纹理影像生成模块，计算每个网格面片的三角面法向量、采集方向和网格面片的投影面积，确定网格面片的映射视角；
[0136]
s2044、通过马尔可夫随机场对网格面片之间的邻接关系进行建模，再通过图割法计算马尔科夫随机场组合的最优解；
[0137]
s2045、根据网格面片的映射视角和马尔科夫随机场组合的最优解，得到每个网格面片的映射候选影像集；
[0138]
输入n幅已经标定好的图像和一个三维网格模型，其所有面片为k＝{k1,k2,
…
,k
k
}。每个面片上对应的纹理图像作为一个标签，向量m＝{m1,m2,
…
,m
k
}表示第i个面片对应
的纹理图像为第m
i
幅。基于视角方向和面片法向描述影像信息丰富度，以纹理颜色一致性描述纹理，共同构建基于马尔科夫随机场的目标能量函数：
[0139]
e(m)＝e
q
(m)+λe
c
(m)
ꢀꢀ
(4
‑
1)
[0140]
e
q
(m)表示由视角方向和面片法描述的影像质量：
[0141][0142]
n
i
(f
i
)为面片法向，v
i
为视角方向；
[0143]
e
c
(m)表示纹理颜色一致性：
[0144][0145]
e
i,j
表示相邻面片的公共边，d(p
i
(x),p
j
(x))表示两像素点在颜色空间上的欧式距离；
[0146]
对公式求解最小能量函数得到当前最优纹理标签，基于当前最优纹理标签，获取位姿与之最相近的4幅影像，共同构建候选影像集。
[0147]
在本发明的一个实施例中，在步骤s6中，在映射候选影像集中选取最佳映射影像包括以下步骤：
[0148]
s2046、通过最佳映射影像选取模块，对每个网格面片的映射候选影像进行tenengrad评价函数计算，得到每个映射候选影像的清晰度评价，去除模糊度高于预设模糊度阈值的映射候选影像；
[0149]
tenengrad函数通过索贝尔算子提取水平和垂直方向的梯度值，求其平方和作为评价函数，基于tenengrad梯度函数的影像清晰度定义如下：
[0150]
d(f)＝∑
y
∑
x
|g(x，y)|，g(x，y)>t
ꢀꢀ
(4
‑
4)
[0151][0152]
其中：t是给定的边缘检测阀值，g
x
和g
y
分别是像素坐标(x，y)与索贝尔算子水平和垂直方向的卷积，索贝尔算子模板如下：
[0153][0154]
根据上述公式，分别计算每张影像的各级金字塔影像的tenengrad梯度d(f
i
)，i＝0，1，2，3
…
，i＝0表示原始影像，i＝j表示j级下采样影像。由于不同分辨率影像的大小不同，首先要将金字塔序列影像拉伸至原始0级影像的尺寸大小。
[0155]
对每张影像而言，金字塔各级影像的梯度计算完成后，影像的降采样级别i与其对应的tenengrad梯度值d(f
i
)构成一系列观测对(i，d(f
i
))，i＝0，1，2，3
…
；采用最小二乘拟合对每张影像的一系列观测对进行线性回归，将拟合出的直线模型的斜率绝对值作为该影像tenengrad梯度变化率。由最小二乘的计算可得，该影像的tenengrad梯度变化率为：
[0156][0157]
式中n为观测对的个数，梯度变化率越高，代表该影像具有更好的清晰度。
[0158]
s2047、对进行去除后的映射候选影像集中的每个映射候选影像进行基于局部灰度均值的cast/da亮度检测，剔除纹理影像集中曝光不足、曝光过度等亮度异常的影像，选取亮度异常指示参数值最小的映射候选影像作为最佳映射影像；
[0159]
当亮度出现异常时，影像亮度会偏离亮度参考值，计算影像灰度图偏离参考值的均值和偏差，可衡量影像亮度，评估影像是否存在曝光过度或者曝光不足等亮度异常，cast参数用以指示亮度是否异常，参数da为偏离参考值的均值。该方法需要将rgb影像，转换为对应的灰度图进行计算。偏离参考值的均值da计算公式如下：
[0160][0161]
其中，n为灰度影像的宽度与高度的乘积，即影像像素的总个数，x
i
为灰度图各像素点的灰度值，refvalue为亮度参考值。
[0162][0163]
meanvalue
i
为影像灰度图均值；
[0164][0165]
偏离参考值的偏差定义如下：
[0166][0167]
式中，hist为灰度图的直方图。
[0168]
亮度异常指示参数cast按下式计算：
[0169]
d＝|da|
ꢀꢀ
(4
‑
12)
[0170]
m＝|ma|
ꢀꢀ
(4
‑
13)
[0171]
cast＝d/m
ꢀꢀ
(4
‑
14)
[0172]
当cast≥1时，表示影像存在亮度异常。此时da>0表示影像曝光过度，da<0表示影像曝光不足；cast<1则表示影像合理曝光，不存在亮度异常。
[0173]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0174]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制。本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
[0175]
以上本发明的具体实施方式，并不构成对本发明保护范围的限定。任何根据本发明的技术构思所做出的各种其他相应的改变与变形，均应包含在本发明权利要求的保护范围内。