一种倾斜摄影测量建筑物特征点提取方法、装置、电子设备及介质与流程

1.本技术涉及测绘的领域，尤其是涉及一种倾斜摄影测量建筑物特征点提取方法、装置、电子设备及介质。


背景技术：

2.近年来，随着无人机技术和倾斜摄影技术的快速发展，利用无人机搭载多镜头传感器进行倾斜摄影，快速生成城市的实景三维模型，成为获取三维地理信息数据的重要手段。相关人员通过不断提高机载相机性能，优化无人机飞行路线，获取更加详细的地物信息，生成更加精细化的建筑三维模型。
3.但是由于三角网本身特性的制约，它对于面的拟合效果较好，但对于建筑物外轮廓非平缓的线状目标和突出角点难以准确拟合，降低了建筑物的特征提取准确度。


技术实现要素：

4.为了对建筑物特征进行准确提取，本技术提供一种倾斜摄影测量建筑物特征点提取方法、装置、电子设备及介质。
5.第一方面，本技术提供一种倾斜摄影测量建筑物特征点提取方法，采用如下的技术方案：一种倾斜摄影测量建筑物特征点提取方法，包括：获取目标建筑物基于倾斜摄影测量生成的三维模型；确定所述三维模型中的待填充区域；基于贝叶斯网络分类器确定所述待填充区域中的特征点；将所述待填充区域的特征点融合至所述三维模型对应的位置。
6.通过采用上述技术方案，通过对三维模型中拟合效果较差的特征点采用贝叶斯分类器进行提取，并将提取到的特征点填充至三维模型对应的位置，实现在三角网拟合准确度不高的位置有效识别建筑物的特征点，提高了对建筑物提取的准确度。
7.在另一种可能实现的方式中，所述方法还包括：确定建筑物的正射轮廓线；将所述待填充区域中的特征点作为填充特征点；判断位于所述三维模型顶部的填充特征点是否落入所述建筑物的正射轮廓线内；基于判断结果生成准确度信息。
8.通过采用上述技术方案，通过判断位于三维模型顶部的特征点是否落入了建筑物的正射轮廓线，可以判断生成的填充特征点的准确度，提高了对建筑物特征点提取的准确度。
9.在另一种可能实现的方式中，所述基于判断结果生成准确度信息，包括：确定位于三维模型顶部的所述填充特征点与所述建筑物的正射轮廓线之间的偏
差矢量；基于所述偏差矢量生成准确度信息。
10.通过采用上述技术方案，通过判断偏差矢量的模，以判断三维模型顶部的特征点是否落入了建筑物轮廓线中，能够进一步提取填充特征点的偏移量。
11.在另一种可能实现的方式中，所述确定所述三维模型中的待填充区域，包括：将所述三维模型输入至训练好的神经网络模型，获取所述训练好的神经网络模型生成的待填充区域。
12.通过采用上述技术方案，通过神经网络模型通过无监督学习的方式对待测三维模型的待填充区域进行自动提取，实现了对待补充特征点识别的准确度。
13.在另一种可能实现的方式中，训练所述神经网络模型包括：获取样本三维模型以及所述样本三维模型对应的人工标注信息；将所述样本三维模型以及所述人工标注信息作为训练样本对所述神经网络模型进行训练。
14.在另一种可能实现的方式中，所述获取目标建筑物基于倾斜摄影测量生成的三维模型之前，还包括：获取目标建筑物的点云数据，并对所述目标建筑物的点云数据进行去噪。
15.第二方面，本技术提供一种倾斜摄影测量建筑物特征点提取装置，采用如下的技术方案：一种倾斜摄影测量建筑物特征点提取装置，包括：构建模块，用于获取目标建筑物基于倾斜摄影测量生成的三维模型；区域划分模块，用于确定所述三维模型中的待填充区域；特征再识别模块，用于基于贝叶斯网络分类器确定所述待填充区域中的特征点；融合模块，用于将所述待填充区域的特征点融合至所述三维模型对应的位置。
16.在另一种可能实现的方式中，所述提取装置还包括比对模块，所述比对模块用于：确定建筑物的正射轮廓线；将所述待填充区域中的特征点作为填充特征点；判断位于所述三维模型顶部的填充特征点是否落入所述建筑物的正射轮廓线内；基于判断结果生成准确度信息。
17.在另一种可能实现的方式中，所述比对模块在基于判断结果生成准确度信息时，具体用于：确定位于三维模型顶部的所述填充特征点与所述建筑物的正射轮廓线之间的偏差矢量；基于所述偏差矢量生成准确度信息。
18.在另一种可能实现的方式中，所述区域划分模块在确定所述三维模型中的待填充区域时，具体用于：将所述三维模型输入至训练好的神经网络模型，获取所述训练好的神经网络模型生成的待填充区域。
19.在另一种可能实现的方式中，所述区域划分模块在训练所述神经网络模型时，具体用于：
获取样本三维模型以及所述样本三维模型对应的人工标注信息；将所述样本三维模型以及所述人工标注信息作为训练样本对所述神经网络模型进行训练。
20.在另一种可能实现的方式中，所述构建模块在获取目标建筑物基于倾斜摄影测量生成的三维模型之前，还包括：获取目标建筑物的点云数据，并对所述目标建筑物的点云数据进行去噪。
21.第三方面，本技术提供一种电子设备，采用如下的技术方案：一种电子设备，该电子设备包括：一个或多个处理器；存储器；一个或多个应用程序，其中一个或多个应用程序被存储在存储器中并被配置为由一个或多个处理器执行，所述一个或多个应用程序配置用于：执行上述倾斜摄影测量建筑物特征点提取方法。
22.第四方面，本技术提供一种计算机可读存储介质，采用如下的技术方案：一种计算机可读存储介质，包括：存储有能够被处理器加载并执行上述倾斜摄影测量建筑物特征点提取方法的计算机程序。
23.综上所述，本技术包括以下至少一种有益技术效果：通过对三维模型中拟合效果较差的特征点采用贝叶斯分类器进行提取，并将提取到的特征点填充至三维模型对应的位置，实现在三角网拟合准确度不高的位置有效识别建筑物的特征点，提高了对建筑物提取的准确度。
附图说明
24.图1是本技术实施例倾斜摄影测量建筑物特征点提取方法的流程示意图；图2是本技术实施例倾斜摄影测量建筑物特征点提取装置的方框示意图；图3是本技术实施例电子设备的示意图。
具体实施方式
25.以下结合附图1-3对本技术作进一步详细说明。
26.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
27.另外，本文中术语“和/或”，仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，如无特殊说明，一般表示前后关联对象是一种“或”的关系。
28.本技术实施例提供了一种倾斜摄影测量建筑物特征点提取方法，由电子设备执行，该方法包括：步骤s101、获取目标建筑物基于倾斜摄影测量生成的三维模型。
29.其中，倾斜摄影测量技术是国际测绘遥感领域新兴发展起来的一项高新技术，融
合了传统的航空摄影和近景测量技术，突破以往正射影像只能从垂直角度拍摄的局限，通过在同一飞行平台上搭载单个或多个镜头，从垂直、前视、左视、右视与后视共5个不同的角度采集影像。其中，垂直摄影影像可经过传统航空摄影测量技术处理，制作4d(dem、dom、dlg与drg)产品；前视、左视、右视与后视4个倾斜摄影影像用于获取地物侧面丰富的纹理信息。倾斜摄影是多角度摄影的除了顶部外的更多地物不同侧面进行的相机阵列组合中的相机姿态调整，对目标建筑物进行360度的拍摄。
30.对于本技术实施例，目标建筑物为单一建筑物，获取目标建筑物的方式为在建筑物群中通过特征聚类以及分割的方式识别出单一建筑物，从多个单一建筑物中去确定任一个作为目标建筑物。
31.生成三维模型前，首先对获取的图像进行预处理，检查并剔除不符合要求的图像、图像匀色处理、消除图像中的无关信息等；生成三维建模的过程包括：对预处理后的图像进行影像几何校正，图像几何校正包括：图像转矩阵、确定校正变换函数、分析误差、左边变换、图像重采样等处理；而后，将校正完的图像经过区域整体联合平差，消除影像间的几何变形和遮挡关系，采用由粗到精的金字塔匹配策略，在每级影像上进行同名点自动匹配和自由网光束法平差，从而得到较好的同名点匹配结果；进一步地，将多视角影像密集匹配，在匹配过程中充分考虑冗余信息，准确获取多视影像上的同名点坐标；而后，生成数字表面模型和/或三维不规则三角网，并基于图像空间和几何畸变进行校正生成多中心投影平面正射图像；最后，生成三维数据库，三维数据库中包括dsm、dom、tdom、矢量数据在内的三维模型数据，其中dsm、dom、tdom、矢量数据在内的三维模型数据是基于获取到的影像的超高密度点云，构建地物的tin模型后生成的三维模型数据。
32.步骤s102、确定三维模型中的待填充区域。
33.具体地，由于三角网本身特性的制约，它对于面的拟合效果较好，但对于建筑物外轮廓非平缓的线状目标和突出角点难以准确拟合。对于本技术实施例，将三角网中拟合效果差的线状目标对应的特征点以及突出角点所在的预设区域作为待填充区域。
34.步骤s103、基于贝叶斯网络分类器确定待填充区域中的特征点。
35.其中，为目标建筑物构建贝叶斯网络分类器，基于monte carlo算法推理得到建筑物特征点。对于每个目标建筑物，构建贝叶斯网络分类器结构b(g ,θ)，其中将各样本点的属性的联合概率分布定义为式（1）：
ꢀꢀꢀꢀ
式（1）基于em(expectation-maximization)算法即期望最大算法对贝叶斯网络分类器结构b(g ,θ)中的样本点进行求取样本服从的分布参数θ。
36.具体地，若样本服从的分布参数θ已知，则可以根据已观测到的训练样本推断出隐变量z的期望值，具体包括：以当前参数θ(t)推断隐变量分布p(z|x ,θ(t))，计算对数似然函数l(θ|x ,z) 关于z 的期望：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式（2）若z的值已知，则寻找参数最大化期望似然函数值，即：
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式（3）将最大期望分布参数θ所对应的特征点所在点云即为建筑物的特征点。
37.步骤s104、将待填充区域的特征点融合至三维模型对应的位置。
38.将待填充区域中的特征点添加到三维模型中，实现对三维模型中准确拟合的特征点进行补充，进而实现对整个建筑物轮廓的准确描述。
39.本技术实施例的一种可能的实现方式，获取目标建筑物基于倾斜摄影测量生成的三维模型之前，还包括：获取目标建筑物的点云数据，并对目标建筑物的点云数据进行去噪。
40.其中，对点云数据进行去噪处理包括滤除高程异常点，目标建筑物对应的每个图像都对应有拍摄时间以及对应的拍摄高度信息，通过滤除高程异常点，能够降低无效信息的干扰。
41.本技术实施例的一种可能的实现方式，方法还包括：确定建筑物的正射轮廓线；将待填充区域中的特征点作为填充特征点；判断位于三维模型顶部的填充特征点是否落入建筑物的正射轮廓线内；基于判断结果生成准确度信息。
42.其中，确定建筑物轮廓线包括：确定目标建筑物掩膜的粗糙轮廓线；基于线匹配对粗糙建筑物轮廓线进行校正；通过融合匹配线和粗糙建筑物掩膜的轮廓线对建筑物边界规则化。具体地，目标建筑物掩膜(mask)的轮廓线粗糙、不规则，为语义化构建建筑物模型，需对粗糙建筑物轮廓规则化，对建筑物轮廓线规则化的目的是对建筑物粗糙轮廓线的重新修正和描述，正射影像在生成过程中可能存在扭曲和遮挡等缺陷，因此，本技术基于倾斜摄影测量得到的直线段信息完成建筑物轮廓线的规则化。其中，粗糙建筑物轮廓线提取的方式可采用基于dim点云的粗糙建筑物轮廓线提取，通过投影点密度法(the density of projected points，dopp)来获取建筑物的立面。进一步地，通过融合匹配线和粗糙建筑物掩膜的轮廓线对建筑物边界规则化时，具体包括：将从建筑物掩膜中提取的粗糙建筑物轮廓线的方向调整至建筑物的主方向或垂直方向；，进行平行直线段的合并；补全合并直线段间存在的间隙，并删除无效多边形，从而生成建筑物规则轮廓线。
43.本技术实施例的一种可能的实现方式，基于判断结果生成准确度信息，包括：确定位于三维模型顶部的填充特征点与建筑物的正射轮廓线之间的偏差矢量；基于偏差矢量生成准确度信息。
44.具体地，判断填充特征点是否落入到建筑物相应位置的轮廓线内，并计算填充点到该在三维模型上对应点之间的矢量差（包括水平方向和竖直方向），若偏差矢量的模位于预设误差范围内，则生成有效推断信息，若偏差矢量的模未落入预设范围内，则生成非有效推断信息。若生成有效推断信息，则说明生成的填充特征点准确度较高，能够准确描述建筑物的特征。若生成无效推断信息，则说明生成的填充特征点准确度较低，可能导致无法准确描述建筑的特征。
45.本技术实施例的一种可能的实现方式，确定三维模型中的待填充区域，包括：将三维模型输入至训练好的神经网络模型，获取训练好的神经网络模型生成的待填充区域。其中，训练神经网络模型包括：获取样本三维模型以及样本三维模型对应的标注区域信息；将
integrated circuit，专用集成电路），fpga（field programmable gate array，现场可编程门阵列）或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本技术公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器1101也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等。
56.总线1102可包括一通路，在上述组件之间传送信息。总线1102可以是pci（peripheral component interconnect，外设部件互连标准）总线或eisa（extended industry standard architecture，扩展工业标准结构）总线等。总线1102可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
57.存储器1103可以是rom（read only memory，只读存储器）或可存储静态信息和指令的其他类型的静态存储设备，ram（random access memory，随机存取存储器）或者可存储信息和指令的其他类型的动态存储设备，也可以是eeprom（electrically erasable programmable read only memory，电可擦可编程只读存储器）、cd-rom（compact disc read only memory，只读光盘）或其他光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
58.存储器1103用于存储执行本技术方案的应用程序代码，并由处理器1101来控制执行。处理器1101用于执行存储器1103中存储的应用程序代码，以实现前述方法实施例所示的内容。
59.其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、pda（个人数字助理）、pad（平板电脑）、pmp（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。还可以为服务器等。图3示出的电子设备仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
60.应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
61.以上仅是本技术的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。