点云数据的生成及实时显示方法、装置、设备及介质与流程

1.本发明实施例涉及图像处理技术领域，尤其涉及一种点云数据的生成及实时显示方法、装置、设备及介质。


背景技术：

2.随着无人机拍摄技术的不断发展，借助航拍无人机，可快速采集地面影像图，实现全自动化的三维建模，输出dsm(digital surface model，数字表面模型)以及dom(digital orthophoto map，数字正向影像图)等成果。
3.现有技术中，图像处理设备需要首先获取与航拍无人机所采集的设定场景下的地面影像图，并生成与地面影像图对应的深度图，基于该深度图以及其位置信息，生成该场景下的点云数据，并进而生成相应的dsm以及dom。
4.发明人在实现本发明的过程中，发现现有技术存在如下缺陷：现有的点云数据的计算方法计算量大、计算复杂，无法实时动态地生成整个场景的三维点云。


技术实现要素：

5.本发明实施例提供一种点云数据的生成及实时显示方法、装置、设备及介质，以实时动态地生成整个场景的三维点云。
6.第一方面，本发明实施例提供了一种点云数据的生成方法，包括：
7.获取相邻拍摄的第一图像帧和第二图像帧，并将所述第一图像帧和第二图像帧调整为满足双目立体匹配条件的第一变换图像帧和第二变换图像帧；
8.根据所述第一变换图像帧和所述第二变换图像帧，计算与第一变换图像帧对应的视差图，并根据所述视差图，计算与所述第一变换图像帧对应的深度图；
9.根据所述深度图以及所述第一变换图像帧，计算与所述第一图像帧对应的点云数据。
10.可选的，将所述第一图像帧和第二图像帧调整为满足双目立体匹配条件的第一变换图像帧和第二变换图像帧，包括：
11.如果确定所述第一图像帧与所述第二图像帧处于同一直线上，则将所述第一图像帧和第二图像帧调整为满足双目立体匹配条件的第一变换图像帧和第二变换图像帧。
12.可选的，所述第一图像帧和第二图像帧为无人机沿设定航线飞行时所拍摄得到的图像帧；
13.确定所述第一图像帧与所述第二图像帧处于同一直线包括：
14.获取与所述第一图像帧对应的第一旋转矩阵，以及与所述第二图像帧对应的第二旋转矩阵；
15.计算与所述第一旋转矩阵对应的第一偏航角，以及与所述第二旋转矩阵对应的第二偏航角；
16.如果所述第一偏航角与所述第二偏航角之间的差异值在预设的差异值范围内，则
确定所述第一图像帧与所述第二图像帧处于同一直线。
17.可选的，将所述第一图像帧和第二图像帧调整为满足双目立体匹配条件的第一变换图像帧和第二变换图像帧，包括：
18.根据所述第一图像帧对应的第一旋转矩阵、所述第二图像帧对应的第二旋转矩阵及对极几何原理，计算目标旋转矩阵；
19.根据所述目标旋转矩阵，计算与所述第一图像帧对应的第一新相机投影矩阵，以及所述第二图像帧对应的第二新相机投影矩阵；
20.根据所述第一新相机投影矩阵计算第一矫正变换矩阵，根据所述第二新相机投影矩阵计算第二矫正变换矩阵；
21.根据所述第一矫正变换矩阵对所述第一图像帧进行重采样映射变换，得到第一变换图像帧；
22.根据所述第二矫正变换矩阵对所述第二图像帧进行重采样映射变换，得到第二变换图像帧。
23.可选的，所述根据所述目标旋转矩阵，计算与所述第一图像帧对应的第一新相机投影矩阵，以及所述第二图像帧对应的第二新相机投影矩阵，包括：
24.根据公式：p
n1
＝k[r
n
|-r
n
c1]，计算与所述第一图像帧对应的第一新相机投影矩阵p
n1
；
[0025]
根据公式：p
n2
＝k[r
n
|-r
n
c2]，计算与所述第一图像帧对应的第一新相机投影矩阵p
n2
；
[0026]
所述根据所述第一新相机投影矩阵计算第一矫正变换矩阵，根据所述第二新相机投影矩阵计算第二矫正变换矩阵，包括：
[0027]
根据公式：t1＝(p
n1
*(k*r'1)')'，计算与所述第一矫正变换矩阵t1；
[0028]
根据公式：t2＝(p
n2
*(k*r'2)')'，计算与所述第二矫正变换矩阵t2；
[0029]
所述根据所述视差图，计算与所述第一变换图像帧对应的深度图，包括：
[0030]
根据公式：计算与所述第一变换图像帧对应的深度图depth；
[0031]
所述根据所述深度图以及所述第一变换图像帧，计算与所述第一图像帧对应的点云数据，包括：
[0032]
根据公式：point3d(x,y,z)＝p'
n1
*(x,y,depth)，计算所述第一图像帧对应的点云数据point3d(x,y,z)；
[0033]
其中，k为相机内参，r
n
为所述目标旋转矩阵，c1为所述第一图像帧的图像位置，c2为所述第二图像帧的图像位置，r1为所述第一图像帧的旋转矩阵，r2为所述第二图像帧的旋转矩阵，f为相机内参的焦距值，disparity为视差值，baseline为基线，baseline＝|c
2-c1|，x、y为所述第一变换图像帧中各像素点的水平坐标。
[0034]
可选的，在所述根据所述视差图，计算与所述第一变换图像帧对应的深度图之后，还包括：
[0035]
将所述第一变换图像帧对应的深度图与相邻预设数量的深度图进行一致性检测；
[0036]
根据一致性检测结果删除所述第一变换图像帧对应的深度图中的误匹配点数据。
[0037]
可选的，将所述第一图像帧和第二图像帧调整为满足双目立体匹配条件的第一变
换图像帧和第二变换图像帧，包括：
[0038]
如果确定所述第一图像帧与所述第二图像帧未处于同一直线上，则采用所述第二图像帧更新所述第一图像帧；
[0039]
返回执行获取相邻拍摄的第一图像帧和第二图像帧的操作，直至完成对全部图像帧的处理。
[0040]
第二方面，本发明实施例还提供了一种点云数据的实时显示方法，包括：
[0041]
获取无人机实时拍摄得到的图像帧；
[0042]
按照图像帧的拍摄顺序，获取第一图像帧，并获取与第一图像帧相邻的第二图像帧，其中，所述第一图像帧初始化为无人机采集的首帧图像；
[0043]
按照如第一方面所述的方法计算得到与所述第一图像帧对应的点云数据，并对所述点云数据进行实时显示；
[0044]
将所述第二图像帧作为新的第一图像帧后，返回执行获取与第一图像帧相邻的第二图像帧的操作，直至完全对所拍摄的全部图像帧的处理。
[0045]
可选的，点云数据的实时显示方法还包括：
[0046]
如果确定当前处理的第一图像帧与第二图像帧未处于同一直线上，则将所述第二图像帧作为新的第一图像帧后，返回执行获取与第一图像帧相邻的第二图像帧的操作。
[0047]
第三方面，本发明实施例还提供了一种点云数据的生成装置，包括：
[0048]
相邻图像帧获取模块，用于获取相邻拍摄的第一图像帧和第二图像帧，并将所述第一图像帧和第二图像帧调整为满足双目立体匹配条件的第一变换图像帧和第二变换图像帧；
[0049]
深度图计算模块，用于根据所述第一变换图像帧和所述第二变换图像帧，计算与第一变换图像帧对应的视差图，并根据所述视差图，计算与所述第一变换图像帧对应的深度图；
[0050]
点云数据计算模块，用于根据所述深度图以及所述第一变换图像帧，计算与所述第一图像帧对应的点云数据。
[0051]
第四方面，本发明实施例还提供了一种点云数据的实时显示装置，包括：
[0052]
图像帧获取模块，用于获取无人机实时拍摄得到的图像帧；
[0053]
相邻图像帧确定模块，用于按照图像帧的拍摄顺序，获取第一图像帧，并获取与第一图像帧相邻的第二图像帧，其中，所述第一图像帧初始化为无人机采集的首帧图像；
[0054]
点云数据显示模块，用于按照如第一方面所述的方法计算得到与所述第一图像帧对应的点云数据，并对所述点云数据进行实时显示；
[0055]
返回执行模块，用于将所述第二图像帧作为新的第一图像帧后，返回执行获取与第一图像帧相邻的第二图像帧的操作，直至完全对所拍摄的全部图像帧的处理。
[0056]
第五方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
[0057]
一个或多个处理器；
[0058]
存储装置，用于存储一个或多个程序；
[0059]
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现第一方面中任意所述的点云数据的生成方法。
[0060]
第六方面，本发明实施例还提供了一种计算机设备，所述计算机设备包括：
[0061]
一个或多个处理器；
[0062]
存储装置，用于存储一个或多个程序；
[0063]
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现第二方面中任意所述的点云数据的实时显示方法。
[0064]
第七方面，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任意所述的点云数据的生成方法。
[0065]
第八方面，本发明实施例还提供了一种计算机存储介质，其上存储有计算机程序，该程序被处理器执行时实现第二方面中任意所述的点云数据的实时显示方法。
[0066]
本发明实施例通过对获取的相邻拍摄的第一图像帧和第二图像帧调整为满足双目立体匹配条件的第一变换图像帧和第二变换图像帧，并根据第一变换图像帧和第二变换图像帧计算与第一变换图像帧对应的视差图，根据视差图计算与第一变换图像帧对应的深度图，以根据深度图以及第一变换图像帧计算与第一图像帧对应的点云数据，并实时显示该点云数据，解决现有点云数据处理方法存在的无法实时动态地生成并显示整个场景的三维点云的问题，从而实时动态地生成并显示整个场景的三维点云。
附图说明
[0067]
图1是本发明实施例一提供的一种点云数据的生成方法的流程图；
[0068]
图2是本发明实施例二提供的一种点云数据的生成方法的流程图；
[0069]
图3是本发明实施例三提供的一种点云数据的实时显示方法的流程图；
[0070]
图4是本发明实施例四提供的一种点云数据的生成装置的示意图；
[0071]
图5是本发明实施例五提供的一种点云数据的实时显示装置的示意图；
[0072]
图6为本发明实施例六提供的一种计算机设备的结构示意图。
具体实施方式
[0073]
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。
[0074]
另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
[0075]
本发明实施例的说明书和权利要求书及附图中的术语“第一”和“第二”等是用于区别不同的对象，而不是用于描述特定的顺序。此外术语“包括”和“具有”以及他们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有设定于已列出的步骤或单元，而是可包括没有列出的步骤或单元。
[0076]
实施例一
[0077]
图1是本发明实施例一提供的一种点云数据的生成方法的流程图，本实施例可适用于实时生成点云数据的情况，该方法可以由点云数据的生成装置来执行，该装置可以由
软件和/或硬件的方式来实现，并一般可集成在计算机设备中，该计算机设备。相应的，如图1所示，该方法包括如下操作：
[0078]
s110、获取相邻拍摄的第一图像帧和第二图像帧，并将所述第一图像帧和第二图像帧调整为满足双目立体匹配条件的第一变换图像帧和第二变换图像帧。
[0079]
其中，相邻拍摄的第一图像帧和第二图像帧可以是无人机在飞行过程中，利用摄像装置实时拍照获取的相邻的两帧图像帧。可选的，第一图像帧的拍摄时间要比第二图像帧的拍摄时间靠前。双目立体匹配条件可以是对第一变换图像帧和第二变换图像帧设定的，用于进行双目立体匹配的条件。第一变换图像帧可以是对第一图像帧进行诸如共面调整、图像旋转及重采样映射变换等处理后，得到的图像帧。相应的，第二变换图像帧可以是对第二图像帧进行诸如共面调整、图像旋转及重采样映射变换等处理后，得到的图像帧。
[0080]
在本发明的一个可选实施例中，将所述第一图像帧和第二图像帧调整为满足双目立体匹配条件的第一变换图像帧和第二变换图像帧，可以包括：如果确定所述第一图像帧与所述第二图像帧处于同一直线上，则将所述第一图像帧和第二图像帧调整为满足双目立体匹配条件的第一变换图像帧和第二变换图像帧。
[0081]
无人机在飞行过程中，可以利用摄像装置实时拍照，从而得到多个连续的图像帧。在本发明实施例中，为了实时生成点云数据，可以对相邻拍摄的第一图像帧和第二图像帧，并在确定第一图像帧与第二图像帧处于同一直线上时，将第一图像帧和第二图像帧调整为满足双目立体匹配条件的第一变换图像帧和第二变换图像帧，以根据第一变换图像帧和第二变换图像帧，可以进行双目立体匹配。
[0082]
在本发明的一个可选实施例中，所述第一图像帧和第二图像帧为无人机沿设定航线飞行时所拍摄得到的图像帧；确定所述第一图像帧与所述第二图像帧处于同一直线，可以包括：获取与所述第一图像帧对应的第一旋转矩阵，以及与所述第二图像帧对应的第二旋转矩阵；计算与所述第一旋转矩阵对应的第一偏航角，以及与所述第二旋转矩阵对应的第二偏航角；如果所述第一偏航角与所述第二偏航角之间的差异值在预设的差异值范围内，则确定所述第一图像帧与所述第二图像帧处于同一直线。
[0083]
其中，设定航线可以是对无人机指定的作业航线，如通过遥控器控制无人机进行作业的航线，或通过对无人机发送的控制指令得到的作业航线等，本发明实施例并不对设定航线的具体获取方式进行限定。预设的差异值可以根据实际需求设定，如2
°
、3
°
或5
°
等，本发明实施例并不对预设的差异值范围进行设定。
[0084]
具体的，在确定第一图像帧与第二图像帧是否处于同一直线时，可以获取与第一图像帧对应的第一旋转矩阵，以及与第二图像帧对应的第二旋转矩阵。然后根据第一旋转矩阵计算与第一旋转矩阵对应的第一偏航角，根据第二旋转矩阵计算与第二旋转矩阵对应的第二偏航角。如果第一偏航角与第二偏航角之间的差异值在预设的差异值范围内，则表明第一图像帧与第二图像帧处于同一直线。
[0085]
在本发明的一个可选实施例中，将所述第一图像帧和第二图像帧调整为满足双目立体匹配条件的第一变换图像帧和第二变换图像帧，可以包括：如果确定所述第一图像帧与所述第二图像帧未处于同一直线上，则采用所述第二图像帧更新所述第一图像帧；返回执行获取相邻拍摄的第一图像帧和第二图像帧的操作，直至完成对全部图像帧的处理。
[0086]
在一个具体的例子中，假设在无人机飞行过程中，利用相机实时拍照，并通过slam
(simultaneous localization and mapping，即时定位与地图构建)算法即时恢复当前帧图像的姿态。在相邻两帧图像中，第一图像帧image1的姿态可以表示为pose1(r1|c1)，第二图像帧image2的姿态可以表示为pose2(r2|c2)。其中，r1为第一旋转矩阵，c1为第一图像帧的图像位置；r2为第二旋转矩阵，c2为第二图像帧的图像位置。根据第一旋转矩阵r1计算无人机机体的第一偏航角yaw1，根据第二旋转矩阵r2计算无人机机体的第二偏航角yaw2。计算第一偏航角yaw1与第二偏航角yaw2之间的差异值
△
yaw。如果
△
yaw<threshold，则表明第一图像帧与第二图像帧处于同一直线。相应的，如果
△
yaw>threshold，则表明第一图像帧与第二图像帧未处于同一直线，此时可以采用第二图像帧更新第一图像帧，并将与第二图像帧相邻的第三图像帧更新为第二图像帧继续处理，直到完成对全部图像帧的处理。可选的，threshold可以为3
°
。
[0087]
s120、根据所述第一变换图像帧和所述第二变换图像帧，计算与第一变换图像帧对应的视差图，并根据所述视差图，计算与所述第一变换图像帧对应的深度图。
[0088]
在本发明实施例中，视差图可以是以第一变换图像帧为基准，其大小为该基准图像的大小，元素值为第一变换图像帧和第二变换图像帧之间的视差值的图像。根据第一变换图像帧对应的视差图，可以计算与第一变换图像帧对应的深度图。
[0089]
s130、根据所述深度图以及所述第一变换图像帧，计算与所述第一图像帧对应的点云数据。
[0090]
相应的，得到第一变换图像帧对应的深度图后，即可根据深度图以及第一变换图像帧计算与第一图像帧对应的点云数据，从而实现根据每个图像帧实时动态地生成每个图像帧对应的点云数据，也即增量式生成整个场景的点云数据。
[0091]
本发明实施例通过对获取的相邻拍摄的第一图像帧和第二图像帧调整为满足双目立体匹配条件的第一变换图像帧和第二变换图像帧，并根据第一变换图像帧和第二变换图像帧计算与第一变换图像帧对应的视差图，根据视差图计算与第一变换图像帧对应的深度图，以根据深度图以及第一变换图像帧计算与第一图像帧对应的点云数据，解决现有点云数据生成方法存在的无法实时动态地生成整个场景的三维点云的问题，从而实时动态地生成整个场景的三维点云。
[0092]
实施例二
[0093]
图2是本发明实施例二提供的一种点云数据的生成方法的流程图，本实施例以上述实施例为基础进行具体化，在本实施例中，给出了将所述第一图像帧和第二图像帧调整为满足双目立体匹配条件的第一变换图像帧和第二变换图像帧的具体实现方式。相应的，如图2所示，本实施例的方法可以包括：
[0094]
s210、获取相邻拍摄的第一图像帧和第二图像帧，并将所述第一图像帧和第二图像帧调整为满足双目立体匹配条件的第一变换图像帧和第二变换图像帧。
[0095]
相应的，s210具体可以包括：
[0096]
s211、根据所述第一图像帧对应的第一旋转矩阵、所述第二图像帧对应的第二旋转矩阵及对极几何原理，计算目标旋转矩阵。
[0097]
其中，对极几何即为立体成像的基本几何。目标旋转矩阵可以用于对第一图像帧和第二图像帧进行旋转直至共面，且与基线平行。其中，基线可以是第二图像帧与第一图像帧之间图像位置差的绝对值。
[0098]
s212、根据所述目标旋转矩阵，计算与所述第一图像帧对应的第一新相机投影矩阵，以及所述第二图像帧对应的第二新相机投影矩阵。
[0099]
其中，第一新相机投影矩阵可以是根据目标旋转矩阵重新计算的，与第一图像帧对应的相机投影矩阵，第二新相机投影矩阵可以是根据目标旋转矩阵重新计算的，与第二图像帧对应的相机投影矩阵。
[0100]
在本发明的一个可选实施例中，所述根据所述目标旋转矩阵，计算与所述第一图像帧对应的第一新相机投影矩阵，以及所述第二图像帧对应的第二新相机投影矩阵，可以包括：根据公式：p
n1
＝k[r
n
|-r
n
c1]，计算与所述第一图像帧对应的第一新相机投影矩阵p
n1
；根据公式：p
n2
＝k[r
n
|-r
n
c2]，计算与所述第一图像帧对应的第一新相机投影矩阵p
n2
。其中，k为相机内参，r
n
为所述目标旋转矩阵，c1为所述第一图像帧的图像位置，c2为所述第二图像帧的图像位置，
[0101]
s213、根据所述第一新相机投影矩阵计算第一矫正变换矩阵，根据所述第二新相机投影矩阵计算第二矫正变换矩阵。
[0102]
其中，第一矫正变换矩阵用于对第一图像帧进行矫正变换，第二矫正变换矩阵用于对第二图像帧进行矫正变换。图片矫正是空间直角坐标系的变换，从一个二维坐标变换到另一个二维坐标，图片矫正是一个线性变换，保持了图像的“平行性”和“平直性”，即图像中原来的直线和平行线，变换后仍然保持原来的直线和平行线，映射变换比较常用的特殊变换有平移、缩放、翻转、旋转和剪切。矫正变换处理是指利用透视中心、像点、目标点三点共线的条件，按透视旋转定律使承影面(透视面)绕迹线(透视轴)旋转某一角度，破坏原有的投影光线束，仍能保持承影面上投影几何图形不变的变换。
[0103]
在本发明的一个可选实施例中，所述根据所述第一新相机投影矩阵计算第一矫正变换矩阵，根据所述第二新相机投影矩阵计算第二矫正变换矩阵，可以包括：根据公式：t1＝(p
n1
*(k*r'1)')'，计算与所述第一矫正变换矩阵t1；根据公式：t2＝(p
n2
*(k*r'2)')'，计算与所述第二矫正变换矩阵t2。其中，r1为所述第一图像帧的旋转矩阵，r2为所述第二图像帧的旋转矩阵。
[0104]
s214、根据所述第一矫正变换矩阵对所述第一图像帧进行重采样映射变换，得到第一变换图像帧。
[0105]
s215、根据所述第二矫正变换矩阵对所述第二图像帧进行重采样映射变换，得到第二变换图像帧。
[0106]
其中，重采样映射变换即为根据矫正变换矩阵对图像帧中的像素点坐标按照一定规则进行重采样，并根据重采样得到的像素点坐标通过一种函数关系进行映射变换。
[0107]
由于针对第一图像帧和第二图像帧确定了新的目标旋转矩阵，因此第一图像帧和第二图像帧原有的相机投影矩阵以及图像中各个像素点的像素位置都相应发生变化，需要针对第一图像帧和第二图像帧重新获取新的图像帧。相应的，在根据新相机投影矩阵得到第一矫正变换矩阵和第二矫正变换矩阵后，需要根据第一矫正变换矩阵对第一图像帧进行重采样映射变换，得到第一变换图像帧。同时，根据第二矫正变换矩阵对第二图像帧进行重采样映射变换，得到第二变换图像帧。得到的第一变换图像帧和第二变换图像帧满足双目立体匹配的条件。
[0108]
s220、根据所述第一变换图像帧和所述第二变换图像帧，计算与第一变换图像帧
对应的视差图，并根据所述视差图，计算与所述第一变换图像帧对应的深度图。
[0109]
在本发明实施例中，根据所述第一变换图像帧和所述第二变换图像帧，计算与第一变换图像帧对应的视差图，可以是：利用相关匹配算法计算第一变换图像帧对应的视差图。其中，相关匹配算法包括但不限于sgm(semi-global matching，半全局匹配)算法、局部立体匹配算法及全局立体匹配算法等。
[0110]
在本发明的一个可选实施例中，所述根据所述视差图，计算与所述第一变换图像帧对应的深度图，可以包括：根据公式：计算与所述第一变换图像帧对应的深度图depth。其中，f为相机内参的焦距值，disparity为视差值，baseline为基线，baseline＝|c
2-c1|。
[0111]
在本发明的一个可选实施例中，在所述根据所述视差图，计算与所述第一变换图像帧对应的深度图之后，还可以包括：将所述第一变换图像帧对应的深度图与相邻预设数量的深度图进行一致性检测；根据一致性检测结果删除所述第一变换图像帧对应的深度图中的误匹配点数据。
[0112]
其中，预设数量可以根据实际需求设定，示例性的，预设数量可以是10、12或15等，本发明实施例并不对预设数量的具体数值进行限定。
[0113]
可以理解的是，由于相关匹配算法的准确率等多种因素的影响，第一变换图像帧对应的深度图中不可避免的会存在一些错误点数据。因此，为了进一步保证深度图数据的准确性和可靠性，可以将第一变换图像帧对应的深度图与相邻预设数量的深度图进行一致性检测；根据一致性检测结果删除第一变换图像帧对应的深度图中的误匹配点数据。
[0114]
需要说明的是，如果第一变换图像帧对应的第一图像帧为首帧图像，没有相邻的深度图。或者，第一变换图像帧相邻的深度图数量较少，无法满足一致性检测的需求，如要求预设数量为12，而第一变换图像帧相邻的深度图数量为8。在上述情况下，可以不对第一变换图像帧对应的深度图进行一致性检测。
[0115]
s230、根据所述深度图以及所述第一变换图像帧，计算与所述第一图像帧对应的点云数据。
[0116]
在本发明的一个可选实施例中，所述根据所述深度图以及所述第一变换图像帧，计算与所述第一图像帧对应的点云数据，可以包括：根据下述公式：point3d(x,y,z)＝p'
n1
*(x,y,depth)，计算所述第一图像帧对应的点云数据point3d(x,y,z)；其中，x、y为所述第一变换图像帧中各像素点的水平坐标。
[0117]
采用上述技术方案，通过根据第一图像帧对应的第一旋转矩阵、第二图像帧对应的第二旋转矩阵及对极几何原理，计算目标旋转矩阵，根据目标旋转矩阵，计算与第一图像帧对应的第一新相机投影矩阵，以及第二图像帧对应的第二新相机投影矩阵，根据第一新相机投影矩阵、第二新相机投影矩阵分别计算第一矫正变换矩阵及第二矫正变换矩阵，再根据第一矫正变换矩阵、第二矫正变换矩阵分别对第一图像帧、第二图像帧进行重采样映射变换，得到第一变换图像帧和第二变换图像帧，以根据第一变换图像帧和第二变换图像帧计算第一变换图像帧对应的点云数据，实现实时动态地生成整个场景的三维点云。并且在计算得到第一变换图像帧对应的深度图后，通过一致性检测删除深度图中的误匹配点，从而保证深度图数据的准确性，进而保证点云数据的准确性。
[0118]
需要说明的是，以上各实施例中各技术特征之间的任意排列组合也属于本发明的保护范围。
[0119]
实施例三
[0120]
图3是本发明实施例三提供的一种点云数据的实时显示方法的流程图，本实施例可适用于实时显示点云数据的情况，该方法可以由点云数据的实时显示装置来执行，该装置可以由软件和/或硬件的方式来实现，并一般可集成在计算机设备中。相应的，如图3所示，该方法包括如下操作：
[0121]
s310、获取无人机实时拍摄得到的图像帧。
[0122]
无人机在飞行作业的过程中，可以利用摄像装置实时拍照获取多个图像帧。
[0123]
s320、按照图像帧的拍摄顺序，获取第一图像帧，并获取与第一图像帧相邻的第二图像帧，其中，所述第一图像帧初始化为无人机采集的首帧图像。
[0124]
在本发明实施例中，为了对整个场景的点云数据进行实时生成和显示，可以按照图像帧的拍摄顺序，从首帧图像开始获取第一图像帧，并获取与第一图像帧相邻的第二图像帧。
[0125]
在本发明的一个可选实施例中，点云数据的实时显示方法还可以包括：如果确定当前处理的第一图像帧与第二图像帧未处于同一直线上，则将所述第二图像帧作为新的第一图像帧后，返回执行获取与第一图像帧相邻的第二图像帧的操作。
[0126]
在本发明实施例中，如果当前处理的第一图像帧和第二图像帧处于同一直线上，则可以继续处理。相应的，如果确定当前处理的第一图像帧与第二图像帧未处于同一直线上，则将第二图像帧更新为第一图像帧后，获取与第二图像帧相邻的第三图像帧更新为第二图像帧并继续处理。
[0127]
s330、按照如实施例一或实施例二任一项所述的方法计算得到与所述第一图像帧对应的点云数据，并对所述点云数据进行实时显示。
[0128]
确定第一图像帧和第二图像帧后，即可按照如实施例一或实施例二任一项所述的方法计算得到与第一图像帧对应的点云数据，然后对实时计算得到的点云数据进行实时显示。
[0129]
s340、将所述第二图像帧作为新的第一图像帧后，返回执行获取与第一图像帧相邻的第二图像帧的操作，直至完全对所拍摄的全部图像帧的处理。
[0130]
相应的，当第一图像帧生成对应的点云数据后，可以将第二图像帧更新为第一图像帧，并将与第二图像帧相邻的第三图像帧更新为第二图像帧继续处理，直到完成对全部图像帧的处理。由此可见，本发明实施例可以从首帧图像开始处理，实时生成每帧图像的点云数据并进行显示。可以理解的是，每当一帧图像实时生成点云数据并显示后，整个场景就会实时增加该帧图像的点云数据，因此，本发明实施例所提供的点云数据的实时显示方法可以实现对整个场景点云数据的增量式显示。
[0131]
本发明实施例通过在实时生成场景的点云数据后，对点云数据进行实时显示，能够解决现有点云数据生成方法存在的无法实时显示生成整个场景的三维点云的问题，从而实时增量式显示整个场景的三维点云。
[0132]
实施例四
[0133]
图4是本发明实施例四提供的一种点云数据的生成装置的示意图，如图4所示，所
述装置包括：相邻图像帧获取模块410、深度图计算模块420以及点云数据计算模块430，其中：
[0134]
相邻图像帧获取模块410，用于获取相邻拍摄的第一图像帧和第二图像帧，并将所述第一图像帧和第二图像帧调整为满足双目立体匹配条件的第一变换图像帧和第二变换图像帧；
[0135]
深度图计算模块420，用于根据所述第一变换图像帧和所述第二变换图像帧，计算与第一变换图像帧对应的视差图，并根据所述视差图，计算与所述第一变换图像帧对应的深度图；
[0136]
点云数据计算模块430，用于根据所述深度图以及所述第一变换图像帧，计算与所述第一图像帧对应的点云数据。
[0137]
本发明实施例通过对获取的相邻拍摄的第一图像帧和第二图像帧调整为满足双目立体匹配条件的第一变换图像帧和第二变换图像帧，并根据第一变换图像帧和第二变换图像帧计算与第一变换图像帧对应的视差图，根据视差图计算与第一变换图像帧对应的深度图，以根据深度图以及第一变换图像帧计算与第一图像帧对应的点云数据，解决现有点云数据生成方法存在的无法实时动态地生成整个场景的三维点云的问题，从而实时动态地生成整个场景的三维点云。
[0138]
可选的，相邻图像帧获取模块410，包括第一相邻图像帧获取单元，用于如果确定所述第一图像帧与所述第二图像帧处于同一直线上，则将所述第一图像帧和第二图像帧调整为满足双目立体匹配条件的第一变换图像帧和第二变换图像帧。
[0139]
可选的，所述第一图像帧和第二图像帧为无人机沿设定航线飞行时所拍摄得到的图像帧；第一相邻图像帧获取单元，具体用于获取与所述第一图像帧对应的第一旋转矩阵，以及与所述第二图像帧对应的第二旋转矩阵；计算与所述第一旋转矩阵对应的第一偏航角，以及与所述第二旋转矩阵对应的第二偏航角；如果所述第一偏航角与所述第二偏航角之间的差异值在预设的差异值范围内，则确定所述第一图像帧与所述第二图像帧处于同一直线。
[0140]
可选的，相邻图像帧获取模块410，包括目标旋转矩阵计算单元，用于根据所述第一图像帧对应的第一旋转矩阵、所述第二图像帧对应的第二旋转矩阵及对极几何原理，计算目标旋转矩阵；新相机投影矩阵计算单元，用于根据所述目标旋转矩阵，计算与所述第一图像帧对应的第一新相机投影矩阵，以及所述第二图像帧对应的第二新相机投影矩阵；矫正变换矩阵计算单元，用于根据所述第一新相机投影矩阵计算第一矫正变换矩阵，根据所述第二新相机投影矩阵计算第二矫正变换矩阵；第一变换图像帧获取单元，用于根据所述第一矫正变换矩阵对所述第一图像帧进行重采样映射变换，得到第一变换图像帧；第二变换图像帧获取单元，用于根据所述第二矫正变换矩阵对所述第二图像帧进行重采样映射变换，得到第二变换图像帧。
[0141]
可选的，新相机投影矩阵计算单元，具体用于根据公式：p
n1
＝k[r
n
|-r
n
c1]，计算与所述第一图像帧对应的第一新相机投影矩阵p
n1
；根据公式：p
n2
＝k[r
n
|-r
n
c2]，计算与所述第一图像帧对应的第一新相机投影矩阵p
n2
；矫正变换矩阵计算单元，具体用于根据公式：t1＝(p
n1
*(k*r'1)')'，计算与所述第一矫正变换矩阵t1；根据公式：t2＝(p
n2
*(k*r'2)')'，计算
与所述第二矫正变换矩阵t2；深度图计算模块，具体用于根据公式：计算与所述第一变换图像帧对应的深度图depth；点云数据计算模块，具体用于根据公式：point3d(x,y,z)＝p'
n1
*(x,y,depth)，计算所述第一图像帧对应的点云数据point3d(x,y,z)；其中，k为相机内参，r
n
为所述目标旋转矩阵，c1为所述第一图像帧的图像位置，c2为所述第二图像帧的图像位置，r1为所述第一图像帧的旋转矩阵，r2为所述第二图像帧的旋转矩阵，f为相机内参的焦距值，disparity为视差值，baseline为基线，baseline＝|c
2-c1|，x、y为所述第一变换图像帧中各像素点的水平坐标。
[0142]
可选的，点云数据的生成装置还包括：一致性检测模块，用于将所述第一变换图像帧对应的深度图与相邻预设数量的深度图进行一致性检测；误匹配点数据删除模块，用于根据一致性检测结果删除所述第一变换图像帧对应的深度图中的误匹配点数据。
[0143]
可选的，相邻图像帧获取模块410，包括第二相邻图像帧获取单元，用于如果确定所述第一图像帧与所述第二图像帧未处于同一直线上，则采用所述第二图像帧更新所述第一图像帧；返回执行获取相邻拍摄的第一图像帧和第二图像帧的操作，直至完成对全部图像帧的处理。
[0144]
上述点云数据的生成装置可执行本发明任意实施例所提供的点云数据的生成方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的点云数据的生成方法。
[0145]
由于上述所介绍的点云数据的生成装置为可以执行本发明实施例中的点云数据的生成方法的装置，故而基于本发明实施例中所介绍的点云数据的生成方法，本领域所属技术人员能够了解本实施例的点云数据的生成装置的具体实施方式以及其各种变化形式，所以在此对于该点云数据的生成装置如何实现本发明实施例中的点云数据的生成方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中点云数据的生成方法所采用的装置，都属于本技术所欲保护的范围。
[0146]
实施例五
[0147]
图5是本发明实施例五提供的一种点云数据的实时显示装置的示意图，如图5所示，所述装置包括：图像帧获取模块510、相邻图像帧确定模块520、点云数据显示模块530以及返回执行模块540，其中：
[0148]
图像帧获取模块510，用于获取无人机实时拍摄得到的图像帧；
[0149]
相邻图像帧确定模块520，用于按照图像帧的拍摄顺序，获取第一图像帧，并获取与第一图像帧相邻的第二图像帧，其中，所述第一图像帧初始化为无人机采集的首帧图像；
[0150]
点云数据显示模块530，用于按照如实施例一或实施例二任一项所述的方法计算得到与所述第一图像帧对应的点云数据，并对所述点云数据进行实时显示；
[0151]
返回执行模块540，用于将所述第二图像帧作为新的第一图像帧后，返回执行获取与第一图像帧相邻的第二图像帧的操作，直至完全对所拍摄的全部图像帧的处理。
[0152]
可选的，点云数据的实时显示装置还包括：图像帧更新模块，用于如果确定当前处理的第一图像帧与第二图像帧未处于同一直线上，则将所述第二图像帧作为新的第一图像帧后，返回执行获取与第一图像帧相邻的第二图像帧的操作。
[0153]
本发明实施例通过在实时生成场景的点云数据后，对点云数据进行实时显示，能
够解决现有点云数据生成方法存在的无法实时显示生成整个场景的三维点云的问题，从而实时增量式显示整个场景的三维点云。
[0154]
上述点云数据的实时显示装置可执行本发明任意实施例所提供的点云数据的实时显示方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明任意实施例提供的点云数据的实时显示方法。
[0155]
由于上述所介绍的点云数据的实时显示装置为可以执行本发明实施例中的点云数据的实时显示方法的装置，故而基于本发明实施例中所介绍的点云数据的实时显示方法，本领域所属技术人员能够了解本实施例的点云数据的实时显示装置的具体实施方式以及其各种变化形式，所以在此对于该点云数据的实时显示装置如何实现本发明实施例中的点云数据的实时显示方法不再详细介绍。只要本领域所属技术人员实施本发明实施例中点云数据的实时显示方法所采用的装置，都属于本技术所欲保护的范围。
[0156]
实施例六
[0157]
图6为本发明实施例六提供的一种计算机设备的结构示意图。图6示出了适于用来实现本发明实施方式的计算机设备612的框图。图6显示的计算机设备612仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
[0158]
如图6所示，计算机设备612以通用计算设备的形式表现。计算机设备612的组件可以包括但不限于：一个或者多个处理器616，存储装置628，连接不同系统组件(包括存储装置628和处理器616)的总线618。
[0159]
总线618表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(industry standard architecture，isa)总线，微通道体系结构(micro channel architecture，mca)总线，增强型isa总线、视频电子标准协会(video electronics standards association，vesa)局域总线以及外围组件互连(peripheral component interconnect，pci)总线。
[0160]
计算机设备612典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备612访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
[0161]
存储装置628可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(random access memory，ram)630和/或高速缓存存储器632。计算机设备612可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统634可以用于读写不可移动的、非易失性磁介质(图6未显示，通常称为“硬盘驱动器”)。尽管图6中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如只读光盘(compact disc-read only memory，cd-rom)、数字视盘(digital video disc-read only memory，dvd-rom)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线618相连。存储装置628可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
[0162]
具有一组(至少一个)程序模块626的程序636，可以存储在例如存储装置628中，这样的程序模块626包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序
数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块626通常执行本发明所描述的实施例中的功能和/或方法。
[0163]
计算机设备612也可以与一个或多个外部设备614(例如键盘、指向设备、摄像头、显示器624等)通信，还可与一个或者多个使得用户能与该计算机设备612交互的设备通信，和/或与使得该计算机设备612能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(input/output，i/o)接口622进行。并且，计算机设备612还可以通过网络适配器620与一个或者多个网络(例如局域网(local area network，lan)，广域网wide area network，wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器620通过总线618与计算机设备612的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备612使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、磁盘阵列(redundant arrays of independent disks，raid)系统、磁带驱动器以及数据备份存储系统等。
[0164]
处理器616通过运行存储在存储装置628中的程序，从而执行各种功能应用以及数据处理，例如实现本发明上述实施例所提供的点云数据的生成方法。
[0165]
也即，所述处理单元执行所述程序时实现：获取相邻拍摄的第一图像帧和第二图像帧，并将所述第一图像帧和第二图像帧调整为满足双目立体匹配条件的第一变换图像帧和第二变换图像帧；根据所述第一变换图像帧和所述第二变换图像帧，计算与第一变换图像帧对应的视差图，并根据所述视差图，计算与所述第一变换图像帧对应的深度图；根据所述深度图以及所述第一变换图像帧，计算与所述第一图像帧对应的点云数据。
[0166]
实施例七
[0167]
本实施例七是本发明实施例提供的一种用于执行本发明实施例三所提供的点云数据的实时显示方法的计算机设备，该设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明实施例三所提供的点云数据的实时显示方法：获取无人机实时拍摄得到的图像帧；按照图像帧的拍摄顺序，获取第一图像帧，并获取与第一图像帧相邻的第二图像帧，其中，所述第一图像帧初始化为无人机采集的首帧图像；按照如实施例一或实施例二任一所述的方法计算得到与所述第一图像帧对应的点云数据，并对所述点云数据进行实时显示；将所述第二图像帧作为新的第一图像帧后，返回执行获取与第一图像帧相邻的第二图像帧的操作，直至完全对所拍摄的全部图像帧的处理。其具体结构以及细节内容可参照图6和实施例六。
[0168]
实施例八
[0169]
本发明实施例八还提供一种存储计算机程序的计算机存储介质，所述计算机程序在由计算机处理器执行时用于执行本发明上述实施例任一所述的点云数据的生成方法：获取相邻拍摄的第一图像帧和第二图像帧，并将所述第一图像帧和第二图像帧调整为满足双目立体匹配条件的第一变换图像帧和第二变换图像帧；根据所述第一变换图像帧和所述第二变换图像帧，计算与第一变换图像帧对应的视差图，并根据所述视差图，计算与所述第一变换图像帧对应的深度图；根据所述深度图以及所述第一变换图像帧，计算与所述第一图像帧对应的点云数据。
[0170]
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意
组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(read only memory，rom)、可擦式可编程只读存储器((erasable programmable read only memory，eprom)或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0171]
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
[0172]
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、射频(radio frequency，rf)等等，或者上述的任意合适的组合。
[0173]
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c++，还包括常规的过程式程序设计语言——诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
[0174]
实施例九
[0175]
本发明实施例九还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时可实现上述实施例三所述的点云数据的实时显示方法：获取无人机实时拍摄得到的图像帧；按照图像帧的拍摄顺序，获取第一图像帧，并获取与第一图像帧相邻的第二图像帧，其中，所述第一图像帧初始化为无人机采集的首帧图像；按照如实施例一或实施例二任一所述的方法计算得到与所述第一图像帧对应的点云数据，并对所述点云数据进行实时显示；将所述第二图像帧作为新的第一图像帧后，返回执行获取与第一图像帧相邻的第二图像帧的操作，直至完全对所拍摄的全部图像帧的处理。其具体的细节内容描述可参照实施例八。
[0176]
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。