无人机图像拼接方法、装置、计算机设备及存储介质与流程

本发明涉及图像处理领域，尤其涉及一种无人机图像拼接方法、装置、计算机设备及存储介质。

背景技术：

无人机低空平台具有机动灵活、响应快、使用成本低等优点，已成为快速获取区域空间数据的一种重要手段。然而，由于无人机的拍摄装置受生产工艺等原因的影响，是的镜头光学中心发生偏移，镜头发生光学畸变，使得拍摄到的同名地物之间发生较大的变形，为后续的图像拼接带来较大的影响。因此，如何实现无人机影像稳健拼接，是需要突破的关键技术。

技术实现要素：

本发明实施例提供一种无人机图像拼接方法、装置、计算机设备及存储介质，以消除光学畸变，提高图像拼接的质量。

本发明实施例提出一种无人机图像拼接方法，包括：

获取由无人机的拍摄装置从不同角度和不同位置拍摄的第一待处理图像和第二待处理图像；

基于映射关系，从第一待处理图像和第二待处理图像中进行像素点重采样，得到第一中间图像和第二中间图像，所述映射关系根据所述待处理图像上的像素点的位置和无人机的拍摄装置的光学畸变系数生成，所述第一中间图像与第一待处理图像对应，所述第二中间图像与第二待处理图像对应；

识别所述第一中间图像和第二中间图像之间的重叠区域；

基于所述重叠区域，对所述第一中间图像和第一中间图像进行拼接，得到第一目标图像。

优选地，所述识别所述第一中间图像和第二中间图像之间的重叠区域，包括：

提取所述第一中间图像和第二中间图像的控制点，并进行控制点配对；

根据配对得到的控制点对，确定所述第一中间图像和第二中间图像的重叠区域。

优选地，采用以下步骤进行控制点配对：

提取所述第一中间图像和第二中间图像中的控制点的像素灰度值；

分别计算每一所述第一中间图像和第二中间图像的控制点集的平均像素灰度值，所述控制点集由多个相邻控制点构成；

遍历计算所述第一中间图像的每一个的控制点集的平均像素灰度值，与计算所述第二中间图像的每一个的控制点集的平均像素灰度值之差；

将差值小于预设值的第一中间图像控制点集与第二中间图像控制点集作为控制点集对，进而匹配控制点。

优选地，若存在多个差值小于预设值的第一中间图像控制点集与第二中间图像控制点集，则取差值最小的控制点集作为所述控制点集对。

优选地，所述基于映射关系，从所有所述待处理图像上进行像素点重采样，得到n张中间图像之前，所述方法还包括：

采用相位相关法消除每一所述待处理图像的旋转误差。

优选地，在得到第一目标图像之后，所述方法还包括：

将所述目标图像转换为灰度图；

统计所述灰度图的每一灰度级的像素数量、灰度值及灰度值总数，以及所述灰度图的总像素数量；

根据以下公式计算每一灰度级均衡化后对应的新灰度值：

其中，k为灰度级总数，xb为新灰度值，xa为所述灰度图的像素的灰度值，l为所述灰度图像的最大灰度值，l为所述灰度图像的最小灰度值，n为总像素数量，j表示第j级灰度级，为所述灰度图像中，第j级灰度级出现的概率。

采用所述新灰度值代替所述灰度值，得到第二目标图像。

本发明实施例还提出一种无人机图像拼接装置，包括：

获取单元，用于获取由无人机的拍摄装置从不同角度和不同位置拍摄的第一待处理图像和第二待处理图像；

重采样单元，用于基于映射关系，从第一待处理图像和第二待处理图像中进行像素点重采样，得到第一中间图像和第二中间图像，所述映射关系根据所述待处理图像上的像素点的位置和无人机的拍摄装置的光学畸变系数生成，所述第一中间图像与第一待处理图像对应，所述第二中间图像与第二待处理图像对应；

重叠区域识别单元，用于识别所述第一中间图像和第二中间图像之间的重叠区域；

拼接单元，用于基于所述重叠区域，对所述第一中间图像和第一中间图像进行拼接，得到第一目标图像。

优选地，所述重叠区域识别单元包括：

控制点匹配子单元，用于提取所述第一中间图像和第二中间图像的控制点，并进行控制点配对；

确定子单元，用于根据配对得到的控制点对，确定所述第一中间图像和第二中间图像的重叠区域。

本发明实施例还提出一种计算机设备，包括存储器和处理器，所述存储器中存储有无人机图像拼接程序，所述处理器用于执行所述无人机图像拼接程序时实现上述无人机图像拼接方法的步骤。

本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述无人机图像拼接方法的步骤。

上述无人机图像拼接方法方法、装置、计算机设备及存储介质，上述实施方式通过计算控制点集的平均灰度值，平计算两两控制点集的平均灰度值的差值来确定与另一图像匹配的控制点集，进而将控制点集匹配，达到了控制点匹配的目的。该实施方式利用了重叠区域的像素的灰度值相差不大的原理来进行控制点匹配，能够提高匹配的准确率。另外，由于计算一个两个控制点的灰度值的误差较大，利用控制点集进行匹配的方法能够更进一步地提高准确率。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例中无人机图像拼接方法的一流程图；

图2是本发明一实施例中无人机图像拼接装置的一原理框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

在本发明的描述中，需要说明的是，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

在一实施例中，如图1所示，提供一种无人机图像拼接方法，以该方法应用在图1中的服务器为例进行说明，包括如下步骤：

s10：获取由无人机的拍摄装置从不同角度和不同位置拍摄的第一待处理图像和第二待处理图像；

可以理解地，第一待处理图像和第二待处理图像可以是无人机的拍摄装置从不同角度和不同位置对同一物体进行拍摄的，但是这并不表示，拍摄装置需要聚焦于同一物体上，只需要保证第一待处理图像和第二待处理图像存在相同的景物便可，当然，如果第一待处理图像和第二待处理图像不存在相同景物，后续也无法识别出两张图像之间的重叠区域。

s20：基于映射关系，从第一待处理图像和第二待处理图像中进行像素点重采样，得到第一中间图像和第二中间图像，映射关系根据待处理图像上的像素点的位置和无人机的拍摄装置的光学畸变系数生成，第一中间图像与第一待处理图像对应，第二中间图像与第二待处理图像对应。

具体地，在进行像素点重采样之前，还需要进行拍摄装置的参数进行标定，以获取拍摄装置的光学畸变系数。从而利用光学畸变系数进行畸变校正。具体地，光学畸变系数主要包括径向畸变系数和偏心畸变系数。然而，在本发明实施例中，拍摄装置的参数进行标定是非必要的步骤，因此，可以直接利用拍摄装置的厂商提供的光学畸变系数进行畸变校正。

映射关系实际上是指畸变图像(也即第一待处理图像和第二待处理图像)与未畸变图像(也即第二中间图像与第二待处理图像)之间的像素位置对应关系。由拍摄装置的参数可以获取像主点的坐标o(x0,y0)，径向畸变系数k1、k2，偏心畸变系数p1、p2，若p(xi,yi)为畸变图像上像点，像点的坐标变形可以表示为：

其中，x＝xi-x0,y＝yi-y0,r²＝x²+y²，因此，若p'(xj,yj)为未畸变图像上对应p的像点，则p’的位置可以表示为：

由该公式(2)可以构建出畸变图像与为畸变图像之间的映射关系，也即可以构建出第一中间图像与第一待处理图像的映射关系，所述第二中间图像与第二待处理图像的映射关系，最后根据该映射关系对像点进行重采样，得到第一中间图像和第二中间图像。

重采样就是根据一类像元信息内插另一像元信息的过程，具体可以使用最邻近内插法、双线性内插法和三次卷积内插法。但是考虑到插值效果和处理速度，本实施例优选采用双线性内插法。

若未畸变影像上像点p在畸变影像上对应像点p’的位置为(i+u,j+v)，其中，i、j为整数部分，分别表示行号和列号，u、v为小数部分，则p’的像素值可由像点p1(i,j)、p2(i+1,j)、p3(i,j+1)、p4(i+1,j+1)的像素值表示：

f(i+u,j+v)＝(1-u)(1-v)f(i,j)+v(1-u)f(i,j+1)+u(1-v)f(i+1,j)+uvf(i+1,j+1)

其中，f(i,j)表示畸变影像上像点p1的像素值，f(i+1,j)表示畸变影像上像点p2的像素值，f(i,j+1)表示畸变影像上像点p3的像素值，f(i+1,j+1)表示畸变影像上像点p4的像素值。

依次分别对第一待处理图像和第一待处理图像上的每个像点进行上述运算，最终得到第一中间图像和第一中间图像。

s30：识别第一中间图像和第二中间图像之间的重叠区域。

重叠区域是指图像中存在相同景物的区域，其识别方法可以是采用神经网络识别。优选地，本实施例采用以下方法来识别重叠区域：

s31：提取第一中间图像和第二中间图像的控制点，并进行控制点配对；

s32：根据配对得到的控制点对，确定第一中间图像和第二中间图像的重叠区域。

步骤s31-s32中的控制点可以是角点，由步骤s31-s32，可衍生出一种可行的实施方式：

首先，采用harris算法分别对第一中间图像和第二中间图像进行角点检测，紧接着对第一中间图像的角点和第二中间图像的角点进行粗匹配，再获取第一中间图像和第二中间图像粗匹配角点的位置，并进行粗匹配角点连线，最后进行角点的精匹配和连线，精匹配连线后的区域则为重叠区域。

上述控制点也可以是像素点，在此基础之上步骤s31-s32，还可以衍生出另一种可行的实施方式：

s311：提取第一中间图像和第二中间图像中的控制点的像素灰度值。

s312：分别计算每一第一中间图像和第二中间图像的控制点集的平均像素灰度值，控制点集由多个相邻控制点构成。

上述控制点集可以是以一个控制点为中心，多个相邻控制点构成，例如，以o0(n,m)为中心的八个方向的控制点。

s313：遍历计算第一中间图像的每一个的控制点集的平均像素灰度值，与计算第二中间图像的每一个的控制点集的平均像素灰度值之差，

s313：将差值小于预设值的第一中间图像控制点集与第二中间图像控制点集作为控制点集对，进而匹配控制点。

上述实施方式通过计算控制点集的平均灰度值，平计算两两控制点集的平均灰度值的差值来确定与另一图像匹配的控制点集，进而将控制点集匹配，达到了控制点匹配的目的。该实施方式利用了重叠区域的像素的灰度值相差不大的原理来进行控制点匹配，能够提高匹配的准确率。另外，由于计算一个两个控制点的灰度值的误差较大，利用控制点集进行匹配的方法能够更进一步地提高准确率。

需要说明的是，在一些情况下，可能会出现多个控制点集之间的差值小于预设值的情况，在这种情况下，可以对这几个差值进行比较排序，并取差值最小的控制点集作为所述控制点集对。

s40：基于所述重叠区域，对所述第一中间图像和第一中间图像进行拼接，得到第一目标图像。

该步骤主要是对第一中间图像和第一中间图像进行拼接，得到目标图像。

上述实施在获取第一待处理图像和第二待处理图像之后，通过对第一待处理图像和第二待处理图像的像素点重采样，以对第一待处理图像和第二待处理图像进行畸变校正，避免由于无人机的拍摄装置的光学畸变对后续图像拼接的影响；通过识别第一中间图像和第二中间图像之间的重叠区域，进而对第一中间图像和第二中间图像进行拼接，能够提高图像拼接的准确度，避免在拼接时存在大量重叠部分像素，也能避免图像拼接过程中存在明显的分隔线，图像拼接效果更好。

第一待处理图像和第二待处理图像可以是短时间内连续拍摄的，由于无人机的体积和重力都比较小，受风力形象，其在飞行过程中会存在一定的航线漂移，飞行轨迹不规则，使得第一待处理图像和第二待处理图像间存在一定程度的旋转，从而出现旋转误差，因此，在对第一待处理图像和第二待处理图像进行重采样之前，可以采用相位相关法来消除第一待处理图像和第二待处理图像间的旋转差异。

由于不同时刻所拍摄到的第一待处理图像和第二待处理图像在光线明亮上存在一定的差异，导致拼接得到的第一目标图像存在一定的色彩差异，因此，本实施例可以还需要对第一目标图像进行再处理，以减小图像间的色彩差异。具体地，可以采用以下步骤进行处理：

s51：将所述目标图像转换为灰度图；

s52：统计所述灰度图的每一灰度级的像素数量、灰度值及灰度值总数，以及所述灰度图的总像素数量；

s53：根据以下公式计算每一灰度级均衡化后对应的新灰度值：

其中，k为灰度级总数，xb为新灰度值，xa为所述灰度图的像素的灰度值，l为所述灰度图像的最大灰度值，l为所述灰度图像的最小灰度值，n为总像素数量，j表示第j级灰度级，为所述灰度图像中，第j级灰度级出现的概率。

s54：采用所述新灰度值代替所述灰度值，得到第二目标图像。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

在一实施例中，提供一种无人机图像拼接装置，如图2所示，该无人机图像拼接装置与上述实施例中无人机图像拼接方法一一对应。具体地，该装置包括：

获取单元10，用于获取由无人机的拍摄装置从不同角度和不同位置拍摄的第一待处理图像和第二待处理图像；

重采样单元20，用于基于映射关系，从第一待处理图像和第二待处理图像中进行像素点重采样，得到第一中间图像和第二中间图像，所述映射关系根据所述待处理图像上的像素点的位置和无人机的拍摄装置的光学畸变系数生成，所述第一中间图像与第一待处理图像对应，所述第二中间图像与第二待处理图像对应；

重叠区域识别单元30，用于识别所述第一中间图像和第二中间图像之间的重叠区域；

拼接单元40，用于基于所述重叠区域，对所述第一中间图像和第一中间图像进行拼接，得到第一目标图像。

所述重叠区域识别单元30包括：

控制点匹配子单元，用于提取所述第一中间图像和第二中间图像的控制点，并进行控制点配对；

确定子单元，用于根据配对得到的控制点对，确定所述第一中间图像和第二中间图像的重叠区域。

关于无人机图像拼接装置的具体限定可以参见上文中对于无人机图像拼接方法的限定，在此不再赘述。上述无人机图像拼接装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。

在一个实施例中，提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现无人机图像拼接方法。

在一个实施例中，提供了一种计算机可读存储介质，其上存储有无人机图像拼接程序，计算机程序被处理器执行时实现无人机图像拼接方法。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本发明所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。