一种基于图像匹配的无人机航拍图像去雾处理方法及系统与流程

本发明涉及图像处理技术，具体涉及一种基于图像匹配的无人机航拍图像去雾处理方法及系统。

背景技术：

无人机航拍图像的清晰程度，是关系到无人机应用的重要指标。日益严重的雾霾对无人机航拍影像造成较大影响。目前针对图像去雾的研究主要针对地面拍摄照片或视频，多是基于暗原色先验方法进行改进，达到具体应用的目的，还有一些基于其他图像处理算法的应用。无人机航拍图像与地面拍摄影像有明显的不同，利用现有的图像去雾方法，比如暗原色先验、直方图均衡、对数增强、指数增强、自适应色阶、自适应对比度等方法对于空中往下拍摄的图像处理效果并不是特别理想，因此，如何对无人机在雾霾天航拍到的图像进行去雾化处理是目前亟需解决的技术问题。

技术实现要素：

为了解决现有由于雾天或者高空散射造成的无人机航拍图像质量下降的问题，本发明实施例提供了一种基于图像匹配的无人机航拍图像去雾处理方法及系统。

为实现上述目的，本发明采用如下技术方案：

第一方面，本发明实施例提供了一种基于图像匹配的无人机航拍图像去雾处理方法，包括：

对输入的待处理目标图像由rgb颜色空间转换为lab颜色空间，获得lab图像；

将所获得的lab图像和标准图像样本进行匹配运算处理，输出清晰图像。

进一步地，所述标准图像样本通过如下方式获得：

将无人机不同航拍摄像设备所拍摄到的清晰图像作为标准图像样本，并统计标准图像样本lab颜色空间l、a、b三个通道的均值和标准差，获得不同航拍摄像设备的标准图像的特征值，以作为参考标准。

进一步地，所述将所获得的lab图像和标准图像样本进行匹配运算处理，输出清晰图像包括：

a、确定所输入的待处理目标图像的航拍摄像设备，以查找出与该航拍摄像设备相对应的标准图像；

b、对lab图像进行l、a、b三个通道拆分，并计算每个通道的平均值和标准差；

c、将lab图像的l、a、b三个通道减去其各自通道的平均值，获得l、a、b三个通道与各自通道均值之间的差值，进入下一步运算；

d、将lab图像的l、a、b三个通道的标准差除以该型号航拍摄像设备的预置标准差，然后分别乘以c步骤得到的各通道数值；

e、在d步骤得到的图像数值上，加上该型号航拍摄像设备的预置通道均值；

f：将e步骤得到的图像转换为rgb颜色空间；

g：整合图像，剪掉所有在rgb颜色空间范围外的值；

h、输出清晰显示的图像。

第二方面，本发明实施例提供了一种基于图像匹配的无人机航拍图像去雾处理系统，包括：

转换模块，用于对输入的待处理目标图像由rgb颜色空间转换为lab颜色空间，获得lab图像；

匹配运算处理模块，用于将所获得的lab图像和标准图像样本进行匹配运算处理，输出清晰图像。

第三方面，本发明实施例提供一种基于图像匹配的无人机航拍图像去雾处理装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现上述基于图像匹配的无人机航拍图像去雾处理方法的步骤。

第四方面，本发明实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于图像匹配的无人机航拍图像去雾处理方法的步骤。

本发明的有益效果在于：

(1)本发明提出将图像特征值匹配方法应用到无人机雾化图像处理中，达到良好的处理效果，比其他各种现有去雾算法更加适用于高空拍摄照片的去雾。

(2)通过采用本发明的匹配运算处理步骤，运算处理前后的图像信息熵不发生降低的现象，能够最大程度地保持图像原始信息，有利于后续图像应用。

附图说明

图1为本发明实施例提供的基于图像匹配的无人机航拍图像去雾处理方法的流程图；

图2为采用本发明实施例提供的基于图像匹配的无人机航拍图像去雾处理方法/系统对严重雾化原图处理后的效果图；

图3为本发明实施例提供的基于图像匹配的无人机航拍图像去雾处理系统的组成示意图；

图4为匹配运算处理模块的组成示意图；

图5为本实施例提供的基于图像匹配的无人机航拍图像去雾处理装置的组成示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述。

实施例1：

针对雾天环境带来的无人机航拍图像质量不佳的问题，本实施例提供了一种基于图像匹配的清晰化处理方法，本方法主要包括如下步骤：

对输入的待处理目标图像由rgb颜色空间转换为lab颜色空间，获得lab图像；

由于lab颜色模型基于人对颜色的感觉，其数值描述了人能够看到的所有颜色，lab描述的是颜色的显示方式，而不是设备(如显示器、桌面打印机或数码相机)生成颜色所需的特定色彩的值，所以lab被视为与设备无关的颜色模型，lab颜色空间具有色域更为宽阔等优点，因此，通过将原始采集到的有雾图像即待处理的目标图像由rgb颜色空间转换为lab颜色空间，在lab模式下，有雾部分能够更好的区分。

将所获得的lab图像和标准图像样本进行匹配运算处理，输出清晰图像。

也就是说，通过以清晰图像为模板，建立图像特征样本，将雾化图像进行特征值匹配处理，达到清晰显示的目的，从而解决了无人机航拍雾化图像质量下降的问题。

具体地，如图1所示，该标准图像样本通过如下方式获得：

首先，利用良好天气条件下同一地区的清晰航拍图像作为样本，该样本是无人机不同航拍摄像设备所拍摄到的，也就是说，标准图像样本涵盖了不同型号拍摄设备所拍摄到的清晰图像；搜集确定好标准图像样本后，则统计标准图像样本lab颜色空间l、a、b三个通道的均值和标准差，获得不同航拍摄像设备的标准图像的特征值，以作为参考标准。该标准图像的特征值包含了目标图像想要进行模仿颜色空间的各种特征值，即标准图像l通道的均值ml、a通道均值ma、b通道均值mb、l通道标准差sl、a通道标准差sa、b通道标准差sb。

而后将所获得的lab图像和标准图像样本进行匹配运算处理，输出清晰图像则包括如下步骤：

a、首先确定所输入待处理目标图像是由哪一型号拍摄设备所拍摄得到的，从而确定与该型号拍摄设备相对应的标准图像样本。

b、对lab图像进行l、a、b三个通道拆分，以区分l、a、b三个通道，每个通道为一个二维图像矩阵，并计算每个通道的平均值和标准差；也就是说，在此步骤中能够提取目标图像l通道、a通道、b通道的平均值和方差。

c、将lab图像的l、a、b三个通道减去其各自通道的平均值，获得l、a、b三个通道与各自通道均值之间的差值，进入下一步运算；也就是说，此步骤的主要目的是计算目标图像各通道与各自均值之间的差异。

d、将lab图像的l、a、b三个通道的标准差除以该型号航拍摄像设备的预置标准差(此预置标准差指的是步骤a所确定标准图像样本的标准差)，然后分别乘以c步骤得到的各通道数值；此步骤主要是根据所确定的标准图像样本和目标图像的图像差异性，按比例缩放第五步计算出的目标图像自身差异。

e、在d步骤得到的图像数值上，加上该型号航拍摄像设备的预置通道均值(此预置标准差指的是步骤a所确定标准图像样本的通道均值)；此步骤结合了标准图像样本的标准值，按照第d步计算的差异值来还原图像。

f、将e步骤得到的图像转换为rgb颜色空间；以还原成常用的rgb颜色空间，便于显示。

g、整合图像，剪掉所有在rgb颜色空间范围外的值；即剪掉所有在[0,255]范围外的值，rgb颜色空间各通道取值范围为0到255，由于转化后可能出现某个通道数值大于255或者小于0的情况，将小于0的统一表示为0，将大于255的统一表示为255。

h、输出清晰显示的图像。

如图2所示，通过运用本实施例提供的基于图像匹配的无人机航拍图像去雾处理方法对严重雾化原图处理后，能够获得清晰的图像。而且通过上述的匹配运算处理步骤，运算处理前后的图像信息熵不发生降低的现象,能够最大程度地保持图像原始信息，有利于后续图像应用。

实施例2：

参阅图3所示，本实施例提供了一种基于图像匹配的无人机航拍图像去雾处理系统，包括：

转换模块31，用于对输入的待处理目标图像由rgb颜色空间转换为lab颜色空间获得。

由于lab颜色模型基于人对颜色的感觉，其数值描述了人能够看到的所有颜色，lab描述的是颜色的显示方式，而不是设备(如显示器、桌面打印机或数码相机)生成颜色所需的特定色彩的值，所以lab被视为与设备无关的颜色模型，lab颜色空间具有色域更为宽阔等优点，因此，通过将原始采集到的有雾图像即待处理的目标图像由rgb颜色空间转换为lab颜色空间，在lab模式下，有雾部分能够更好的区分。

匹配运算处理模块32，用于将所获得的lab图像和标准图像样本进行匹配运算处理，输出清晰图像。

也就是说，通过以清晰图像为模板，建立图像特征样本，将雾化图像进行特征值匹配处理，达到清晰显示的目的，从而解决无人机航拍雾化图像质量下降的问题。

具体地，该标准图像样本是预先获取并保存在匹配运算处理模块32中的，该标准图像样本通过如下方式获得：

首先，利用良好天气条件下同一地区的清晰航拍图像作为样本，该样本是无人机不同航拍摄像设备所拍摄到的，也就是说，标准图像样本涵盖了不同型号拍摄设备所拍摄到的清晰图像；搜集确定好标准图像样本后，则统计标准图像样本lab颜色空间l、a、b三个通道的均值和标准差，获得不同航拍摄像设备的标准图像的特征值，以作为参考标准。该标准图像的特征值包含了目标图像想要进行模仿颜色空间的各种特征值，即标准图像l通道的均值ml、a通道均值ma、b通道均值mb、l通道标准差sl、a通道标准差sa、b通道标准差sb。

具体地，如图4所示，该匹配运算处理模块32包括：

确定查找单元321，用于确定所输入的待处理目标图像的航拍摄像设备，以查找出与该航拍摄像设备相对应的标准图像。

通道拆分计算单元322，用于对lab图像进行l、a、b三个通道拆分，并计算每个通道的平均值和标准差；也就是说，在此单元中能够提取目标图像l通道、a通道、b通道的平均值和方差。

通道差值计算单元323，用于将lab图像的l、a、b三个通道减去其各自通道的平均值，获得l、a、b三个通道与各自通道均值之间的差值；也就是说，此单元的主要目的是计算目标图像各通道与各自均值之间的差异。

比例缩放单元324，用于将lab图像的l、a、b三个通道的标准差除以该型号航拍摄像设备的预置标准差(此预置标准差指的是步骤a所确定标准图像样本的标准差)，然后分别乘以通道差值计算单元所得到的各通道数值；此单元主要是根据所确定的标准图像样本和目标图像的图像差异性，按比例缩放第五步计算出的目标图像自身差异。

还原图像单元325，用于在比例缩放单元得到的图像数值上，加上该型号航拍摄像设备的预置通道均值(此预置标准差指的是步骤a所确定标准图像样本的通道均值)；此单元结合了标准图像样本的标准值，按照比例缩放单元计算的差异值来还原图像。

转换单元326，用于将还原图像单元所得到的图像转换为rgb颜色空间；以还原成常用的rgb颜色空间，便于显示。

整合单元327，用于整合图像，剪掉所有在rgb颜色空间范围外的值；即剪掉所有在[0,255]范围外的值，rgb颜色空间各通道取值范围为0到255，由于转化后可能出现某个通道数值大于255或者小于0的情况，将小于0的统一表示为0，将大于255的统一表示为255。

输出单元328，用于输出清晰显示的图像。

如图2所示，通过运用本实施例提供的基于图像匹配的无人机航拍图像去雾处理系统对严重雾化原图处理后，能够获得清晰的图像。而且通过上述的匹配运算处理模块32的各个单元的运算处理，运算处理前后的图像信息熵不发生降低的现象，能够最大程度地保持图像原始信息，有利于后续图像应用。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

实施例3：

参阅图5所示，本实施例提供的基于图像匹配的无人机航拍图像去雾处理装置包括处理器51、存储器52以及存储在该存储器52中并可在所述处理器51上运行的计算机程序53，例如基于图像匹配的无人机航拍图像去雾处理程序。该处理器51执行所述计算机程序53时实现上述实施例1步骤，例如图1所示的步骤。或者，所述处理器51执行该计算机程序53时实现上述实施例2中各模块/单元的功能。

示例性的，所述计算机程序53可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器52中，并由所述处理器51执行，以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序53在所述基于图像匹配的无人机航拍图像去雾处理装置中的执行过程。例如，所述计算机程序53可以被分割成转换模块和匹配运算模块。

所述基于图像匹配的无人机航拍图像去雾处理装置可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述基于图像匹配的无人机航拍图像去雾处理装置可包括，但不仅限于，处理器51、存储器52。本领域技术人员可以理解，图5仅仅是基于图像匹配的无人机航拍图像去雾处理装置的示例，并不构成基于图像匹配的无人机航拍图像去雾处理装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述基于图像匹配的无人机航拍图像去雾处理装置还可以包括输入输出设备、网络接入设备、总线等。

所称处理器51可以是中央处理单元(centralprocessingunit，cpu)，还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现成可编程门阵列(fieldprogrammablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

所述存储器52可以是所述基于图像匹配的无人机航拍图像去雾处理装置的内部存储元，例如基于图像匹配的无人机航拍图像去雾处理装置的硬盘或内存。所述存储器52也可以是所述基于图像匹配的无人机航拍图像去雾处理装置的外部存储设备，例如所述基于图像匹配的无人机航拍图像去雾处理装置上配备的插接式硬盘，智能存储卡(smartmediacard，smc)，安全数字(securedigital，sd)卡，闪存卡(flashcard)等。进一步地，所述存储器52还可以既包括所述基于图像匹配的无人机航拍图像去雾处理装置的内部存储单元也包括外部存储设备。所述存储器52用于存储所述计算机程序以及所述基于图像匹配的无人机航拍图像去雾处理装置所需的其他程序和数据。所述存储器52还可以用于暂时地存储已经输出或者将要输出的数据。

实施例4：

本实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现实施例1所述方法的步骤。

所示计算机可读介质可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理再以电子方式获得所述程序，然后将其存储在计算机存储器中。

对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。