一种航拍可见光图像的处理方法和系统与流程

本发明属于数字图像处理技术与航天科技的交叉领域，更具体地，涉及一种航拍可见光图像的处理方法和系统。

背景技术：

利用无人机、卫星等飞行器实现遥感和导航已经成为航空航天事业发展的一个重要技术领域，并在经济发展、日常生活中都具有非常重要的应用价值。然而，由于飞行器上图像传感器的性能约束，且伴随着航拍场景越来越复杂和多变(如低照环境，大雾天气等)，使得飞行器获取到的航拍图像噪声很大，而且细节模糊，无法满足遥感和导航领域的需求，因此，非常有必要对飞行器航拍图像进行处理。

目前对飞行器航拍图像的处理，主要分为对可见光图像的去噪增强处理，以及对红外图像的增强处理。其中，可见光的去噪处理主要分为空域去噪和时域去噪，空域去噪可以在一帧图像上进行，时域去噪则需要对连续多帧图像参考进行去噪，对可见光的增强处理则包括饱和度和对比度增强。

然而，就现有的对可见光图像的去噪方法而言，都会使得图像边缘模糊，清晰度变差，去噪越强，则细节损失的就越多，从而影响最终的图像增强效果。为此，有的学者提出利用红外图像对可见光图像进行对比度和锐度的增强，从而使画面中的物体更加明显；然而，红外图像的增强时，由于红外图像仅有灰度特性，缺乏纹理、颜色等特征，其只能增强场景中物体的边缘，增强效果并不明显，意义不大。有鉴于此，还有学者利用红外图像和可见光图像进行融合的方式对可见光图像进行增强，即直接进行两幅图像的融合，或者仅参考了红外亮度上的融合，但这种方式并没有很好的利用这两种图像的特性，只用到了红外图像的亮度特性，而没考虑可见光的颜色特征，所以这种增强的效果也不好。

技术实现要素：

针对现有技术的以上缺陷或改进需求，本发明提供了一种航拍可见光图像的处理方法和系统，其目的在于，解决现有可见光图像处理方法中使用可见光图像去噪导致图像边缘模糊、细节变差，采用红外图像增强方法后导致图像缺乏纹理颜色特征，以及普通的红外图像和可见光图像融合方法增强效果不佳、对颜色特征增强效果差的技术问题。

为实现上述目的，按照本发明的一个方面，提供了一种航拍可见光图像的处理方法，包括以下步骤：

(1)同时使用可见光传感器和红外传感器分别获取可见光图像和红外图像g；

(2)对步骤(1)获取的可见光图像进行yuv颜色域转换，以生成yuv颜色空间图像，将该yuv颜色空间图像分解为亮度域y分量图像、颜色域u分量图像、以及颜色域v分量图像；

(3)对分解得到的亮度域y分量图像进行高斯低通滤波去噪，以得到亮度域图像y’；

(4)对步骤(1)得到的红外图像g进行锐化处理，以得到最终锐化图像g’；

(5)将步骤(3)获得的亮度域图像y’和步骤(4)获得的最终锐化图像g’进行融合，以生成新的可见光图像ynew；

(6)对步骤(2)中得到的颜色域u分量图像和颜色域v分量图像进行色调饱和度调整，以获得最终颜色域u图像unew和最终颜色域v图像vnew；

(7)将步骤(5)得到的新的可见光图像ynew，以及步骤(6)得到的最终颜色域u图像unew和最终颜色域v图像vnew进行融合，以得到新的yuv颜色空间图像yuvnew，并对该yuv颜色空间图像yuvnew进行yuv到rgb颜色空间的转换，以生成最终的可见光图像。

优选地，步骤(3)中采用的高斯滤波函数的标准差α为0.25到0.75之间。

优选地，步骤(4)包括以下子步骤：

(4-1)使用高通滤波器对红外图像g进行滤波处理，以生成处理后的图像ghpf；

(4-2)获取红外图像g的均值μ与标准差σ：

其中w表示红外图像g的宽度，h表示红外图像g的高度，g(i,j)表示红外图像g上像素点的坐标；

(4-3)根据步骤(4-2)中得到的均值μ和标准差σ，获取图像g上像素点g(i,j)对应的高频分量增强系数β(i,j)：

(4-4)根据步骤(4-3)得到的高频分量增强系数和步骤(4-1)得到的图像ghpf对红外图像g进行回加操作，以获得初始锐化图像g”：

g″(x,y)＝g(x,y)+βghpf(x,y)

(4-5)判断步骤(4-4)获得的初始锐化图像g”的值小于0，还是大于等于0且小于等于255，还是大于255，如果小于0，则将最终锐化图像g’的值设置为0，如果大于等于0且小于等于255，则将最终锐化图像g’的值设置为g″(x,y)，如果大于255，则将最终锐化图像g’的值设置为255。

优选地，步骤(5)具体是采用以下公式：

ynew(i,j)＝γ(i,j)y′(i,j)+(1-γ(i,j))g′(i,j)

其中上式的中间算子γ可以通过下式求得

γ(i,j)＝0.7*α+0.3*β(i,j)。

优选地，步骤(6)具体包括以下子步骤：

(6-1)根据颜色域u分量图像和颜色域v分量图像获取平均色调系数coef：

(6-2)根据平均色调系数分别获取颜色域u分量图像和颜色域v分量图像的色调调整系数δu和δv：

其中τu为颜色域u分量的色度调整经验系数，τv为颜色域v分量的色度调整经验系数，τu和τv取0.75～1.5之间。

(6-3)根据步骤(6-2)中得到的色调调整系数获取初始颜色域u图像u′new和初始颜色域v图像v′new：

u′new(i,j)＝(u^(i,j)-128)*δu+128

v′new(i,j)＝(v^(i,j)-128)*δv+128

(6-4)分别判断得到的初始颜色域u图像u′new和初始颜色域v图像v′new的值是分别小于0，还是大于等于0并小于等于255，还是大于255，如果是小于0，则将最终颜色域u图像unew和最终颜色域v图像vnew的值设置为0，如果是大于等于0并小于等于255，则将最终颜色域u图像unew和最终颜色域v图像vnew的值分别设置为等于u′new和v′new，如果是大于255，则将最终颜色域u图像unew和最终颜色域v图像vnew的值分别设置为255。

按照本发明的另一方面，提供了一种航拍可见光图像的处理系统，包括：

第一模块，用于同时使用可见光传感器和红外传感器分别获取可见光图像和红外图像g；

第二模块，用于对第一模块获取的可见光图像进行yuv颜色域转换，以生成yuv颜色空间图像，将该yuv颜色空间图像分解为亮度域y分量图像、颜色域u分量图像、以及颜色域v分量图像；

第三模块，用于对分解得到的亮度域y分量图像进行高斯低通滤波去噪，以得到亮度域图像y’；

第四模块，用于对第一模块得到的红外图像g进行锐化处理，以得到最终锐化图像g’；

第五模块，用于将第三模块获得的亮度域图像y’和第四模块获得的最终锐化图像g’进行融合，以生成新的可见光图像ynew；

第六模块，用于对第二模块中得到的颜色域u分量图像和颜色域v分量图像进行色调饱和度调整，以获得最终颜色域u图像unew和最终颜色域v图像vnew；

第七模块，用于将第五模块得到的新的可见光图像ynew，以及第六模块得到的最终颜色域u图像unew和最终颜色域v图像vnew进行融合，以得到新的yuv颜色空间图像yuvnew，并对该yuv颜色空间图像yuvnew进行yuv到rgb颜色空间的转换，以生成最终的可见光图像。

总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果：

1、本发明能够解决现有可见光图像处理方法中存在的去噪会使可见光图像边缘模糊、细节变差的技术问题：由于采用了下述步骤(4)和步骤(5)，其对红外图像进行锐化，增强边缘和细节，然后与原图yuv中的y分量进行融合，因此，能够解决可将光图像去噪后边缘模糊，细节变差的技术问题；

2、本发明能够解决现有可见光图像处理方法中使用红外图像增强后导致图像缺乏纹理颜色特征的技术问题：由于采用了下述步骤(2)和步骤(5)、(6)，将可见光在yuv空间内进行分解，对颜色分量u、v进行了调整增强操作，让纹理较多的y分量和边缘锐化后的灰度图像进行融合，最终生成了纹理和颜色特征都很丰富的结果，因此能够解决仅对红外图像增强后缺乏纹理颜色特征的技术问题；

3、本发明能够解决现有可见光图像处理方法中使用普通的融合导致增强效果不佳的技术问题，由于采用了步骤(3)、(4)、(6)，使得融合不再是两幅图像直接的融合，而且包含去噪后的y分量与锐化后的红外图像的融合，此外颜色分量u、v进行颜色域增强操作，并不受到与红外图像融合的亮度影响，保证了融合后的可见光图像不仅颜色特征得到加强，且亮度和边缘都可以增强，因此能够解决融合增强效果不佳的技术问题；

4、本发明对可见光图像进行分解、融合、再合并的操作，可以对各个分量并行地进行处理，从而保证了处理过程的快速和高效率；

5、本发明对于可见光y分量和红外的融合采用了最基础的系数融合方法，融合效果好，且能够保证实时性。

附图说明

图1是本发明航拍可见光图像的处理方法的流程图。

图2示出本发明步骤(1)中获取的原始可见光图像。

图3示出本发明步骤(1)中获取的原始红外图像。

图4示出本发明步骤(2)中获得的yuv颜色空间图像。

图5示出本发明步骤(2)中得到的亮度域y分量图像。

图6示出本发明步骤(2)中得到的颜色域u分量图像。

图7示出本发明步骤(2)中得到的颜色域v分量图像。

图8示出本发明步骤(3)的高斯低通滤波去噪后得到的亮度域图像。

图9示出本发明步骤(4)中得到的最终锐化图像；

图10示出本发明步骤(5)中得到的新的可见光图像。

图11示出本发明步骤(6)得到的最终颜色域u图像。

图12示出本发明步骤(6)得到的最终颜色域v图像。

图13示出本发明步骤(7)通过融合得到的新的yuv颜色空间图像。

图14示出本发明步骤(7)中通过yuv到rgb颜色空间的转换得到的最终可见光图像。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明航拍可见光图像的处理方法包括以下步骤：

(1)同时使用可见光传感器和红外传感器分别获取可见光图像(如图2所示)和红外图像g(如图3所示)；具体而言，可见光传感器和红外传感器可设置于飞行器(诸如无人机、卫星等)上；

(2)对步骤(1)获取的可见光图像进行yuv颜色域转换，以生成yuv颜色空间图像(如图4所示)，将该yuv颜色空间图像分解为亮度域y分量图像(如图5所示)、颜色域u分量图像(如图6所示)、以及颜色域v分量图像(如图7所示)；

(3)对分解得到的亮度域y分量图像进行高斯低通滤波去噪，以得到亮度域图像y’(如图8所示)，其中采用的高斯函数的标准差为α，在本发明中，α为0.25到0.75之间，优选取0.5；

(4)对步骤(1)得到的红外图像g进行锐化处理，以得到最终锐化图像g’(如图9所示)；本步骤包括以下子步骤：

(4-1)使用高通滤波器对红外图像g进行滤波处理，以生成处理后的图像ghpf；具体而言，本发明中的高通滤波器可以是一阶或二阶高通滤波器；

(4-2)获取红外图像g的均值μ与标准差σ，公式如下：

其中w表示红外图像g的宽度，h表示红外图像g的高度，g(i,j)表示红外图像g上像素点的坐标；

(4-3)根据步骤(4-2)中得到的均值μ和标准差σ，获取图像g上像素点g(i,j)对应的高频分量增强系数β(i,j)：

(4-4)根据步骤(4-3)得到的高频分量增强系数和步骤(4-1)得到的图像ghpf对红外图像g进行回加操作，以获得初始锐化图像g”：

g″(x,y)＝g(x,y)+βghpf(x,y)

(4-5)判断步骤(4-4)获得的初始锐化图像g”的值小于0，还是大于等于0且小于等于255，还是大于255，如果小于0，则将最终锐化图像g’的值设置为0，如果大于等于0且小于等于255，则将最终锐化图像g’的值设置为g″(x,y)，如果大于255，则将最终锐化图像g’的值设置为255。

(5)将步骤(3)获得的亮度域图像y’和步骤(4)获得的最终锐化图像g’进行融合，以生成新的可见光图像ynew(如图10所示)，具体是采用以下公式：

ynew(i,j)＝γ(i,j)y′(i,j)+(1-γ(i,j))g′(i,j)

上式的中间算子γ可以通过下式求得

γ(i,j)＝0.7*α+0.3*β(i,j)

(6)对步骤(2)中得到的颜色域u分量图像和颜色域v分量图像进行色调饱和度调整，以获得最终颜色域u图像unew(如图11所示)和最终颜色域v图像vnew(如图12所示)；本步骤具体包括以下子步骤：

(6-1)根据颜色域u分量图像和颜色域v分量图像获取平均色调系数coef：

(6-2)根据平均色调系数分别获取颜色域u分量图像和颜色域v分量图像的色调调整系数δu和δv：

其中τu为颜色域u分量的色度调整经验系数，τv为颜色域v分量的色度调整经验系数，为了使最终的色调不会调整过于剧烈，一般而言，τu和τv取0.75～1.5之间，优选值取1.25。

(6-3)根据步骤(6-2)中得到的色调调整系数获取初始颜色域u图像u′new和初始颜色域v图像v′new：

u′new(i,j)＝(u^(i,j)-128)*δu+128

v′new(i,j)＝(v^(i,j)-128)*δv+128

(6-4)分别判断得到的初始颜色域u图像u′new和初始颜色域v图像v′new的值是分别小于0，还是大于等于0并小于等于255，还是大于255，如果是小于0，则将最终颜色域u图像unew和最终颜色域v图像vnew的值设置为0，如果是大于等于0并小于等于255，则将最终颜色域u图像unew和最终颜色域v图像vnew的值分别设置为等于u′new和v′new，如果是大于255，则将最终颜色域u图像unew和最终颜色域v图像vnew的值分别设置为255。

(7)将步骤(5)得到的新的可见光图像ynew，以及步骤(6)得到的最终颜色域u图像unew和最终颜色域v图像vnew进行融合，以得到新的yuv颜色空间图像yuvnew(如图13所示)，并对该yuv颜色空间图像yuvnew进行yuv到rgb颜色空间的转换，以生成最终的可见光图像(如图14所示)。

通过本发明的处理方法，并将图1的原始可见光图像与图14中得到的最终可见光图像进行对比，可以清楚地看出，图14的噪声有了明显的改善，颜色、细节都能有效保留，并且画面中的物体轮廓比图1更清晰可见，体现了本发明有效的利用了红外图像灰度特性和锐化后边缘清晰的特点，对可见光图像分成各颜色分量分别处理既能保持原有可见光图像的颜色特性，亮度域分量降噪后与红外图像锐化后的融合又能在去噪的同时保证了边缘和细节，最终达到了很好的增强效果。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。