一种无人机夜间图像处理方法

本发明属于图像处理，具体涉及一种无人机夜间图像处理方法。

背景技术：

1、无人机在军事侦察、安防监控、灾害救援等领域发挥着重要作用。然而，在夜晚环境下，由于光照条件的限制，无人机获取的图像往往存在对比度较低、模糊不清、细节丢失等问题，使得图像难以准确分析和识别目标。因此，对无人机夜晚图像进行增强恢复处理具有重要的实际意义。在现有技术中，夜晚图像增强技术已经存在多种形式。

2、1、传统的图像处理算法：包括直方图均衡化、锐化、降噪等方法，可以在一定程度上提高夜晚图像的亮度和对比度。但是这些方法难以处理复杂的夜晚场景，在低照度条件下存在的细节损失和噪点过多等问题。

3、2、基于深度学习的方法：如用卷积神经网络(cnn)进行夜晚图像增强等任务。通过学习大量图像数据的特征表示，能够更好地恢复夜晚图像中的细节信息和结构，从而提高图像的清晰度和识别能力。但是目前的深度学习方法仍无法满足夜晚图像增强的性能需求。

4、3、基于多媒体信号处理理论的方法：如小波变换、模糊建模和去卷积等技术，适用于特定类型的夜晚图像处理。但该方法缺乏通用性，需要针对具体场景进行参数调整和优化。

技术实现思路

1、本发明提供一种无人机夜间图像处理方法，通过多阶段渐进处理的方式对无人机采集的夜间图像进行恢复，以克服现有模型图像恢复不佳以及模型臃肿的问题。

2、为实现以上目的，本发明采用以下技术方案：

3、第一方面，本发明提供一种无人机夜间图像处理方法，包括步骤：

4、用无人机采集夜间图像，并在相同位置用无人机采集非夜间图像；

5、对采集到的夜间图像、非夜间图像进行处理，将处理后的图像进行匹配、编号，得到匹配成对的图像；

6、构建多阶段跨层级联的神经网络模型，用匹配成对的图像对模型进行监督训练，并根据损失函数对模型的参数进行调整，参数调整后的模型用于处理无人机夜间图像。

7、作为优选方案，所述多阶段跨层级联的神经网络模型包括图像初始恢复层、图像细节恢复层、设置两层之间的跨层提取模块；

8、所述图像初始恢复层包括依次连接的图像信号卷积块、卷积块、交叉注意力模块、编码器、解码器、自主注意力模块，用于生成初始的恢复图像；

9、所述图像细节恢复层包括依次连接的图像信号卷积块、卷积块、级联特征融合模块、残差块、卷积块，用于根据图像初始恢复层传递的特征信息对图像进行细节恢复以得到最终的清晰图像；

10、所述跨层提取模块用于处理图像初始恢复层编码器、解码器生产的特征信息，并将处理后的信息传递至级联特征融合模块；级联特征融合模块用于对图像初始恢复层的特征信息、图像细节恢复层的特征信息进行融合。

11、作为优选方案，图像细节恢复层的级联特征融合模块前还包括一个特征融合块，用于对图像细节恢复层的特征信息、图像初始恢复层交叉注意力模块传输的特征信息进行融合。

12、作为优选方案，跨层提取模块接收编码器、解码器生产的特征信息，在编码器、解码器生产的特征信息分别经过一个卷积块后，先进行矩阵相加操作，再经残差块处理后输出至级联特征融合模块。

13、作为优选方案，跨层提取模块中的残差块包括两个分支，一个分支为卷积块，另一个分支为依次连接的归一化层、激活函数、卷积块，特征信息经两个分支处理后经矩阵相加操作后输出至级联特征融合模块。

14、作为优选方案，级联特征融合模块先跨层提取模块传输的图像初始恢复层的特征信息与图像细节恢复层的特征信息进行concat操作，再经卷积操作后产生两个分量，两个分量分别经两个处理分支处理后先经矩阵相加操作再经卷积操作后进行输出。

15、作为优选方案，产生的两个分量为反射分量和照明分量，反射分量处理分支包括依次连接的卷积块、激活函数、深度可分离卷积块，照明分量处理分支包括依次连接的部分卷积块、激活函数、卷积块、残差块。

16、第二方面，本发明提供一种电子设备，包括存储器、一个或多个处理器、存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上述所述的方法。

17、第三方面，本发明提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述所述的方法。

18、本发明的有益效果是：

19、根据无人机夜间图像的特点构建了多阶段跨层级联的神经网络模型，训练、调参后的模型使用多阶段渐进处理的方式对无人机采集的夜间图像进行图像恢复、增强任务，模型结构简单且对图像恢复的效果较好。

20、模型由图像初始恢复层、图像细节恢复层、设置两层之间的跨层提取模块组成，分阶段对图像进行处理，同时在图像细节恢复层中构建级联特征融合模块，能够将图像初始恢复层的特征信息、图像细节恢复层的特征信息进行融合，并结合原始图像信息以提高图像恢复的效果。

技术特征：

1.一种无人机夜间图像处理方法，其特征在于，包括步骤：

2.根据权利要求1所述的一种无人机夜间图像处理方法，其特征在于，所述多阶段跨层级联的神经网络模型包括图像初始恢复层、图像细节恢复层、设置两层之间的跨层提取模块；

3.根据权利要求2所述的一种无人机夜间图像处理方法，其特征在于，图像细节恢复层的级联特征融合模块前还包括一个特征融合块，用于对图像细节恢复层的特征信息、图像初始恢复层交叉注意力模块传输的特征信息进行融合。

4.根据权利要求2所述的一种无人机夜间图像处理方法，其特征在于，跨层提取模块接收编码器、解码器生产的特征信息，在编码器、解码器生产的特征信息分别经过一个卷积块后，先进行矩阵相加操作，再经残差块处理后输出至级联特征融合模块。

5.根据权利要求4所述的一种无人机夜间图像处理方法，其特征在于，跨层提取模块中的残差块包括两个分支，一个分支为卷积块，另一个分支为依次连接的归一化层、激活函数、卷积块，特征信息经两个分支处理后经矩阵相加操作后输出至级联特征融合模块。

6.根据权利要求2所述的一种无人机夜间图像处理方法，其特征在于，级联特征融合模块先跨层提取模块传输的图像初始恢复层的特征信息与图像细节恢复层的特征信息进行concat操作，再经卷积操作后产生两个分量，两个分量分别经两个处理分支处理后先经矩阵相加操作再经卷积操作后进行输出。

7.根据权利要求6所述的一种无人机夜间图像处理方法，其特征在于，产生的两个分量为反射分量和照明分量，反射分量处理分支包括依次连接的卷积块、激活函数、深度可分离卷积块，照明分量处理分支包括依次连接的部分卷积块、激活函数、卷积块、残差块。

8.一种电子设备，其特征在于，包括存储器、一个或多个处理器、存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至7任一项所述的方法。

9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。

技术总结
本发明属于图像处理技术领域，具体涉及一种无人机夜间图像处理方法，方法包括步骤：用无人机采集夜间图像，并在相同位置用无人机采集非夜间图像；对采集到的夜间图像、非夜间图像进行处理，将处理后的图像进行匹配、编号，得到匹配成对的图像；构建多阶段跨层级联的神经网络模型，用匹配成对的图像对模型进行监督训练，并根据损失函数对模型的参数进行调整，参数调整后的模型用于处理无人机夜间图像。通过多阶段渐进处理的方式对无人机采集的夜间图像进行恢复，模型结构简单，图像恢复效果较好。

技术研发人员：顾沈明,苗家明,张春慧,谭小球,管林挺
受保护的技术使用者：浙江海洋大学
技术研发日：
技术公布日：2024/4/24