一种基于退化图像的检测模型训练以及检测方法及装置与流程

本说明书涉及深度神经网络领域，尤其涉及一种基于退化图像的检测模型训练以及检测方法及装置。

背景技术：

1、近年来，深度神经网络在多种计算机视觉任务中取得了显著进步，例如，在物体检测和识别任务中，将物体图像输入到深度神经网络中，可以快速的得到物体检测结果。具体地，深度神经网络可以对输入的图像进行目标物体检测，输出目标物体对应的预测框和类别概率。但是在应用过程中，若输入深度神经网络的图像质量降低，计算机视觉算法会受到严格的制约，从而无法完成相关任务。

2、目前，在长距离观测中，例如，航天成像(指通过航天器上的光学设备对地球和宇宙中的物体进行成像，将所成的图像传输回地球，使人们可以更加深入地观察宇宙和地球的情况)、天文观测、路政监控(指利用监控系统对道路交通状况进行全面的监控和分析)等，大气湍流会对收集图像的过程产生影响，其中，大气湍流是指大气中由于温度、压力和密度等因素的变化而引起的气流的不规则运动。它的存在会对光波、声波和电磁波在大气中的传播产生一定的干扰作用，还可能导致光线的折射和散射，从而影响光学系统的成像质量，使得收集到的图像产生一定的模糊和畸变，进而造成深度神经网络不能利用这些退化后图像进行目标检测，以得到准确的目标检测结果。

3、基于此，如何提高深度神经网络的准确性，则是一个亟待解决的问题。

技术实现思路

1、本说明书提供一种基于退化图像的检测模型训练以及检测方法及装置，以部分的解决现有技术存在的上述问题。

2、本说明书采用下述技术方案：

3、本说明书提供了一种基于退化图像的检测模型训练方法，包括：

4、获取各样本图像，不同的样本图像是指针对不同时刻的同一位置的观测图像；

5、根据所述各样本图像，确定合成图像；

6、针对每个检测模型，将所述合成图像输入到该检测模型的图像恢复网络中，得到该检测模型的图像恢复网络输出的恢复后图像，并将所述恢复后图像输入到该检测模型的目标检测网络中，得到该检测模型的目标检测网络输出的目标检测结果，作为该检测模型对应的目标检测结果；

7、针对每个检测模型，以最小化该检测模型的图像恢复网络针对所述合成图像输出的恢复后图像与所述合成图像对应的真实清晰图像之间的偏差，以及最小化该检测模型针对所述合成图像的目标检测结果与所述合成图像对应的实际结果之间的偏差为优化目标，对该检测模型进行训练。

8、可选地，根据所述各样本图像，确定合成图像，具体包括：

9、从所述各样本图像中选取部分样本图像，以通过选取出的部分样本图像，确定合成图像。

10、可选地，通过选取出的部分样本图像，确定合成图像，具体包括：

11、针对选取出的每个样本图像，对该样本图像进行分割，得到该样本图像的不同区域对应的子图像；

12、根据选取出的每个样本图像的相同区域对应的子图像，确定相同区域对应的合成后的子图像；

13、根据每个区域对应的合成后的子图像，确定合成图像。

14、可选地，在对该样本图像进行分割，得到该样本图像的不同区域对应的子图像之前，所述方法还包括：

15、对该样本图像进行数据增强处理，得到数据增强处理后的样本图像；

16、对该样本图像进行分割，得到该样本图像的不同区域对应的子图像，具体包括：

17、对该样本图像对应的数据增强处理后的样本图像进行分割，得到数据增强处理后的样本图像的不同区域对应的子图像，作为该样本图像的不同区域对应的子图像。

18、可选地，根据选取出的每个样本图像的相同区域对应的子图像，确定相同区域对应的合成后的子图像，具体包括：

19、将选取出的每个样本图像的相同区域对应的子图像输入到预设的图像评估模型中，得到选取出的每个样本图像的相同区域对应的子图像的评估值，其中，针对每个子图像，该子图像对应的评估值越高，在拍摄得到该子图像时受大气湍流的影响越小；

20、根据选取出的每个样本图像的相同区域对应的子图像的评估值，确定选取出的每个样本图像的相同区域对应的子图像的权重；

21、根据选取出的每个样本图像的相同区域对应的子图像以及选取出的每个样本图像的相同区域对应的子图像的权重，确定相同区域对应的合成后的子图像。

22、本说明书提供了一种检测方法，包括：

23、获取待检测图像；

24、将所述待检测图像输入到预先训练的各检测模型中，以通过每个检测模型，得到所述待检测图像对应的各目标检测结果，针对每个检测模型，该检测模型是通过上述模型训练方法训练得到的；

25、根据所述各目标检测结果，确定针对所述待检测图像的最终检测结果。

26、本说明书提供了一种基于退化图像的检测模型训练装置，包括：

27、获取模块，用于获取各样本图像，不同的样本图像是指针对不同时刻的同一位置的观测图像；

28、确定模块，用于根据所述各样本图像，确定合成图像；

29、检测模块，用于针对每个检测模型，将所述合成图像输入到该检测模型的图像恢复网络中，得到该检测模型的图像恢复网络输出的恢复后图像，并将所述恢复后图像输入到该检测模型的目标检测网络中，得到该检测模型的目标检测网络输出的目标检测结果，作为该检测模型对应的目标检测结果；

30、训练模块，用于针对每个检测模型，以最小化该检测模型的图像恢复网络针对所述合成图像输出的恢复后图像与所述合成图像对应的真实清晰图像之间的偏差，以及最小化该检测模型针对所述合成图像的目标检测结果与所述合成图像对应的实际结果之间的偏差为优化目标，对该检测模型进行训练。

31、本说明书提供了一种检测装置，包括：

32、获取模块，用于获取待检测图像；

33、检测模块，用于将所述待检测图像输入到预先训练的各检测模型中，以通过每个检测模型，得到所述待检测图像对应的各目标检测结果，针对每个检测模型，该检测模型是通过上述模型训练方法训练得到的；

34、确定模块，用于根据所述各目标检测结果，确定针对所述待检测图像的最终检测结果。

35、本说明书提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述基于退化图像的检测模型训练方法或检测方法。

36、本说明书提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述基于退化图像的检测模型训练方法或检测方法。

37、本说明书采用的上述至少一个技术方案能够达到以下有益效果：

38、在本说明书提供的基于退化图像的检测模型训练以及检测方法中，根据获取到的各样本图像，确定合成图像。针对每个检测模型，将合成图像输入到该检测模型的图像恢复网络中，得到该检测模型的图像恢复网络输出的恢复后图像，并将恢复后图像输入到该检测模型的目标检测网络中，得到该检测模型的目标检测网络输出的目标检测结果，作为该检测模型对应的目标检测结果，以最小化该检测模型的图像恢复网络针对合成图像输出的恢复后图像与合成图像对应的真实清晰图像之间的偏差，以及最小化该检测模型针对合成图像的目标检测结果与合成图像对应的实际结果之间的偏差为优化目标，对该检测模型进行训练。

39、从上述方法可以看出，在本说明书提供的基于退化图像的检测模型训练以及检测方法中，需要根据各样本图像确定合成图像，这样的方式可以最大限度的利用收集到的样本图像来确定出合成图像，因此，在使用合成图像对检测模型进行训练时，可以得到输出结果更加准确的检测模型。进一步地，针对每个检测模型，采用本说明书中的方法对该检测模型进行训练时，对该检测模型中的图像恢复网络和目标检测网络一起进行优化，以使形成该检测模型的图像恢复网络和目标检测网络更加融合，进而使该检测模型输出的目标检测结果更加准确。