一种基于深度学习的低分辨率图像目标检测方法与流程

本发明属于计算机视觉领域，具体涉及一种基于深度学习的低分辨率图像目标检测方法。

背景技术：

1、基于卷积神经网络的目标检测方法在经典的公共数据集上已经实现了优越的性能。这些目标检测方法主要归为两类，一类是以rcnn系列算法为代表的两阶段目标检测方法，另一类是以yolo系列算法为代表的单阶段目标检测方法。这些目标检测方法通常是在高分辨率图像上进行训练和优化，对于低分辨率图像的目标检测，其性能将会出现较大的下降。

2、现有的低分辨率图像目标检测方法主要是先采用基于深度学习的图像超分辨率重建方法提高低分辨率图像的分辨率，然后将增强后的图像输入到现成的检测网络中，进而改善低分辨率图像目标检测准确率。由于这些图像超分辨率重建方法通常仅采用像素级损失函数来训练模型，导致模型没有很好学习到目标检测所关注的结构化特征，从而无法有效提升后续检测网络的准确率。此外，大多数图像超分辨率重建方法通常用于处理仅因单种降质因素得到的低分辨率图像。因此，这些方法很难应对实际场景中因复杂降质因素得到的低分辨率图像，进而给后续的目标检测阶段带来挑战。

技术实现思路

1、本发明充分考虑了现有技术存在的缺点，其目的在于提供一种基于深度学习的低分辨率图像目标检测方法，能应对不同降质情况下的低分辨率图像目标检测，并获得较高的准确率。

2、一、技术原理

3、本发明构建一种基于深度学习的低分辨率图像目标检测模型，其通过级联图像增强网络和目标检测网络，并以端到端学习的方式进行联合优化，提高低分辨率图像目标检测的准确率。在该模型中，本发明设计一种任务分解增强网络来将总的图像增强任务拆分为图像复原子任务和分辨率增强子任务。这两个子任务分别由任务分解增强网络中的图像复原支路和分辨率增强支路执行。此外，在任务分解增强网络中引入一种共享特征提取器来有效利用这两个子任务的相关性，以更好地学习图像中的结构化特征。通过依次执行这两个子任务，可以逐步增强低分辨率图像的质量。

4、二、根据上述原理，本发明通过以下方案实现：

5、一种基于深度学习的低分辨率图像目标检测方法，包括以下步骤：

6、(1)获取高分辨率图像目标检测训练数据集：从公共数据库中获取原始高分辨率图像和对应的检测标签。

7、(2)创建低分辨率图像目标检测训练数据集：采用降质模型对步骤(1)得到的高分辨率训练数据集中的每幅高分辨率图像进行降质，得到对应的低分辨图像，将这些一一对应的由高、低分辨率图像组成的图像对集合和这些图像对所对应的检测标签作为低分辨率图像目标检测训练数据集。

8、(3)构建低分辨率图像目标检测模型：该模型由任务分解增强网络和检测网络构成，具体的构建过程包括以下步骤：

9、(3-a)构建任务分解增强网络：该网络由图像复原支路、分辨率增强支路构成；图像复原支路和分辨率增强支路分别构建如下：

10、(3-a-1)构建图像复原支路：该支路由共享特征提取器1、卷积层1和逐像素相加操作构成；输入图像il依次经过共享特征提取器1、卷积层1后，得到的结果与il进行逐像素相加，得到中间复原图像ii，完成图像复原支路的构建。

11、(3-a-2)构建分辨率增强支路：该支路由共享特征提取器2、双线性插值操作1、双线性插值操作2、像素洗牌层和逐像素相加操作构成；将步骤(3-a-1)得到的中间复原图像ii输入到共享特征提取器2，得到的结果经双线性插值操作1处理后，得到中间特征图xe；将xe输入到像素洗牌层，得到的结果与ii经双线性插值操作2处理后的结果进行逐像素相加，得到增强图像is，完成分辨率增强支路的构建。

12、所述共享特征提取器1和共享特征提取器2具有相同的结构，都由卷积层2、残差单元1、残差单元2构成；共享特征提取器的输入依次经过卷积层2、残差单元1、残差单元2，得到共享特征提取器的输出。

13、(3-b)构建检测网络：该网络由骨干模块、颈部模块、头部模块构成；步骤(3-a-2)中的增强图像is依次经过骨干模块、颈部模块、头部模块，得到目标检测结果。

14、(4)构建损失函数：

15、构建以下联合损失函数：

16、l＝lir+lre+ldet

17、

18、

19、其中lir表示图像复原损失函数，lre表示分辨率增强损失函数，ldet表示检测损失函数；表示第i幅高分辨率图像，表示将所对应的低分辨率图像输入到步骤(3-a-1)所述图像复原支路后得到的中间复原图像；表示将输入到步骤(3-a-2)所述分辨率增强支路后，得到的增强图像；b(·)为双三次插值函数；n为正整数，表示训练图像的批量大小，且n∈[1,64]；‖·‖1表示l1范数。

20、(5)训练模型：利用步骤(2)得到的低分辨率图像目标检测训练数据集训练步骤(3)构建完成的低分辨率图像目标检测模型，根据步骤(4)构建的损失函数得到损失值，并使用adam优化器更新模型参数，直到损失不再下降，得到训练好的模型。

21、(6)低分辨率图像目标检测：用步骤(5)中训练好的低分辨率图像目标检测模型对测试集中的低分辨率图像进行目标检测，得到最终检测结果。

22、步骤(3-b)中的骨干模块采用的是resnet18。

23、步骤(3-b)中的颈部模块采用的是centernet算法原有的颈部模块。

24、步骤(3-b)中的头部模块采用的是centernet算法原有的头部模块。

25、步骤(3)中的残差单元1和残差单元2具有相同的结构，都由卷积层3、relu层、卷积层4和逐像素相加操作构成；残差单元的输入特征图依次经过卷积层3、relu层和卷积层4后，得到的结果再与该残差单元的输入特征图逐像素相加，得到残差单元的输出。

26、步骤(4)中的n优选为16。

27、步骤(4)中的检测损失函数采用centernet算法原有的检测损失函数。

28、本发明具有如下优点：

29、第一，本发明构建了一种有效的低分辨率图像目标检测模型，该模型通过级联图像增强网络和检测网络，以端到端学习的方式进行联合优化，从而提升目标检测的准确率。

30、第二，本发明构建的任务分解增强网络通过拆分总的增强任务为图像复原子任务和分辨率增强子任务，并按顺序执行这两个子任务，从而逐步增强低分辨率图像的质量。

31、第三，本发明引入一种共享特征提取器来有效利用图像复原子任务和分辨率增强子任务的相关性，从而提升特征的表达能力。

技术特征：

1.一种基于深度学习的低分辨率图像目标检测方法，其特征在于包括以下步骤：

2.如权利要求1所述的一种基于深度学习的低分辨率图像目标检测方法，其特征在于，所述步骤(3-b)中的骨干模块采用的是resnet18。

3.如权利要求1所述的一种基于深度学习的低分辨率图像目标检测方法，其特征在于，所述步骤(3-b)中的颈部模块采用的是centernet算法原有的颈部模块。

4.如权利要求1所述的一种基于深度学习的低分辨率图像目标检测方法，其特征在于，所述步骤(3-b)中的头部模块采用的是centernet算法原有的头部模块。

5.如权利要求1所述的一种基于深度学习的低分辨率图像目标检测方法，其特征在于，所述步骤(3-a)中的残差单元1和残差单元2具有相同的结构，都由卷积层3、relu层、卷积层4和逐像素相加操作构成；残差单元的输入特征图依次经过卷积层3、relu层和卷积层4后，得到的结果再与该残差单元的输入特征图逐像素相加，得到残差单元的输出。

6.如权利要求1所述的一种基于深度学习的低分辨率图像目标检测方法，其特征在于，所述步骤(4)中的检测损失函数ldet采用centernet算法原有的检测损失函数。

技术总结
本发明公开了一种基于深度学习的低分辨率图像目标检测方法，实施方案为：1)获取高分辨率图像目标检测训练数据集；2)创建低分辨率图像目标检测训练数据集；3)构建低分辨率图像目标检测模型；4)构建损失函数；5)训练模型；6)低分辨率图像目标检测。本发明构建一种任务分解增强网络来有效增强不同降质情况下的低分辨率图像，其主要由图像复原支路和分辨率增强支路构成。这两条支路通过共用一个共享特征提取器，不仅降低了网络的参数量还增强了特征的表达能力。通过将任务分解增强网络与检测网络进行联合优化，有效提高了低分辨率图像目标检测的准确率。

技术研发人员：赵旭,桂卫华
受保护的技术使用者：湖南信控摩尔科技有限公司
技术研发日：
技术公布日：2024/1/15