低分辨率图像目标识别的方法、装置及系统

本发明属于图像处理领域，具体涉及一种低分辨率图像目标识别的方法、装置及系统。

背景技术：

1、在视频监控、航拍监视等应用中，当视觉采集设备距离目标较远或采集的视野场景较大时，会出现即使在高分辨的图像中，感兴趣的区域(roi，region of interest)也很小的现象。这些roi通常呈现出低分辨率特性，如广场监控中视频可能是4k的分辨率，但其中人脸roi可能仅有十几或几十个像素的分辨率，再比如无人机执行地域搜索时，在兼顾搜索范围和发现识别目标同时，所捕获的目标在图像中的分辨率也可能只有十几个像素的分辨率。与已超越人类识别精度的imagenet高分辨率图像识别任务相比，这些低分辨率目标识别任务难度要大得多、识别精度也要低得多。

2、近年来，多种针对低分辨率图像目标识别方法被提出，公开号为cn109543548a的中国发明专利申请，提出了一种人脸识别方法、装置及存储介质，通过构建高分辨率识别网络和低分辨率识别网络并分别训练这两个分支网络，缩小对同一目标高、低分辨率图像特征表达之间的差异性。公告号为cn109063565b的中国发明专利中，提出了一种低分辨率人脸识别方法及装置，以及公开号为cn114463812a的中国发明专利申请中，提出了基于双通道多分支融合特征蒸馏的低分辨率人脸识别方法，除了构建高、低分辨率两个分支识别网络进行训练，还通过知识蒸馏指导训练，使得低分辨率人脸图像输出特征逼近高分辨率人脸图像特征。公告号为cn114463812a的中国发明专利申请中，提出了一种低分辨率人脸识别方法及设备，公开号为cn110647820a的中国发明专利申请中，提出了基于特征空间超分辨映射的低分辨率人脸识别方法，以及公告号为cn110321803b的中国发明专利中，提出的一种基于srcnn的交通标志识别方法，都是采用将低分辨率图像或图像特征放大或超分，以实现更好的识别速度和精度。

3、以上方法虽然一定程度上提高了识别精度、降低了计算代价，但是大多需要以高、低分辨率两个分支对图像进行特征提取，且主要面向的是人脸识别和交通标志识别等特定任务设计的轻量化识别网络，难以扩展应用至飞机、车辆、行人等其他类别目标的识别。

技术实现思路

1、针对上述问题，本发明提出一种低分辨率图像目标识别的方法、装置及系统，能更好地提升低分辨率图像目标的识别精度。

2、为了实现上述技术目的，达到上述技术效果，本发明通过以下技术方案实现：

3、第一方面，本发明提供了一种低分辨率图像目标识别的方法，包括：

4、实时获取包含低分辨率目标的原始图像；

5、利用目标检测法从所述原始图像中检测出低分辨率目标图像；

6、将所述低分辨率目标图像输入至预先训练好的识别模型，获得识别结果；

7、其中，所述预先训练好的识别模型包括顺次设置的超分辨率图像生成器和高分辨率图像分类器，所述超分辨率图像生成器基于所述低分辨率目标图像生成超分图像；所述高分辨率图像分类器基于所述超分图像生成识别结果。

8、可选地，所述高分辨率图像分类器包括顺次设置的第一特征抽取层、第二特征抽取层、第三特征抽取层、第四特征抽取层、第五特征抽取层和非线性映射分类器头；

9、所述非线性映射分类器头包括顺次设置的全连接层、批归一化层、leakyrelu激活层和线性分类器；所述线性分类器输出的逻辑值个数等于待分类的目标类别个数；

10、所述第五特征抽取层包括独立设置的第一特征输出块、第二特征输出块和第三特征输出块，三者的输出特征按通道拼接后连接至所述非线性映射分类器头的全连接层。

11、可选地，所述高分辨率图像分类器的最优模型参数通过以下步骤训练获得：

12、对获取到的高分辨率图像进行带参数的高斯模糊数据增广操作，生成训练数据集；所述高斯模糊数据增广操作的参数包括核大小和方差；

13、基于标签平滑损失函数方法，利用所述训练数据集训练高分辨率图像分类器，获得高分辨率图像分类器的最优模型参数。

14、可选地，在训练过程中，每代采用余弦模拟退火曲线调整学习率大小，采用带动量的随机梯度下降算法更新模型参数。

15、可选地，所述高斯模糊操作的核大小μ取值为5，方差σ从0.1到0.5之间随机取值。

16、可选地，所述超分辨率图像生成器包括：顺次设置的卷积层、残差层和m个上采样操作模块；

17、每个上采样操作模块先通过卷积将通道数扩大4倍，再采用pixelshuffle将分辨率扩大2倍，m个上采样操作模块可扩大2m倍；

18、当不同分辨率的低分辨率目标图像输入至超分辨率图像生成器后，根据低分辨率目标图像的实际大小进行超分，获得统一大小的超分图像。

19、可选地，所述超分辨率图像生成器的最优模型参数通过以下步骤训练获得：

20、将获取到的高分辨率图像进行下采样，获得对应的低分辨率图像；

21、将所述低分辨率图像输入至超分辨率图像生成器，得到超分图像；

22、基于所述超分图像与其对应的高分辨率图像计算超分损失；

23、将所述超分图像与其对应的高分辨图像送入高分辨率图像分类器提取特征，计算感知损失；

24、以损失函数取值最小为目标，生成超分辨率图像生成器的最优模型参数；所述损失函数为l＝αls+βlp，其中，ls表示超分损失，lp表示感知损失；α和β表示对应项的加权权重；

25、在进行反向传播时，仅对超分辨率图像生成器进行模型参数更新，高分辨率图像分类器的模型参数不做更新。

26、可选地，所述超分损失的计算公式为：

27、ls＝||xh-xs||2

28、其中，||·||2表示l2范数；xh为高分辨率图像，xs为超分图像；xh通过下采样获得低分辨率图像xl，xl经过超分辨率图像生成器可获得超分图像xs；

29、所述感知损失的计算公式为：

30、

31、其中，||·||1表示l1范数；为从高分辨率图像提取的特征，是xh送入已训练好的高分辨率图像分类器的第五特征抽取层的3个特征输出块的激活输出特征；为从超分图像提取的特征，是xs送入已训练好的高分辨率图像分类器的第五特征抽取层的3个特征输出块的激活输出特征。

32、第二方面，本发明提供了一种低分辨率图像目标识别的装置，包括：

33、图像获取模块，用于实时获取包含低分辨率目标的原始图像；

34、检测模块，用于利用目标检测法从所述原始图像中检测出低分辨率目标图像；

35、识别模块，用于将所述低分辨率目标图像输入至预先训练好的识别模型，获得识别结果；

36、其中，所述预先训练好的识别模型包括顺次设置的超分辨率图像生成器和高分辨率图像分类器，所述超分辨率图像生成器基于所述低分辨率目标图像生成超分图像；所述高分辨率图像分类器基于所述超分图像生成识别结果。

37、第三方面，本发明提供了一种低分辨率图像目标识别的系统，包括存储介质和处理器；

38、所述存储介质用于存储指令；

39、所述处理器用于根据所述指令进行操作以执行根据第一方面中任一项所述的方法。

40、与现有技术相比，本发明的有益效果：

41、本发明利用超分辨率图像生成器基于低分辨率目标图像生成超分图像；利用高分辨率图像分类器基于超分图像生成识别结果，能更好地提升低分辨率图像目标的识别精度。

42、本发明在训练高分辨率图像分类器时，通过拼接主干网输出的多组特征后输入非线性映射分类器头，提升分类器的识别能力；同时，采用高斯模糊操作对高分辨率训练图像进行数据增广，使得低分辨率图像目标经过超分辨率图像生成器处理输出的结果与高分辨率图像目标经过高斯模糊处理输出的结果更加相似，进一步提升了高分辨率图像分类器的学习效果。

43、本发明在训练超分辨率图像生成器时，采用已经训练好的高分辨率图像分类器(参数保持不变)提取特征计算感知损失，与现有基于imagenet预训练模型提取的特征计算感知损失相比，可以避免数据不一致导致的特征差异问题；同时，与现有同步训练高分辨率图像分类器提取特征计算感知损失相比，可以避免生成器和分类器同时优化的矛盾和冲突。

44、实验结果表明，以上训练方式可以提高2％～6％的低分辨率目标识别精度。