一种超分辨率图像处理方法及装置与流程

本发明属于超分辨率图像处理技术领域，尤其涉及一种超分辨率图像处理方法及装置。

背景技术：

图像一直是人们获取并利用信息的主要载体之一，尤其是在视频监控领域，公安交通部门需要利用视频图像辨认违法嫌疑人或者肇事车辆，这些应用对图像分辨率都提出了较高的要求。

但由于摄像头的视场广且离目标对象较远，所以检测到的目标往往很小，同时受成像条件和成像方式等因素的限制，会出现对比度低、变形、模糊、有噪声等现象，从而造成获取的目标图像质量下降，进一步影响后续的目标识别和目标跟踪。

因此，现有技术在不改变成像硬件设备的情况下，通过软件算法将已有的低分辨率(lr)图像转换成高分辨率(hr)图像的超分辨率成像技术应运而生。该项技术可以应用在人脸识别、车辆识别等领域，具有重要的研究意义。

目前业界的普遍做法是将超分辨技术作为一种视频/图像后处理技术，在后端服务器或者移动客户端上加载超分模型，实现超分辨率效果。

然而，后处理的超分辨率重建对服务器或者客户端提出了更高的适配要求，造成系统方案搭配前后端设备的时候不够灵活。

同时，现有技术方案中都是针对单一图像采集设备采集的图像帧进行超分辨率处理(亦称为超分处理)，在单一图像采集设备采集的图像帧中，目标对象的细节有限，即使超分处理，也存在细节不全的问题。

技术实现要素：

本发明的目的是提供一种超分辨率图像处理方法及装置，在图像采集设备上进行超分辨率成像处理，在服务器或者客户端不需要额外进行超分处理，提高了系统灵活性。

为了实现上述目的，本申请技术方案如下：

一种超分辨率图像处理方法，所述超分辨率图像处理方法，包括：

根据预设的延时参数，缓存当前图像采集设备的图像帧；

接收并缓存同一超分处理共享组内其他图像采集设备发送的图像帧；

根据指定的目标对象，采用缓存的当前图像采集设备的图像帧和同一超分处理共享组内其他图像采集设备发送的图像帧，对当前图像采集设备的图像帧中所述的目标对象做超分处理；

更新当前图像采集设备的图像帧中所述的目标对象为超分处理后的目标对象。

进一步的，所述根据指定的目标对象，采用缓存的当前图像采集设备的图像帧和同一超分处理共享组内其他图像采集设备发送的图像帧，对当前图像采集设备的图像帧中所述的目标对象做超分处理，包括：

根据指定的目标对象，在缓存的当前图像采集设备的图像帧中找到包含所述目标对象的图像帧，将其作为当前帧；

以当前帧为初始帧，在缓存的当前图像采集设备的图像帧、同一超分处理共享组内其他图像采集设备发送的图像帧中，跟踪该目标对象，获取含有该目标对象的图像帧；

将在当前帧中找到的目标对象，和获取的含有该目标对象的图像帧一并进行超分辨率图像处理，获得超分辨率图像处理后的目标对象。

进一步的，所述超分辨率图像处理方法，还包括：

根据各图像采集设备的位置信息，建立超分处理共享组，超分处理共享组内的图像采集设备将其图像帧发送给超分处理共享组内的其他各图像采集设备，以共享图像帧。

可选的，所述以当前帧为初始帧，在缓存的当前图像采集设备的图像帧、同一超分处理共享组内其他图像采集设备发送的图像帧中，跟踪该目标对象，获取含有该目标对象的图像帧，包括：

将初始帧中的目标对象、缓存的当前图像采集设备的图像帧、同一超分处理共享组内其他图像采集设备发送的图像帧，分别输入到预先构建的神经网络模型中，跟踪该目标对象，获取含有该目标对象的图像帧。

进一步的，所述以当前帧为初始帧，在缓存的当前图像采集设备的图像帧、同一超分处理共享组内其他图像采集设备发送的图像帧中，跟踪该目标对象，获取含有该目标对象的图像帧，还包括：

以获取的含有该目标对象的图像帧为初始帧，继续在缓存的当前图像采集设备的图像帧、同一超分处理共享组内其他图像采集设备发送的图像帧中，跟踪该目标对象，获取含有该目标对象的图像帧。

本发明还提出了一种超分辨率图像处理装置，包括：

图像缓存模块，用于根据预设的延时参数，缓存当前图像采集设备的图像帧；接收并缓存同一超分处理共享组内其他图像采集设备发送的图像帧；

超分处理模块，用于根据指定的目标对象，采用缓存的当前图像采集设备的图像帧和同一超分处理共享组内其他图像采集设备发送的图像帧，对当前图像采集设备的图像帧中所述的目标对象做超分处理；

图像更新模块，用于更新当前图像采集设备的图像帧中所述的目标对象为超分处理后的目标对象。

进一步的，所述超分处理模块根据指定的目标对象，采用缓存的当前图像采集设备的图像帧和同一超分处理共享组内其他图像采集设备发送的图像帧，对当前图像采集设备的图像帧中所述的目标对象做超分处理，执行如下操作：

根据指定的目标对象，在缓存的当前图像采集设备的图像帧中找到包含所述目标对象的图像帧，将其作为当前帧；

以当前帧为初始帧，在缓存的当前图像采集设备的图像帧、同一超分处理共享组内其他图像采集设备发送的图像帧中，跟踪该目标对象，获取含有该目标对象的图像帧；

将在当前帧中找到的目标对象，和获取的含有该目标对象的图像帧一并进行超分辨率图像处理，获得超分辨率图像处理后的目标对象。

进一步的，所述超分辨率图像处理装置，还包括：

分组模块，用于根据各图像采集设备的位置信息，建立超分处理共享组，超分处理共享组内的图像采集设备将其图像帧发送给超分处理共享组内的其他各图像采集设备，以共享图像帧。

可选的，所述超分处理模块以当前帧为初始帧，在缓存的当前图像采集设备的图像帧、同一超分处理共享组内其他图像采集设备发送的图像帧中，跟踪该目标对象，获取含有该目标对象的图像帧，执行如下操作：

将初始帧中的目标对象、缓存的当前图像采集设备的图像帧、同一超分处理共享组内其他图像采集设备发送的图像帧，分别输入到预先构建的神经网络模型中，跟踪该目标对象，获取含有该目标对象的图像帧。

进一步的，所述超分处理模块以当前帧为初始帧，在缓存的当前图像采集设备的图像帧、同一超分处理共享组内其他图像采集设备发送的图像帧中，跟踪该目标对象，获取含有该目标对象的图像帧，还执行如下操作：

以获取的含有该目标对象的图像帧为初始帧，继续在缓存的当前图像采集设备的图像帧、同一超分处理共享组内其他图像采集设备发送的图像帧中，跟踪该目标对象，获取含有该目标对象的图像帧。

本发明提出的一种超分辨率图像处理方法及装置，通过建立超分处理共享组，只对指定的目标或区域进行超分处理，并与附近图像采集设备共享实时或历史图像信息，能够获得目标对象的清晰图像。本申请在图像采集设备中进行超分处理，在不改变图像采集设备硬件的情况下，通过升级软件就可以实现，对视频监控系统的管理服务器或者客户端不需要额外开发超分处理功能，系统灵活性高，部署十分方便。图像采集设备仅对目标对象进行超分处理，从而节省图像采集设备的计算资源，实现起来没有困难。

附图说明

图1为本发明应用场景组网示意图；

图2为本发明实施例超分辨率图像处理方法流程图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅用以解释本申请，并不用于限定本申请。

本申请提供的一种超分辨率图像处理方法及装置，应用于视频监控系统的图像采集设备。视频监控系统中的图像采集设备包括但不限于网络摄像机ipc、编码器等等。如图1所示，通常对于同一个监控区域，会部署多台图像采集设备，本申请利用同一个监控区域的图像采集设备采集的视频图像，进行超分处理，从而获得更多对于特定目标的细节信息，从而提升特定目标的清晰度。为此，本申请将同一个监控区域的图像采集设备设置为一个超分处理共享组(例如ipc1-ipc3为一个共享组)，具体的设置方法可以人为设置，或通过图像采集设备的地理位置信息来设置，将地理位置在预设范围内的图像采集设备放入一个超分处理共享组，超分处理共享组内的图像采集设备将其图像帧发送给超分处理共享组内的其他各图像采集设备，以共享图像帧。在创建超分处理共享组时，还可以根据图像采集设备的视觉范围来进行划分，例如将视觉范围相同或大部分相同的图像采集设备划分为同一超分处理共享组。

在一个实施例中，如图2所示，提供了一种基于图像共享的超分辨率图像处理方法，包括：

根据预设的延时参数，缓存当前图像采集设备的图像帧；

接收并缓存同一超分处理共享组内其他图像采集设备发送的图像帧；

根据指定的目标对象，采用缓存的当前图像采集设备的图像帧和同一超分处理共享组内其他图像采集设备发送的图像帧，对当前图像采集设备的图像帧中所述的目标对象做超分处理；

更新当前图像采集设备的图像帧中所述的目标对象为超分处理后的目标对象。

在本实施例中，目标对象为感兴趣对象的目标物体，或感兴趣对象的区域。在本申请中，只对目标对象进行超分处理，提高了目标对象的清晰度，又降低了处理的工作量，对图像采集设备的性能要求不高。

对于目标对象的指定，在一个实施例中，可以通过视频监控系统中的客户端指定目标对象，用户可以在客户端界面上指定目标对象。例如，一个实况画面中存在一辆汽车，用户可以在客户端界面上选择目标类型，即，“目标物体”，用鼠标以方框的形式圈定对应的汽车，将其作为目标对象。客户端将方框的“左上角坐标(x1，y1)”和“右下角坐标(x2，y2)”，以及目标对象类型“目标物体”发送视频监控系统中的管理服务器，由管理服务器转发给对应的图像采集设备。图像采集设备收到信息后，根据选框范围，检测相应目标，并对选框内的所有目标进行跟踪和超分处理。

在另一个实施例中，可以通过视频监控系统中的客户端指定目标对象区域。例如，在实况画面中，用户可以在客户端界面上选择目标类型，即，“目标区域”，然后用鼠标以方框的形式圈定对应的区域。客户端将方框的“左上角坐标(x1，y1)”和“右下角坐标(x2，y2)”，以及类型“目标区域”发送管理服务器，由管理服务器转发给对应图像采集设备。图像采集设备收到信息后，根据选框范围，对选框内的区域图像进行超分处理。

在一个实施例中，本申请根据预设的延时参数，缓存当前图像采集设备的图像帧；接收并缓存同一超分处理共享组内其他图像采集设备发送的图像帧。

以一个图像采集设备(例如ipc1)进行超分处理为例，该图像采集设备ipc1先在本地缓存自己采集的视频图像。可以根据预设的延时参数，例如n帧，在本地缓存n帧自己采集的视频图像，对其进行处理后再编码发送，相当于延时了n帧再编码发送超分处理好的视频图像。也可以直接设置延时时间，每帧都在缓存中保留该延时时间，在延时时间内对其进行超分处理后发送。n值可以由客户端指定，客户端向图像采集设备下发延时调节参数n，图像采集设备收到客户端的参数后，在编码前延时发送视频，缓存n帧图像。n值越大，相互之间可参考的信息越多，超分处理后的图像效果越好。缓存中的n帧边处理，边编码发送，循环缓存新的视频图像帧，始终保持缓存中有n帧。

对应的，本申请还接收并缓存同一超分处理共享组内其他图像采集设备发送的图像帧。

本申请通过管理员或管理服务器控制，将地理位置相近、准备建立图像共享的若干图像采集设备建立超分处理共享组，相互之间通告自己的ip地址。共享组内的图像采集设备将自己拍摄的视频图像实时地以单播、广播或组播的形式传送给组内其他图像采集设备。图像采集设备收到来自共享组内的其他图像采集设备的视频，保存于自己的缓存中，留存时长可设置，例如5秒钟。容易理解的是，保存时长越长，用于进行超分处理的图像帧越多，有利于获取更多的目标对象的细节，超分处理的效果越好。

即ipc2、ipc3会将自己拍摄的视频图像发送给ipc1缓存，同样ipc1、ipc2也会将自己拍摄的视频图像发送给ipc3缓存，这里不再赘述。

接下来，继续以ipc1为例，在缓存中确定要处理的当前帧，并寻找其他用于进行超分处理的视频图像。

在一个实施例中，根据指定的目标对象，采用缓存的当前图像采集设备的图像帧和同一超分处理共享组内其他图像采集设备发送的图像帧，对当前图像采集设备的图像帧中所述的目标对象做超分处理，包括：

根据指定的目标对象，在缓存的当前图像采集设备的图像帧中找到包含所述目标对象的图像帧，将其作为当前帧；

以当前帧为初始帧，在缓存的当前图像采集设备的图像帧、同一超分处理共享组内其他图像采集设备发送的图像帧中，跟踪该目标对象，获取含有该目标对象的图像帧；

将在当前帧中找到的目标对象，和获取的含有该目标对象的图像帧一并进行超分辨率图像处理，获得超分辨率图像处理后的目标对象。

本实施例根据指定的目标对象，在缓存的当前图像采集设备的图像帧中找到包含所述目标对象的图像帧，将其作为当前帧；以当前帧为初始帧，在缓存的当前图像采集设备的图像帧、同一超分处理共享组内其他图像采集设备发送的图像帧中，跟踪该目标对象，获取含有该目标对象的图像。

首先ipc1在自己缓存的视频图像中寻找包含所述目标对象的图像帧，ipc1自己缓存了n帧，按照帧的先后顺序逐帧查找，当发现含有指定的目标对象时，就将该帧作为当前帧，进行后续的超分处理。在当前帧处理结束后，继续在后续帧中进行目标对象查找和超分处理。

对于缓存的n帧，假设在第3帧找到目标对象，则将第3帧作为当前帧。在找到当前帧后，就需要从自身缓存的图像帧、及同一超分处理共享组内其他图像采集设备发送的图像帧中，跟踪该目标对象，获取含有该目标对象的图像帧。例如从第4帧到第n帧、ipc2和ipc3发来的视频图像帧中去跟踪该目标对象，获取含有该目标对象的图像帧。

需要说明的是，本实施例不仅缓存了当前图像采集设备的图像帧，还缓存了同一超分处理共享组内其他图像采集设备发送的图像帧。在所缓存的图像帧中获取含有目标对象的图像帧，可以按照时间顺序，仅从当前帧之后的图像帧中去获取，也可以不计顺序，在所有缓存的图像帧中去查找。还可以，在获取含有目标对象的图像帧时，对于当前图像采集设备缓存的图像帧，从当前帧之后的图像帧中去获取，而对于同一超分处理共享组内其他图像采集设备发送的图像帧，则全部都进行目标跟踪，获取含有目标对象的图像帧。

在一个实施例中，所述以当前帧为初始帧，在缓存的当前图像采集设备的图像帧、同一超分处理共享组内其他图像采集设备发送的图像帧中，跟踪该目标对象，获取含有该目标对象的图像帧，包括：

将初始帧中的目标对象、缓存的当前图像采集设备的图像帧中所述基准帧的后续帧、同一超分处理共享组内其他图像采集设备发送的图像帧，分别输入到预先构建的神经网络模型中，跟踪该目标对象，获取含有该目标对象的图像帧。

视频跟踪已经是比较成熟的技术，目前可用的方法很多，基于相关滤波(correlationfilter)和卷积神经网络(cnn)的跟踪方法已经占据了目标跟踪的大半江山。本申请对于目标对象的跟踪，不限于具体的方法，优选的，所述预先构建的神经网络模型为基于元学习的神经网络模型。普通神经网络模型需要大量样本数据训练才能获得很好效果，它是希望找到最优参数，使之能够最小化模型预测结果与样本标签的损失。普通神经网络模型训练结束后，参数不变，模型固定，这样在面对之前数据集中从未出现过的新样本时，往往会导致效果不好。对于跟踪任务，可能目标只在初始帧出现一次，并且可能或者在之前模型训练过程中没有类似的样本，导致普通模型可能无法跟踪。本申请采用基于元学习的神经网络，模型的参数不再是固定参数，在面对新的目标时，模型能够自适应调整其参数，仍然能够完成跟踪。

在目标对象跟踪过程中，由于可能存在有些图像帧中目标对象与初始帧目标对象之间变化比较大的情况，导致无法在这些图像帧中跟踪到目标对象。为了应对这种情况，本申请还采取如下措施进行跟踪。

在一个实施例中，所述以当前帧为初始帧，在缓存的当前图像采集设备的图像帧、同一超分处理共享组内其他图像采集设备发送的图像帧中，跟踪该目标对象，获取含有该目标对象的图像帧，还包括：

以获取的含有该目标对象的图像帧为初始帧，继续在缓存的当前图像采集设备的图像帧、同一超分处理共享组内其他图像采集设备发送的图像帧中，跟踪该目标对象，获取含有该目标对象的图像帧。

即通过预先构建的神经网络模型，发现一个含有该目标对象的图像帧后，则将该帧作为初始帧，将初始帧中的目标对象输入到预先构建的神经网络模型中，继续在缓存的当前图像采集设备的图像帧、同一超分处理共享组内其他图像采集设备发送的图像帧中，跟踪该目标对象，获取含有该目标对象的图像帧。

本实施例以查找到的含有目标对象的图像帧作为初始帧，可以克服目标对象变化较大的情况，有利于找到更多的含有该目标对象的图像帧，用于后续的超分处理，可以减小误跟踪情况，提升跟踪鲁棒性。

在找到含有目标对象的图像帧之后，就可以对当前帧中的目标对象进行超分处理。先将在当前帧中找到的目标对象，和获取的含有该目标对象的图像一并进行超分辨率图像处理，获得超分辨率图像处理后的目标对象；然后采用超分辨率图像处理后的目标对象替换当前帧中对应的目标对象。

其中，具体的超分处理方法，在本领域也是比较成熟的技术，例如单帧超分变率图像处理方法、频域解混叠重建法、递归最小二乘法、非均匀采用内插法、反向投影法等等，本申请优选采用基于深度学习的超分处理办法来进行超分处理，利用预先训练的深度学习模型进行超分处理，本申请将将当前帧的目标对象和通过跟踪获取的图像帧一并送入预先训练的深度学习模型，获得新的更为清晰的经过超分处理后的目标对象图像。图像采集设备用新的清晰的目标对象图像替换原图中对应的目标对象图像，然后进行正常的编码处理，进而封装发送出去。

应该理解的是，虽然图2的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图2中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在一个实施例中，本申请还提供了一种超分辨率图像处理装置，包括：

图像缓存模块，用于根据预设的延时参数，缓存当前图像采集设备的图像帧；接收并缓存同一超分处理共享组内其他图像采集设备发送的图像帧；

超分处理模块，用于根据指定的目标对象，采用缓存的当前图像采集设备的图像帧和同一超分处理共享组内其他图像采集设备发送的图像帧，对当前图像采集设备的图像帧中所述的目标对象做超分处理；

图像更新模块，用于更新当前图像采集设备的图像帧中所述的目标对象为超分处理后的目标对象。

关于超分辨率图像处理装置的具体限定可以参见上文中对于超分辨率图像处理方法的限定，在此不再赘述。上述超分辨率图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。本申请超分辨率图像处理装置可应用于图像采集设备，例如直接在摄像机中内置该超分辨率图像处理装置，对视频监控系统的管理服务器或者客户端不需要额外开发超分处理功能，系统灵活性高，部署十分方便。此外，该超分辨率图像处理装置也可以应用于后端的管理服务器或客户端，这里不再赘述。

在一个实施例中，所述超分处理模块根据指定的目标对象，采用缓存的当前图像采集设备的图像帧和同一超分处理共享组内其他图像采集设备发送的图像帧，对当前图像采集设备的图像帧中所述的目标对象做超分处理，执行如下操作：

根据指定的目标对象，在缓存的当前图像采集设备的图像帧中找到包含所述目标对象的图像帧，将其作为当前帧；

以当前帧为初始帧，在缓存的当前图像采集设备的图像帧、同一超分处理共享组内其他图像采集设备发送的图像帧中，跟踪该目标对象，获取含有该目标对象的图像帧；

将在当前帧中找到的目标对象，和获取的含有该目标对象的图像帧一并进行超分辨率图像处理，获得超分辨率图像处理后的目标对象。

在另一个实施例中，所述超分辨率图像处理装置，还包括：

分组模块，用于根据各图像采集设备的位置信息，建立超分处理共享组，超分处理共享组内的图像采集设备将其图像帧发送给超分处理共享组内的其他各图像采集设备，以共享图像帧。

在另一个实施例中，所述超分处理模块以当前帧为初始帧，在缓存的当前图像采集设备的图像帧、同一超分处理共享组内其他图像采集设备发送的图像帧中，跟踪该目标对象，获取含有该目标对象的图像帧，执行如下操作：

将初始帧中的目标对象、缓存的当前图像采集设备的图像帧、同一超分处理共享组内其他图像采集设备发送的图像帧，分别输入到预先构建的神经网络模型中，跟踪该目标对象，获取含有该目标对象的图像帧。

在另一个实施例中，所述超分处理模块以当前帧为初始帧，在缓存的当前图像采集设备的图像帧、同一超分处理共享组内其他图像采集设备发送的图像帧中，跟踪该目标对象，获取含有该目标对象的图像帧，还执行如下操作：

以获取的含有该目标对象的图像帧为初始帧，继续在缓存的当前图像采集设备的图像帧、同一超分处理共享组内其他图像采集设备发送的图像帧中，跟踪该目标对象，获取含有该目标对象的图像帧。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。