一种人脸图像超分辨重建方法、装置及计算机设备与流程
本申请涉及图像处理技术领域，特别涉及一种人脸图像超分辨重建方法、装置及计算机设备。
背景技术：
智慧城市(smartcity)是指利用各种信息技术或创新意念，集成城市的组成系统和服务，以提升资源运用的效率，优化城市管理和服务，以及改善市民生活质量。视频监控系统是智慧城市的重要组成部分，其通过遍布在大街小巷的摄像头采集海量视频数据，以实现各种应用。
例如，在交/巡/刑/武警、城管、路政等领域，移动天眼(一种视频采集及预警分析系统)可实现随时随地监控、事前预防、主动出击，杜绝监控死角、出警空巡、目标漏网等现象，大幅提升执法部门的案件侦破、快速处置的效率。
但是，复杂的现实环境也会给视频监控带来诸多困难。例如，采集目标离摄像头比较远导致目标图像像素低，目标物体运动所导致的运动模糊以及光线不足导致的噪音等，都会导致摄像头获得的视频图像的人脸图像模糊，进而导致无法进行人脸识别。因此，一种可以有效恢复模糊人脸图像的方法亟待出现。
技术实现要素：
有鉴于此，本申请的目的在于提供一种基于移动天眼低质量人脸小图的图像超分辨重建方法、装置及计算机设备，以解决现有技术中摄像头获得的视频图像的人脸图像模糊，进而导致无法进行人脸识别的问题。其具体方案如下：
第一方面，本申请实施例提供了一种人脸图像超分辨重建方法，包括：
获取待重建人脸图像，并对所述待重建人脸图像进行预处理，所述待重建人脸图像为低分辨率人脸图像；
将预处理后的待重建人脸图像输入完成训练的对抗神经网络中，获得所述待重建人脸图像的重建人脸图像，所述重建人脸图像为高分辨率人脸图像；
其中，所述对抗神经网络通过算法模拟的样本数据完成训练。
优选地，所述样本数据采用以下方式获得：
获取高分辨率人脸图像样本，并对所述高分辨率人脸图像样本进行预处理；
将预处理后的高分辨率人脸图像样本复制为m份，获得包含m帧图像的图像序列，其中，所述图像序列中的m帧图像经过随机变换处理；
将所述图像序列转换成视频，并对所述视频进行编解码操作；
在解码后的所述视频中截取任意一帧图像作为低分辨率人脸图像样本，所述低分辨率人脸图像样本和所述高分辨率人脸图像样本构成样本数据对。
优选地，所述对抗神经网络包括生成网络g和判别网络d，所述对抗神经网络通过算法模拟的样本数据完成训练，包括：
将样本数据对中的低分辨率人脸图像样本x输入生成网络g中，生成人脸图像g(x)；
将样本数据对中的高分辨率人脸图像样本y和所述人脸图像g(x)输入所述判别网络d中，获得判别结果d(y)和d(g(x))；
根据所述判别结果d(y)和d(g(x))计算生成网络的损失函数g_loss和判别网络的损失函数d_loss；
根据所述生成网络的损失函数g_loss和判别网络的损失函数d_loss分别更新生成网络g和判别网络d，直到完成训练。
优选地，所述将预处理后的待重建人脸图像输入完成训练的对抗神经网络中，获得所述待重建人脸图像的重建人脸图像，包括：
将处理后的待重建人脸图像输入完成训练的生成网络g中，生成重建人脸图像。
优选地，对所述待重建人脸图像进行预处理，包括：
通过人脸检测算法框选待重建人脸图像中的人脸部分，将框选出的人脸部分作为预处理后的待重建人脸图像。
第二方面，本申请实施例提供了一种基于移动天眼低质量人脸小图的图像超分辨重建装置，包括：
获取模块，用于获取待重建人脸图像，并对所述待重建人脸图像进行预处理，所述待重建人脸图像为低分辨率人脸图像；
对抗神经网络，用于对预处理后的待重建人脸图像进行训练，获得所述待重建人脸图像的重建人脸图像，所述重建人脸图像为高分辨率人脸图像；
其中，所述对抗神经网络通过算法模拟的样本数据完成训练。
优选地，所述样本数据采用以下方式获得：
获取高分辨率人脸图像样本，并对所述高分辨率人脸图像样本进行预处理；
将预处理后的高分辨率人脸图像样本复制为m份，获得包含m帧图像的图像序列，其中，所述图像序列中的m帧图像经过随机变换处理；
将所述图像序列转换成视频，并对所述视频进行编解码操作；
在解码后的所述视频中截取任意一帧图像作为低分辨率人脸图像样本，所述低分辨率人脸图像样本和所述高分辨率人脸图像样本构成样本数据对。
优选地，所述对抗神经网络包括生成网络g和判别网络d，所述对抗神经网络通过算法模拟的样本数据完成训练，包括：
将样本数据对中的低分辨率人脸图像样本x输入生成网络g中，生成人脸图像g(x)；
将样本数据对中的高分辨率人脸图像样本y和所述人脸图像g(x)输入所述判别网络d中，获得判别结果d(y)和d(g(x))；
根据所述判别结果d(y)和d(g(x))计算生成网络的损失函数g_loss和判别网络的损失函数d_loss；
根据所述生成网络的损失函数g_loss和判别网络的损失函数d_loss分别更新生成网络g和判别网络d，直到完成训练。
优选地，所述对抗神经网络，具体用于：
通过生成网络g对处理后的待重建人脸图像进行训练，生成重建人脸图像。
第三方面，本申请实施例提供了一种计算机设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述第一方面任一项所述的步骤。
本申请实施例针对特殊场景下拍摄的人脸图像的模糊问题，利用对抗神经网络中的生成网络，对输入的模糊人脸进行重建，取得了接近真实高分辨率图像的超分辨率重构效果，以达到重建的超分辨率图像更接近真实的图像的目的。
另外，本申请实施例通过算法模拟样本数据，所有的变量皆为可控变量，有效增加了训练中的可控因素，为研究和训练提供了便利，有效减少了后期数据处理的工作量，极大的减少了数据收集成本。
附图说明
为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本申请实施例提供的一种人脸图像超分辨重建方法流程示意图；
图2为本申请实施例提供的一种样本数据生成方法流程示意图；
图3为本申请实施例提供的一种对抗神经网络训练方法流程示意图；
图4为本申请实施例提供的一种人脸图像超分辨重建装置结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请实施例依托于人工智能中的深度学习技术，在视频采集端与目标物均处于运动的复杂多变的环境下，进行目标物的抓取、清晰化处理、结构化特征提取等一系列操作，实现超低码流传输，并将结构化特征与海量目标数据库进行比对，实现实时预警的移动天眼系统。
本申请实施例涉及的双动态是指图像采集设备和目标均处于运动状态(例如警用巡逻车、执法仪、无人机等)，在该状态下，由于图像采集设备和目标均处于运动状态，以及复杂的现实环境如摄像头分辨率低或者光线不足等问题，都会使拍摄的图像失真甚至扭曲变形。特别是，当目标物处于在10-15米时，所采集的目标物(人脸)，大小往往会低于60x60像素且存在运动模拟。在该情况下，需要进行目标物清晰化处理操作，以达到大幅提升肉眼辨别，机器识别的目的。本申请实施例可以实现基于移动天眼低质量人脸小图的图像超分辨重建。需要指出的是，移动天眼只是作为本申请的一种使用场景，本申请实施例所提供的方案同样可以应用于其它场景，其均应当处于本申请的保护范围之内。
本申请实施例基于对抗神经网络对失真的人脸图像进行恢复重建。其中，对抗神经网络包括生成网络和判别网络，在数据训练过程中，生成网络用于对低分辨率人脸图像样本进行训练，得到重建图像，重建图像为清晰人脸图像，能够使照片更加清晰，五官分明；判别网络，用于通过对上述重建图像和高分辨率人脸图像样本进行判断，来判断图像真假与否，并在判断结束后，使生成器网络捕捉到判断为真的图像的数据分布。如此，上述两个网络之间互相博弈，得到最终的生成网络模型，能够对输入的模糊人脸进行很好的重建。
另外，本申请实施例优化了对抗神经网络中的生成器参数，从中引入了vgg19网络中的3个输出特征的加权作为参数，使得训练网络更加容易拟合，对图像增加了不同层面的细节信息，取得了更接近真实高分辨率图像的超分辨率重构效果，以达到重建的超分辨率图像更接近真实的图像的目的。以下进行详细说明。
图1为本申请实施例提供的一种人脸图像超分辨重建方法流程示意图，如图1所示，其主要包括以下步骤。
步骤s101：获取待重建人脸图像，并对所述待重建人脸图像进行预处理，所述待重建人脸图像为低分辨率人脸图像。
本申请实施例涉及的待重建人脸图像为由ipc采集的经过压缩的人脸图像，包括但不限于固定设备采集的图像或移动天眼采集的双动态图像，该移动天眼可以为警用巡逻车、执法仪、无人机上的运动摄像头，该运动摄像头包括但不限于随着警用巡逻车、执法仪、无人机移动和转动的摄像头。
采集的待重建人脸图像通过mtcnn人脸检测算法框选低分辨率图像中的人脸部分作为待重建数据，此处已经剔除绝大部分图片背景，其目的在于方便对人脸进行超分辨重建。
步骤s102：将预处理后的待重建人脸图像输入完成训练的对抗神经网络中，获得所述待重建人脸图像的重建人脸图像，所述重建人脸图像为高分辨率人脸图像。
具体地，对抗神经网络包括生成网络g和判别网络d，所述将预处理后的待重建人脸图像输入完成训练的对抗神经网络中，获得所述待重建人脸图像的重建人脸图像，包括：将处理后的待重建人脸图像输入完成训练的生成网络g中，生成重建人脸图像。
本申请实施例针对特殊场景下拍摄的人脸图像的模糊问题，利用对抗神经网络中的生成网络，对输入的模糊人脸进行重建，取得了接近真实高分辨率图像的超分辨率重构效果，以达到重建的超分辨率图像更接近真实的图像的目的。
另外，本申请实施例通过算法模拟样本数据，所有的变量皆为可控变量，有效增加了训练中的可控因素，为研究和训练提供了便利，有效减少了后期数据处理的工作量，极大的减少了数据收集成本。
下面，对对抗神经网络的训练过程进行介绍。
可理解，对抗神经网络的训练需要样本数据，该样本数据为同一场景的高分辨率图像和对应的低分辨率图像。但是，现实场景中往往无法同时获得同一场景的高分辨率图像和对应的低分辨率图像，也就是说，在现实场景中往往无法直接获取到样本数据。针对该问题，本申请实施例通过算法模拟的方式获得样本数据。
图2为本申请实施例提供的一种样本数据生成方法流程示意图，如图2所示，其主要包括以下步骤。
步骤s201：获取高分辨率人脸图像样本，并对所述高分辨率人脸图像样本进行预处理。
在一种可选实施例中，所述高分辨率人脸图像样本可以为商汤据库中的一帧高清人脸图像t。所述预处理可以为：通过mtcnn人脸检测算法框选高分辨率图像中的人脸部分，其目的在于剔除大部分图片背景。
另外，由于在实际应用中，经由双动态获取的人脸图像由于距离和角度的关系，图像往往模糊而且小，因此在通过人脸检测算法框选出人脸部分之后，还需要对人脸部分进行缩放。例如，可以将图像统一缩放到一定的大小axb，或者将图像按照一定的比例k进行缩放，其中，a、b为大于0的自然数，k大于0且小于1。例如，在一种可选实施例中，axb取值100x100，k取值为0.5。
步骤s202：将预处理后的高分辨率人脸图像样本复制为m份，获得包含m帧图像的图像序列，其中，所述图像序列中的m帧图像经过随机变换处理。
具体地，对缩放后的高清图像连续复制成m帧，生成一个图像序列，对图像序列中的m帧图像进行随机变换处理，可以为随机变型、随机平移、随机旋转、比例缩放、高斯模糊、膨胀处理等，本申请实施例对其具体处理方式不做限制。
步骤s203：将所述图像序列转换成视频，并对所述视频进行编解码操作:。
针对步骤s202中失真处理后的图像序列，再通过编解码技术模拟压缩失真。该编解码技术可以为h264编解码技术，其模拟压缩失真的方式具体为：
1)模拟低等压缩失真，采用ipppp帧编码方式，帧率为15，码流为500k，i、p帧各帧间qp变化幅度不大于2，编码所采用的最小qp值为28，最大qp值为40；
2)模拟中等压缩失真，采用ipppp帧编码方式，帧率为25，码流为200k,i、p帧各帧间qp变化幅度不大于5，编码所采用的最小qp值为35，最大qp值为40；
3)模拟高等压缩失真，采用ipbbpbbpbbp帧编码方式，帧率为25，码流为100k,i、p帧各帧间qp变化幅度不大于5，编码所采用的最小qp值为40，最大qp值为50。
步骤s204：在解码后的所述视频中截取任意一帧图像作为低分辨率人脸图像样本，所述低分辨率人脸图像样本和所述高分辨率人脸图像样本构成样本数据对。
也就是说，视频中的任意一帧图像均可以作为低分辨率人脸图像与高分辨率人脸图像构成训练数据对。
本申请实施例所提供的方案，通过算法模拟双动态人脸图像，所有的变量皆为可控变量，有效增加了训练中的可控因素，为研究和训练提供了便利，有效减少了后期数据处理的工作量，极大的减少了数据收集成本。
在本申请一种优选实施例中，为了达到更好的效果，可以根据步骤s202中图像的随机变换情况，截取特定的一帧图像作为低分辨率人脸图像。具体为，在步骤s202中，定位目标帧为n帧，对图像序列的前n-1帧通过小角度的随机平移变换、旋转变换并将图像以p比例进行缩放。该方法通过对图像序列的前n-1帧通过随机小角度变型、随机上下左右偏移来模拟不同程度的人脸运动，以p比例进行缩放来模拟由远至近的运动过程，其中p可以为(0.94-0.99)之间的随机值。
实际上，双动态获取的人脸图像除了由于人运动所造成的运动模糊以外，还可能由于光线和设备的硬件原因所造成的模糊。在本申请实施例中，对图像序列的n帧以及之后的所有帧通过高斯模糊及腐蚀操作来模拟不同程度的运动模糊，降低图像的细节信息，进一步的模拟失真图片。
需要指出的是，在上述参数中，m为大于0的正整数，n大于0小于m的正整数。优选地，m取值25，n取值20。
在步骤s204中，在解码后的视频中截取目标帧t，将所述目标帧t作为所述高分辨率人脸图像样本对应的低分辨率人脸图像样本。相应的，目标帧t与预处理后的高分辨率人脸图像t构成图相对，作为样本数据对。
在本申请实施例中，前面的n-1帧是参考帧，用于模拟目标物对应的由远及近的运动过程，前面所有n-1帧对第n帧目标帧的综合影响都集中体现在n帧上，因此，截取第n帧作为低分辨率人脸图像可以达到更优的技术效果。
在通过上述方法获得样本数据后，需要通过样本数据对对抗神经网络进行训练。图3为本申请实施例提供的一种对抗神经网络训练方法流程示意图，如图3所示，其主要包括以下步骤。
步骤s301：将样本数据对中的低分辨率人脸图像样本x输入生成网络g中，生成人脸图像g(x)；
步骤s302：将样本数据对中的高分辨率人脸图像样本y和所述人脸图像g(x)输入所述判别网络d中，获得判别结果d(y)和d(g(x))；
步骤s303：根据所述判别结果d(y)和d(g(x))计算生成网络的损失函数g_loss和判别网络的损失函数d_loss；
步骤s304：根据所述生成网络的损失函数g_loss和判别网络的损失函数d_loss分别更新生成网络g和判别网络d，直到完成训练。
训练完成之后可得到一个最优的生成网络g和判别网络d，将移动天眼库中失真人脸图像输入到生成网络g中，即可得到清晰的人脸图像。
其中，判别网络的损失函数采用传统的gan对抗损失函数；生成网络的损失函数表达式如下：
其中，
其中，
与上述实施例相对应，本申请还提供了一种人脸图像超分辨重建装置，图4为本申请实施例提供的一种人脸图像超分辨重建装置结构示意图，如图4所示，其主要包括以下模块。
获取模块401，用于获取待重建人脸图像，并对所述待重建人脸图像进行预处理，所述待重建人脸图像为低分辨率人脸图像；
对抗神经网络402，用于对预处理后的待重建人脸图像进行训练，获得所述待重建人脸图像的重建人脸图像，所述重建人脸图像为高分辨率人脸图像；
其中，所述对抗神经网络通过算法模拟的样本数据完成训练。
在一种可选实施例中，所述样本数据采用以下方式获得：
获取高分辨率人脸图像样本，并对所述高分辨率人脸图像样本进行预处理；
将预处理后的高分辨率人脸图像样本复制为m份，获得包含m帧图像的图像序列，其中，所述图像序列中的m帧图像经过随机变换处理；
将所述图像序列转换成视频，并对所述视频进行编解码操作；
在解码后的所述视频中截取一帧图像作为低分辨率人脸图像样本，所述低分辨率人脸图像样本和所述高分辨率人脸图像样本构成样本数据对。
在一种可选实施例中，所述对抗神经网络包括生成网络g和判别网络d，所述对抗神经网络通过算法模拟的样本数据完成训练，包括：
将样本数据对中的低分辨率人脸图像样本x输入生成网络g中，生成人脸图像g(x)；
将样本数据对中的高分辨率人脸图像样本y和所述人脸图像g(x)输入所述判别网络d中，获得判别结果d(y)和d(g(x))；
根据所述判别结果d(y)和d(g(x))计算生成网络的损失函数g_loss和判别网络的损失函数d_loss；
根据所述生成网络的损失函数g_loss和判别网络的损失函数d_loss分别更新生成网络g和判别网络d，直到完成训练。
在一种可选实施例中，所述对抗神经网络，具体用于：
通过生成网络g对处理后的待重建人脸图像进行训练，生成重建人脸图像。
本申请实施例针对特殊场景下拍摄的人脸图像的模糊问题，利用对抗神经网络中的生成网络，对输入的模糊人脸进行重建，取得了接近真实高分辨率图像的超分辨率重构效果，以达到重建的超分辨率图像更接近真实的图像的目的。
另外，本申请实施例通过算法模拟样本数据，所有的变量皆为可控变量，有效增加了训练中的可控因素，为研究和训练提供了便利，有效减少了后期数据处理的工作量，极大的减少了数据收集成本。
在本申请的又一种具体实施方式中，本申请实施例提供一种计算机可读存储器，所述计算机存储器上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法实施例中的步骤。
在本申请的一种具体实施方式中，本申请实施例提供一种计算机设备，包括：
存储器，用于存储计算机程序；
处理器，用于执行所述计算机程序时实现上述方法实施例中的步骤。
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置，设备和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置，设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，功能调用设备，或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本申请所提供的一种服务器上电状态监测系统及方法、计算机存储器及设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
- 还没有人留言评论。精彩留言会获得点赞！