一种图像处理方法、装置及存储介质与流程

文档序号:16120311发布日期:2018-11-30 23:07阅读:141来源:国知局

本发明涉及图像处理技术领域,具体涉及一种图像处理方法、装置及存储介质。

背景技术

随着科技的进步,数字图像得到越来越广泛的应用,逐渐演变成最重要的信息载体之一。其中,图像的分辨率越高,图像中的像素密度也就越高,可以从高分辨率图像中分析得到的细节信息越多。然而,由于实际应用中有很多因素会导致采集到的图像的分辨率不能达到需求,因此,需要将低分辨率图像的分辨率进行提升。

现有技术中,在将低分辨率图像转换为高分辨率图像时,一般采用双三次插值通过低分辨率图像的像素值恢复出高分辨率图像,例如,对低分辨率图像的像素值进行简单的插值处理,得到高分辨率图像,其得到的高分辨率图像与低分辨率图像之间的分辨率差值不大,而且得到的高分辨率图像中对象的部件或轮廓等细节仍然会比较模糊,图像质量较低,使得图像显示效果较差。



技术实现要素:

本发明实施例提供一种图像处理方法、装置及存储介质,旨在提高处理后的图像质量。

为解决上述技术问题,本发明实施例提供以下技术方案:

一种图像处理方法,包括:

获取待处理图像;

对所述待处理图像中的目标对象进行特征提取,得到目标特征位置信息;

对所述目标对象进行特征区域分割,得到目标分割区域信息;

采用预设的图像处理模型,基于所述目标特征位置信息和目标分割区域信息调高所述待处理图像的原始分辨率,所述图像处理模型由多张训练样本图像中预设对象的特征位置信息和分割区域信息训练而成。

一种图像处理装置,包括:

第一获取单元,用于获取待处理图像;

提取单元,用于对所述待处理图像中的目标对象进行特征提取,得到目标特征位置信息;

分割单元,用于对所述目标对象进行特征区域分割,得到目标分割区域信息;

调高单元,用于采用预设的图像处理模型,基于所述目标特征位置信息和目标分割区域信息调高所述待处理图像的原始分辨率,所述图像处理模型由多张训练样本图像中预设对象的特征位置信息和分割区域信息训练而成。

一种存储介质,所述存储介质存储有多条指令,所述指令适于处理器进行加载,以执行本发明实施例所提供的任一种图像处理方法中的步骤。

本发明实施例在需要对图像的分辨率进行调高时,可以获取待处理图像,并对待处理图像中的目标对象进行特征提取,得到目标特征位置信息,以及对待处理图像中的目标对象进行特征区域分割,得到目标分割区域信息;然后采用预设的图像处理模型,基于目标特征位置信息和目标分割区域信息,调高待处理图像的原始分辨率,即将分辨率低的待处理图像转换为分辨率高的图像。由于该方案可以基于待处理图像中目标对象的目标特征位置信息和目标分割区域信息,对待处理图像的原始分辨率进行精准调高,因此,可以提高处理后的图像的清晰度,提高了处理后的图像质量。

附图说明

为了更清楚地说明本发明实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的图像处理方法的场景示意图;

图2是本发明实施例提供的图像处理方法的流程示意图;

图3是本发明实施例提供的训练样本图像中特征位置信息的示意图;

图4是本发明实施例提供的训练样本图像中分割区域信息的示意图;

图5是本发明实施例提供的低分辨率图像转换为高分辨率图像的示意图;

图6是本发明实施例提供的对待训练模型进行训练的示意图;

图7是本发明实施例提供的图像处理方法的另一流程示意图;

图8是本发明实施例提供的图像处理装置的结构示意图;

图9是本发明实施例提供的图像处理装置的另一结构示意图;

图10是本发明实施例提供的图像处理装置的另一结构示意图;

图11是本发明实施例提供的网络设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本发明实施例提供一种图像处理方法、装置及存储介质。

请参阅图1,图1为本发明实施例所提供的图像处理方法的场景示意图,其中,该图像处理装置具体可以集成在网络设备如终端或服务器等设备中,例如,网络设备可以获取多张训练样本图像,该训练样本图像可以是清晰度较高的图像,可以从存储图像的存储器中获取到,并确定每张训练样本图像中预设对象(例如,人脸或车辆等)的第一特征信息(包括第一特征位置信息和第一分割区域信息),以及将每张训练样本图像的原始分辨率调低为预设值(该预设值可以根据实际需要进行灵活设置),得到多张分辨率调低后的训练样本图像。然后,通过预设的待训练模型计算每张分辨率调低后的训练样本图像中预设对象的第二特征信息(包括第二特征位置信息和第二分割区域信息);根据第一特征信息和第二特征信息对待训练模型进行训练,得到图像处理模型。

此后,在需要对图像的分辨率进行调高时,可以接收用户输入的图像处理请求,并基于该图像处理请求获取待处理图像(例如可以是通过手机、照相机或摄像头等进行拍摄得到待处理图像),并对待处理图像中的目标对象进行特征提取,得到目标特征位置信息;以及,对待处理图像中的目标对象进行特征区域分割,得到目标分割区域信息;然后采用图像处理模型,基于目标特征位置信息和目标分割区域信息,调高待处理图像的原始分辨率,即将分辨率低的待处理图像转换为分辨率高的图像,还可以将转换后的图像存储至存储器中,等等。

需要说明的是,图1所示的图像处理方法的场景示意图仅仅是一个示例,本发明实施例描述的图像处理方法的场景是为了更加清楚的说明本发明实施例的技术方案,并不构成对于本发明实施例提供的技术方案的限定,本领域普通技术人员可知,随着图像处理方法的演变和新业务场景的出现,本发明实施例提供的技术方案对于类似的技术问题,同样适用。

以下分别进行详细说明。

在本实施例中,将从图像处理装置的角度进行描述,该图像处理装置具体可以集成在网络设备如终端或服务器等设备中。

一种图像处理方法,包括:获取待处理图像;对待处理图像中的目标对象进行特征提取,得到目标特征位置信息;对目标对象进行特征区域分割,得到目标分割区域信息;采用预设的图像处理模型,基于目标特征位置信息和目标分割区域信息调高待处理图像的原始分辨率,图像处理模型由多张训练样本图像中预设对象的特征位置信息和分割区域信息训练而成。

请参阅图2,图2是本发明一实施例提供的图像处理方法的流程示意图。该图像处理方法可以包括:

s101、获取待处理图像。

其中,待处理图像可以是清晰度较低的图像,例如,可以是分辨率为16×16的低分辨率图像,或者是其他分辨率图像。该待处理图像中包括目标对象,该目标对象可以包括人脸或车辆等。

图像处理装置获取待处理图像的获取方式可以包括:方式一,可以通过手机、照相机或摄像头等拍摄大量的包含目标对象的图像;方式二,可以通过在互联网上搜索或者从数据库中获取待处理图像等,当然,待处理图像的获取方式还可以是其他的获取方式,具体方式在此处不作限定。

在某些实施方式中,获取待处理图像的步骤之前,或者在采用预设图像处理模型基于目标特征位置信息和目标分割区域信息调高待处理图像的原始分辨率的步骤之前,图像处理方法还可以包括:

(1)获取多张训练样本图像,并确定每张训练样本图像中预设对象的第一特征位置信息和第一分割区域信息;

(2)将每张训练样本图像的原始分辨率调低为预设值,得到分辨率调低后的训练样本图像;

(3)获取每张分辨率调低后的训练样本图像中预设对象的第二特征位置信息和第二分割区域信息;

(4)根据第一特征位置信息、第一分割区域信息、第二特征位置信息和第二分割区域信息,对预设的待训练模型进行训练,得到图像处理模型。

其中,训练样本图像可以是清晰度较高的图像,例如,可以是分辨率为128×128的高分辨率图像,或者是分辨率为1024×1024的高分辨率图像等。该多张训练样本图像中可以包括不同预设对象的图像,也可以包括同一预设对象的图像,该预设对象可以包括人脸或车辆等,例如,部分训练样本图像中预设对象可以包括人脸,另一部分训练样本图像中预设对象可以包括车辆等,每张训练样本图像中包括的预设对象可以一样,也可以不一样。

例如,以预设对象为人脸为例,可以在不同地点、不同时间或不同角度拍摄到多张同一人脸的图像,或者,针对不同人群拍摄到多张不同人脸的图像,同一张训练样本图像中可以包括一个或者多个人脸,该训练样本图像中可以包括人脸的整体图像,也可以仅包括人脸局部区域的图像等;该训练样本图像中包括人脸的拍摄角度可以是正面或侧面等角度。

又例如,以预设对象为车辆为例,可以在不同地点、不同时间或不同角度拍摄到多张同一车辆的图像,或者,针对不同车辆拍摄到多张不同车辆的图像,同一张训练样本图像中可以包括一个或者多个车辆,该训练样本图像中可以包括车辆的整体图像,也可以仅包括车辆局部区域的图像等;该训练样本图像中包括车辆的拍摄角度可以是正面或侧面等角度。

需说明的是,该多张训练样本图像的数量、包括预设对象的类型和数量、拍摄角度及分辨率大小等可以根据实际需要进行灵活设置,具体内容在此处不作限定。

图像处理装置获取训练样本图像的获取方式可以包括:方式一,可以通过手机、照相机或摄像头等拍摄大量的包含预设对象的图像、以及拍摄同一预设对象的多张图像等途径来采集多张训练样本图像。方式二,可以通过在互联网上搜索或者从图片数据库中获取多张训练样本图像等,当然,多张训练样本图像的获取方式还可以是其他的获取方式,具体方式在此处不作限定。

在得到多张训练样本图像后,图像处理装置可以确定每张训练样本图像中预设对象的第一特征信息,该第一特征信息可以包括第一特征位置信息和第一分割区域信息等,即图像处理装置可以确定每张训练样本图像中预设对象的第一特征位置信息和第一分割区域信息。其中,例如,如图3所示,当预设对象为人脸时,该第一特征位置信息可以包括眼睛、眉毛、鼻子、嘴巴及脸部轮廓等人脸器官的特征位置信息,每个特征的位置信息可以包括多个特征点的位置信息,该位置信息可以是二维坐标位置或像素坐标位置等。

该第一特征位置信息可以是通过人脸识别技术,对图像中人脸上的眼睛、鼻子、眉毛及嘴巴等各个人脸器官进行定位,生成各个人脸器官的特征点的位置信息,该特征点可以是各个人脸器官对应的关键点的位置坐标信息,该特征点可以在人脸的外部轮廓和各个人脸器官的边缘或中心等,该特征点的个数可以根据实际需要进行灵活设置。该第一特征位置信息还可以是通过人工标注人脸上的眼睛、鼻子、眉毛及嘴巴等各个人脸器官特征点的位置信息等。

该第一特征信息还可以包括人脸属性和纹理信息等,其中,人脸属性可以包括眼睛大小、头发颜色、鼻子大小及嘴巴大小等,纹理信息可以包括人脸像素等,具体内容可以根据实际需要进行灵活设置,在此处不作限定。

例如,如图3所示,当预设对象为人脸时,该第一分割区域信息可以包括头发(分割区域1)、左眼睛(分割区域5)、右眼睛(分割区域3)、左眉毛(分割区域4)、右眉毛(分割区域2)、鼻子(分割区域6)、嘴唇(分割区域7)、牙齿(分割区域8)及脸等分割区域。可以对每个分割区域设置不同的标识,得到分割区域信息,例如,可以为位于分割区域内的像素值设置为一个常数,位于非分割区域内的像素值为0等,不同的分割区域内的像素值可以用不同的常数表示。

需要说明的是,当预设对象为车辆时,该第一特征位置信息可以包括车轮、车牌、车窗、车标、车灯及车镜等车辆特征的位置信息,该第一分割区域信息可以包括车轮、车牌、车窗、车标、车灯及车镜等车辆特征分割区域信息。

在某些实施方式中,图像处理装置确定每张训练样本图像中预设对象的第一特征信息的步骤可以包括:接收标注指令,并基于标注指令确定每张训练样本图像中预设对象的第一特征位置信息;接收设置指令,并基于设置指令确定每张训练样本图像中预设对象的第一分割区域信息;将第一特征位置信息和第一分割区域信息设置为第一特征信息。

具体地,图像处理装置可以接收用户输入的标注指令,该标注指令可以用于在训练样本图像中预设对象的特征所在的位置设置标注信息,该标注信息可以是点、圆圈或多边形等。基于该标注指令可以在一张训练样本图像上设置一个或多个标注信息,例如,在训练样本图像中人脸的眼睛或鼻子等所在位置设置标注信息。然后,可以根据每个标注信息确定预设对象的每个特征在训练样本图像中的位置,进而根据预设对象的每个特征在训练样本图像中的位置,计算每个预设对象的特征在该训练样本图像上的第一特征位置信息,以此类推,可以基于该标注指令在另一张训练样本图像中上设置一个或多个标注信息,然后可以根据每个标注信息计算预设对象的每个特征在另一张训练样本图像中上的第一特征位置信息,直至多张训练样本图像中的训练样本图像均计算完毕,得到训练样本图像中预设对象的第一特征位置信息。

图像处理装置可以接收用户输入的设置指令,该设置指令可以用于在训练样本图像中预设对象的特征所在区域的像素值设置标识,该标识可以是编号或名称等。基于该设置指令可以在一张训练样本图像上设置一个或多个区域对应的标识,例如,在训练样本图像中人脸的眼睛或鼻子等所在区域设置标识。然后,可以根据每个区域的标识确定预设对象的每个特征在训练样本图像中的分割区域,进而根据预设对象的每个特征在训练样本图像中的分割区域,确定每个预设对象的特征在该训练样本图像上的第一分割区域信息,以此类推,可以基于该设置指令在另一张训练样本图像中上设置一个或多个区域标识,然后可以根据每个区域标识确定预设对象的每个特征在另一张训练样本图像中上的第一分割区域信息,直至多张训练样本图像中的训练样本图像均确定完毕,得到训练样本图像中预设对象的分割区域信息。最终得到的第一特征位置信息和第一分割区域信息即为第一特征信息。

在得到每张训练样本图像后,图像处理装置可以将每张训练样本图像通过下采样或其他方式,将每张训练样本图像的原始分辨率调低为预设值,从而可以得到多张分辨率调低后的训练样本图像,其中,该预设值可以根据实际需要进行灵活设置,该分辨率调低后的训练样本图像可以是清晰度较低的图像,例如,可以是分辨率为16×16的低分辨率图像等。例如,可以将训练样本图像a的原始分辨率调低为预设值,得到分辨率调低后的训练样本图像a,可以将训练样本图像b的原始分辨率调低为预设值,得到分辨率调低后的训练样本图像b;可以将训练样本图像c的原始分辨率调低为预设值,得到分辨率调低后的训练样本图像c;等等。

在得到多张分辨率调低后的训练样本图像后,可以获取每张分辨率调低后的训练样本图像中预设对象的第二特征位置信息和第二分割区域信息,例如,通过预设的待训练模型计算每张分辨率调低后的训练样本图像中预设对象的第二特征位置信息和第二分割区域信息。

其中,预设的待训练模型可以包括残差网络(residualnetwork)和生成对抗网络(generativeadversarialnetwork,gan)等组成的模型,或者包括卷积网络和生成对抗网络等组成的模型,该生成对抗网络的网络框架可以包括多个网络变种,例如,可以包括先验估计网络、判别网络、及特征网络等生成网络,该待训练模型还可以是其他的模型,可以根据实际需要进行灵活设置,具体内容在此处不作限定。

在某些实施方式中,获取每张分辨率调低后的训练样本图像中预设对象的第二特征位置信息和第二分割区域信息的步骤可以包括:采用待训练模型中的先验估计网络,计算每张分辨率调低后的训练样本图像中预设对象的第二特征位置信息和第二分割区域信息。

图像处理装置可以调用该待训练模型中的先验估计网络,并采用先验估计网络计算每张分辨率调低后的训练样本图像中预设对象的第二特征信息,该预设对象与上述提及的预设对象一致,例如,该预设对象可以包括人脸或车辆等。该第二特征信息可以包括第二特征位置信息和第二分割区域信息等,其中,第二特征位置信息与上述第一特征位置信息类似,第二分割区域信息与上述第一分割区域信息类似,例如,当预设对象为人脸时,该第二特征位置信息可以包括眼睛、眉毛、鼻子、嘴巴及脸部轮廓等特征的位置信息,每个特征的位置信息可以包括多个特征点的位置信息,该第二分割区域信息可以包括头发、眼睛、眉毛、鼻子、嘴巴(包括嘴唇和牙齿等)及脸等分割区域的信息。又例如,当预设对象为车辆时,该第一特征位置信息可以包括车轮、车牌、车窗、车标、车灯及车镜等车辆特征的位置信息,该第二分割区域信息可以包括车轮、车牌、车窗、车标、车灯及车镜等车辆特征分割区域信息。

在某些实施方式中,通过预设的待训练模型计算每张分辨率调低后的训练样本图像中预设对象的第二特征位置信息和第二分割区域信息的步骤可以包括:

从多张分辨率调低后的训练样本图像中选择一张训练样本图像,作为当前训练样本图像;

从当前训练样本图像中查找预设对象;

若在当前训练样本图像中查找到预设对象,则采用待训练模型中的先验估计网络计算预设对象的第二特征位置信息和第二分割区域信息;

返回执行从多张分辨率调低后的训练样本图像中选择一张训练样本图像,作为当前训练样本图像的操作,直至多张分辨率调低后的训练样本图像均计算完毕。

具体地,当前训练样本图像即为一张分辨率调低后的训练样本图像,图像处理装置可以从当前训练样本图像查找预设对象,例如,可以通过人脸识别技术从当前训练样本图像查找人脸,并查找人脸上的眼睛、眉毛、鼻子、嘴巴及脸部轮廓等特征。若在当前训练样本图像中查找不到预设对象及其相关特征,则不需要计算预设对象的第二特征位置信息和第二分割区域信息。若在当前训练样本图像中查找到预设对象及其相关特征,则通过待训练模型计算预设对象的第二特征位置信息和第二分割区域信息。然后,返回执行从多张分辨率调低后的训练样本图像中选择一张训练样本图像,作为当前训练样本图像的操作,直至多张分辨率调低后的训练样本图像均计算完毕。

在得到第一特征位置信息、第一分割区域信息、第二特征位置信息和第二分割区域信息后,可以根据第一特征位置信息、第一分割区域信息、第二特征位置信息和第二分割区域信息对待训练模型进行训练。

在某些实施方式中,根据第一特征位置信息、第一分割区域信息、第二特征位置信息和第二分割区域信息,对待训练模型进行训练,得到图像处理模型的步骤可以包括:

(a)采用待训练模型中的残差网络基于第二特征位置信息和第二分割区域信息,将每张分辨率调低后的训练样本图像的分辨率向训练样本图像的原始分辨率收敛,得到分辨率收敛后的训练样本图像;

(b)采用待训练模型中的特征网络,计算分辨率收敛后的训练样本图像中预设对象的第三特征位置信息;

(c)根据第一特征位置信息、第一分割区域信息、第二特征位置信息、第二分割区域信息和第三特征位置信息对待训练模型的参数进行更新,得到图像处理模型。

具体地,为了将每张分辨率调低后的训练样本图像精准恢复为训练样本图像,图像处理装置可以调用待训练模型中的残差网络,并采用该残差网络基于第二特征信息(包括第二特征位置信息和第二分割区域信息),将每张分辨率调低后的训练样本图像的向训练样本图像的原始分辨率收敛,得到分辨率收敛后的训练样本图像,该分辨率调低后的训练样本图像的分辨率,大于分辨率收敛后的训练样本图像的分辨率,两者分辨率之间的差值可以小于预设阈值,该预设阈值可以根据实际需要进行灵活设置。

在得到分辨率收敛后的训练样本图像后,可以调用待训练模型中的特征网络,并采用该特征网络计算分辨率收敛后的训练样本图像中预设对象的第三特征位置信息,该预设对象与上述提及的预设对象一致,例如,该预设对象可以包括人脸或车辆等。其中,第三特征位置信息与上述第一特征位置信息类似,例如,当预设对象为人脸时,该第三特征位置信息可以包括眼睛、眉毛、鼻子、嘴巴及脸部轮廓等特征的位置信息,每个特征的位置信息可以包括多个特征点的位置信息。或者是,该第三特征位置信息可以是通过人脸识别技术对分辨率收敛后的训练样本图像中人脸上的眼睛、鼻子、眉毛及嘴巴等各个人脸器官进行定位,生成各个人脸器官的特征点的位置信息。此时,图像处理装置可以根据第一特征位置信息、第一分割区域信息、第二特征位置信息、第二分割区域信息和第三特征位置信息对待训练模型的参数进行更新,得到图像处理模型。

在某些实施方式中,根据第一特征位置信息、第一分割区域信息、第二特征位置信息、第二分割区域信息和第三特征位置信息对待训练模型进行训练,得到图像处理模型的步骤可以包括:

采用待训练模型中的先验估计网络,计算第一特征位置信息与第二特征位置信息之间的误差,得到特征位置误差,以及计算第一分割区域信息与第二分割区域信息之间的误差,得到分割区域误差,将特征位置误差和分割区域误差设置为第一特征误差;

采用待训练模型中的特征网络,计算第一特征位置信息与第三特征位置信息之间的误差,得到第二特征误差;

采用待训练模型中的残差网络,确定分辨率收敛后的训练样本图像与原始的训练样本图像之间的图像误差;

根据第一特征误差、第二特征误差和图像误差获取梯度信息;

根据梯度信息更新待训练模型的参数,得到图像处理模型。

例如,图像处理装置可以调用待训练模型中的先验估计网络,通过先验估计网络将第一特征位置信息与第二特征位置信息进行比对,得到特征位置误差;以及将第一分割区域信息与第二分割区域信息进行比对,得到分割区域误差;将特征位置误差和分割区域误差设置为第一特征误差。具体地,图像处理装置可以分别计算第一特征位置信息与第二特征位置信息之间的特征位置误差,以及,第一分割区域信息与第二分割区域信息之间的分割区域误差,该特征位置误差和分割区域误差即为第一特征误差。

具体地,图像处理装置可以根据公式(1)计算第一特征信息和第二特征信息之间的第一特征误差,该公式(1)具体可以如下:

其中,δ1表示第一特征误差,n表示训练样本图像的张数(n的取值可以根据实际需要进行灵活设置),n表示第n张训练样本图像,z表示第一特征信息(包括第一特征位置信息和第一分割区域信息),zn表示第n张训练样本图像对应的第一特征信息,x表示分辨率调低后的训练样本图像,xn表示第n张分辨率调低后的训练样本图像,p表示待训练模型中的先验估计网络,p(xn)表示第n张分辨率调低后的训练样本图像对应的第二特征信息(包括第二特征位置信息和第二分割区域信息)。

以及,图像处理装置可以调用待训练模型中的特征网络,并采用该特征网络计算第一特征位置信息与第三特征位置信息之间的特征位置误差,得到第二特征误差。例如,可以根据公式(2)计算第一特征位置信息与第三特征位置信息之间的第二特征误差

其中,δ2表示第二特征误差,n表示训练样本图像的张数,n表示第n张训练样本图像,φ表示待训练模型中的特征网络,y表示训练样本图像,φ(yn)表示第n张训练样本图像对应的第一特征位置信息,g表示残差网络,x表示分辨率调低后的训练样本图像,xn表示第n张分辨率调低后的训练样本图像,φ(g(xn))表示第n张分辨率调低后的训练样本图像对应的第三特征位置信息。

以及,图像处理装置可以调用待训练模型中的残差网络,并采用该残差网络确定分辨率收敛后的训练样本图像与原始的训练样本图像之间的图像误差,该图像误差可以包括像素误差、鉴别误差和对抗误差等。其中,像素误差可以是分辨率收敛后的训练样本图像与原始的训练样本图像之间各个像素值之间的误差,对抗误差可以是判别网络用于对抗残差网络和先验估计网络产生的误差。鉴别误差可以是对分辨率收敛后的训练样本图像与原始的训练样本图像进行判别真假的误差,例如,对于一张待判别训练样本图像,当判定该待判别训练样本图像为分辨率收敛后的训练样本图像时,将该该待判别训练样本图像的标识设置为0,当判定该待判别训练样本图像为原始的训练样本图像时,将该该待判别训练样本图像的标识设置为1,然后将得到的标识与真实值进行比较,得到鉴别误差。

在某些实施方式中,确定分辨率收敛后的训练样本图像与训练样本图像之间的图像误差的步骤可以包括:

采用待训练模型中的残差网络,获取分辨率收敛后的训练样本图像与原始的训练样本图像之间的像素误差;采用待训练模型中的判别网络,对分辨率收敛后的训练样本图像与原始的训练样本图像进行判别,得到鉴别误差和对抗误差;将像素误差、鉴别误差和对抗误差设置为图像误差。

例如,可以分别计算像素误差、鉴别误差和对抗误差等,其中,像素误差可以根据如下公式(3)进行计算:

其中,δ3表示像素误差,n表示训练样本图像的张数,n表示第n张训练样本图像,y表示训练样本图像,yn表示第n张训练样本图像,x表示分辨率调低后的训练样本图像,xn表示第n张分辨率调低后的训练样本图像,g表示待训练模型中的残差网络,g(xn)表示由残差网络恢复得到的第n张分辨率调低后的训练样本图像。

鉴别误差可以根据如下公式(4)进行计算,对抗误差可以根据如下公式(5)进行计算:

其中,δ4表示鉴别误差,n表示训练样本图像的张数,n表示第n张训练样本图像,log表示对数函数,d表示待训练模型中的判别网络,y表示训练样本图像,yn表示第n张训练样本图像,x表示分辨率调低后的训练样本图像,xn表示第n张分辨率调低后的训练样本图像,g表示待训练模型中的残差网络,g(xn)表示由残差网络恢复得到的第n张分辨率调低后的训练样本图像,δ5表示对抗误差。

在得到各个误差之后,图像处理装置可以根据第一特征误差、第二特征误差和图像误差获取梯度信息,在某些实施方式中,根据第一特征误差、第二特征误差和图像误差获取梯度信息的步骤可以包括:

基于第一特征误差、第二特征误差、像素误差和对抗误差构造第一损失函数;

对第一损失函数进行梯度下降,得到第一梯度信息;

基于鉴别误差构造第二损失函数,并对第二损失函数进行梯度下降,得到第二梯度信息;

将第一梯度信息和第二梯度信息设置为梯度信息。

具体地,图像处理装置可以根据公式(6),基于第一特征误差、第二特征误差、图像误差中的像素误差和对抗误差构造第一损失函数,该公式(6)具体可以如下:

其中,l1表示第一损失函数,其他参数表示的含义与上述公式(1)至公式(5)类似,在此处不作赘述,该第一损失函数即为生成网络(包括残差网络和先验估计网络)的总误差。

然后,图像处理装置可以对第一损失函数进行梯度下降,以最小化第一损失函数,得到第一梯度信息,其中,梯度下降的方式可以根据实际需要进行灵活设置,具体内容在此处不作限定。

以及,图像处理装置可以根据公式(7)基于图像误差中的鉴别误差构造第二损失函数,并对第二损失函数进行梯度下降,以最小化第二损失函数,得到第二梯度信息,该公式(7)具体可以如下:

其中,l2表示第二损失函数,其他参数表示的含义与上述公式(4)类似,在此处不作赘述,该第二损失函数即为判别网络误差。

在得到第一梯度信息和第二梯度信息后,图像处理装置可以根据第一梯度信息和第二梯度信息更新待训练模型的参数,以调整待训练模型的参数或权重等至合适数值,便可得到图像处理模型,其中,待训练模型中的生成网络(包括残差网络和先验估计网络)和判别网络可以交替更新。

s102、对待处理图像中的目标对象进行特征提取,得到目标特征位置信息。

在某些实施方式中,对待处理图像中的目标对象进行特征提取,得到目标特征位置信息的步骤可以包括:

采用图像处理模型对待处理图像中的目标对象进行特征提取,得到目标特征位置信息;或者,确定目标对象的对象标识和特征标识,根据对象标识从待处理图像中查找目标对象,并当查找到目标对象时,根据特征标识对目标对象的特征及其位置进行提取,得到目标特征位置信息。

具体地,在得到图像处理模型后,图像处理装置可以采用图像处理模型对图像的分辨率进行调高,首先,图像处理装置可以调用图像处理模型中的先验估计网络,采用该先验估计网络对待处理图像中的目标对象进行特征提取,例如,当目标对象为人脸时,可以采用该先验估计网络对待处理图像中的人脸进行人脸器官的特征提取,得到人脸器官的眼睛、眉毛、鼻子、及嘴巴等特征位置信息。当目标对象为车辆时,可以采用该先验估计网络对待处理图像中的车辆进行特征提取,得到车轮、车牌、车窗、车标、车灯及车镜等特征位置信息。

或者是,图像处理装置可以采用其他方式获取目标特征位置信息,例如,图像处理装置可以先确定目标对象的对象标识和特征标识,其中,该对象标识可以包括一个或多个,用于唯一标识每个目标对象;该特征标识可以包括一个或多个,用于唯一识别目标对象中包含的一个或者多个特征,该对象标识和特征标识可以是由数字、文字和/或字母组成的名称或编号,或者是轮廓标识等。然后,可以根据对象标识从待处理图像中查找目标对象,当未查找到目标对象时,不需要执行对目标对象的特征及其位置进行提取等操作;当查找到目标对象时,可以根据特征标识对目标对象的特征及其位置进行提取,得到目标特征位置信息。

s103、对目标对象进行特征区域分割,得到目标分割区域信息。

在某些实施方式中,对待处理图像中的目标对象进行特征提取,得到目标特征位置信息的步骤可以包括:

采用图像处理模型对待处理图像中的目标对象进行特征提取,得到目标特征位置信息;或者,确定目标对象的对象标识和特征标识,根据对象标识从待处理图像中查找目标对象,并当查找到目标对象时,根据特征标识对目标对象的特征及其位置进行提取,得到目标特征位置信息。

具体地,图像处理装置可以调用图像处理模型中的先验估计网络,采用该先验估计网络对待处理图像中的目标对象进行特征区域分割,例如,当目标对象为人脸时,可以采用该先验估计网络对待处理图像中的人脸进行人脸器官的特征区域分割,得到人脸器官的眼睛、眉毛、鼻子、及嘴巴等分割区域信息。当目标对象为车辆时,可以采用该先验估计网络对待处理图像中的车辆进行特征区域分割,得到车轮、车牌、车窗、车标、车灯及车镜等分割区域信息。或者是,图像处理装置可以采用其他方式获取目标分割区域信息,例如,图像处理装置根据对象标识从待处理图像中查找目标对象,并当查找到目标对象时,根据特征标识对目标对象的特征及其位置进行提取,得到目标特征位置信息。

s104、采用预设的图像处理模型,基于目标特征位置信息和目标分割区域信息调高待处理图像的原始分辨率。

其中,图像处理模型由多张训练样本图像中预设对象的特征位置信息和分割区域信息训练而成。由于图像处理模型是基于不同分辨率训练样本图像中预设对象的特征位置信息和分割区域信息进行训练得到的,因此,图像处理装置可以通过图像处理模型获取到的待处理图像中目标对象的目标特征位置信息和目标分割区域信息,调高待处理图像的原始分辨率,即将低分辨率图像转换为高分辨率图像。该目标对象与上述提及的预设对象类似,例如,该预设对象可以包括人脸或车辆等。其中,目标特征位置信息与上述第一特征位置信息类似,目标分割区域信息与上述第一分割区域信息类似。

在某些实施方式中,当目标对象为人脸时,目标特征位置信息为人脸器官位置信息,目标分割区域信息为人脸器官分割区域信息,采用预设的图像处理模型,基于目标特征位置信息和目标分割区域信息调高待处理图像的原始分辨率的步骤可以包括:

采用预设的图像处理模型基于人脸器官位置信息和人脸器官分割区域信息,调高待处理图像的原始分辨率。

其中,人脸器官位置信息可以包括眼睛、眉毛、鼻子、嘴巴及脸部轮廓等特征的位置信息,每个特征的位置信息可以包括多个特征点的位置信息,该人脸器官分割区域信息可以包括头发、眼睛、眉毛、鼻子、嘴巴及脸等分割区域信息。

图像处理装置可以通过图像处理模型基于人脸器官位置信息和人脸器官分割区域信息,将调高待处理图像的原始分辨率,得到处理后的图像,即可以将待处理图像的原始分辨率调高为预设分辨率值,该预设分辨率值可以根据实际需要进行灵活设置。例如,如图5所示,可以根据低分辨率图像中的每个像素点均进行恢复出较高倍数的像素点,从而可以得到高分辨率图像,达到较高倍数的超分辨率效果,可以有效的提升对人脸器官以及轮廓等细节的恢复,大大提高了图像质量,使得图像的显示效果较好。

在某些实施方式中,当目标对象为车辆时,目标特征位置信息为车辆特征位置信息,目标分割区域信息为车辆分割区域信息,采用预设的图像处理模型,基于目标特征位置信息和目标分割区域信息调高待处理图像的原始分辨率的步骤可以包括:

采用预设的图像处理模型基于车辆特征位置信息和车辆分割区域信息,调高待处理图像的原始分辨率。

其中,车辆特征位置信息可以包括车轮、车牌、车窗、车标、车灯及车镜等车辆特征的位置信息,车辆分割区域信息可以包括车轮、车牌、车窗、车标、车灯及车镜等车辆特征分割区域信息。图像处理装置可以通过图像处理模型基于车辆特征位置信息和车辆分割区域信息,将调高待处理图像的原始分辨率,得到处理后的图像。即可以将待处理图像的原始分辨率调高为预设分辨率值,该预设分辨率值可以根据实际需要进行灵活设置。

由上可知,本发明实施例在需要对图像的分辨率进行调高时,可以获取待处理图像,并对待处理图像中的目标对象进行特征提取,得到目标特征位置信息,以及对待处理图像中的目标对象进行特征区域分割,得到目标分割区域信息;然后采用预设的图像处理模型,基于目标特征位置信息和目标分割区域信息,调高待处理图像的原始分辨率,即将分辨率低的待处理图像转换为分辨率高的图像。由于该方案可以基于待处理图像中目标对象的目标特征位置信息和目标分割区域信息,对待处理图像的原始分辨率进行精准调高,因此,可以提高处理后的图像的清晰度,提高了处理后的图像质量。

根据上述实施例所描述的方法,以下将举例作进一步详细说明。

本实施例将以图像处理装置为网络设备为例进行说明,以预设对象为人脸为例,网络设备在通过监控设备采集到用户人脸图像时,由于受到当前环境及设备等因素影响,可能采集到的图像的辨率较低,因此,可以将通过本发明实施例的方案将分辨率较低的图像转换为分辨率较高的图像。

以待训练模型包括残差网络和生成对抗网络为例,该生成对抗网络的变种网络可以包括先验估计网络、特征网络和判别网络等,例如,如图6所示,其中,残差网络的核心结构是残差模块,该残差模块学习输入到输出的残差,而非两者之间的直接映射,这样能够有效的克服网络结构引发的性能退化问题。生成对抗网络包括生成器和判别器等,生成器的目标是生成足够真实的样本迷惑判别器,判别器可以是一个二分类器,可以判断输入数据是真实数据还是生成样本。

以下将以待训练模型的整个网络结构以先验估计网络、残差网络、判别网络以及特征网络为例,例如,如图6所示,其中,先验估计网络可以用于从低分辨率图像(即分辨率调低后的训练样本图像)中估计出人脸先验信息(即特征信息),该人脸先验信息可以包括人脸的特征位置信息(即第二特征位置信息)和人脸各器官的分割区域信息(即第二分割区域信息)等,并将得到的特征信息(包括第二特征位置信息和第二分割区域信息)传输给残差网络,该先验估计网络还可以用于将得到的特征信息与真实的高分辨率图像(即训练样本图像)对应的第一特征信息进行比对,得到先验误差(即第一特征误差);等等。

残差网络可以用于根据先验估计网络传输过来的特征信息,将低分辨率图像恢复为高分辨率图像,得到恢复的高分辨率图像(即分辨率收敛后的训练样本图像),将恢复的高分辨率图像传输给判别网络和特征网络,并将恢复的高分辨率图像与真实的高分辨率图像进行比对,得到像素误差;等等。

判别网络可以用于判断输入数据(包括恢复的高分辨率图像和真实的高分辨率图像)是真实数据(即真实的高分辨率图像)还是生成样本(即恢复的高分辨率图像),促使残差网络恢复出更逼真的高分辨率图像。例如,判别网络的输入为恢复的高分辨率图像或输入为真实的高分辨率图像,可以输出对抗误差和鉴别误差等。

特征网络可以用于提取恢复的高分辨率图像的特征信息(包括特征位置信息),并与真实的高分辨率图像的特征信息进行比较,促使网络恢复的图像能保持鉴别信息,进而有助于人脸验证任务的完成。该特征网络的输入为恢复的高分辨率图像以及真实的高分辨率图像,输出为恢复的高分辨率图像和真实的高分辨率图像之间的特征误差。

在基于多张训练样本图像进行前向计算,得到相应的像素误差、先验误差、特征误差、鉴别误差和对抗误差等各个误差后,可以对人脸超分辨率的待训练模型进行进一步训练,例如,可以基于各个误差构造损失函数,并通过对损失函数进行梯度下降,以对待训练模型的参数进行更新,不断重复迭代,直到待训练模型收敛,该训练过程可以采用端到端的训练方式进行训练,生成网络(包括残差网络和先验估计网络)和判别网络可以交替更新,从而可以得到图像处理模型。

在得到图像处理模型后,可以通过图像处理模型中的先验估计网络计算待转换低分辨率图像中目标对象的特征位置信息和分割区域信息等,并将该特征位置信息和分割区域信息等传输给残差网络,此时,残差网络可以根据该特征位置信息和分割区域信息等将待转换低分辨率图像转为高分辨率图像(即处理后的图像)。

请参阅图7,图7为本发明实施例提供的图像处理方法的流程示意图。该方法流程可以包括:

201、网络设备获取多张训练样本图像,并确定每张训练样本图像中人脸的第一特征信息。

首先,网络设备需要进行模型训练,即对待训练模型进行训练,例如,可以通过手机、照相机或摄像头等拍摄大量的包含人脸的图像、以及拍摄同一人脸的多张图像、通过在互联网上搜索或者从图片数据库中获取等途径来获取多张训练样本图像。

其中,训练样本图像可以是清晰度较高的图像,例如,可以是分辨率为128×128的高分辨率图像,或者是分辨率为1024×1024的高分辨率图像等。该多张训练样本图像中可以包括不同人脸的图像,也可以包括同一人脸的图像,每张训练样本图像中包括的人脸可以不一样。例如,可以在不同地点、不同时间或不同角度拍摄到多张同一人脸的图像,或者,针对不同人群拍摄到多张不同人脸的图像,同一张训练样本图像中可以包括一个或者多个人脸,该训练样本图像中包括人脸的拍摄角度可以是正面或侧面等角度。

在得到多张训练样本图像后,网络设备可以确定每张训练样本图像中人脸的第一特征信息,该第一特征信息可以包括第一特征位置信息和第一分割区域信息等。其中,该第一特征位置信息可以包括眼睛、眉毛、鼻子、嘴巴及脸部轮廓等特征的位置信息,例如,如图3所示,每个特征的位置信息可以包括多个特征点的位置信息。

该第一特征位置信息可以是通过人脸识别技术,对图像中人脸上的眼睛、鼻子、眉毛及嘴巴等各个人脸器官进行定位,生成各个人脸器官的特征点的位置信息。该第一特征位置信息还可以是通过人工标注人脸上的眼睛、鼻子、眉毛及嘴巴等各个人脸器官特征点的位置信息等。

例如,如图4所示,该第一分割区域信息可以包括头发、眼睛、眉毛、鼻子、嘴巴及脸等分割区域,可以对每个分割区域设置不同的标识,得到分割区域信息,例如,可以为位于分割区域内的像素值设置为一个常数,位于非分割区域内的像素值为0等,不同的分割区域内的像素值可以用不同的常数表示,例如,左眼睛区域内的像素值是1,右眼睛区域内的像素值是2,鼻子区域内的像素值是3等。

202、网络设备将每张训练样本图像的原始分辨率调低为预设值,得到多张分辨率调低后的训练样本图像。

在得到每张训练样本图像后,网络设备可以将每张训练样本图像通过下采样或其他方式,将每张训练样本图像的原始分辨率调低为预设值,从而可以得到多张分辨率调低后的训练样本图像,其中,该预设值可以根据实际需要进行灵活设置,该分辨率调低后的训练样本图像可以是清晰度较低的图像,例如,可以是分辨率为16×16的低分辨率图像,或者是分辨率为8×8的低分辨率图像等。例如,可以将训练样本图像a的原始分辨率调低为预设值,得到分辨率调低后的训练样本图像a,可以将训练样本图像b的原始分辨率调低为预设值,得到分辨率调低后的训练样本图像b;可以将训练样本图像c的原始分辨率调低为预设值,得到分辨率调低后的训练样本图像c;等等。

203、网络设备通过待训练模型中的先验估计网络计算每张分辨率调低后的训练样本图像中人脸的第二特征信息,并确定第一特征信息和第二特征信息之间的第一特征误差。

网络设备通过待训练模型中的先验估计网络计算每张分辨率调低后的训练样本图像中人脸的第二特征信息,该第二特征信息可以包括第二特征位置信息和第二分割区域信息等,其中,该第二特征位置信息可以包括眼睛、眉毛、鼻子、嘴巴及脸部轮廓等特征的位置信息,每个特征的位置信息可以包括多个特征点的位置信息,该第二分割区域信息可以包括头发、眼睛、眉毛、鼻子、嘴巴(包括嘴唇和牙齿等)及脸等分割区域的信息。

此时,网络设备可以通过待训练模型中的先验估计网络将第二特征信息与第一特征信息进行对比,例如,可以将第一特征位置信息与第二特征位置信息进行比对,得到特征位置误差,以及将第一分割区域信息与第二分割区域信息进行比对,得到分割区域误差,得到的该特征位置误差和分割区域误差即为第一特征误差,该第一特征误差的计算公式可以为上述公式(1)。

204、网络设备通过待训练模型中的残差网络基于第二特征信息,将每张分辨率调低后的训练样本图像的向训练样本图像的原始分辨率收敛,得到分辨率收敛后的训练样本图像,并将分辨率收敛后的训练样本图像与训练样本图像进行对比,得到像素误差。

为了将每张分辨率调低后的训练样本图像精准恢复为原始的训练样本图像,网络设备可以通过待训练模型中的残差网络基于第二特征信息,将每张分辨率调低后的训练样本图像的向原始的训练样本图像的原始分辨率收敛,以恢复为训练样本图像,得到分辨率收敛后的训练样本图像。

在得到分辨率收敛后的训练样本图像后,网络设备可以通过待训练模型中的残差网络将分辨率收敛后的训练样本图像与原始的训练样本图像进行像素对比,得到像素误差,该像素误差的计算公式可以为上述公式(3)。

205、网络设备通过待训练模型中的特征网络计算分辨率收敛后的训练样本图像中人脸的第三特征信息,并计算第一特征信息和第三特征信息之间的第二特征误差。

在得到分辨率收敛后的训练样本图像后,网络设备可以通过待训练模型中的特征网络计算分辨率收敛后的训练样本图像中人脸的第三特征信息,该第三特征信息可以包括第三特征位置信息等,其中,该第三特征位置信息可以包括眼睛、眉毛、鼻子、嘴巴及脸部轮廓等特征的位置信息,每个特征的位置信息可以包括多个特征点的位置信息。

此时,网络设备可以通过待训练模型中的特征网络计算第一特征位置信息与第三特征位置信息之间的特征位置误差,得到第二特征误差,该第二特征误差的计算公式可以为上述公式(2)。

206、网络设备通过待训练模型中的判别网络对分辨率收敛后的训练样本图像与原始的训练样本图像进行判别,得到鉴别误差和对抗误差。

在得到分辨率收敛后的训练样本图像后,网络设备可以通过待训练模型中的判别网络对分辨率收敛后的训练样本图像与训练样本图像进行判别,得到鉴别误差和对抗误差。其中,鉴别误差的计算公式可以为上述公式(4),对抗误差的计算公式可以为上述公式(5)。

207、网络设备基于第一特征误差、第二特征误差、像素误差和对抗误差构造第一损失函数,通过第一损失函数对残差网络和先验估计网络进行训练,并基于鉴别误差构造第二损失函数,通过第二损失函数对判别网络进行训练,得到图像处理模型。

在得到各个误差之后,网络设备可以基于第一特征误差、第二特征误差、图像误差中的像素误差和对抗误差构造第一损失函数,该第一损失函数的表达式可以为上述公式(6),通过第一损失函数对残差网络和先验估计网络进行训练,例如,可以对第一损失函数进行梯度下降,得到第一梯度信息,根据第一梯度信息更新残差网络和先验估计网络的参数,以调整残差网络和先验估计网络的参数或权重等至合适数值。

以及,基于图像误差中的鉴别误差构造第二损失函数,该第二损失函数的表达式可以为上述公式(7),通过第二损失函数对判别网络进行训练,例如,可以对第二损失函数进行梯度下降,得到第二梯度信息,根据第二梯度信息更新判别网络的参数,以调整判别网络的参数或权重等至合适数值。这样对待训练模型中判别网络、残差网络和先验估计网络等各个网络进行训练后,可以得到图像处理模型。

208、网络设备通过图像处理模型中的先验估计网络计算待处理图像中目标人脸的目标特征信息。

在得到图像处理模型后,网络设备在通过监控设备采集到用户人脸图像时,可以通过图像处理模型将采集到的较低分辨率较图像转换为较高分辨率较图像。由于图像处理模型是基于不同分辨率训练样本图像中人脸的特征信息进行训练得到的,因此,在得到图像处理模型后,在需要对图像的分辨率进行调高时,网络设备可以通过图像处理模型中的先验估计网络计算待处理图像中目标人脸的目标特征信息,该目标特征信息可以包括目标特征位置信息和目标分割区域信息等,其中,该目标特征位置信息可以包括眼睛、眉毛、鼻子、嘴巴及脸部轮廓等特征的位置信息,每个特征的位置信息可以包括多个特征点的位置信息,该目标分割区域信息可以包括头发、眼睛、眉毛、鼻子、嘴巴及脸等分割区域的信息。

209、网络设备通过待训练模型中的残差网络基于目标特征信息,调高待处理图像的原始分辨率,得到处理后的图像。

在得到目标特征信息后,网络设备可以通过待训练模型中的残差网络基于目标特征信息,调高待处理图像的原始分辨率,得到处理后的图像,即将低分辨率图像转换为高分辨率图像,例如,如图5所示。例如,可以根据低分辨率图像中的1个像素点信息恢复出64或128等个像素点,对低分辨率图像中的每个像素点均进行恢复出对应的64或128等个像素点后,可以得到高分辨率图像,达到8倍甚至更高倍数的超分辨率效果,可以有效的提升对人脸器官以及轮廓等细节的恢复,大大提高了图像质量,使得图像的显示效果较好。

该网络设备的图像处理流程可以应用在多方面,例如,核身业务中,由于有许多身份证数据的图像的分辨率较低,需要对低质量的身份证数据的图像进行超分,即将待转换图像转换为高分辨率图像,可以基于高分辨率图像对用户人脸进行辨别,有效提升验证性能。另外,在监控环境下,由于场景以及监控摄像头的限制,监控摄像头采集得到的图像一般质量比较差,分辨率较低,因此,非常需要对采集到的图像提升质量,从而进一步提升后续的相关任务性能。

本发明实施例中,可以基于不同分辨率的图像和该图像中预设对象的特征信息对待训练模型进行训练,得到图像处理模型,并在需要对图像的分辨率进行调高时,可以采用该图像处理模型,可以基于特征信息对图像的分辨率进行精准调高,因此,可以提高处理后的图像的清晰度,提高了处理后的图像质量。

为便于更好的实施本发明实施例提供的图像处理方法,本发明实施例还提供一种基于上述图像处理方法的装置。其中名词的含义与上述图像处理方法中相同,具体实现细节可以参考方法实施例中的说明。

请参阅图8,图8为本发明实施例提供的图像处理装置的结构示意图,其中该图像处理装置可以包括第一获取单元301、提取单元302、分割单元303和调高单元304等。

其中,第一获取单元301,用于获取待处理图像。

该待处理图像可以是清晰度较低的图像,例如,可以是分辨率为16×16的低分辨率图像,或者是其他分辨率图像。该待处理图像中包括目标对象,该目标对象可以包括人脸或车辆等。

第一获取单元301获取待处理图像的获取方式可以包括:方式一,可以通过手机、照相机或摄像头等拍摄大量的包含目标对象的图像;方式二,可以通过在互联网上搜索或者从数据库中获取待处理图像等,当然,待处理图像的获取方式还可以是其他的获取方式,具体方式在此处不作限定。

在某些实施方式中,如图9所示,图像处理装置还可以包括确定单元305、调低单元306、第二获取单元307和训练单元308等,具体可以如下:

确定单元305,用于获取多张训练样本图像,并确定每张训练样本图像中预设对象的第一特征位置信息和第一分割区域信息;

调低单元306,用于将每张训练样本图像的原始分辨率调低为预设值,得到多张分辨率调低后的训练样本图像;

第二获取单元307,用于获取每张分辨率调低后的训练样本图像中预设对象的第二特征位置信息和第二分割区域信息;

训练单元308,用于根据第一特征位置信息、第一分割区域信息、第二特征位置信息和第二分割区域信息,对待训练模型进行训练,得到图像处理模型。

其中,训练样本图像可以是清晰度较高的图像,例如,可以是分辨率为128×128的高分辨率图像,或者是分辨率为1024×1024的高分辨率图像等。该多张训练样本图像中可以包括不同预设对象的图像,也可以包括同一预设对象的图像,该预设对象可以包括人脸或车辆等,例如,部分训练样本图像中预设对象可以包括人脸,另一部分训练样本图像中预设对象可以包括车辆等,每张训练样本图像中包括的预设对象可以一样,也可以不一样。

例如,以预设对象为人脸为例,可以在不同地点、不同时间或不同角度拍摄到多张同一人脸的图像,或者,针对不同人群拍摄到多张不同人脸的图像,同一张训练样本图像中可以包括一个或者多个人脸,该训练样本图像中可以包括人脸的整体图像,也可以仅包括人脸局部区域的图像等;该训练样本图像中包括人脸的拍摄角度可以是正面或侧面等角度。

又例如,以预设对象为车辆为例,可以在不同地点、不同时间或不同角度拍摄到多张同一车辆的图像,或者,针对不同车辆拍摄到多张不同车辆的图像,同一张训练样本图像中可以包括一个或者多个车辆,该训练样本图像中可以包括车辆的整体图像,也可以仅包括车辆局部区域的图像等;该训练样本图像中包括车辆的拍摄角度可以是正面或侧面等角度。

需说明的是,该多张训练样本图像的数量、包括预设对象的类型和数量、拍摄角度及分辨率大小等可以根据实际需要进行灵活设置,具体内容在此处不作限定。

确定单元305获取训练样本图像的获取方式可以包括:方式一,可以通过手机、照相机或摄像头等拍摄大量的包含预设对象的图像、以及拍摄同一预设对象的多张图像等途径来采集多张训练样本图像。方式二,可以通过在互联网上搜索或者从图片数据库中获取多张训练样本图像等,当然,多张训练样本图像的获取方式还可以是其他的获取方式,具体方式在此处不作限定。

在得到多张训练样本图像后,确定单元305可以确定每张训练样本图像中预设对象的第一特征信息,该第一特征信息可以包括第一特征位置信息和第一分割区域信息等,即确定单元305可以确定每张训练样本图像中预设对象的第一特征位置信息和第一分割区域信息。其中,例如,如图3所示,当预设对象为人脸时,该第一特征位置信息可以包括眼睛、眉毛、鼻子、嘴巴及脸部轮廓等人脸器官的特征位置信息,每个特征的位置信息可以包括多个特征点的位置信息,该位置信息可以是二维坐标位置或像素坐标位置等。

该第一特征位置信息可以是通过人脸识别技术,对图像中人脸上的眼睛、鼻子、眉毛及嘴巴等各个人脸器官进行定位,生成各个人脸器官的特征点的位置信息,该特征点可以是各个人脸器官对应的关键点的位置坐标信息,该特征点可以在人脸的外部轮廓和各个人脸器官的边缘或中心等,该特征点的个数可以根据实际需要进行灵活设置。该第一特征位置信息还可以是通过人工标注人脸上的眼睛、鼻子、眉毛及嘴巴等各个人脸器官特征点的位置信息等。

该第一特征信息还可以包括人脸属性和纹理信息等,其中,人脸属性可以包括眼睛大小、头发颜色、鼻子大小及嘴巴大小等,纹理信息可以包括人脸像素等,具体内容可以根据实际需要进行灵活设置,在此处不作限定。

例如,如图3所示,当预设对象为人脸时,该第一分割区域信息可以包括头发(分割区域1)、左眼睛(分割区域5)、右眼睛(分割区域3)、左眉毛(分割区域4)、右眉毛(分割区域2)、鼻子(分割区域6)、嘴唇(分割区域7)、牙齿(分割区域8)及脸等分割区域。可以对每个分割区域设置不同的标识,得到分割区域信息,例如,可以为位于分割区域内的像素值设置为一个常数,位于非分割区域内的像素值为0等,不同的分割区域内的像素值可以用不同的常数表示。

需要说明的是,当预设对象为车辆时,该第一特征位置信息可以包括车轮、车牌、车窗、车标、车灯及车镜等位置信息,该第一分割区域信息可以包括车轮、车牌、车窗、车标、车灯及车镜等区域信息。

在得到每张训练样本图像后,调低单元306可以将每张训练样本图像通过下采样或其他方式,将每张训练样本图像的原始分辨率调低为预设值,从而可以得到多张分辨率调低后的训练样本图像,其中,该预设值可以根据实际需要进行灵活设置,该分辨率调低后的训练样本图像可以是清晰度较低的图像,例如,可以是分辨率为16×16的低分辨率图像等。例如,可以将训练样本图像a的原始分辨率调低为预设值,得到分辨率调低后的训练样本图像a,可以将训练样本图像b的原始分辨率调低为预设值,得到分辨率调低后的训练样本图像b;可以将训练样本图像c的原始分辨率调低为预设值,得到分辨率调低后的训练样本图像c;等等。

在得到多张分辨率调低后的训练样本图像后,第二获取单元307可以通过预设的待训练模型计算每张分辨率调低后的训练样本图像中预设对象的第二特征位置信息和第二分割区域信息。

其中,预设的待训练模型可以包括残差网络和生成对抗网络等组成的模型,或者包括卷积网络和生成对抗网络等组成的模型,该生成对抗网络的网络框架可以包括多个网络变种,例如,可以包括先验估计网络、判别网络、及特征网络等生成网络,该待训练模型还可以是其他的模型,可以根据实际需要进行灵活设置,具体内容在此处不作限定。

在某些实施方式中,第二获取单元307具体用于:采用待训练模型中的先验估计网络,计算每张分辨率调低后的训练样本图像中预设对象的第二特征位置信息和第二分割区域信息。

第二获取单元307可以调用该待训练模型中的先验估计网络,并采用先验估计网络计算每张分辨率调低后的训练样本图像中预设对象的第二特征信息,该预设对象与上述提及的预设对象一致,例如,该预设对象可以包括人脸或车辆等。该第二特征信息可以包括第二特征位置信息和第二分割区域信息等,其中,第二特征位置信息与上述第一特征位置信息类似,第二分割区域信息与上述第一分割区域信息类似,例如,当预设对象为人脸时,该第二特征位置信息可以包括眼睛、眉毛、鼻子、嘴巴及脸部轮廓等特征的位置信息,每个特征的位置信息可以包括多个特征点的位置信息,该第二分割区域信息可以包括头发、眼睛、眉毛、鼻子、嘴巴(包括嘴唇和牙齿等)及脸等分割区域的信息。又例如,当预设对象为车辆时,该第一特征位置信息可以包括车轮、车牌、车窗、车标、车灯及车镜等车辆特征的位置信息,该第二分割区域信息可以包括车轮、车牌、车窗、车标、车灯及车镜等车辆特征分割区域信息。

在某些实施方式中,第二获取单元307具体可以用于:

从多张分辨率调低后的训练样本图像中选择一张训练样本图像,作为当前训练样本图像;

从当前训练样本图像中查找预设对象;

若在当前训练样本图像中查找到预设对象,则通过待训练模型计算预设对象的第二特征位置信息和第二分割区域信息;

返回执行从多张分辨率调低后的训练样本图像中选择一张训练样本图像,作为当前训练样本图像的操作,直至多张分辨率调低后的训练样本图像均计算完毕。

在得到第一特征位置信息、第一分割区域信息、第二特征位置信息和第二分割区域信息后,训练单元308可以根据第一特征位置信息、第一分割区域信息、第二特征位置信息和第二分割区域信息对待训练模型进行训练。

在某些实施方式中,如图10所示,训练单元308可以包括收敛子单元3081、计算子单元3082和更新子单元3083等,具体可以如下:

收敛子单元3081,用于采用待训练模型中的残差网络基于第二特征位置信息和第二分割区域信息,将每张分辨率调低后的训练样本图像的分辨率向训练样本图像的原始分辨率收敛,得到分辨率收敛后的训练样本图像;

计算子单元3082,用于采用待训练模型中的特征网络,计算分辨率收敛后的训练样本图像中预设对象的第三特征位置信息;

更新子单元3083,用于根据第一特征位置信息、第一分割区域信息、第二特征位置信息、第二分割区域信息和第三特征位置信息对待训练模型的参数进行更新,得到图像处理模型。

具体地,为了将每张分辨率调低后的训练样本图像精准恢复为训练样本图像,收敛子单元3081可以通过待训练模型基于第二特征信息(包括第二特征位置信息和第二分割区域信息),将每张分辨率调低后的训练样本图像的向训练样本图像的原始分辨率收敛,得到分辨率收敛后的训练样本图像,例如,可以通过待训练模型中的残差网络将分辨率调低后的训练样本图像转换为五分辨率的训练样本图像。

在得到分辨率收敛后的训练样本图像后,计算子单元3082可以调用待训练模型中的特征网络,并采用该特征网络计算分辨率收敛后的训练样本图像中预设对象的第三特征位置信息,该预设对象与上述提及的预设对象一致,例如,该预设对象可以包括人脸或车辆等。其中,第三特征位置信息与上述第一特征位置信息类似,例如,当预设对象为人脸时,该第三特征位置信息可以包括眼睛、眉毛、鼻子、嘴巴及脸部轮廓等特征的位置信息,每个特征的位置信息可以包括多个特征点的位置信息。或者是,该第三特征位置信息可以是通过人脸识别技术对分辨率收敛后的训练样本图像中人脸上的眼睛、鼻子、眉毛及嘴巴等各个人脸器官进行定位,生成各个人脸器官的特征点的位置信息。此时,收敛子单元3081可以根据第一特征位置信息、第一分割区域信息、第二特征位置信息、第二分割区域信息和第三特征位置信息对待训练模型的参数进行更新,得到图像处理模型。

在某些实施方式中,更新子单元3083可以包括第一计算模块、第二计算模块、确定模块、获取模块和更新模块等,具体可以如下:

第一计算模块,用于采用待训练模型中的先验估计网络,计算第一特征位置信息与第二特征位置信息之间的误差,得到特征位置误差,以及计算第一分割区域信息与第二分割区域信息之间的误差,得到分割区域误差,将特征位置误差和分割区域误差设置为第一特征误差;

第二计算模块,用于采用待训练模型中的特征网络,计算第一特征位置信息与第三特征位置信息之间的误差,得到第二特征误差;

确定模块,用于采用待训练模型中的残差网络,确定分辨率收敛后的训练样本图像与原始的训练样本图像之间的图像误差;

获取模块,用于根据第一特征误差、第二特征误差和图像误差获取梯度信息;

更新模块,用于根据梯度信息更新待训练模型的参数,得到图像处理模型。

例如,第一计算模块可以调用待训练模型中的先验估计网络,通过先验估计网络将第一特征位置信息与第二特征位置信息进行比对,得到特征位置误差;以及将第一分割区域信息与第二分割区域信息进行比对,得到分割区域误差;将特征位置误差和分割区域误差设置为第一特征误差,即第一计算模块可以根据上述公式(1)计算第一特征信息和第二特征信息之间的第一特征误差。具体地,第一计算模块可以分别计算第一特征位置信息与第二特征位置信息之间的特征位置误差,以及,第一分割区域信息与第二分割区域信息之间的分割区域误差,该特征位置误差和分割区域误差即为第一特征误差。

以及,第二计算模块可以调用待训练模型中的特征网络,并采用该特征网络根据上述公式(2)计算第一特征位置信息与第三特征位置信息之间的特征位置误差,得到第二特征误差。

以及,确定模块可以调用待训练模型中的残差网络,并采用该残差网络确定分辨率收敛后的训练样本图像与训练样本图像之间的图像误差,该图像误差可以包括像素误差、鉴别误差和对抗误差等。其中,像素误差可以是分辨率收敛后的训练样本图像与原始的训练样本图像之间各个像素值之间的误差,对抗误差可以是判别网络用于对抗残差网络和先验估计网络产生的误差。鉴别误差可以是对分辨率收敛后的训练样本图像与原始的训练样本图像进行判别真假的误差,例如,对于一张待判别训练样本图像,当判定该待判别训练样本图像为分辨率收敛后的训练样本图像时,将该该待判别训练样本图像的标识设置为0,当判定该待判别训练样本图像为原始的训练样本图像时,将该该待判别训练样本图像的标识设置为1,然后将得到的标识与真实值进行比较,得到鉴别误差。

在某些实施方式中,确定模块具体可以用于:采用待训练模型中的残差网络,获取分辨率收敛后的训练样本图像与原始的训练样本图像之间的像素误差;采用待训练模型中的判别网络,对分辨率收敛后的训练样本图像与原始的训练样本图像进行判别,得到鉴别误差和对抗误差;将像素误差、鉴别误差和对抗误差设置为图像误差。

例如,确定模块可以根据上述公式(3)计算像素误差,根据上述公式(4)计算鉴别误差,以及根据上述公式(5)对抗误差等。

在得到各个误差之后,可以根据第一特征误差、第二特征误差和图像误差获取梯度信息,在某些实施方式中,获取模块具体可以用于:基于第一特征误差、第二特征误差、像素误差和对抗误差构造第一损失函数;对第一损失函数进行梯度下降,得到第一梯度信息;基于鉴别误差构造第二损失函数,并对第二损失函数进行梯度下降,得到第二梯度信息;将第一梯度信息和第二梯度信息设置为梯度信息。

具体地,获取模块可以根据公式(6),基于第一特征误差、第二特征误差、图像误差中的像素误差和对抗误差构造第一损失函数。然后,可以对第一损失函数进行梯度下降,以最小化第一损失函数,得到第一梯度信息,其中,梯度下降的方式可以根据实际需要进行灵活设置,具体内容在此处不作限定。

以及,获取模块可以根据公式(7)基于图像误差中的鉴别误差构造第二损失函数,并对第二损失函数进行梯度下降,以最小化第二损失函数,得到第二梯度信息。

在得到第一梯度信息和第二梯度信息后,更新模块可以根据第一梯度信息和第二梯度信息更新待训练模型的参数,以调整待训练模型的参数或权重等至合适数值,便可得到图像处理模型,其中,待训练模型中的生成网络(包括残差网络和先验估计网络)和判别网络可以交替更新。

提取单元302,用于对待处理图像中的目标对象进行特征提取,得到目标特征位置信息。

在某些实施方式中,提取单元302具体用于:采用图像处理模型对待处理图像中的目标对象进行特征提取,得到目标特征位置信息;或者,提取单元302具体用于:确定目标对象的对象标识和特征标识,根据对象标识从待处理图像中查找目标对象,并当查找到目标对象时,根据特征标识对目标对象的特征及其位置进行提取,得到目标特征位置信息。

具体地,在得到图像处理模型后,可以通过图像处理模型对图像的分辨率进行转换,首先,由提取单元302调用图像处理模型中的先验估计网络,采用该先验估计网络对待处理图像中的目标对象进行特征提取,例如,当目标对象为人脸时,可以采用该先验估计网络对待处理图像中的人脸进行人脸器官的特征提取,得到人脸器官的眼睛、眉毛、鼻子、及嘴巴等特征位置信息。当目标对象为车辆时,可以采用该先验估计网络对待处理图像中的车辆进行特征提取,得到车轮、车牌、车窗、车标、车灯及车镜等特征位置信息。

或者是,提取单元302可以采用其他方式获取目标特征位置信息,例如,提取单元302可以先确定目标对象的对象标识和特征标识,其中,该对象标识可以包括一个或多个,用于唯一标识每个目标对象;该特征标识可以包括一个或多个,用于唯一识别目标对象中包含的一个或者多个特征,该对象标识和特征标识可以是由数字、文字和/或字母组成的名称或编号,或者是轮廓标识等。然后,可以根据对象标识从待处理图像中查找目标对象,当未查找到目标对象时,不需要执行对目标对象的特征及其位置进行提取等操作;当查找到目标对象时,可以根据特征标识对目标对象的特征及其位置进行提取,得到目标特征位置信息。

分割单元303,用于对目标对象进行特征区域分割,得到目标分割区域信息。

在某些实施方式中,分割单元303具体用于:采用图像处理模型对目标对象进行特征区域分割,得到目标分割区域信息;或者,分割单元303具体用于:确定目标对象的对象标识和特征标识,根据对象标识从待处理图像中查找目标对象,并当查找到目标对象时,根据特征标识对目标对象的特征及其所在区域进行分割,得到目标分割区域信息。

具体地,分割单元303可以调用图像处理模型中的先验估计网络,采用该先验估计网络对待处理图像中的目标对象进行特征区域分割,例如,当目标对象为人脸时,可以采用该先验估计网络对待处理图像中的人脸进行人脸器官的特征区域分割,得到人脸器官的眼睛、眉毛、鼻子、及嘴巴等分割区域信息。当目标对象为车辆时,可以采用该先验估计网络对待处理图像中的车辆进行特征区域分割,得到车轮、车牌、车窗、车标、车灯及车镜等分割区域信息。或者是,分割单元303可以采用其他方式获取目标分割区域信息,例如,图像处理装置根据对象标识从待处理图像中查找目标对象,并当查找到目标对象时,根据特征标识对目标对象的特征及其位置进行提取,得到目标特征位置信息。

调高单元304,用于采用预设的图像处理模型,基于目标特征位置信息和目标分割区域信息调高待处理图像的原始分辨率。

其中,图像处理模型由多张训练样本图像中预设对象的特征位置信息和分割区域信息训练而成。由于图像处理模型是基于不同分辨率训练样本图像中预设对象的特征位置信息和分割区域信息进行训练得到的,因此,调高单元304可以通过图像处理模型获取到的待处理图像中目标对象的目标特征位置信息和目标分割区域信息,调高待处理图像的原始分辨率,其中,第四分辨率大于第三分辨率和第二分辨率,即将低分辨率图像转换为高分辨率图像。该目标对象与上述提及的预设对象类似,例如,该预设对象可以包括人脸或车辆等。其中,目标特征位置信息与上述第一特征位置信息类似,目标分割区域信息与上述第一分割区域信息类似。

在某些实施方式中,当目标对象为人脸时,目标特征位置信息为人脸器官位置信息,目标分割区域信息为人脸器官分割区域信息,调高单元304具体可以用于:采用预设的图像处理模型基于人脸器官位置信息和人脸器官分割区域信息,调高待处理图像的原始分辨率。

其中,人脸器官位置信息可以包括眼睛、眉毛、鼻子、嘴巴及脸部轮廓等特征的位置信息,每个特征的位置信息可以包括多个特征点的位置信息,该人脸器官分割区域信息可以包括头发、眼睛、眉毛、鼻子、嘴巴及脸等分割区域信息。

调高单元304可以通过图像处理模型基于人脸器官位置信息和人脸器官分割区域信息,将调高待处理图像的原始分辨率,得到处理后的图像,即可以将待处理图像的原始分辨率调高为预设分辨率值,该预设分辨率值可以根据实际需要进行灵活设置。例如,如图5所示,可以根据低分辨率图像中的每个像素点均进行恢复出较高倍数的像素点,从而可以得到高分辨率图像,达到较高倍数的超分辨率效果,可以有效的提升对人脸器官以及轮廓等细节的恢复,大大提高了图像质量,使得图像的显示效果较好。

在某些实施方式中,当目标对象为车辆时,目标特征位置信息为车辆特征位置信息,目标分割区域信息为车辆分割区域信息,调高单元304具体可以用于:采用预设的图像处理模型基于车辆特征位置信息和车辆分割区域信息,调高待处理图像的原始分辨率。

其中,车辆特征位置信息可以包括车轮、车牌、车窗、车标、车灯及车镜等车辆特征的位置信息,车辆分割区域信息可以包括车轮、车牌、车窗、车标、车灯及车镜等车辆特征分割区域信息。调高单元304可以通过图像处理模型基于车辆特征位置信息和车辆分割区域信息,将调高待处理图像的原始分辨率,得到处理后的图像。即可以将待处理图像的原始分辨率调高为预设分辨率值,该预设分辨率值可以根据实际需要进行灵活设置。

由上可知,本发明实施例在需要对图像的分辨率进行调高时,第一获取单元301可以获取待处理图像,并由提取单元302对待处理图像中的目标对象进行特征提取,得到目标特征位置信息,以及由分割单元303对待处理图像中的目标对象进行特征区域分割,得到目标分割区域信息;然后由调高单元304采用预设的图像处理模型,基于目标特征位置信息和目标分割区域信息,调高待处理图像的原始分辨率,即将分辨率低的待处理图像转换为分辨率高的图像。由于该方案可以基于待处理图像中目标对象的目标特征位置信息和目标分割区域信息,对待处理图像的原始分辨率进行精准调高,因此,可以提高处理后的图像的清晰度,提高了处理后的图像质量。

本发明实施例还提供一种网络设备,该网络设备可以为服务器或终端等设备。如图11所示,其示出了本发明实施例所涉及的网络设备的结构示意图,具体来讲:

该网络设备可以包括一个或者一个以上处理核心的处理器401、一个或一个以上计算机可读存储介质的存储器402、电源403和输入单元404等部件。本领域技术人员可以理解,图11中示出的网络设备结构并不构成对网络设备的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。其中:

处理器401是该网络设备的控制中心,利用各种接口和线路连接整个网络设备的各个部分,通过运行或执行存储在存储器402内的软件程序和/或模块,以及调用存储在存储器402内的数据,执行网络设备的各种功能和处理数据,从而对网络设备进行整体监控。可选的,处理器401可包括一个或多个处理核心;优选的,处理器401可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器401中。

存储器402可用于存储软件程序以及模块,处理器401通过运行存储在存储器402的软件程序以及模块,从而执行各种功能应用以及数据处理。存储器402可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据网络设备的使用所创建的数据等。此外,存储器402可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地,存储器402还可以包括存储器控制器,以提供处理器401对存储器402的访问。

网络设备还包括给各个部件供电的电源403,优选的,电源403可以通过电源管理系统与处理器401逻辑相连,从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源403还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

该网络设备还可包括输入单元404,该输入单元404可用于接收输入的数字或字符信息,以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

尽管未示出,网络设备还可以包括显示单元等,在此不再赘述。具体在本实施例中,网络设备中的处理器401会按照如下的指令,将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器402中,并由处理器401来运行存储在存储器402中的应用程序,从而实现各种功能,如下:

获取待处理图像;对待处理图像中的目标对象进行特征提取,得到目标特征位置信息;对目标对象进行特征区域分割,得到目标分割区域信息;采用预设的图像处理模型,基于目标特征位置信息和目标分割区域信息调高待处理图像的原始分辨率,图像处理模型由多张训练样本图像中预设对象的特征位置信息和分割区域信息训练而成。

可选地,特征位置信息包括第一特征位置信息和第二特征位置信息,分割区域信息包括第一分割区域信息和第二分割区域信息,采用预设图像处理模型基于目标特征位置信息和目标分割区域信息调高待处理图像的原始分辨率的步骤之前,方法还包括:

获取多张训练样本图像,并确定每张训练样本图像中预设对象的第一特征位置信息和第一分割区域信息;将每张训练样本图像的原始分辨率调低为预设值,得到分辨率调低后的训练样本图像;获取每张分辨率调低后的训练样本图像中预设对象的第二特征位置信息和第二分割区域信息;根据第一特征位置信息、第一分割区域信息、第二特征位置信息和第二分割区域信息,对预设的待训练模型进行训练,得到图像处理模型。

可选地,特征位置信息还包括第三特征位置信息,根据第一特征位置信息、第一分割区域信息、第二特征位置信息和第二分割区域信息,对预设的练模型进行训练,得到图像处理模型的步骤包括:

采用待训练模型中的残差网络基于第二特征位置信息和第二分割区域信息,将每张分辨率调低后的训练样本图像的分辨率向训练样本图像的原始分辨率收敛,得到分辨率收敛后的训练样本图像;采用待训练模型中的特征网络,计算分辨率收敛后的训练样本图像中预设对象的第三特征位置信息;根据第一特征位置信息、第一分割区域信息、第二特征位置信息、第二分割区域信息和第三特征位置信息对待训练模型的参数进行更新,得到图像处理模型。

由上可知,本发明实施例在需要对图像的分辨率进行调高时,可以获取待处理图像,并对待处理图像中的目标对象进行特征提取,得到目标特征位置信息,以及对待处理图像中的目标对象进行特征区域分割,得到目标分割区域信息;然后采用预设的图像处理模型,基于目标特征位置信息和目标分割区域信息,调高待处理图像的原始分辨率,即将分辨率低的待处理图像转换为分辨率高的图像。由于该方案可以基于待处理图像中目标对象的目标特征位置信息和目标分割区域信息,对待处理图像的原始分辨率进行精准调高,因此,可以提高处理后的图像的清晰度,提高了处理后的图像质量。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见上文针对图像处理方法的详细描述,此处不再赘述。

本领域普通技术人员可以理解,上述实施例的各种方法中的全部或部分步骤可以通过指令来完成,或通过指令控制相关的硬件来完成,该指令可以存储于一计算机可读存储介质中,并由处理器进行加载和执行。

为此,本发明实施例提供一种存储介质,其中存储有多条指令,该指令能够被处理器进行加载,以执行本发明实施例所提供的任一种图像处理方法中的步骤。例如,该指令可以执行如下步骤:

获取待处理图像;对待处理图像中的目标对象进行特征提取,得到目标特征位置信息;对目标对象进行特征区域分割,得到目标分割区域信息;采用预设的图像处理模型,基于目标特征位置信息和目标分割区域信息调高待处理图像的原始分辨率,图像处理模型由多张训练样本图像中预设对象的特征位置信息和分割区域信息训练而成。

可选地,特征位置信息包括第一特征位置信息和第二特征位置信息,分割区域信息包括第一分割区域信息和第二分割区域信息,采用预设图像处理模型基于目标特征位置信息和目标分割区域信息调高待处理图像的原始分辨率的步骤之前,方法还包括:

获取多张训练样本图像,并确定每张训练样本图像中预设对象的第一特征位置信息和第一分割区域信息;将每张训练样本图像的原始分辨率调低为预设值,得到分辨率调低后的训练样本图像;获取每张分辨率调低后的训练样本图像中预设对象的第二特征位置信息和第二分割区域信息;根据第一特征位置信息、第一分割区域信息、第二特征位置信息和第二分割区域信息,对预设的待训练模型进行训练,得到图像处理模型。

可选地,特征位置信息还包括第三特征位置信息,根据第一特征位置信息、第一分割区域信息、第二特征位置信息和第二分割区域信息,对预设的练模型进行训练,得到图像处理模型的步骤包括:

采用待训练模型中的残差网络基于第二特征位置信息和第二分割区域信息,将每张分辨率调低后的训练样本图像的分辨率向训练样本图像的原始分辨率收敛,得到分辨率收敛后的训练样本图像;采用待训练模型中的特征网络,计算分辨率收敛后的训练样本图像中预设对象的第三特征位置信息;根据第一特征位置信息、第一分割区域信息、第二特征位置信息、第二分割区域信息和第三特征位置信息对待训练模型的参数进行更新,得到图像处理模型。

以上各个操作的具体实施可参见前面的实施例,在此不再赘述。

其中,该存储介质可以包括:只读存储器(rom,readonlymemory)、随机存取记忆体(ram,randomaccessmemory)、磁盘或光盘等。

由于该存储介质中所存储的指令,可以执行本发明实施例所提供的任一种图像处理方法中的步骤,因此,可以实现本发明实施例所提供的任一种图像处理方法所能实现的有益效果,详见前面的实施例,在此不再赘述。

以上对本发明实施例所提供的一种图像处理方法、装置及存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1