一种图像质量评价方法及装置与流程

文档序号:25590312发布日期:2021-06-22 17:06阅读:60来源:国知局
一种图像质量评价方法及装置与流程

本发明涉及图像处理技术领域,特别是涉及一种图像质量评价方法及装置。



背景技术:

为了获得包含特定对象、且质量较佳的图像,可以对图像的质量进行评价,从而根据图像质量评价结果确定图像是否为包含上述特定对象、且质量较佳的图像。

现有技术中,在对图像的质量进行评价时,通常检测整张图像的清晰度,并将检测结果作为对图像的质量进行评价的结果。例如,上述特定对象为人脸时,若整张图像的清晰度较高,则认为上述图像为包含人脸的高质量图像;若整张图像的清晰度较差,则认为上述图像为包含人脸的低质量图像。

然而,当一张图像由于清晰度较高而被认为是高质量图像时,可能存在特定对象在图像中未完全显示或者完全未显示的情况,而这种情况下,从特定对象的角度来讲,上述图像的实际质量并不高。因此,采用现有技术进行图像质量评价时,会存在评价结果的准确度较低的问题。



技术实现要素:

本发明实施例的目的在于提供一种图像质量评价方法及装置,以提高图像质量评价的准确度。具体技术方案如下:

第一方面,本发明实施例提供了一种图像质量评价方法,所述方法包括:

获取待评价图像对应的多个热力图,其中,每个所述热力图用于指示所述待评价图像中的对象的特征部位的显著程度,不同的热力图用于对象的不同的特征部位;

根据每一特征部位对应的热力图,获得反映所述待评价图像包含各个特征部位的显著程度的显著值;

根据所获得的显著值,生成针对所述待评价图像的评价结果,其中,所述评价结果用于指示所述待评价图像中的对象的质量。

本发明的一个实施例中,上述获取待评价图像对应的多个热力图,包括:

采用预先训练的显著程度检测模型,检测待评价图像中各个像素点用于表示对象的各个特征部位的显著程度,获得分别反映待评价图像中各个像素点用于表示每一特征部位的显著程度的热力图,其中,所述显著程度检测模型为:以样本图像为模型输入、且以所述样本图像中各个像素点属于各个特征部位的显著程度为训练监督信息,对预设的神经网络模型训练得到的、且用于获得各个特征部位对应的热力图的模型。

本发明的一个实施例中,上述根据每一特征部位对应的热力图,获得反映所述待评价图像包含各个特征部位的显著程度的显著值,包括:

针对每一特征部位对应的热力图,确定该热力图中所反映显著程度最高的像素点的像素值,并将所确定的像素值作为反映所述待评价图像包含该特征部位的显著程度的显著值。

本发明的一个实施例中,上述根据每一特征部位对应的热力图,获得反映所述待评价图像包含各个特征部位的显著程度的显著值,包括:

针对每一特征部位对应的热力图,根据该热力图中反映显著程度的各个像素点的像素值,计算平均像素值,并将所计算的平均像素值作为反映所述待评价图像包含该特征部位的显著程度的显著值。

本发明的一个实施例中,上述根据所获得的显著值,生成针对所述待评价图像的评价结果,包括:

根据所获得的显著值,计算平均显著值,将所计算的平均显著值确定为针对所述待评价图像的评价结果。

本发明的一个实施例中,在对象为待评价图像中的目标人脸的情况下,获取待评价图像对应的多个热力图包括:

获取第一热力图至第五热力图,其中,第一热力图用于指示目标人脸的左眼在待评价图像中的显著程度,第二热力图用于指示目标人脸的右眼在待评价图像中的显著程度,第三热力图用于指示目标人脸的鼻尖在待评价图像中的显著程度,第四热力图用于指示目标人脸的左嘴角在待评价图像中的显著程度,第五热力图用于指示目标人脸的右嘴角在待评价图像中的显著程度。

第二方面,本发明实施例提供了一种图像质量评价装置,所述装置包括:

热力图获得模块,用于获取待评价图像对应的多个热力图,其中,每个所述热力图用于指示所述待评价图像中的对象的特征部位的显著程度,不同的热力图用于对象的不同的特征部位;

显著值获得模块,用于根据每一特征部位对应的热力图,获得反映所述待评价图像包含各个特征部位的显著程度的显著值;

评价结果生成模块,用于根据所获得的显著值,生成针对所述待评价图像的评价结果,其中,所述评价结果用于指示所述待评价图像中的对象的质量。

本发明的一个实施例中,上述热力图获得模块,具体用于:

采用预先训练的显著程度检测模型,检测待评价图像中各个像素点用于表示对象的各个特征部位的显著程度,获得分别反映待评价图像中各个像素点用于表示每一特征部位的显著程度的热力图,其中,所述显著程度检测模型为:以样本图像为模型输入、且以所述样本图像中各个像素点属于各个特征部位的显著程度为训练监督信息,对预设的神经网络模型训练得到的、且用于获得各个特征部位对应的热力图的模型。

本发明的一个实施例中,上述显著值获得模块,具体用于:

针对每一特征部位对应的热力图,确定该热力图中所反映显著程度最高的像素点的像素值,并将所确定的像素值作为反映所述待评价图像包含该特征部位的显著程度的显著值;

本发明的一个实施例中,上述显著值获得模块,具体用于:

针对每一特征部位对应的热力图,根据该热力图中反映显著程度的各个像素点的像素值,计算平均像素值,并将所计算的平均像素值作为反映所述待评价图像包含该特征部位的显著程度的显著值。

本发明的一个实施例中,上述评价结果获得模块,具体用于:

根据所获得的显著值,计算平均显著值,将所计算的平均显著值确定为针对所述待评价图像的评价结果。

本发明的一个实施例中,在对象为待评价图像中的目标人脸的情况下,热力图获得模块具体用于:获取第一热力图至第五热力图,其中,第一热力图用于指示目标人脸的左眼在待评价图像中的显著程度,第二热力图用于指示目标人脸的右眼在待评价图像中的显著程度,第三热力图用于指示目标人脸的鼻尖在待评价图像中的显著程度,第四热力图用于指示目标人脸的左嘴角在待评价图像中的显著程度,第五热力图用于指示目标人脸的右嘴角在待评价图像中的显著程度。

第三方面,本发明实施例提供了一种终端设备,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现上述第一方面所述的方法步骤。

第四方面,本发明实施例一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的方法步骤。

由以上可见,应用本发明实施例提供的方案进行图像质量评价时,获取待评价图像对应的多个热力图,其中,每个热力图用于指示待评价图像中的对象的特征部位的显著程度,不同的热力图用于对象的不同的特征部位,根据每一特征部位对应的热力图,获得反映待评价图像包含各个特征部位的显著程度的显著值,根据各个热力图对应的显著值,生成针对待评价图像的评价结果,上述评价结果用于指示待评价图像中的对象的质量。由于所获得的热力图用于反映待评价图像中各个像素点用于表示特征部位的显著程度,所以,当特征部位在图像中未完全显示或者完全未显示时,上述热力图所反映的特征部位的显著性会减弱,反之,当特征部位在图像中清晰显示时,上述热力图所反映的特征部位的显著性会增强。在此基础上,基于各个热力图对图像进行评价时,可以兼顾图像中的对象,从而能够提高对图像进行质量评价的准确性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种图像质量评价方法的流程示意图;

图2a为本发明实施例提供的一种包含人脸区域的图像的示意图;

图2b为本发明实施例提供的一种热力图的示意图;

图3a为本发明实施例提供的第一种针对待评价图像的热力图的示意图;

图3b为本发明实施例提供的第二种针对待评价图像的热力图的示意图;

图3c为本发明实施例提供的第三种针对待评价图像的热力图的示意图;

图4为本发明实施例提供的一种图像质量评价装置的结构示意图;

图5为本发明实施例提供的一种终端设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

在一些场景中需要对图像进行对象识别,例如,需要对图像中的人脸进行识别,这种情况下,需要待进行对象识别的图像具有较高的图像质量,这样才能得到较好的对象识别结果。为此,在进行对象识别之前,需要对图像的质量进行评价,以期根据质量评价结果找到质量较高的图像。鉴于上述情况,本发明实施例提供了一种图像质量评价方法及装置。

以下对本发明实施例提供的一种图像质量评价方法进行具体说明。

参见图1,图1为本发明实施例提供的一种图像质量评价方法的流程示意图,上述方法包括s101-s103。

s101:获取待评价图像对应的多个热力图。

上述热力图用于指示待评价图像中的对象的特征部位的显著程度,不同的热力图用于对象的不同的特征部位。

上述对象可以是生物,也可以是非生物。具体的,生物可以包括人、动物、植物等,非生物可以包括房子、车辆、桌子等。

对于不同的对象而言,其特征部位不同。

本发明的一个实施例中,上述对象可以为人脸。在这种情况下,对象的特征部位可以包括眼睛、鼻子、嘴巴、眉毛等。例如,在本发明可选实施例中,在对象为待评价图像中的目标人脸的情况下,获取待评价图像对应的多个热力图包括:获取第一热力图至第五热力图,其中,第一热力图用于指示目标人脸的左眼在待评价图像中的显著程度,第二热力图用于指示目标人脸的右眼在待评价图像中的显著程度,第三热力图用于指示目标人脸的鼻尖在待评价图像中的显著程度,第四热力图用于指示目标人脸的左嘴角在待评价图像中的显著程度,第五热力图用于指示目标人脸的右嘴角在待评价图像中的显著程度。相应的,所得到的评价结果用于指示待评价图像的人脸质量。

当上述对象为人体时,对象的特征部位可以包括手、腿、腰等。当上述对象为动物脸时,对象的特征部位可以包括动物的眼睛、鼻子、嘴巴、眉毛等。当上述对象为植物时,上述对象的特征部位可以包括叶、茎等;当上述对象为房子时,上述对象的特征部位可以包括窗户、门等;当上述对象为车辆时,上述对象的特征部位可以包括车轮、车身等;当上述对象为桌子时,上述对象的特征部位可以包括桌子腿、桌面等。

针对对象的每一特征部位,上述热力图用于反映待评价图像中各个像素点用于表示该特征部位的显著程度。因此,热力图中各个像素点与待评价图像中的各个像素点是一一对应的,那么热力图的大小与待评价图像的大小一致。

对于每一特征部位而言,其可能仅仅是待评价图像中的一部分,所以待评价图像中的各个像素点并非均属于该特征部位在待评价图像中所在的区域。当一个像素点位于特征部位在待评价图像中所在的区域时,该像素点用于表示该特征部位的显著程度较高。反之,当一个像素点不位于特征部位在待评价图像中所在的区域时,该像素点用于表示该特征部位的显著程度较低。

由于对象的不同特征部位具有不同的特点,基于此,本发明的一个实施例中,对于对象的每一特征部位以及待评价图像中的一个像素点而言,反映上述像素点用于表示该特征部位的显著程度可以理解为:反映该像素点属于该特征部位在图像中所在区域的可能性。上述可能性越高,则上述显著程度也越高;反之,上述可能性越小时,则上述显著程度越低。

例如:假设待评价图像中各个像素点分别为像素点1、像素点2、……、像素点n,当对象的特征部位为人脸的鼻尖时,若反映待评价图像中像素点1、像素点2、像素点3属于鼻尖在图像中所在区域的可能性较高时,则反映待评价图像中像素点1、像素点2、像素点3表示鼻尖所在区域的显著程度较高;若反映待评价图像中像素点4、像素点5、……、像素点n属于鼻尖在图像中所在区域的可能性较小时,则反映待评价图像中像素点4、像素点5、……、像素点n表示鼻尖所在区域的显著程度较低。

具体的,对于对象的每一特征部位而言,可以用一定范围内的数值反映待评价图像中各个像素点用于表示该特征部位的显著程度。例如:上述一定范围内的数值可以为热力图中各个像素点的像素值。假设对象的特征部位为人脸的鼻尖,当热力图中像素点的像素值越大时,反映待评价图像中像素点表示鼻尖的显著程度越高;反之,当热力图中像素点的像素值越小时,反映待评价图像中像素点表示鼻尖的显著程度越低。

以图2a、图2b为例,图2a为本发明实施例提供的一种包含人脸区域的图像的示意图,图2a为待评价图像,图像中人脸的特征部位可以包括左眼、右眼、鼻尖、左嘴角、右嘴角。图2b为本发明实施例提供的一种热力图的示意图,用于反映图2a中各个像素点表示特征部位为鼻尖的显著程度的热力图,图2a与图2b的图像大小一致。

由图2b中可以看出,图2b中白色区域内各个像素点的亮度较高,即白色区域内各个像素点的像素值较大,那么白色区域内各个像素点用于反映图2a中鼻尖的显著程度较高,也就是白色区域内各个像素点属于鼻尖在图2a中所在区域的可能性较大;类似的,图2b中黑色区域内各个像素点的亮度较低,表示黑色区域内各个像素点的像素值较小,那么黑色区域内各个像素点用于反映图2a中鼻尖的显著程度较低,也就是黑色区域内各个像素点属于鼻尖在图2a中所在区域的可能性较小。

具体的,针对对象的每一特征部位,获得上述热力图时,可以获得反映待评价图像中各个像素点属于该特征部位在图像中所在区域的可能性,根据所获得的各个像素点对应的可能性大小,设置热力图中各个像素点的像素值的取值,从而得到上述热力图。

本发明的一个实施例中,上述可能性可以以[0,1]范围内的数值表示,在上述热力图中像素点的像素值以8比特的数值表示的情况下,可以以上述可能性与255的乘积所得结果对应的整数作为热力图中像素点的像素值。

例如:当上述可能性为:0.5,则0.5*255=127.5,对上述127.5进行向上取整,得到128,则热力图中对应像素点的像素值可以为128。

例如:假设待评价图像中各个像素点分别为像素点1、像素点2、……、像素点n,当对象的特征部位为人脸的鼻尖时,若获得反映待评价图像中像素点1、像素点2、像素点3属于鼻尖在图像中所在区域的可能性较大,则将生成的图像中与像素点1、像素点2、像素点3对应的各个像素点的像素点的取值设置得较高;若获得反映待评价图像中像素点4、像素点5、……、像素点n属于鼻尖在图像中所在区域的可能性较小,则将生成的图像中与像素点4、像素点5、……、像素点n对应的各个像素点的像素值的取值设置得较低,将设置后的图像确定为热力图。

s102:根据每一特征部位对应的热力图,获得反映待评价图像包含各个特征部位的显著程度的显著值。

上述显著值用于反映待评价图像包含各个特征部位的显著程度的量化值。当待评价图像包含各个特征部位的显著程度越高时,显著值越大,当热力图反映待评价图像包含各个特征部位的显著程度越低时,显著值越小。

上述显著值的表示方式可以有以下两种情况:

第一种情况:上述显著值用标准分数值表示,例如:标准分数值可以为十分制分数值、百分制分数值等。

基于上述第一种情况,本发明的一个实施例中,上述根据每一特征部位对应的热力图,获得反映待评价图像包含各个特征部位的显著程度的显著值时,可以对热力图中反映显著程度的各个像素点的像素值进行统计分析,将统计分析后的像素值转换为对应的标准分数值,将转换后的标准分数值作为反映待评价图像包含该特征部位的显著程度的显著值。

上述统计分析可以包括:计算最大值、计算平均值等。

本发明的一个实施例中,上述将统计分析后的像素值转换为对应的标准分数值时,当在上述热力图中像素点的像素值以8比特的数值表示,上述标准分数值为n分制分数值表示的情况下,可以将上述统计分析后的像素值与255的比值与n的乘积所得结果对应的整数作为转换后对应的n分制分数值。

例如:当统计分析后的像素值为:230,n分制分数值为:十分制的分数值,则(230/255)*10=9.020,对9.020进行向上取整数,得到9.0,则当统计分析后的像素值为230时,转换为对应的十分制分数值为9.0。

第二种情况:上述显著值用像素值表示。

基于上述第二种情况,本发明的一个实施例中,上述根据每一特征部位对应的热力图,获得反映待评价图像包含各个特征部位的显著程度的显著值时,可以是针对每一特征部位对应的热力图,确定该热力图中所反映显著程度最高的像素点的像素值,并将所确定的像素值作为反映待评价图像包含该特征部位的显著程度的显著值。

具体的,可以通过计算公式response=max(heatmap)确定各个热力图中所反映显著程度最高的像素点的像素值。其中,heatmap表示热力图中反映显著程度的各个像素点的像素值,max()用于计算最大值,response表示根据max(heatmap)计算得到的像素值。

例如:当热力图中反映显著程度各个像素点的像素值分别为35、55、65、76、120、200、230,那么反映显著程度最高的像素点的像素值为max(35、55、65、76、120、200、230)=230。

这样,根据热力图中所反映显著程度最高的像素点的像素值作为反映待评价图像包含该特征部位的显著程度的显著值,能够获得较为准确的每一热力图对应的显著值。

基于上述第二种情况,本发明的另一个实施例中,上述根据每一特征部位对应的热力图,获得反映待评价图像包含各个特征部位的显著程度的显著值时,还可以针对每一特征部位对应的热力图,根据该热力图中反映显著程度的各个像素点的像素值,计算平均像素值,并将所计算的平均像素值作为反映待评价图像包含该特征部位的显著程度的显著值。

例如:当热力图中反映显著程度的各个像素点的像素值分别为35、55、65、76、120、200、230,那么计算的平均像素值为(35+55+65+76+120+200+230)/7=114。

这样,根据热力图中反映显著程度的各个像素点的像素值,计算平均像素值,并将所计算的平均像素值作为反映待评价图像包含特征部位的显著程度的显著值,能够获得较为准确的每一热力图对应的显著值。

s103:根据所获得的显著值,生成针对待评价图像的评价结果。

所获得的显著值为各个热力图对应的显著值,在生成针对待评价图像的评价结果时,可以对所获得的各个显著值进行统计分析,将统计分析后的显著值确定为针对待评价图像的评价结果。上述评价结果用于指示待评价图像中的对象的质量。

其中,上述统计分析包括:计算最大值、计算平均值等。

上述评价结果的表示方式可以有以下两种方式:

第一种方式:当上述评价结果用标准分数值表示时,例如:标准分数值可以为十分制分数值、百分制分数值等。

根据s102中的描述可知,所获得的显著值的表示方式可以是以像素值表示或者以标准分数值表示。

基于上述第一种方式,本发明的一个实施例中,当显著值以像素值表示时,可以将统计分析后的显著值转换为对应的标准分数值,将转换后的标准分数值作为待评价图像的评价结果。

本发明的一个实施例中,上述将统计分析后的显著值转换为对应的标准分数值时,当上述热力图中像素点的像素值以8比特的数值表示,上述标准分数值为n分制分数值表示的情况下,可以将上述统计分析后的显著值与255的比值与n的乘积所得结果对应的整数作为转换后对应的n分制分数值。

例如:当统计分析后的显著值为:200,n分制分数值为:十分制的分数值,则(200/255)*10=7.84,对7.84进行向上取整数,得到8.0,则当统计分析后的显著值为200时,转换为对应的十分制分数值为8.0。

基于上述第一种方式,本发明的另一个实施例中,当显著值以标准分数值表示时,可以将统计分析后的显著值直接作为针对待评价图像的评价结果。这样,采用对应的分数值作为针对待评价图像的评价结果,能够更加根据评价结果更加直观确定待评价图像的图像质量。

第二种方式,当上述评价结果用像素值表示时。

基于上述第二种方式,由于显著值可以用像素值表示,那么计算得到的平均显著值也就为像素值,进而上述待评价图像的评价结果也就为像素值。

具体的,本发明的一个实施例中,上述根据所获得的显著值,生成针对待评价图像的评价结果可以是根据所获得的显著值,计算平均显著值,将所计算的平均显著值确定为针对待评价图像的评价结果。

例如:当所获得的显著值分别为210、220、230、240、250,计算平均显著值为(210+220+230+240+250)/5=230,可以将平均显著值230作为待评价图像的评价结果。

这样,根据所获得的显著值计算平均显著值,并将计算的平均显著值作为待评价图像的评价结果,能够获得较为准确待评价图像的评价结果。

图3a为本发明实施例提供的第一种针对待评价图像的热力图的示意图。图3a中最左侧的图像为待评价图像,图3a中从最左侧起第二张到第六张分别为针对人脸的各个特征部位,反映待评价图像中各个像素点用于表示该特征部位的显著程度的热力图。从最左侧起第二张到第六张依次为:鼻尖对应的热力图、右眼对应的热力图、左眼对应的热力图、右嘴角对应的热力图、左嘴角对应的热力图。

类似的,图3b为本发明实施例提供的第二种针对待评价图像的热力图的示意图,图3c为本发明实施例提供的第三种针对待评价图像的热力图的示意图。

根据图3a所示最左侧起第二张到第六张的热力图中各个像素点的像素值,可以计算每张热力图反映图3a最左侧第一张图像包含各个特征部位的显著程度的显著值,其中,计算结果为:

最左侧起第二张热力图对应的显著值为0.93;

最左侧起第三张热力图对应的显著值为0.95;

最左侧起第四张热力图对应的显著值为0.99;

最左侧起第五张热力图对应的显著值为0.89;

最左侧起第六张热力图对应的显著值为0.93。

根据各个热力图对应的显著值,可以计算待评价图像的评价结果,假设评价结果用平均显著值表示,那么待评价图像的评价结果为0.94。

按照同样的方法,可以获得图3b中最左侧第一张图像的评价结果为0.53,图3c中最左侧第一张图像的评价结果为0.01。

从图3a中可以看出,由于图3a的待评价图像中人脸的各个特征部位均可见、且较为清晰,因此评价结果较高;从图3b中可以看出,由于图3b的待评价图像中人脸的部分特征部位不可见,因此,图3b中待评价图像的评价结果相较于图3a中待评价图像的评价结果低。从图3c中可以看出,由于图3c的待评价图像中未包括人脸的特征部位,因此,图3c的待评价图像的评价结果相较于图3a、图3b中待评价图像的评价结果最低。

由以上可见,应用本发明实施例提供的方案进行图像质量评价时,获取待评价图像对应的多个热力图,其中,每个热力图用于指示待评价图像中的对象的特征部位的显著程度,不同的热力图用于对象的不同的特征部位,根据每一特征部位对应的热力图,获得反映待评价图像包含各个特征部位的显著程度的显著值,根据各个热力图对应的显著值,生成针对待评价图像的评价结果,上述评价结果用于指示待评价图像中的对象的质量。由于所获得的热力图用于反映待评价图像中各个像素点用于表示特征部位的显著程度,所以,当特征部位在图像中未完全显示或者完全未显示时,上述热力图所反映的特征部位的显著性会减弱,反之,当特征部位在图像中清晰显示时,上述热力图所反映的特征部位的显著性会增强。在此基础上,基于各个热力图对图像进行评价时,可以兼顾图像中的对象,从而能够提高对图像进行质量评价的准确性。

本发明的一个实施例中,在s101中针对对象的每一特征部位,获得反映待评价图像中各个像素点用于表示该特征部位的显著程度的热力图时,可以采用预先训练的显著程度检测模型,检测待评价图像中各个像素点用于表示对象的各个特征部位的显著程度,获得分别反映待评价图像中各个像素点用于表示每一特征部位的显著程度的热力图。

其中,上述显著程度检测模型为:以样本图像为模型输入、且以样本图像中各个像素点属于各个特征部位的显著程度为训练监督信息,对预设的神经网络模型训练得到的、且用于获得各个特征部位对应的热力图的模型。

上述样本图像中各个像素点属于各个特征部位的显著程度可以理解为:样本图像中各个像素点属于各个特征部位在图像中所在区域的可能性大小。

上述以样本图像中各个像素点属于各个特征部位的显著程度为训练监督信息,用于在对样本图像中各个像素点属于各个特征部位的显著程度进行检测时,将样本图像中各个像素点属于各个特征部位的显著程度作为训练基准,使得检测结果与训练基准趋于一致。

由于热力图是用于反映待评价图像中各个像素点表示该特征部位的显著程度的,因此每个特征部位对应一张热力图。例如:若特征部位包括人脸的左眼角、右眼角这两个特征部位时,那么热力图分别为反映包含人脸的待评价图像中各个像素点用于表示左眼角的显著程度的图像、包含人脸的待评价图像中各个像素点用于表示右眼角的显著程度的图像。

在对上述显著程度检测模型进行训练时,可以预先收集大量的图像,作为样本图像,将样本图像输入上述显著程度检测模型的初始模型,获得反映样本图像中各个像素点属于各个特征部位的显著程度的热力图,并将获得的热力图和上述训练监督信息进行比较,根据两者之间的差异对上述初始模型的模型参数进行调整,使得上述初始模型趋于收敛,从而得到显著程度检测模型。

这样,采用预先训练的显著程度检测模型获得各个特征部位对应的热力图,可以较为准确得确定待评价图像中各个像素点用于表示对象的各个特征部位的显著程度。

本发明的一个实施例中,由于采用上述显著程度检测模型获得热力图时,需要获得多张热力图,也就是,上述显著程度检测模型需要输出多张热力图。为了能够清楚的了解各张热力图对应于对象的哪一个特征部位,可以预先为各张热力图设置顺序标识。这样上述显著程度检测模型可以输出对应于不同顺序标识的热力图,进而根据顺序标识可以得知热力图对应于对象的特征部位。

例如:当对象的特征部位包括人脸的右眼角、左眼角、鼻尖时,上述预先为各张热力图设置的顺序标识依次为:顺序标识为1的热力图为人脸的右眼角对应的热力图,顺序标识为2的热力图为人脸的左眼角对应的热力图,顺序标识为3的热力图为人脸的鼻尖对应的热力图。当显著程度检测模型输出不同顺序标识的热力图时,根据各个热力图的顺序标识可以确定热力图对应于对象的哪一特征部位。

这样,按照预设的顺序标识,可以较为准确得确定各个热力图所表示的含义。

与上述图像质量评价方法相对应,本发明实施例还提供了一种图像质量评价装置。

参见图4,图4为本发明实施例提供的一种图像质量评价装置的结构示意图,上述装置包括401-403。

热力图获得模块401,用于获取待评价图像对应的多个热力图,其中,每个所述热力图用于指示所述待评价图像中的对象的特征部位的显著程度,不同的热力图用于对象的不同的特征部位。

显著值获得模块402,用于根据每一特征部位对应的热力图,获得反映所述待评价图像包含各个特征部位的显著程度的显著值。

评价结果生成模块403,用于根据所获得的显著值,生成针对所述待评价图像的评价结果,其中,所述评价结果用于指示所述待评价图像中的对象的质量。

由以上可见,应用本发明实施例提供的方案进行图像质量评价时,获取待评价图像对应的多个热力图,其中,每个热力图用于指示待评价图像中的对象的特征部位的显著程度,不同的热力图用于对象的不同的特征部位,根据每一特征部位对应的热力图,获得反映待评价图像包含各个特征部位的显著程度的显著值,根据各个热力图对应的显著值,生成针对待评价图像的评价结果,上述评价结果用于指示待评价图像中的对象的质量。由于所获得的热力图用于反映待评价图像中各个像素点用于表示特征部位的显著程度,所以,当特征部位在图像中未完全显示或者完全未显示时,上述热力图所反映的特征部位的显著性会减弱,反之,当特征部位在图像中清晰显示时,上述热力图所反映的特征部位的显著性会增强。在此基础上,基于各个热力图对图像进行评价时,可以兼顾图像中的对象,从而能够提高对图像进行质量评价的准确性。

本发明的一个实施例中,上述热力图获得模块401,具体用于:

采用预先训练的显著程度检测模型,检测待评价图像中各个像素点用于表示对象的各个特征部位的显著程度,获得分别反映待评价图像中各个像素点用于表示每一特征部位的显著程度的热力图,其中,所述显著程度检测模型为:以样本图像为模型输入、且以所述样本图像中各个像素点属于各个特征部位的显著程度为训练监督信息,对预设的神经网络模型训练得到的、且用于获得各个特征部位对应的热力图的模型。

这样,采用预先训练的显著程度检测模型获得各个特征部位对应的热力图,可以较为准确得确定待评价图像中各个像素点用于表示对象的各个特征部位的显著程度。

本发明的一个实施例中,上述显著值获得模块402,具体用于:

针对每一特征部位对应的热力图,确定该热力图中所反映显著程度最高的像素点的像素值,并将所确定的像素值作为反映所述待评价图像包含该特征部位的显著程度的显著值。

这样,根据热力图中所反映显著程度最高的像素点的像素值作为反映待评价图像包含该特征部位的显著程度的显著值,能够获得较为准确的每一热力图对应的显著值。

本发明的一个实施例中,上述显著值获得模块402,具体用于:

针对每一特征部位对应的热力图,根据该热力图中反映显著程度的各个像素点的像素值,计算平均像素值,并将所计算的平均像素值作为反映所述待评价图像包含该特征部位的显著程度的显著值。

这样,根据热力图中反映显著程度的各个像素点的像素值,计算平均像素值,并将所计算的平均像素值作为反映待评价图像包含特征部位的显著程度的显著值,能够获得较为准确的每一热力图对应的显著值。

本发明的一个实施例中,上述评价结果获得模块403,具体用于:

根据所获得的显著值,计算平均显著值,将所计算的平均显著值确定为针对所述待评价图像的评价结果。

这样,根据所获得的显著值计算平均显著值,并将计算的平均显著值作为待评价图像的评价结果,能够获得较为准确待评价图像的评价结果。

本发明的一个实施例中,在对象为待评价图像中的目标人脸的情况下,热力图获得模块401具体用于:获取第一热力图至第五热力图,其中,第一热力图用于指示目标人脸的左眼在待评价图像中的显著程度,第二热力图用于指示目标人脸的右眼在待评价图像中的显著程度,第三热力图用于指示目标人脸的鼻尖在待评价图像中的显著程度,第四热力图用于指示目标人脸的左嘴角在待评价图像中的显著程度,第五热力图用于指示目标人脸的右嘴角在待评价图像中的显著程度。

与上述图像质量方法相对应,本发明实施例还提供了一种终端设备。

参见图5,图5为本发明实施例提供的一种终端设备的结构示意图,包括处理器501、通信接口502、存储器503和通信总线504,其中,处理器501,通信接口502,存储器503通过通信总线504完成相互间的通信,

存储器503,用于存放计算机程序;

处理器501,用于执行存储器503上所存放的程序时,实现本发明实施例提供的图像质量评价方法。

上述电子设备提到的通信总线可以是外设部件互连标准(peripheralcomponentinterconnect,pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture,eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。

通信接口用于上述电子设备与其他设备之间的通信。

存储器可以包括随机存取存储器(randomaccessmemory,ram),也可以包括非易失性存储器(non-volatilememory,nvm),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。

上述的处理器可以是通用处理器,包括中央处理器(centralprocessingunit,cpu)、网络处理器(networkprocessor,np)等;还可以是数字信号处理器(digitalsignalprocessing,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,该计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现本发明实施例提供的图像质量评价方法。

在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行时实现本发明实施例提供的图像质量评价方法。

由以上可见,应用本发明实施例提供的方案进行图像质量评价时,获取待评价图像对应的多个热力图,其中,每个热力图用于指示待评价图像中的对象的特征部位的显著程度,不同的热力图用于对象的不同的特征部位,根据每一特征部位对应的热力图,获得反映待评价图像包含各个特征部位的显著程度的显著值,根据各个热力图对应的显著值,生成针对待评价图像的评价结果,上述评价结果用于指示待评价图像中的对象的质量。由于所获得的热力图用于反映待评价图像中各个像素点用于表示特征部位的显著程度,所以,当特征部位在图像中未完全显示或者完全未显示时,上述热力图所反映的特征部位的显著性会减弱,反之,当特征部位在图像中清晰显示时,上述热力图所反映的特征部位的显著性会增强。在此基础上,基于各个热力图对图像进行评价时,可以兼顾图像中的对象,从而能够提高对图像进行质量评价的准确性。

在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘solidstatedisk(ssd))等。

需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置、终端设备、计算机可读存储介质实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1