本发明涉及计算机视觉和图像处理领域，尤其涉及一种图像显著性预测结果的评价方法、装置。
背景技术：
图像显著区域预测是计算机视觉的重要基础问题，图像显著区域预测的评估是计算机视觉的重要问题，在已有的文献中，研究人员已经提出了许多的显著性预测方法和评估方法。
目前已有的图像显著区域预测方法包括：it方法、gb方法、ca方法等方法，这些方法能获得不错的图像显著区域预测结果。图像显著区域预测方面，广泛使用auc、pre和nss等10个评价指标及建立各种模型来实现对图像显著性预测结果的评估。
然而，上述评价方法虽然实现了对图像显著区域预测结果的评价，但是都无法覆盖所有预测方法的属性，且易于受到人类视觉认知的影响，因此，无法实现和人类视觉认知保持一致地对图像显著性预测结果的评价。
技术实现要素：
本发明实施例提供一种图像显著性预测结果的评价方法和装置，用于解决上述方案中的评价方法无法覆盖所有预测方法属性，以及易于受到人类视觉认知影响的问题，从而实现和人类视觉认知一致地对图像显著性预测结果的评价。
本发明实施例第一方面提供一种图像显著性预测结果的评价方法，包括：
对图像进行图像显著区域预测，得到所述图像的显著区域预测结果；
采用根据预先训练获取的图像显著性预测结果评价模型，获取对所述图像的显著性预测结果的评价；
其中，所述图像显著性预测结果的评价模型为根据主观测试数据集，对基于相对显著关系的人类评价标准进行学习的卷积神经网络结构的数学模型进行训练得到的。
在一种具体实现方式中，
根据所述显著区域预测结果，采用根据预先训练获取的图像显著性预测结果评价模型获取所述图像显著性预测结果的评价结果之前，所述方法还包括：
根据多种显著区域预测方法在多个图像数据集上的显著区域预测结果获取主观测试数据集；
针对所述主观测试数据集，设计一种基于相对显著关系的对人类评价标准进行学习的卷积神经网络结构的数学模型，并对所述数学模型进行训练，得到所述图像显著性预测结果的评价模型。
在一种具体实现方式中，
所述根据多种显著区域预测方法在多个图像数据集上的显著区域预测结果获取主观测试数据集，包括：
获取已采集到的多种显著区域预测方法在多个图像数据集上的显著区域预测结果；
对所述预测结果进行预处理，并进行主观测试实验，构建主观测试数据结果对；
分析所述主观测试数据结果对，补充显著区域真值图和随机图数据对，构建所述主观测试数据集。
在一种具体实现方式中，所述对预测结果进行预处理，包括：
对所述预测结果进行直方图均衡化处理。
在一种具体实现方式中，
所述分析所述主观测试数据结果对，补充显著区域真值图和随机图，获取所述主观测试数据集，包括：
将图像显著区域的真值图和随机图数据对补充至所述主观测试数据结果对中，得到所述主观测试数据集；其中，真值图为每个显著区域预测方法对每个显著区域产生的最好结果，随机图为每个显著区域预测方法对每个显著区域产生的最坏结果。
本发明实施例第二方面提供一种图像显著性预测结果的评价装置，包括：
获取模块，用于对图像进行图像显著区域预测，得到所述图像的显著区域预测结果；
处理模块，根据所述显著区域预测结果，采用根据预先训练获取的图像显著性预测结果的评价模型获取所述图像显著性预测结果的评价结果；
其中，所述图像显著性预测结果的评价模型为根据主观测试数据集，对基于相对关系的人类评价标准进行学习的卷积神经网络结构的数学模型进行训练得到的。
可选的，所述获取模块具体用于：
根据多种显著区域预测方法在多个图像数据集上的显著区域预测结果获取主观测试数据集；
所述处理模块具体用于：针对所述主观测试数据集，设计一种基于相对显著关系的对人类评价标准进行学习的卷积神经网络结构的数学模型，并对所述数学模型进行训练，得到所述图像显著性预测结果的评价模型。
可选的，所述获取模块具体用于：
获取已采集到的多种显著区域预测方法在多个图像数据集上的显著区域；
对所述预测结果进行预处理，并进行主观测试实验，构建主观测试数据结果对；
分析所述主观测试数据结果对，补充显著区域真值图和随机图数据对，获取所述主观测试数据集。
可选的，所述获取模块具体用于：
对所述预测结果进行直方图均衡化处理的预处理。
可选的，所述获取模块具体用于：
将图像的真值图和随机图数据对补充至所述主观测试数据结果对中，得到所述主观测试数据集；其中，真值图为每个显著区域预测方法对每个显著区域产生的最好结果，随机图为每个显著区域预测方法对每个显著区域产生的最坏结果。
本发明实施例第三方面提供一种设备，包括：存储器和处理器；
所述存储器用于存储计算机指令；所述处理器用于运行所述存储器存储的所述计算机指令实现和人类视觉认知一致的图像的显著性评价。
本发明实施例第四方面提供一种存储介质，包括：可读存储介质和计算机指令，所述计算机指令存储在所述可读存储介质中，所述计算机指令用于实现和人类视觉认知一致地对图像显著性预测结果的评价。
本发明实施例提供的图像显著性能评价的方法和装置，通过对图像进行图像显著区域预测，得到图像的显著区域预测结果，再将该预测结果作为输入代入根据本发明预先训练获取的图像显著性预测结果的评价模型中，从而获取图像的显著性预测结果的评价结果，其中，该图像显著性评价模型为根据主观测试数据集，对基于相对显著关系的人类评价标准进行学习的卷积神经网络结构的数学模型进行训练得到的，实现了对和人类视觉认知一致地对图像显著性预测结果的评价。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。
图1为本发明图像显著性预测结果的评价方法实施例一的流程图；
图2为本发明图像显著性预测结果的评价方法实施例的预测结果预处理示意图；
图3为本发明图像显著性预测结果的评价方法实施例的主观测试数据集的示意图；
图4为本发明图像显著性预测结果的评价方法实施例的基于相对显著关系的卷积神经网络模型的示意图；
图5为本发明图像显著性预测结果的评价方法实施例的图像显著性预测结果评价模型的示意图；
图6为本发明图像显著性预测结果的评价装置实施例一的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明图像显著性预测结果的评价方法实施例一的流程图，如图1所示，该图像显著性预测结果的评价方法包括：
s101、根据多种显著区域预测方法在多个图像数据集上的显著区域预测结果获取主观测试结果数据集。
在一种具体实现方式中，获取现有的显著区域预测方法在多个图像数据集上产生的显著区域预测结果，对该预测结果进行预处理，由于人类视觉认知的特点，因此采用任意两种预测结果进行主观测试实验，获得任意两种预测产生的两张显著性预测结果图的主观相对显著关系，再构建主观测试数据结果对，其中，该主观测试数据结果对是一个四元组，该四元组包含显著区域真值图、两种方法分别产生的预测结果、以及这两种预测结果的相对关系；补充该显著区域的真值图和随机图数据对，该数据对也是一个四元组，包含该显著区域的真值图、随机图、真值图以及真值图和随机图的相对显著关系，该四元组包含的相对显著关系为1，构建主观测试结果数据集。
其中，显著区域预测方法可以是现有技术中的预测方法，如：it方法、均值图法等，其中上述数据集可以是包括toronto数据集在内的共三个数据集，这三个数据集从不同角度反映不同场景产生的显著区域预测结果，表示该待预测显著区域的原始图像包含各个角度各个场景，能够覆盖各种特点的图像。
在本步骤中，该图像显著区域可以是图像中最能引起用户兴趣，最能表现图像内容的区域。虽然用户的感兴趣区域是非常主观的，并且由于用户任务和知识背景的不同，对于同一幅图像，不同的用户可能会选择不同的区域作为感兴趣区域，但由于人类视觉系统和注意机制的共性，图像中有些区域总能显著地吸引人的注意，这些区域往往含有丰富的信息，因此可以根据人类视觉系统的特点，利用人类认知过程中的一般规律，通过图像的某些低层特征近似地判断图像中的显著区域，比如，人类会根据色彩、亮度等来决定图像的显著区域。
其中，图像显著区域预测图可以是利用现有的显著区域预测方法对图像产生的预测结果，可选的，该图像显著区域预测结果可以是在该显著区域的真值图和随机图之间的图像，其中，真值图为利用显著区域预测方法对图像显著区域预测产生的最好结果，随机图为利用显著区域预测方法对图像显著区域预测产生的最坏结果。
对该预测结果进行预处理可以是对该预测图进行直方图均衡化处理。本发明分析原始显著区域预测图发现，该原始显著区域预测图对于小的细节不能很好的感知出来，例如树的分支几乎肉眼不可见，这很难很好地进行后面人类主观测试实验。参照已有的做法，使用jetcolor对原始显著区域预测图进行处理是一种不错的方法，bruce等提出的直方图均衡化处理方法能够更好地接近人类视觉感知的状态。因此，本发明最终采用直方图均衡化的处理方法对该预测结果进行处理。
如图2所示，图2为本发明图像显著性预测结果的评价方法实施例的预测结果预处理示意图，假设对预测结果的预处理模块20，未经任何处理的单元21，使用jetcolor处理后的单元22，使用直方图均衡化处理后的单元23，各个单元分别包含原始图片、显著区域真值图及不同的预测结果，由于未经任何处理的预测结果在一定程度上不能很好地还原图像显著区域的细节，导致很难进行后面的人类主观测试，可选的，使用jetcolor对显著区域预测结果进行处理，优选的，采用直方图均衡化对显著区域预测结果进行处理。
进一步，对该预测结果进行主观测试实验，该主观测试实验可以是使用众包的形式，让受试者对同一张图采用两种不同显著区域预测方法生成的预测结果的相对好坏进行比较，从而针对不同受试者的判断结果，从而获得两种预测结果的相对显著关系。
构建主观测试数据结果对，其中，该主观测试数据结果对是一个四元组，该四元组包含：显著区域真值图、两种方法分别产生的预测结果、以及这两种预测结果的相对关系，再补充该显著区域的真值图和随机图数据对，该数据对也是一个四元组，包含该显著区域的真值图、随机图、真值图以及真值图和随机图的相对显著关系，该四元组包含相对显著关系为1，构建主观测试结果数据集，其中，该相对关系的数值是一个被规范化到[-1,1]之间的实数。
参照图3，图3为本发明显著区域预测结果的评价方法实施例的主观测试数据集的示意图。
在一种具体的实现方式中，此处以对一张图像的预测结果为例，组织20个受试者对该预测结果进行人类主观测试实验，主观测试结果数据集模块为30，a预测方法产生的预测结果为30a，b预测方法产生的预测结果为30b，测试结果是6/20受试者认为30a结果好于30b，14/20受试者认为30b好于30a，则该两种预测方法的关系可以是6:14，结果归一化后为0.43:1，经过差值运算后，相对显著关系是0.53。
构建主观测试数据结果对四元组，该四元组包含：该显著区域真值图、两种方法分别产生的预测结果、以及这两种预测结果的相对显著关系，如图3所示，该四元组包含显著区域真值图30c、a预测方法产生的预测结果30a、b预测方法产生的预测结果30b、以及30a、30b之间的相对显著关系30d。
再将该显著区域的真值图和随机图数据对，补充到主观测试数据结果对中，该数据对包含真值图30c、随机图30e以及真值图和随机图的相对显著关系30f，其中相对显著关系30f为1，从而获取了主观测试结果数据集。
s202、针对主观测试结果数据集，设计一种基于相对显著关系的对人类评价标准进行学习的卷积神经网络结构的数学模型。
在一种具体的实现方式中，经过人类认知学分析发现，人类在对图像的显著性评价的过程是一个相对的过程，获取的应当是两张图像的相对关系，学习这种相对关系可以更好地模拟人类的认知，因此构建一种基于相对显著关系的卷积神经网络模型也就是主网络，该模型是一个双路并行参数共享的模型，该模型的两个分支的输入分别是，a预测方法产生的预测结果和真值图、b预测方法产生的预测结果和真值图，模型的参数共享模块使用现有技术提出的网络架构，然后在每个分支汇合之前使用评分函数进行评分，该评分为[0,1]中的一个数值，该数值是在上述主观测试结果数据集的基础上，基于相对关系的卷积神经网络自主学习获得的。
在两分支的汇合处对评分进行差值运算以获得相对显著关系，该差值为[1,1]中的一个数值。
其中，在该基于相对显著关系的卷积神经网络模型中，设置了用于辅助训练的损失函数，即将该显著区域真值图和随机图分别作为预测方法a产生的预测结果和预测方法b产生的预测结果，也就是两个分支的输入分别为：显著区域真值图和显著区域真值图、显著区域随机图和显著区域真值图，通过训练该卷积神经网络模型，使每一个分支的输出结果和差值结果更好地逼近主观测试结果。
参照图4，图4为本发明显著性预测结果的评价方法实施例的基于相对关系的卷积神经网络模型示意图。该模型可以是一个双路并行参数共享的卷积神经网络模型参考模型40，该模型的两个分支单元也就是子网络分别为401、402，每个分支的输入分别为预测方法a产生的预测结果和真值图、预测方法b产生的预测结果和真值图，经过卷积神经网络单元403的计算后，在每个分支的末端将输出一个[0,1]区间中的数值，即φcpj(a,g)、φcpj(b,g)，该数值是在上述主观测试结果数据集的基础上，基于相对关系的卷积神经网络自主学习获得的。
再经过差值运算，得到该模型的输出也就是对图像显著性预测结果的评价，该输出为[-1,1]区间中的数值，具体地，卷积神经网络中的b1-b5为卷积模块，f6-f8为卷积神经网络的连接权模块，其在网络训练过程中起到记忆信息的作用，是一系列的数值，在训练的过程中不断调整各个数值，直到经过该模型的输出差值和人类视觉认知一致，结合图3，在实施例3中的差值运算后的结果就是0.57，那么就要给卷积神经网络里的参数进行赋值，对基于相对关系的卷积神经网络模型进行训练，以使输出结果为0.57。
在该模型参数确定之后，将显著区域真值图和随机图作为输入代入该模型中，其中，这部分设置了损失函数，理论上讲，每个分支的输出结果应该为1和0，且真值图和随机图的差值结果应该为1，实际上，经过卷积神经网络的计算后，每个分支的输出应该逼近1和0，同样差值的结果可能逼近1，因此将这三个辅助训练的结果结合起来，将存在的损失函数补充到卷积神经网络中，会得到和人类视觉认知一致的结果。
s203、从基于相对关系的卷积神经网络模型中提取子网络，获取图像显著性预测结果的评价模型。
对上述基于相对关系的卷积神经网络模型训练之后，从该模型中提取出图像显著性预测结果的评价子网络，从而获得了图像显著性预测结果的评价方法，该显著性预测结果的评价方法的输入为任意预测方法产生的预测结果和该显著区域的真值图，经过卷积神经网络的计算，输出[0,1]中的一个数值，该数值即表示该模型对于该预测结果的评价结果。
参照图5，图5为本发明图像显著性预测结果的评价方法实施例的显著性预测结果评价模型50，该模型为从基于相对关系的卷积神经网路模型中提取出显著性预测结果的评价子网络，即上述实施例4中的401或402，该模型的输,为预测方法产生的预测结果和该显著区域的真值图，经过卷积神经网络的计算，输出为[0,1]中的一个数值，该数值便是对于图像显著性预测结果的评价。
本实施例提供的图像显著性预测结果的评价方法，通过获取现有的显著区域预测方法在多个图像数据集上产生的显著区域预测结果，对该预测结果进行预处理，对该预测结果进行主观测试实验，从而获得两种预测结果的相对关系，再构建主观测试结果数据对四元组，补充该显著区域的真值图和随机图数据对，构建主观测试结果数据集，针对主观测试结果数据集，设计一种基于相对显著关系的对人类评价标准进行学习的卷积神经网络结构的数学模型，并对该模型进行训练，基于相对显著关系的卷积神经网络模型训练之后，从该模型中提取出显著性预测结果评价子网络，从而获得了图像显著性预测结果的评价方法，本申请的技术方案构建了一种图像显著性预测结果的评价方法，实现了对图像显著性预测结果的评价。
图6为本发明图像显著性预测结果的评价装置实施例的结构示意图，如图6所示，该图像显著性评价装置60包括：
获取模块601，用于对图像进行图像显著区域预测，得到该图像的显著区域预测图；
处理模块602，根据显著区域预测结果，采用根据本发明预先训练获取的图像显著性预测结果的评价模型获取该图像的显著性预测结果的评价结果；
其中，图像显著性预测结果的评价模型为根据主观测试数据集，对基于相对显著关系的人类评价标准进行学习的卷积神经网络结构的数学模型进行训练得到的。
本实施例的图像显著性评价装置，用来执行前述方法实施例提供的技术方案，其实现原理和技术效果类似，在此不再赘述。
在上述实施例的基础上，所述获取模块601具体用于：
根据多种显著区域预测方法在多个图像数据集上的显著区域预测结果获取主观测试数据集；
所述处理模块602具体用于：针对所述主观测试数据集，设计一种基于相对显著关系的对人类评价标准进行学习的卷积神经网络结构的数学模型，并对所述数学模型进行训练，得到所述图像显著性预测结果的评价模型。
可选的，所述获取模块601具体用于：
获取已采集到的多种显著区域预测方法在多个图像数据集上的显著区域预测结果；
对该预测结果进行预处理，并进行主观测试实验，构建主观测试数据结果对；
分析主观测试数据结果对，补充显著区域真值图和随机图，获取所述主观测试数据集。
可选的，所述获取模块601具体用于：对该预测结果进行直方图均衡化处理的预处理。
可选的，所述获取模块601具体用于：
将每个图像显著区域预测方法进行预测时的真值图和随机图数据对补充至主观测试数据结果对中，构建主观测试数据集；其中，真值图为每个显著区域预测方法对每个显著区域产生的最好结果，随机图为每个显著区域预测方法对每个显著区域产生的最坏结果。
本发明还提供一种终端，包括：存储器、处理器。所述存储器用于存储计算机指令；所述处理器用于运行所述存储器存储的所述计算机指令实现和人类视觉认知一致地对图像显著性预测结果的评价。
本发明实施例还提供一种存储介质，包括：可读存储介质和计算机指令，所述计算机指令存储在所述可读存储介质中；所述计算机指令用于实现和人类视觉认知一致地对图像显著性预测结果的评价。
在上述任一设备的实施例中，应理解，处理器可以是中央处理单元(英文：centralprocessingunit，简称：cpu)，还可以是其他通用处理器、数字信号处理器(英文：digitalsignalprocessor，简称：dsp)、专用集成电路(英文：applicationspecificintegratedcircuit，简称：asic)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：只读存储器(英文：read-onlymemory，缩写：rom)、ram、快闪存储器、硬盘、固态硬盘、磁带(英文：magnetictape)、软盘(英文：floppydisk)、光盘(英文：opticaldisc)及其任意组合。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。