一种图像协同显著性检测方法及装置与流程

本发明实施例涉及图像处理技术领域，尤其涉及一种图像协同显著性检测方法及装置。

背景技术：

协同显著性检测是近年来计算机视觉领域新兴并快速发展的研究领域，其目的从多张具有相关性(协同性)的图片中检测出在多张图片中同时出现且在单图中分别显著的区域。协同显著性检测技术对计算机视觉领域的多项任务如协同分割、协同识别及协同定位等工作都具有十分重要意义。协同显著性检测的过程为首先进行图像特征提取，然后使用聚类方法或者固定公式确定图像之间的协同关系，进而根据图像之间的协同关系生成协同显著性检测结果。

图像特征提取过程用于提取图像中具有代表性的特征来描述图像中的显著区域。目前大量的协同显著性检测方法使用底层特征(颜色、形状、纹理)描述图像的显著区域信息，如使用颜色直方图、gabor滤波器或sift(scale-invariantfeaturetransform，尺度不变特征变换)特征描述子等进行描述。但是使用底层特征描述图像的特征信息准确性较差，从而导致协同显著性检测的准确性较差。

而且确定图像之间的协同关系使用的聚类方法或者固定公式无法进行训练或优化，从而导致得到的协同关系准确性差，错误的协同关系会导致检测出的显著区域不具有协同性，进而导致协同显著性检测的准确性较差。

技术实现要素：

本发明实施例提供了一种图像协同显著性检测方法，以解决现有协同显著性检测方法准确性较差的问题。

第一方面，本发明实施例提供了一种图像协同显著性检测方法，该方法包括：

利用第一网络层组对两张图像进行特征提取，分别得到第一特征图集以及第二特征图集；

利用第二网络层组学习所述第一特征图集与所述第二特征图集之间的协同性，得到协同特征图集；

将所述第一特征图集以及所述第二特征图集分别与所述协同特征图集进行叠加，并将叠加后得到的两个特征图集分别进行反卷积，得到所述两张图像分别对应的协同显著图。

进一步地，利用第一网络层组对两张图像进行特征提取，分别得到第一特征图集以及第二特征图集的步骤，包括：

将两张图像分别通过vgg16网络所包含的卷积层进行卷积处理，得到第三特征图集以及第四特征图集；

将所述第三特征图集以及第四特征图集再分别进行卷积处理，得到第一特征图集以及第二特征图集。

进一步地，利用第二网络层组学习所述第一特征图集与所述第二特征图集之间的协同性，得到协同特征图集的步骤，包括：

将第一特征图集与所述第二特征图集进行叠加得到第五特征图集；

将所述第五特征图集进行卷积处理，得到协同特征图集。

进一步地，得到所述两张图像分别对应的协同显著图的步骤之后，还包括：

将所述两张协同显著图分别与相应的真实协同显著图进行对比，得到第一误差以及第二误差；

利用所述第一误差以及所述第二误差优化所述第一网络层组、所述第二网络层组以及进行所述反卷积处理利用的网络层的参数。

进一步地，该方法还包括：

将所述协同特征图集进行降维，得到1×2维的特征向量；

对所述特征向量进行二分类处理，得到表示所述两张图像是否具有协同性的分类结果。

进一步地，对所述特征向量进行二分类处理，得到表示所述两张图像是否具有协同性的分类结果的步骤之后，还包括：

将所述分类结果与真实分类结果进行对比，得到第三误差，；

利用所述第三误差优化所述第一网络层组、所述第二网络层组以及进行所述降维利用的网络层的参数。

第二方面，本发明实施例还提供了一种图像协同显著性检测装置，包括：

特征提取单元，用于利用第一网络层组对两张图像进行特征提取，分别得到第一特征图集以及第二特征图集；

协同学习单元，用于利用第二网络层组学习所述第一特征图集与所述第二特征图集之间的协同性，得到协同特征图集；

叠加单元，用于将所述第一特征图集以及所述第二特征图集分别与所述协同特征图集进行叠加；

方法单元，用于将叠加后得到的两个特征图集分别进行反卷积，得到所述两张图像分别对应的协同显著图。

进一步地，所述特征提取单元具体用于：

将两张图像分别通过vgg16网络所包含的卷积层进行卷积处理，得到第三特征图集以及第四特征图集；

将所述第三特征图集以及第四特征图集再分别进行卷积处理，得到第一特征图集以及第二特征图集。

进一步地，所述协同学习单元具体用于：

将第一特征图集与所述第二特征图集进行叠加得到第五特征图集；

将所述第五特征图集进行卷积处理，得到协同特征图集。

进一步地，该装置还包括优化单元，用于：

将所述两张协同显著图分别与相应的真实协同显著图进行对比，得到第一误差以及第二误差；

利用所述第一误差以及所述第二误差优化所述第一网络层组、所述第二网络层组以及进行所述反卷积处理利用的网络层的参数。

本发明实施例提取的特征为深层特征，能够较准确地描述图像中的各个显著特征信息，进而保证能够准确地检测出图像之间的协同显著性区域；由于整个检测过程在网络模型中完成，所以无论是提取图像特征还是确定图像之间的协同关系，整个检测过程中各个步骤使用到的网络参数都可以进行不断优化，使用经过不断优化后的网络模型检测图像之间协同显著性，能够保证检测结果的准确性。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种用于检测图像之间协同显著性的网络模型的结构示意图；

图2为本发明实施例提供的一种图像协同显著性检测方法的流程图；

图3为本发明实施例提供的一种图像协同显著性检测装置的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参见图1，为本发明实施例提供的一种用于检测图像之间协同显著性的网络模型的结构示意图。发明实施例可以将待检测的图像输入如图1所示的网络模型中进行协同显著性检测。该网络模型分为3个分支，其中两个分支(图1中的上下两个分支)为协同显著性检测分支11，另一个分支(图1中的中间分支)为协同性检测分支12。协同显著性检测分支11可以基于全卷积网络(fullyconvolutionalnetworks，fcn)进行设计，协同性检测分支12可以基于卷积神经网络(convolutionalneuralnetwork，cnn)进行设计。该网络模型中各个分支的应用将结合下述各个步骤进行具体说明。

需要说明的是图1所示的网络模型中的各个网络层，例如卷积层、池化层、全连接层等的参数可以根据本发明实施例的具体说明，在不需要付出任何创造性劳动的前提下均可进行确定，并且各个参数的值可以根据需要进行相应的调整，所以本发明实施例不对各个网络层的参数进行具体限制。

参见图2，为本发明实施例提供的一种图像协同显著性检测方法的流程图，该方法具体可以包括以下步骤。

步骤201，利用第一网络层组对两张图像进行特征提取，分别得到第一特征图集以及第二特征图集。

本实施例提供的网络模型可以同时输入多张图像，以检测多张图像之间是否具有协同显著性。当输入多张图像时，本实施例可以将多张图像中任两张图像归为一组，并以组为单位分别进行检测。当每一组图像均具有协同显著性，则说明多张图像之间具有协同显著性。例如同时输入4张图，分别为图a、图b、图c以及图d，那么可以分为6组，分别为图a与图b的组合、图a与图c的组合、图a与图d的组合、图b与图c的组合、图b与图d的组合、图c与图b的组合，6组图分别进行检测，从而检测出该4张图之间是否具有协同相关性。由于对多组图像中各组图像的处理过程基本相似，所以为清楚地说明本发明实施例，以对一组图像进行检测的过程进行说明。

在对图像进行特征提取之前，可以将输入的图像大小调整为预设大小，图像的大小可以表示为m×n，其中m表示图像像素的行数，n表示图像像素的列数，例如可以将图像的大小调整为224×224。

图1所述的协同显著性检测分支11可以包括第一网络层组，该第一网络层组包括至少一层卷积层，用于提取图像的显著特征。具体地，该第一网络层组可以包括vgg16网络中的全部卷积层(13层卷积层)以及自定义的三层卷积层。对图像进行特征提取的过程可以为：首先将两张图像分别通过vgg16网络所包含的卷积层进行卷积处理，得到第三特征图集以及第四特征图集，再将所述第三特征图集以及第四特征图集再分别进行卷积处理，得到第一特征图集以及第二特征图集。第一特征图集以及第二特征图集中的特征图为用于描述显著特征的特征图。

在将图像通过vgg16网络的前13层卷积层进行卷积处理的过程中，也可以利用vgg16网络中的4层池化层对特征图进行池化操作，本发明实施例在此不做具体限定。本发明实施例利用深度网络学习提取图像特征，提取到的特征为具有语义性的深层特征，能够更加准确地描述图像的各个显著特征信息。

进行特征提取的两张图像可以分别称为第一图像和第二图像。第一图像经过vgg16网络的13层卷积层后可以得到多个分辨率较低的特征图，例如7×7的特征图，这些特征图组合为第三特征图集。由于vgg16网络具有普遍性，而在具体应用中需要进行特征提取的图像又具有特殊性，所以利用vgg16网络提取的特征可能无法准确地描述特定图像显著区域的特征信息，所以还需要对利用vgg16网络提取的特征进行进一步地学习，也就是利用适用于具体应用的卷积层对第三特征图集再一次进行卷积处理。再一次进行卷积处理时，可以利用三层自定义的卷积层对第三特征图集进行卷积处理得到多个特征图，这些特征图组合为第一特征图集。对第三特征图集利用自定义的卷积层再次进行卷积处理后，能够得到的特征图能够更加准确地描述图像显著区域的特征信息。得到第二特征图集的步骤与得到第一特征图集的步骤类似，在此不对得到第二特征图集的步骤进行赘述。需要说明的是各个特征图集中特征图的数量以及大小可以根据需要进行不同设置，在此不做具体限定。

第一网络层组包括vgg16网络的前13层卷积层以及自定义的三层卷积层，为区分该自定义的三层卷积层可以将这三层卷积层分别命名为卷积层1、卷积层2以及卷积层3：

卷积层1的卷积核大小可以为7×7，跨度为1，卷积层2的卷积核大小可以为1×1，跨度为1；卷积层3的卷积核大小可以为1×1，跨度为1；当输入卷积层1的特征图的大小为7×7时，卷积层1、卷积层2以及卷积层3输出的特征图的大小可以均为7×7，也就是说第一特征图集以及第二特征图集中的各个特征图的大小可以为7×7。本发明实施例不对各网络层输出的特征图的数量进行具体限定。

步骤202，利用第二网络层组学习所述第一特征图集与所述第二特征图集之间的协同性，得到协同特征图集。

第一特征图集与第二特征图集中的特征图分别表征的是两张图像各自独立的显著特征，所以需要学习第一特征图集与第二特征图集之间的协同性，确定两张图像包含的具有协同性的显著特征。

如图1所示，第二网络层组位于协同性检测分支12中，经过第一网络层组得到的第一特征图集与所述第二特征图集分别输入第二网络层组中。在第二网络层组中可以将第一特征图集与所述第二特征图集进行叠加得到第五特征图集，再将所述第五特征图集进行卷积处理，得到协同特征图集。如果第一特征图集与第二特征图集中分别包括256张大小为7×7的特征图，那么经过叠加后，可以得到包括512张大小为7×7特征图的第五特征图集。在对第五特征图集进行卷积处理时，可以将第五特征图集经过两层卷积层，以得到协同特征图集。

特征图集之间进行叠加，是将一个特征图集中的每个特征图与另一个特征图集中相应的特征图进行叠加，特征图之间的叠加是将一个特征图矩阵中的元素与另一个特征图矩阵中的相应元素相加。例如特征图a的矩阵为[a,b]，特征图b的矩阵为[c,d]，那么特征图a与特征图b叠加后得到的特征图为[a+c,b+d]。将两张图像的特征图进行叠加，那么具有协同显著性的特征就会被放大，再经过卷积后，能够使具有协同显著性的特征更加清晰准确地展现出来，并且不具备协同显著性的特征会被抑制。

第二网络层组可以包括叠加层以及两层卷积层，为区分该两层卷积层，将该两层卷积层分别命名为卷积层4和卷积层5。叠加层用于将第一特征图集以及第二特征图集进行叠加，得到第五特征图集。卷积层4的卷积核大小为7×7，跨度为1。卷积层5的卷积核大小为1×1，跨度为1。当第五特征图集中的特征图的大小为7×7时，卷积层4和卷积层5输出的特征图的大小也可以为7×7。

步骤203，将所述第一特征图集以及所述第二特征图集分别与所述协同特征图集进行叠加，并将叠加后得到的两个特征图集分别进行反卷积，得到所述两张图像分别对应的协同显著图。

将第一特征图集以及第二特征图集分别与协同特征图集进行叠加的过程与步骤202中将第一特征图集以及第二特征图集进行叠加的步骤类似，在此不做赘述。在具体实现中，可以通过反卷积操作将特征图进行放大，得到能够表征协同显著区域的灰度图。

当第一特征图集以及第二特征图集分别与协同特征图集进行叠加，可以通过协同特征图集进行修正，从而确定第一特征图集以及第二特征图集中具有协同显著性特征的特征图，叠加后得到的每个特征图集再经过反卷积放大后，得到协同显著图。该协同显著图可以为与原图像大小相同的灰度图，灰度图中协同显著区域的颜色较浅，接近白色，而协同显著区域外的区域的颜色较深，接近黑色，从而通过灰度图中像素的颜色深浅，可以确定两个图像的协同显著区域。

如图1所示，每个协同显著性检测分支11还包括步骤203使用的第三网络层组，该第三网络层组可以包括叠加层，卷积层，以及三层反卷积层，为区分该三层反卷积层，该三层反卷积层分别可以命名为反卷积层1、反卷积层2、反卷积层3。

该叠加层用于将第一网络层组输出的第一特征图集以及第二特征图集分别与第二网络层组输出的协同特征图进行叠加。在将叠加后的特征图进行放大之前可以先输入一层卷积层进行过渡，再将卷积处理后的特征图输入三层反卷积层进行放大。该卷积层的卷积核大小为1×1，跨度为1，输出的特征图的大小可以为7×7。反卷积层1的卷积核大小为4×4，跨度为2，输出的特征图的大小可以为14×14。反卷积层2的卷积核大小为4×4，跨度为2，输出的特征图的大小可以为28×28。反卷积层3的卷积核大小为16×16，跨度为8，输出的协同显著图的大小可以为224×224。

本发明实施例提取的特征为深层特征，能够较准确地描述图像中的各个显著特征信息，进而保证能够准确地检测出图像之间的协同显著性区域；由于整个检测过程在网络模型中完成，所以无论是提取图像特征还是确定图像之间的协同关系，整个检测过程中各个步骤使用到的网络参数都可以进行不断优化，使用经过不断优化后的网络模型检测图像之间协同显著性，能够保证检测结果的准确性。

由于本发明实施例使用网络模型检测图像之间的协同显著性，所以也可以利用检测结果优化网络模型中的相关参数。为利用检测得到的协同显著图优化该网络模型，在得到所述两张图像分别对应的协同显著图的步骤之后，还包括：将所述两张协同显著图分别与相应的真实协同显著图进行对比，得到第一误差以及第二误差；利用所述第一误差以及所述第二误差优化所述第一网络层组、所述第二网络层组以及进行所述反卷积处理利用的网络层的参数。真实协同显著图为能够准确表征图像之间具有协同显著性的区域的灰度图。

预测得到的协同显著图与真实协同显著图之间的误差l的表达式可以表示为：

其中，n表示协同显著图或真实协同显著图所包含的像素点的数量，yi表示真实协同显著图中第i个像素点的真实标注值，pi表示协同显著图中第i个像素点的预测值。

为进一步保证协同显著性检测的准确性，本发明实施例还可以利用协同性的检测结果误差优化网络模型中的相关参数。协同性的检测过程可以包括：将所述协同特征图集进行降维，得到1×2维的特征向量，再对所述特征向量进行二分类处理，得到表示所述两张图像是否具有协同性的分类结果。

如图1所示，协同性检测分支12中，在第二网络层组之后还包括三层全连接层，可以通过该三层全连接层对该协同特征图集进行降维。降维后的特征向量可以利用softmax分类器进行二分类，从而得到是否具有协同性的分类结果。该分类结果可以使用0或1进行表示，例如当输出为0，表示不具有协同性，当输出1时表示具有协同性。

利用该分类结果误差进行网络参数优化的过程可以包括：将所述分类结果与真实分类结果进行对比，得到第三误差，再利用所述第三误差优化所述第一网络层组、所述第二网络层组以及进行所述降维利用的网络层的参数。该第三误差的计算公式与上述第一误差的计算公式类似，在此不再赘述。

本发明实施例利用协同性检测结果可以进一步地优化用于协同显著性检测的网络模型，能够提高协同显著性检测的准确性，避免检测出的显著区域不具有协同性。

在利用图像样本训练本发明实施例中的网络模型时，可以将标记有是否具有协同性的标签的两张图像以及两张图像分别对应的真实协同显著图输入网络模型中，进行网络训练。该标签表示的内容即为真实分类结果。对网络模型进行训练的过程与上述对图像进行协同显著性检测的过程类似，在此不再赘述。

参见图3，为本发明实施例提供的一种图像协同显著性检测装置的结构框图，该装置具体可以包括特征提取单元301，协同学习单元302，叠加单元303，反卷积单元304。

其中，特征提取单元301，用于利用第一网络层组对两张图像进行特征提取，分别得到第一特征图集以及第二特征图集。

协同学习单元302，用于利用第二网络层组学习所述第一特征图集与所述第二特征图集之间的协同性，得到协同特征图集。

叠加单元303，用于将所述第一特征图集以及所述第二特征图集分别与所述协同特征图集进行叠加。

反卷积单元304，用于将叠加后得到的两个特征图集分别进行反卷积，得到所述两张图像分别对应的协同显著图。

优选地，所述特征提取单元具体用于：将两张图像分别通过vgg16网络所包含的卷积层进行卷积处理，得到第三特征图集以及第四特征图集；将所述第三特征图集以及第四特征图集再分别进行卷积处理，得到第一特征图集以及第二特征图集。

优选地，所述协同学习单元具体用于：将第一特征图集与所述第二特征图集进行叠加得到第五特征图集；将所述第五特征图集进行卷积处理，得到协同特征图集。

优选地，该装置还包括协同性检测单元305，用于：将所述协同特征图集进行降维，得到1×2维的特征向量；对所述特征向量进行二分类处理，得到表示所述两张图像是否具有协同性的分类结果。

优选地，该装置还包括优化单元306，用于：将所述两张协同显著图分别与相应的真实协同显著图进行对比，得到第一误差以及第二误差；利用所述第一误差以及所述第二误差优化所述第一网络层组、所述第二网络层组以及进行所述反卷积处理利用的网络层的参数。

优选地，优化单元306还用于：将所述分类结果与真实分类结果进行对比，得到第三误差；利用所述第三误差优化所述第一网络层组、所述第二网络层组以及进行所述降维利用的网络层的参数。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。