图像显著性检测方法和装置与流程

本发明涉及图像处理领域，具体而言，涉及一种图像显著性检测方法和装置。

背景技术：

在面对一个复杂场景时，人眼的注意力会迅速集中在少数几个显著的视觉对象上，并对这些对象进行优先处理，该过程被称为视觉显著性。显著性检测正是利用人眼的这种视觉生物学机制，用数学的计算方法模拟人眼对图像进行适当的处理，从而获得一张图片的显著性物体。由于我们可以通过显著性区域来优先分配图像分析与合成所需要的计算资源，所以，通过计算来检测图像的显著性区域意义重大。

显著性检测的任务是确定一个场景中最重要和最有信息的部分。它可以应用于众多的计算机视觉应用，包括图像检索、图像压缩、内容感知图像编辑和物体识别等方面。显著性检测方法通常可以分为自下而上模型和自上而下模型，自下而上的方法是数据驱动的，没有预先训练，而自上向下的方法是任务驱动的，通常使用带注释的数据进行预先训练。

与自然图像识别的眼动预测模型不同，显著物体检测模型的目的是突出显示边界清晰的显著物体，这对于许多高层次的视觉任务是有用的。应用前景先验可以明确提取图像中的显著性物体，这一先验已经被广泛应用于过去几年的研究成果中，但单纯依靠它却无法突出整个显著的物体。另一种有效的显著性物体检测模型是利用图像中的背景先验，隐式地从中检测显著性物体。通过假设大部分图像的窄边界为背景区域，可以利用背景先验信息来计算显著性图。但也会产生问题，因为与边界区域不同的图像元素并不总是属于显著性的物体。

综合来看，现有的图像显著性物体检测方法在检测显著性物体时精准度不高，方法健壮性不够强，容易造成误检、漏检等情况，很难得到一个精确的图像显著性检测结果，不仅造成显著性物体本身的错检，同时也会对利用显著性检测结果的应用造成一定的误差。

针对上述现有技术中对图像的显著性检测结果不够精确的问题，目前尚未提出有效的解决方案。

技术实现要素：

本发明实施例提供了一种图像显著性检测方法和装置，以至少解决现有技术中对图像的显著性检测结果不够精确的技术问题。

根据本发明实施例的一个方面，提供了一种图像显著性检测方法，包括：对初始图像进行前景先验的显著性计算，得到前景显著性图像；对初始图像进行背景先验的显著性计算，得到背景显著性图像；融合前景显著性图像和背景显著性图像，得到初始显著性图像。

根据本发明实施例的另一方面，还提供了一种图像显著性检测装置，包括：第一计算模块，用于对初始图像进行前景先验的显著性计算，得到前景显著性图像；对初始图像进行背景先验的显著性计算，得到背景显著性图像；融合模块，用于融合前景显著性图像和背景显著性图像，得到初始显著性图像。

根据本发明实施例的另一方面，还提供了一种存储介质，存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述图像显著性检测方法。

根据本发明实施例的另一方面，还提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时实现上述图像显著性检测方法。

在本发明实施例中，通过对初始图像进行前景先验的显著性计算，得到前景显著性图像；对初始图像进行背景先验的显著性计算，得到背景显著性图像；融合前景显著性图像和背景显著性图像，得到初始显著性图像，本发明同时利用了前景和背景先验进行显著性物体检测，从而实现了增加显著性物体检测的精准性，增强显著性检测的鲁棒性，使图像中的显著性区域更精准地显现出来，为后期的目标识别和分类等应用提供精准且有用的信息，并适用于更多复杂的场景，使用范围更广的技术效果，进而解决了现有技术中对图像的显著性检测结果不够精确的技术问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的一种图像显著性检测方法的示意图；以及

图2是根据本发明实施例的一种图像显著性检测装置的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

实施例1

根据本发明实施例，提供了一种图像显著性检测方法的方法实施例，需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

图1是根据本发明实施例的图像显著性检测方法，如图1所示，该方法包括如下步骤：

步骤S102，对初始图像进行前景先验的显著性计算，得到前景显著性图像；对初始图像进行背景先验的显著性计算，得到背景显著性图像；

步骤S104，融合前景显著性图像和背景显著性图像，得到初始显著性图像。

具体的，通过计算显著性值分别得到基于背景和前景先验的两个显著性图像，然后进行融合，本实施例采用的基于前景先验和背景先验融合的图像显著性物体检测算法，能够更加精准，更加鲁棒地检测出显著性物体。此处需要说明的是，步骤S102中对初始图像进行前景先验的显著性计算以及对初始图像进行背景先验的显著性计算可以同步进行，也可以异步进行，异步进行时，不限定先后顺序。

在本发明实施例中，通过对初始图像进行前景先验的显著性计算，得到前景显著性图像；对初始图像进行背景先验的显著性计算，得到背景显著性图像；融合前景显著性图像和背景显著性图像，得到初始显著性图像，本发明同时利用了前景和背景先验进行显著性物体检测，从而实现了增加显著性物体检测的精准性，增强显著性检测的鲁棒性，使图像中的显著性区域更精准地显现出来，为后期的目标识别和分类等应用提供精准且有用的信息，并适用于更多复杂的场景，使用范围更广的技术效果，进而解决了现有技术中对图像的显著性检测结果不够精确的技术问题。

在一种可选的实施例中，步骤S102中对初始图像进行前景先验的显著性计算之前，方法还包括：步骤S202，将初始图像进行超像素分解，得到分解图像；步骤S102中对初始图像进行前景先验的显著性计算，得到前景显著性图像，包括：步骤S302，对分解图像进行前景先验的显著性计算，得到前景显著性图像；步骤S102中对初始图像进行背景先验的显著性计算，得到背景显著性图像，包括：步骤S402，对分解图像进行背景先验的显著性计算，得到背景显著性图像。

具体的，为了更好的利用结构信息和抽象小噪音，在对初始图像进行前景先验的显著性计算和背景先验的显著性计算之前，可以将初始图像进行超像素分解，分解成一组超像素，之后的前景先验的显著性计算和背景先验的显著性计算都是在超像素级进行的。

在一种可选的实施例中，步骤S202中将初始图像进行超像素分解，包括：步骤S502，使用简单线性迭代聚类的方法将初始图像进行超像素分解。

具体的，在对初始图像进行超像素分解时，可以采用SLIC(简单线性迭代聚类，simple linear iterative cluster的简写)算法对初始图像进行超像素分解。

在一种可选的实施例中，步骤S302中对分解图像进行前景先验的显著性计算，得到前景显著性图像，包括：

步骤S602，计算分解图像中每个超像素的包围值；

步骤S604，根据每个超像素的包围值定义前景种子集合，其中，前景种子集合包括强前景种子集合和弱前景种子集合；

步骤S606，根据初始图像中每个图像元素与前景种子集合的相关性对每个图像元素进行排序，得到第一排序结果，其中，初始图像使用图像矩阵表示，图像矩阵由图像元素构成；

步骤S608，根据第一排序结果得到前景显著性图像。

具体的，步骤S302中对分解图像进行前景先验的显著性计算时，可以根据前景种子进行计算，具体可以利用包围性线索来挖掘前景信息，具体可以采用二值分割技术，在分解图像中充分利用包围线索，并使用该线索作为前景种子的初始定位和随后的图像显著性值的计算，在使用包围性线索时，可以使用BMS(基于布尔图的显著性检测模型，Boolean Map based Saliency model的简写)算法生成包围图，包围图中的像素值表示包围度，每个超像素的包围值是通过对其内部的所有像素的值进行平均来定义的，步骤S602中计算分解图像中每个超像素的包围值时，通过计算每个超像素内部所有像素的值得平均值可以得到每个超像素的包围值，超像素的包围值可以使用Sp(i)表示，其中，i＝1,2，...，N，N表示超像素的总数目。

步骤S604中根据每个超像素的包围值定义前景种子集合时，可以定义两种种子元素，强前景种子和弱前景种子，强前景种子构成强前景种子集合，弱前景种子构成弱前景种子集合，强前景种子属于前景的概率很高，弱前景种子属于前景的概率相对较低，对于前景种子，可以通过如下式1和式2进行选择：

上式1和2中，表示强前景种子集合，表示弱前景种子集合，i表示第i个超像素，mean()表示平均值函数，Sp(i)表示第i个超像素的包围值，Sp表示整幅分解图像的包围值，从公式1和2可以看出，高度包围的元素更有可能被选为强前景种子。

步骤S606中根据初始图像中每个图像元素与前景种子集合的相关性对每个图像元素进行排序，得到第一排序结果，其中，初始图像使用图像矩阵表示，图像矩阵由图像元素构成，即对于给定种子的显著性计算，首先可以利用数据的内在流形结构进行图标记的排序方法，对每个图像元素与给定的种子集合的相关性进行排序，具体的排序时，可以构建一个表示整个分解图像的图形，例如可以给定图G＝(V，E)，其中，V表示节点，E表示边，给定图中的节点是由SLIC算法生成的超像素，边E的权重值由相似度矩阵W＝[wij]n×n确定，定义对角矩阵为D＝diag{d11，...，dnn}，其中，dii＝Σjwij，则如下式3为排序函数：

g^*＝(D-αW)^-1y

上式3中，g^*是存储每个元素的排序结果的结果向量，y＝[y1，y2，...，yn]^T是种子查询的指示向量，α表示一个控制权值大小的参数，具体可以取值为0.3。两个节点之间的权重可以如下式4所示：

上式4中，ci和cj表示CIE LAB颜色空间中对应于两个节点的超像素的平均值，σ表示一个控制权重强度的常数，指示向量中的yi可以定义为额外查询的强度，即，如果i是强查询，则yi＝1，如果i是弱查询，则yi＝0.5，否则yi＝0，对于基于前景种子的排序，结合上式1、2、3和4，通过式3可以对初始图像中所有图像元素进行排序，最后可以得到基于前景先验的显著性图，即前景显著性图像。

在一种可选的实施例中，步骤S402中对分解图像进行背景先验的显著性计算，得到背景显著性图像，包括：

步骤S702，计算初始图像中每个特征向量与平均特征向量的欧氏距离，其中，初始图像使用图像矩阵表示，图像矩阵由图像元素构成，特征向量为一组位于边界的图像元素的特征向量，平均特征向量为全部位于边界的图像元素的平均值的特征向量；

步骤S704，根据欧式距离定义背景种子集合，其中，背景种子集合包括强背景种子集合和弱背景种子集合；

步骤S706，根据初始图像中每个图像元素与背景种子集合的相关性对每个图像元素进行排序，得到第二排序结果；

步骤S708，根据第二排序结果得到背景显著性图像。

具体的，步骤S402中对分解图像进行背景先验的显著性计算时，可以根据背景种子进行计算，具体可以从边界区域提取背景先验，具体的，可以计算初始图像中每个特征向量与平均特征向量的欧氏距离，其中，初始图像使用图像矩阵表示，图像矩阵由图像元素构成，特征向量为一组位于边界的图像元素的特征向量，平均特征向量为全部位于边界的图像元素的平均值的特征向量，其中，第i个特征向量可以用c表示，平均特征向量可以用表示，则第i个特征向量和平均特征向量之间的欧式距离可以表示为

步骤S704中根据欧式距离定义背景种子集合时，可以定义两种种子元素，强背景种子和弱背景种子，强背景种子构成强背景种子集合，弱背景种子构成弱背景种子集合，强背景种子属于背景的概率很高，弱背景种子属于背景的概率相对较低，对于背景种子，可以通过如下式5和式6进行选择：

上式5和6中，表示强背景种子集合，表示弱背景种子集合，结合上式3，如果i属于则背景种子的指示向量的值是yi＝1，如果i属于则yi＝0.5，否则为0。通过式3可以计算每个图像元素与背景种子的相关度，结果向量g*中的元素表示节点与背景查询的相关性，其补码是显著性度量，通过使用如下式7表示的基于背景种子的显著性值，可以得到基于背景先验的显著性图，即背景显著性图像：

S(i)＝1-g^*(i),i＝1,2,…,N.

在一种可选的实施例中，步骤S104，融合前景显著性图像和背景显著性图像，得到初始显著性图像。

具体的，得到前景显著性图像和前景显著性图像之后，可以将两个显著性图像融合成一个，其中融合方式可以为：在前景显著性图像和前景显著性图像中分别选择图像元素数值大于该图平均值的图像元素作为显显著性元素并组合成一个集合，使用集合中的图像元素重新进行排序种子得到初始显著性图像，其中，初始显著性图像可以用Scom表示。

在一种可选的实施例中，步骤S104中得到初始显著性图像之后，方法还包括：步骤S106，根据初始显著性图像中每两个超像素之间的测地距离对两个超像素之间的权重进行调整，得到最终显著性图。

具体的，图像中的超像素的权重对测地距离敏感，因此可以采用测地距离对初始显著性图像进行优化，具体为，对于第j个超像素，其后验概率可表示为Scom(j)，因此第q个超像素的显著性值用测地距离来表示可以如下式8所示：

上式8中，N是超像素的总数，δqj是基于第q和第j超像素之间的测地距离的权重，基于前景先验部分构建给定图G，可以将第q和第j超像素之间的测地距离dg(p，i)定义为图像上最短路径上的累积边权重，第q和第j超像素在图G上的最短路径累计边权重数值的计算公式dg(p,i)具体如下式9所示：

上式9中，ak...ak+1表示图像上每个像素点的位置，dc(ak,ak+1)表示两个像素点之间的欧氏距离，通过上式9，可以得到任意两个超像素之间的测地距离，其中，权重δpj的定义可以如下式10所示：

上式10中，σc是所有欧氏距离dc的偏差。

本实施例通过基于测地距离的精化操作对融合后的图片进行优化，可以使显著性物体被更加均匀的突出显示，使得显示结果更加精准和健壮。

实施例2

根据本发明实施例，提供了一种图像显著性检测装置的产品实施例，图2是根据本发明实施例的图像显著性检测装置，如图2所示，该装置包括第一计算模块和融合模块，其中，第一计算模块，用于对初始图像进行前景先验的显著性计算，得到前景显著性图像；对初始图像进行背景先验的显著性计算，得到背景显著性图像；融合模块，用于融合前景显著性图像和背景显著性图像，得到初始显著性图像。

在本发明实施例中，通过第一计算模块对初始图像进行前景先验的显著性计算，得到前景显著性图像；对初始图像进行背景先验的显著性计算，得到背景显著性图像；融合模块融合前景显著性图像和背景显著性图像，得到初始显著性图像，本发明同时利用了前景和背景先验进行显著性物体检测，从而实现了增加显著性物体检测的精准性，增强显著性检测的鲁棒性，使图像中的显著性区域更精准地显现出来，为后期的目标识别和分类等应用提供精准且有用的信息，并适用于更多复杂的场景，使用范围更广的技术效果，进而解决了现有技术中对图像的显著性检测结果不够精确的技术问题。

此处需要说明的是，上述第一计算模块和融合模块对应于实施例1中的步骤S102至步骤S104，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

在一种可选的实施例中，装置还包括：第一分解模块，用于在第一计算模块对初始图像进行前景先验的显著性计算之前，将初始图像进行超像素分解，得到分解图像；第一计算模块还包括第二计算模块和第三计算模块，其中，第二计算模块，用于对分解图像进行前景先验的显著性计算，得到前景显著性图像；第三计算模块，用于对分解图像进行背景先验的显著性计算，得到背景显著性图像。

此处需要说明的是，上述第一分解模块、第二计算模块和第三计算模块对应于实施例1中的步骤S202、步骤S302和步骤S402，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

在一种可选的实施例中，第一分解模块，包括：第二分解模块，用于使用简单线性迭代聚类的方法将初始图像进行超像素分解。

此处需要说明的是，上述第二分解模块对应于实施例1中的步骤S502，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

在一种可选的实施例中，第二计算模块包括第四计算模块、第一定义模块、第一排序模块和第一生成模块，其中，第四计算模块，用于计算分解图像中每个超像素的包围值；第一定义模块，用于根据每个超像素的包围值定义前景种子集合，其中，前景种子集合包括强前景种子集合和弱前景种子集合；第一排序模块，用于根据初始图像中每个图像元素与前景种子集合的相关性对每个图像元素进行排序，得到第一排序结果，其中，初始图像使用图像矩阵表示，图像矩阵由图像元素构成；第一生成模块，用于根据第一排序结果得到前景显著性图像。

此处需要说明的是，上述第四计算模块、第一定义模块、第一排序模块和第一生成模块对应于实施例1中的步骤S602至步骤S608，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

在一种可选的实施例中，第三计算模块包括第五计算模块、第二定义模块、第二排序模块和第二生成模块，其中，第五计算模块，用于计算初始图像中每个特征向量与平均特征向量的欧氏距离，其中，初始图像使用图像矩阵表示，图像矩阵由图像元素构成，特征向量为一组位于边界的图像元素的特征向量，平均特征向量为全部位于边界的图像元素的平均值的特征向量；第二定义模块，用于根据欧式距离定义背景种子集合，其中，背景种子集合包括强背景种子集合和弱背景种子集合；第二排序模块，用于根据初始图像中每个图像元素与背景种子集合的相关性对每个图像元素进行排序，得到第二排序结果；第二生成模块，用于根据第二排序结果得到背景显著性图像。

此处需要说明的是，上述第五计算模块、第二定义模块、第二排序模块和第二生成模块对应于实施例1中的步骤S702至步骤S708，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

在一种可选的实施例中，装置还包括调整模块，用于在融合模块得到初始显著性图像之后，根据初始显著性图像中每两个超像素之间的测地距离对两个超像素之间的权重进行调整，得到最终显著性图。

此处需要说明的是，上述调整模块对应于实施例1中的步骤S106，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例1所公开的内容。需要说明的是，上述模块作为装置的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。

实施例3

根据本发明实施例，提供了一种存储介质的产品实施例，该存储介质包括存储的程序，其中，在程序运行时控制存储介质所在设备执行上述图像显著性检测方法。

实施例4

根据本发明实施例，提供了一种处理器的产品实施例，该处理器用于运行程序，其中，程序运行时执行上述图像显著性检测方法。

实施例5

根据本发明实施例，提供了一种计算机设备的产品实施例，该计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行上述图像显著性检测方法。

实施例6

根据本发明实施例，提供了一种终端的产品实施例，该终端包括第一计算模块、融合模块和处理器，其中，第一计算模块，用于对初始图像进行前景先验的显著性计算，得到前景显著性图像；对初始图像进行背景先验的显著性计算，得到背景显著性图像；融合模块，用于融合前景显著性图像和背景显著性图像，得到初始显著性图像；处理器，处理器运行程序，其中，程序运行时对于从第一计算模块和融合模块输出的数据执行上述图像显著性检测方法。

实施例7

根据本发明实施例，提供了一种终端的产品实施例，该终端包括第一计算模块、融合模块和存储介质，其中，第一计算模块，用于对初始图像进行前景先验的显著性计算，得到前景显著性图像；对初始图像进行背景先验的显著性计算，得到背景显著性图像；融合模块，用于融合前景显著性图像和背景显著性图像，得到初始显著性图像；存储介质，用于存储程序，其中，程序在运行时对于从第一计算模块和融合模块输出的数据执行上述图像显著性检测方法。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

在本申请所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。