基于Itti模型和胶囊神经网络的图像显著性检测方法与流程

本发明涉及目标检测技术领域，具体涉及一种基于itti模型和胶囊神经网络的图像显著性检测方法。

背景技术：

近些年来，模式识别，深度学习和视觉神经科学得到了迅猛发展，深度学习应用于显著性检测，取得了非常优秀的性能。然而，由于视觉计算模型是模拟大脑中视觉信息的传输和处理机制而建立的模型，视觉信息在视觉通路中的传递和加工是一个复杂的多层次过程，大量神经元互相协作才能产生大脑功能，因此如何建立更加符合视觉神经机制的显著图整合模型需要进一步研究。

技术实现要素：

本发明提供一种基于itti模型和胶囊神经网络的图像显著性检测方法，其能够检测出图像中的显著区域和显著对象。

为解决上述问题，本发明是通过以下技术方案实现的：

基于itti模型和胶囊神经网络的图像显著性检测方法，具体包括如下步骤：

步骤1、对每幅样本原始图像采用颜色拮抗机制抽取颜色特征，分别得到红绿拮抗颜色边缘图、蓝黄拮抗颜色边缘图和黑白拮抗颜色边缘图；

步骤2、对每幅样本原始图像的红绿拮抗颜色边缘图、蓝黄拮抗颜色边缘图和黑白拮抗颜色边缘图进行pca降维处理，并将降维后的图像整合成一幅整合边缘图，并对该整合边缘图进行归一化后获得第一整合权重图；

步骤3、将每幅样本原始图像送入到itti视觉显著性模型中，得到颜色关注图、密度关注图和方向关注图；

步骤4、对每幅样本原始图像的红绿拮抗颜色边缘图、蓝黄拮抗颜色边缘图、黑白拮抗颜色边缘图、颜色关注图、密度关注图和方向关注图进行pca降维处理，并将降维后的图像整合成一幅整合边缘关注图，并对该整合边缘关注图进行归一化后获得第二整合权重图；

步骤5、将每幅样本原始图像的红绿拮抗颜色边缘图、蓝黄拮抗颜色边缘图、黑白拮抗颜色边缘图、颜色关注图、密度关注图和方向关注图分别与第一整合权重图进行对应像素点的灰度值相乘，并将相乘后所得图像中各个对应像素点的灰度平均值作为第一显著图对应像素点的灰度值，由此得到第一显著图；

步骤6、将每幅样本原始图像的红绿拮抗颜色边缘图、蓝黄拮抗颜色边缘图、黑白拮抗颜色边缘图、颜色关注图、密度关注图和方向关注图分别与第二整合权重图w2进行对应像素点的灰度值相乘，并将相乘后所得图像中各个对应像素点的最大灰度值作为第二显著图对应像素点的灰度值，由此得到第二显著图；

步骤7、对于步骤5所得到的第一显著图与步骤6所得到的第二显著图进行对应像素点，将两像素点灰度值的平方相加后再取根号所得到的灰度值作为综合显著图对应像素点的灰度值，由此得到综合显著图；

步骤8、采用上述步骤1-7的方法对所有样本原始图像进行处理，得到每幅样本原始图像的综合显著图，将所有样本原始图像及其对应的综合显著图送入到胶囊神经网络进行训练，得到训练好的胶囊神经网络；

步骤9、将当前待检测的原始图像送入到步骤8所训练好的胶囊神经网络中，训练好的胶囊神经网络输出当前待检测的原始图像的综合显著图，由此完成当前待检测图像的显著性检测。

作为改进，所述基于itti模型和胶囊神经网络的图像显著性检测方法，还进一步包括如下步骤：

步骤10、针对当前待检测的原始图像的综合显著图，采用精确度返回率、f值和/或绝对平均误差来评价显著性检测性能。

上述方法中，对于每幅样本原始图像，红绿拮抗颜色边缘图、蓝黄拮抗颜色边缘图和黑白拮抗颜色边缘图的数量相同，颜色关注图、密度关注图和方向关注图的数量相同。

上述方法中，对于每幅样本原始图像，红绿拮抗颜色边缘图、蓝黄拮抗颜色边缘图和黑白拮抗颜色边缘图的数量均为64幅，颜色关注图、密度关注图和方向关注图的数量均为1幅。

与现有技术相比，本发明采用基于itti显著性模型，并融合二次动态整合和深度学习(胶囊神经网络)来对图像显著性区域进行检测，其整合了itti显著性模型，二次动态整合和胶囊神经网络的优点，在某种程度上模拟了大脑中视觉信息的传输和处理机制，更加符合神经元功能机制，也更加先进，从而能够更为准确地检测出图像中的显著对象或显著性区域。

附图说明

图1为基于itti模型和胶囊神经网络的图像显著性检测方法中训练阶段的流程图。

图2为基于itti模型和胶囊神经网络的图像显著性检测方法中显著性检测流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，对本发明进一步详细说明。

参见图1，一种基于itti模型和胶囊神经网络的图像显著性检测方法，其具体包括步骤如下：

itti显著性模型的主要思想是：对输入图像，首先进行多个特征通道和多尺度的分解，然后进行滤波得到特征图，再融合特征图则得到最终显著图。它是一个自底向上的模型，没有涉及深度学习。然而，由于传统itti显著性模型的特征整合方法并不是完全按照视觉神经机制来运行的，因此本发明没有采用itti视觉显著性模型所采用的特征整合方法，而是提出了基于二次整合的特征整合方法来提取图像的显著图。

步骤1、对于每幅原始图像，采用颜色拮抗机制抽取颜色特征，并根据拮抗颜色计算边缘图，分别得到红绿拮抗颜色边缘图、蓝黄拮抗颜色边缘图和黑白拮抗颜色边缘图。

将输入图像分解为四个颜色分量：红色(r)，绿色(g)，蓝色(b)和黄色(y)，它们分别定义为：

其中，[.]+表示半波校正操作，并且将所有负值设为0值。r，g和b分别表示输入图像的红、绿和蓝颜色通道，它们像素值的取值范围为[0，1]。

为了计算边缘信息，本发明采用gabor滤波器来计算每个通道的边缘响应。本发明拟采用16个尺度和4个方向构成，共计64个gabor滤波器，其中在每个尺度每个位置都存在4个方向gabor单元。

gabor滤波器的定义如下：

其中，x＝xcosθ+ysinθ，y＝-xsinθ+ycosθ，θ为滤波器的方向，r为椭圆率，λ为波长，δ为标准方差，为了获得16个尺度，设置初始值σ0＝1.0，然后逐步递增，最佳增量值需实验确定。本发明初步拟定，r＝0.20和λ＝0.56，最佳参数需要实验来确定。

在某个尺度下δi，对红绿拮抗(rg)颜色图像crg进行gabor滤波后可得：

其中，在红绿拮抗(rg)颜色图像下标中，符号“+”和“-”分别代表兴奋作用和抑制作用，其表示卷积运算。

同理，可获得蓝黄拮抗(by)拮抗颜色和黑白(wb)拮抗颜色边缘图eby(x，y，δi，θj)和ewb(x，y，δi，θj)，共计获得64+64+64＝192幅边缘图。

步骤2、对于每幅原始图像的红绿拮抗颜色边缘图、蓝黄拮抗颜色边缘图和黑白拮抗颜色边缘图进行pca降维处理，并将降维后的图像整合成一幅整合边缘图epca，并对该整合边缘图epca进行归一化后获得第一整合权重图w1(x，y)。

本发明对红绿拮抗颜色边缘图(64幅)、蓝黄拮抗颜色边缘图(64幅)和黑白拮抗颜色边缘图(64幅)，共192幅边缘图采用pca降维，拟保留20％主成分以获得最终映射矩阵，然后对图像进行映射，可得192幅边缘映射图像所有边缘映射图像可叠加成一幅整合边缘图epca，对其归一化可获得整合权重图w1，其中整合权重图w1(x，y)是一幅图像，用于动态整合各种视觉显著图。

步骤3、将每幅原始图像送入到itti视觉显著性模型中，得到颜色关注图、密度关注图和方向关注图。

本发明借鉴经典的itti显著性模型来获取视觉特征，并通过颜色，密度和方向信息来描述初级视觉特征，实际上本发明没有全部按照itti视觉显著性模型的做法，而只是利用了itti视觉显著性模型一部分，即利用itti视觉显著性模型的中间结果(即关注图：conspicuitymaps)，而非itti视觉显著性模型的最终结果(显著图像)。

步骤4、对每幅原始图像的红绿拮抗颜色边缘图、蓝黄拮抗颜色边缘图、黑白拮抗颜色边缘图、颜色关注图、密度关注图和方向关注图进行pca降维处理，并将降维后的图像整合成一幅整合边缘关注图spca，并对该整合边缘关注图spca进行归一化后获得第二整合权重图w2(x，y)。

本发明对红绿拮抗颜色边缘图(64幅)、蓝黄拮抗颜色边缘图和黑白拮抗颜色边缘图(64幅)、颜色关注图(1幅)、密度关注图(1幅)和方向关注图(1幅)，共195幅图像采用pca降维，拟保留20％主成分以获得最终映射矩阵，然后对图像进行映射，可得195幅边缘关注映射图像所有边缘关注映射图像可叠加成一幅整合边缘关注图spca，对其归一化可获得整合权重图w2，其中整合权重图w2(x，y)是一幅图像。

步骤5、基于第一整合权重图w1和第二整合权重图w2，对红绿(rg)拮抗颜色边缘图、蓝黄(by)拮抗颜色边缘图、黑白(wb)拮抗颜色边缘图、颜色关注图、密度关注图和方向关注图进行整合，得到综合显著图s(x，y)。

步骤5-1、将每幅样本原始图像的红绿拮抗颜色边缘图、蓝黄拮抗颜色边缘图、黑白拮抗颜色边缘图、颜色关注图、密度关注图和方向关注图即ii(x，y)分别与第一整合权重图w1(x，y)进行对应像素点的灰度值相乘，并将相乘后所得图像的各个对应像素点的灰度平均值作为第一显著图对应像素点的灰度值，由此得到第一显著图s1(x，y)；即：

步骤5-2、将每幅样本原始图像的红绿拮抗颜色边缘图、蓝黄拮抗颜色边缘图、黑白拮抗颜色边缘图、颜色关注图、密度关注图和方向关注图分别与第二整合权重图w2进行对应像素点的灰度值相乘，并将相乘后所得图像的个个对应像素点(x，y)的最大灰度值作为第二显著图对应像素点的灰度值，由此得到第二显著图s2(x，y)；即：

s2(x，y)＝

max{w2(x，y)×i1(x，y)，w2(x，y)×i2(x，y)，...，w2(x，y)×in(x，y)}

(8)

步骤5-3、将步骤5-1所得到的第一显著图s1(x，y)与步骤5-2所得到的第二显著图s2(x，y)进行对应像素点的灰度值的平方相加后取根号所得到的灰度值作为综合显著图对应像素点的灰度值，由此得到综合显著图s(x，y)；即：

式中，ii(x，y)代表第i幅红绿拮抗颜色边缘图、蓝黄拮抗颜色边缘图、黑白拮抗颜色边缘图、颜色关注图、密度关注图或方向关注图在像素点(x，y)处的灰度值，w1(x，y)表示第一整合权重图在像素点(x，y)处的灰度值，w2(x，y)表示第二整合权重图在像素点(x，y)处的灰度值。i＝1，2，...，n，n代表红绿拮抗颜色边缘图、蓝黄拮抗颜色边缘图、黑白拮抗颜色边缘图、颜色关注图、密度关注图和方向关注图的总数，在本实施例中，n＝195。

在二次动态整合中，首次整合权重图w1来源于边缘图，第二次整合权重图w2来源于边缘图和关注图。基于第一整合权重图w1和第二整合权重图w2，分别采用式(7)和(8)对红绿拮抗颜色边缘图(64幅)、蓝黄拮抗颜色边缘图(64幅)和黑白拮抗颜色边缘图(64幅)、颜色关注图(1幅)、密度关注图(1幅)和方向关注图(1幅)进行处理，得到显著图s1(x，y)和s2(x，y)。因为复杂细胞利用平方根归一化能够让视觉刺激对比度与响应振幅之间的关系更加符合生理学依据，使得响应结果在更加合理的范围内，所以本发明对s1(x，y)和s2(x，y)进行能量操作，采用式(9)可得到综合显著图s(x，y)。总之，在显著图整合方面，本发明提出的二次动态整合机制和传统itti显著性模型有着明显区别。

步骤6、采用上述步骤1-5的方法对所有的给定的样本原始图像进行处理，得到样本综合显著图，然后将所有的给定的样本原始图像和所有的样本综合显著图送入到胶囊神经网络(capsnet)中，对胶囊神经网络进行训练，得到训练好的胶囊神经网络。

鉴于capsnet网络最初主要应用于手写数字识别和三维对象识别，为了便于进行显著性检测和描述图像特征，本发明对其进行拓展，如图1所示。本发明将输入图像缩放到尺寸为32×32，然后从rgb颜色空间转换到拮抗颜色空间，并借鉴capsnet对拮抗颜色分量进行深度学习，其中将经过itti显著性模型检测再降维整合的综合显著图s(x，y)应用到capsnet网络的图像重构之中。由于需考虑capsnet网络的计算量和检测效率，在本发明中采用原capsnet网络初始设置。在本发明中，将fcsigmoid层的输出像素点组合成一幅fc图像，它与显著图spca具有相同大小，然后进行重构损失函数，重构损失函数通过计算fc图像与综合显著图s(x，y)像素点之间的欧几里德距离作为损失函数。采用geoffreyhinton提出动态路由算法作为训练方法。

步骤7、将当前待检测的原始图像送入到步骤6所训练好的胶囊神经网络中，训练好的胶囊神经网络输出对应的当前待检测的综合显著图，由此完成当前待检测图像的显著性检测。

将待检测图像送入到训练好的胶囊神经网络中，例如图2所示，本发明最后将胶囊神经网络三个fc层输出像素点分别组合成一幅32×32图像，经过叠加后得到当前待检测的综合显著图scapsule并将其放大，使它与原始输入图像具有相同大小。由此得到最终该待检测图像的显著图像。

步骤8、针对当前待检测的综合显著图scapsule，采用精确度返回率、f值和/或绝对平均误差来评价显著性检测性能。

本发明基于itti显著性模型，并提出二次动态整合的新型显著图整合方法来进行图像的显著性提取，而基于型胶囊神经网络的显著性检测模型又作为融合二次动态整合和深度学习的显著性检测方法，专门用于图像显著性区域检测。本发明整合了itti显著性模型，二次动态整合和胶囊神经网络的优点，在某种程度上模拟了大脑中视觉信息的传输和处理机制，能够检测出图像中的显著对象或显著性区域，可以视为胶囊神经网络和itti显著性模型的优势互补模型，能应用显著性检测。相比传统的显著性模型和方法更加符合神经元功能机制，也更加先进。

需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。