一种基于公理解释的类激活映射方法及装置

1.本发明涉及计算机视觉、深度学习可解释性领域，主要涉及一种基于公理解释的类激活映射方法及装置。


背景技术：

2.在深度神经网络(deep neural networks，dnn)的推动下，深度学习在自然语言处理、图像处理、语音识别等相关领域取得了重大突破。深度神经网络成功的一个关键因素是它的网络足够深，大量非线性网络层的复杂组合能对原始数据在各种抽象层面上提取特征。然而，由于大多数深度学习模型复杂度高、参数多、透明性低，如黑盒一般，人们无法理解这种“端到端”模型做出决策的机理，无法判断决策是否可靠。为了提高模型透明度，诸多可解释性方法被提出，主要包括基于梯度方法、基于类激活映射方法、基于扰动解释方法。基于类激活映射方法利用反向传播求导梯度时，对应的显著图依然存在少量的散点噪声，从而影响最终类激活图的可视化效果。
3.反向传播方法基于链式法则，生成的初始类激活图中颜色越高亮表示该位置的梯度绝对值较大，这些位置突出显示了输入空间中与模型输出结果相关的特征，且相关性越高，类激活图中对应特征越明显。然而利用反向传播计算梯度存在一定的局限性，得到的类激活图会存在少量的散点噪声，表明其关注了一些不相关的特征。这些散点噪声表现为一些局部区域的梯度值较大，另一些区域的梯度值较小，且区域的分布杂乱无章。
4.针对上述存在的问题，为了去除散点噪声，生成显著性区域更加集中、更加清晰的类激活图。本章在基于类激活映射的基础上，结合另一种基于梯度解释方法—平滑梯度(smooth gradient)，提出了一种称为sa-cam(smooth absolute value class activation mapping-based)的新方法，该方法在初始类激活图与输入图像点乘后添加服从高斯分布的噪声，通过多个类激活图平均化的方式实现图像的平滑，从而去除类激活图中的噪声，在类激活图清晰度、对象定位等方面得到更好的视觉解释。


技术实现要素：

5.本发明主要解决基于类激活映射方法利用反向传播求导梯度时，对应的显著图依然存在少量的散点噪声等问题。如附图1所示，本发明提出一种基于公理解释的类激活映射方法—sa-cam，生成的类激活图在清晰度、对象定位等方面有更好的视觉解释。
6.本发明的上述技术问题主要是通过下述技术方案得以解决的：
7.一种基于公理解释的类激活映射方法，其特征在于，包括：
8.将电气设备图像输入至已训练好的cnn模型，并提取模型中目标卷积层的特征图，同时获取目标类别分数，利用反向传播计算特征图相对于分数的梯度；
9.对得到的梯度进行优化处理，通过取平方的处理策略优化梯度，将优化后的梯度进行全局平均池化操作得到权重，最后将权重与特征图线性结合，并进行上采样和归一化操作得到初始类激活图；
10.将得到的初始类激活图与输入图像点乘，对点乘后的图像进行平滑操作后再送入模型，经过softmax操作后生成n个分数，最终平均到一个分数；
11.将得到的分数与初始类激活图相乘，relu操作后得到最后的类激活图
12.在上述的一种基于公理解释的类激活映射方法，提取目标卷积层的特征图、输出目标类别分数、计算反向传播梯度具体包括：
13.步骤1.1、提取目标卷积层的特征图：对于一张给定的电气设备图像x0送入模型y，提取y中目标卷积层l的特征图a，a的第k个特征图表示为
14.步骤1.2、输出目标类别分数：经过softmax操作后，模型y输出预测该图像类别的分数yc'(x0)
15.步骤1.3、计算反向传播梯度：通过反向传播计算a的第k个特征图中空间位置(i,j)相对于yc'(x0)分数的梯度
[0016][0017]
在上述的一种基于公理解释的类激活映射方法，优化处理得到初始类激活图具体包括：
[0018]
步骤2.1、优化梯度：通过取平方的处理策略优化梯度进一步突出各层中与网络输出正相关的梯度，
[0019]
步骤2.2、全局平均池化得到权重：将优化后的梯度进行全局平均池化操作，得到权重
[0020][0021]
其中z表示特征图的像素数目；
[0022]
步骤2.3、得到初始类激活图：将权重与特征图线性结合，并进行上采样和归一化操作得到初始类激活图m0；
[0023][0024]
其中u表示上采样操作，s表示归一化操作。
[0025]
在上述的一种基于公理解释的类激活映射方法，点乘初始类激活图和输入图像并对点乘结果进行平滑操作具体包括：
[0026]
步骤3.1、点乘初始类激活图和输入图像：将初始类激活图m0与输入图像x0点乘得到m1；
[0027]
m1＝m0.x
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0028]
步骤3.2、平滑操作:对m1进行平滑操作；具体地，通过在m1的每张图中添加高斯噪声来产生n张噪声图像m2；
[0029][0030]
步骤3.3、平均分数：将图像m2送入模型，经过softmax后生成n个分数，并平均到一
个最终分数yc(n)；
[0031][0032]
在上述的一种基于公理解释的类激活映射方法，最终类激活图的获取具体包括：
[0033]
步骤4.1、将yc(n)与初始显著图m0相乘，relu操作后得到最后的显著图
[0034][0035]
一种基于公理解释的类激活映射装置，其特征在于，包括：
[0036]
第一模块：将电气设备图像输入至已训练好的cnn模型，并提取模型中目标卷积层的特征图，同时获取目标类别分数，利用反向传播计算特征图相对于分数的梯度；
[0037]
第二模块：对得到的梯度进行优化处理，通过取平方的处理策略优化梯度，将优化后的梯度进行全局平均池化操作得到权重，最后将权重与特征图线性结合，并进行上采样和归一化操作得到初始类激活图；
[0038]
第三模块：将得到的初始类激活图与输入图像点乘，对点乘后的图像进行平滑操作后再送入模型，经过softmax操作后生成n个分数，最终平均到一个分数；
[0039]
第四模块：将得到的分数与初始类激活图相乘，relu操作后得到最后的类激活图
[0040]
因此，本发明具有如下优点：
[0041]
1.在初始类激活图与输入图像点乘后添加服从高斯分布的噪声，通过多个类激活图平均化的方式实现图像的平滑，从而去除类激活图中存在的噪声。
[0042]
2.sa-cam生成的类激活图在清晰度、对象定位等方面有更好的视觉解释。
附图说明
[0043]
附图1是本发明的基于公理解释的类激活映射方法框架图；
具体实施方式
[0044]
下面通过实施例，并结合附图，对本发明的技术方案作进一步具体的说明。
[0045]
实施例：
[0046]
本发明为一种基于公理解释的类激活映射方法，本发明的算法流程图如图1所示，可以分为四部分：1)提取目标卷积层的特征图、输出目标类别分数、计算反向传播梯度；2)优化梯度、全局平均池化得到权重、得到初始类激活图；3)点点乘初始类激活图和输入图像、平滑操作、平均分数；4)得到最终类激活图。
[0047]
步骤一：提取目标卷积层的特征图、输出目标类别分数、计算反向传播梯度，步骤如下：
[0048]
a、提取目标卷积层的特征图：对于一张给定的电气设备图像x0送入模型y，提取y中目标卷积层l的特征图a，a的第k个特征图表示为
[0049]
b、输出目标类别分数：经过softmax操作后，模型y输出预测该图像类别的分数yc'(x0)；
[0050]
c、计算反向传播梯度：通过反向传播计算a的第k个特征图中空间位置(i,j)相对于yc'(x0)分数的梯度
[0051][0052]
步骤二：优化梯度、全局平均池化得到权重、得到初始类激活图，步骤如下：
[0053]
a、优化梯度：通过取平方的处理策略优化梯度进一步突出各层中与网络输出正相关的梯度，
[0054]
b、全局平均池化得到权重：将优化后的梯度进行全局平均池化操作，得到权重
[0055][0056][0057]
其中z表示特征图的像素数目
[0058]
c、得到初始类激活图：将权重与特征图线性结合，并进行上采样和归一化操作得到初始类激活图m0。
[0059][0060]
其中u表示上采样操作，s表示归一化操作
[0061]
步骤三：点乘初始类激活图和输入图像、平滑操作、平均分数，步骤如下：
[0062]
a、点乘初始类激活图和输入图像：将初始类激活图m0与输入图像x0点乘得到m1；
[0063]
m1＝m0.x
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(10)
[0064]
b、平滑操作:对m1进行平滑操作。具体地，通过在m1的每张图中添加高斯噪声来产生n张噪声图像m2；
[0065][0066]
c、平均分数：将图像m2送入模型，经过softmax后生成n个分数，并平均到一个最终分数yc(n)。
[0067][0068]
步骤四：得到最终类激活图，步骤如下：
[0069]
a、将yc(m1)与初始显著图m0相乘，relu操作后得到最后的类激活图
[0070][0071]
本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。