一种图像分类模型的训练方法、装置、设备及介质与流程

本发明涉及基于智能视觉及智能养老，尤其涉及一种图像分类模型的训练方法、装置、设备及介质。

背景技术：

1、图像的分类与识别是智能视觉领域的基础，随着智能视觉被应用在越来越多的场景下，对图像分类技术的准确性的要求也越来越高，同时为图像分类带来越来越多的挑战。

2、现有技术中，深度神经网络在众多研究领域(例如智能视觉、智能养老)中取得了突出进展，但由于深度神经网络缺乏透明度和和可解释性，对其预测结果的分析极其困难。在可解释研究方面，主要分为两部分，一种是研究新的可解释性方法，通过可视化模型的输出的热图，以提高模型的可信度和透明度，了解模型可以节省大量时间，防止收入损失；另一种是通过可解释分析，指导特征工程以进一步改进模型，可解释性可以更好的帮助理解模型关注的特征，分析特征的重要性，挖掘更多有用的特征，当原始特征众多时，可解释性分析尤为重要。虽然已有研究做出了这方面的研究，例如，对于卷积神经网络(cnns)可解释性相关研究，karen等人最早通过可视化给定输出类的梯度来初始化可解释性图，现在较为先进的方法是利用来自中间层的动作和梯度的信息获取可解释性图。另一种研究专注于在输入上加入扰动以诱导输出，如fong和vedaldi等人提出了一种可解释的黑盒解释，通过删除(扰动)找到对决策信息最丰富的区域。通过训练生成模型来可视化不同的语义属性。关于注意网络(attention network)的可解释性研究大多数基于梯度或者扰动的方法并不适用于注意力网络，注意力模块的解释主要针对注意力的跨层非线性组合。通过递归地计算给定模型的每一层中的标记注意力，假设注意力是线性组合的，并考虑了沿成对注意力图的所有路径，或者将注意力图视为流网络，并计算最大注意力流值作为对输入节点的注意力的近似值。chefer、gur和wolf等人提出了一种计算变压器网络相关性的方法，该方法基于分解原理分配局部相关性，并通过层传播这些相关性得分，包括关注层和跳过连接，使用输出线性分解来计算输入的分布图。卷积对准网络(coda nets)调整像素线性函数，将动态线性与结构偏差相结合，以实现可解释性图和输入判别模式之间的对齐，在权重上引入了对齐压力以获取可解释性图。进而通过可解释性图指导模型训练，以提高分类模型的准确度，但上述研究利用可解释性图参与训练时需要将模型重新训练，进而需要额外的训练数据，额外的训练数据和训练过程造成了大量的资源浪费，而且重新对模型进行训练时，需要暂停模型的使用，而在智能视觉或者智能养老领域，模型暂停使用将造成不便，例如，智能养老领域内需实时关注老人的信息，即，实时获取老人的图像信息，并对图像信息进行分类与识别，避免老人发生意外，而图像分类模型的暂停使用，将导致监护人无法及时获取老人的状态信息，进而导致监护人的体验不佳，例如，智能视觉领域，商户对店铺进行监视的场景下，模型暂停使用将造成监视过程的中断，进而导致商户的体验不佳。

技术实现思路

1、有鉴于此，本发明提供了一种图像分类模型的训练方法、装置、设备及介质，用于解决现有技术中利用可解释性图参与训练时，资源浪费和用户体验不佳的问题。

2、为达上述之一或部分或全部目的或是其他目的，本发明提出一种图像分类模型的训练方法，包括：获取用于训练的原始图像，并通过待训练模型中的热图发生子模型获取与所述原始图像对应的可解释性图，所述热图发生子模型为卷积神经网络模型、注意力模型或者卷积对准网络模型中的一种，所述待训练模型包括热图发生子模型和分类子模型；

3、基于所述可解释性图判断所述待训练模型所关注的特征数据；

4、基于所述特征数据对所述原始图像进行区域提取处理，得到与积极区域对应的积极图像，得到与积极区域对应的积极图像，所述积极区域为所述原始图像上与所述特征数据对应的区域；

5、将所述积极图像和所述原始图像进行合并，得到合并图像，基于所述合并图像对所述待训练模型进行训练，所述待训练模型中的分类子模型为采用支持向量机替换卷积层的卷积神经网络模型。

6、另一方面，本技术提供了一种图像分类模型的训练装置，其特征在于，所述装置包括：

7、数据接收模块，用于获取用于训练的原始图像，并通过待训练模型中的热图发生子模型获取与所述原始图像对应的可解释性图，所述热图发生子模型为卷积神经网络模型、注意力模型或者卷积对准网络模型中的一种，所述待训练模型包括热图发生子模型和分类子模型；

8、判断模块，用于基于所述可解释性图判断所述待训练模型所关注的特征数据；

9、提取模块，用于基于所述特征数据对所述原始图像进行区域提取处理，得到与积极区域对应的积极图像，得到与积极区域对应的积极图像，所述积极区域为所述原始图像上与所述特征数据对应的区域；

10、训练模块，用于将所述积极图像和所述原始图像进行合并，得到合并图像，基于所述合并图像对所述待训练模型进行训练，所述待训练模型中的分类子模型为采用支持向量机替换卷积层的卷积神经网络模型。

11、另一方面，本技术提供了一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过所述总线通信，所述机器可读指令被所述处理器执行时执行：获取用于训练的原始图像，并通过待训练模型中的热图发生子模型获取与所述原始图像对应的可解释性图，所述热图发生子模型为卷积神经网络模型、注意力模型或者卷积对准网络模型中的一种；基于所述可解释性图判断所述待训练模型所关注的特征数据；基于所述特征数据对所述原始图像进行区域提取处理，得到与积极区域对应的积极图像；将所述积极图像和所述原始图像进行合并，得到合并图像，基于所述合并图像对所述待训练模型进行训练，所述待训练模型为采用支持向量机替换卷积层的卷积神经网络模型的步骤。

12、另一方面，本技术提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行：获取用于训练的原始图像，并通过待训练模型中的热图发生子模型获取与所述原始图像对应的可解释性图，所述热图发生子模型为卷积神经网络模型、注意力模型或者卷积对准网络模型中的一种；基于所述可解释性图判断所述待训练模型所关注的特征数据；基于所述特征数据对所述原始图像进行区域提取处理，得到与积极区域对应的积极图像；将所述积极图像和所述原始图像进行合并，得到合并图像，基于所述合并图像对所述待训练模型进行训练，所述待训练模型为采用支持向量机替换卷积层的卷积神经网络模型的步骤。

13、实施本发明实施例，将具有如下有益效果：

14、通过获取用于训练的原始图像，并通过待训练模型中的热图发生子模型获取与所述原始图像对应的可解释性图，所述热图发生子模型为卷积神经网络模型、注意力模型或者卷积对准网络模型中的一种，所述待训练模型包括热图发生子模型和分类子模型；基于所述可解释性图判断所述待训练模型所关注的特征数据；基于所述特征数据对所述原始图像进行区域提取处理，得到与积极区域对应的积极图像，所述积极区域为所述原始图像上与所述特征数据对应的区域；将所述积极图像和所述原始图像进行合并，得到合并图像，基于所述合并图像对所述待训练模型进行训练，所述待训练模型中的分类子模型为采用支持向量机替换卷积层的卷积神经网络模型。以可解释性图为依据，在可解释性图的指导下对图像分类模型进行训练，提高了模型的精度，克服了之前方法需要重新训练的弊端，即，节约运行成本，也避免重新对模型训练带来的模型暂停使用的空白期，提高用户体验。