一种再可塑性启发的连续图像分类方法与系统

1.本发明属于图像分类技术领域，更具体地，涉及一种再可塑性启发的连续图像分类方法与系统。


背景技术：

2.人和其他高级动物可以在其一生中学习并记住许多技能，这种连续学习不同任务的能力被称为连续学习(continual learning, cl)。相比之下，人工神经网络(artificial neural networks, anns)在接受新任务训练时，通常会迅速忘记如何执行之前的任务，这种现象被称为灾难性遗忘。因为大多数anns只是为了学习某一特定任务而建立，其中训练与测试数据为独立同分布。该条件假设了一种静态场景，即数据分布不随时间的推移而发生变化。然而现实世界中流式数据往往以非独立同分布任务序列的形式先后出现，其中每个任务的数据可能会在一段时间后消失，甚至由于内存限制或隐私问题而无法存储或重新访问。因此，研究有效且高效的cl方法以克服anns中的灾难性遗忘具有重要意义，对于通用人工智能的发展也至关重要。同时，生物脑显然已经实现了高效且灵活的连续学习方式，anns与高级动物在学习能力上的显著差距促使本发明进一步对生物脑认知机制的研究。
3.类增量学习是开放环境中最常见的cl图像分类场景：其要求模型不仅能够识别目前学过的图像类别，而且可以适应未来图像分类任务中出现的新类别，并且在测试过程中任务的身份也无需告知。根据学习过程中如何处理与利用特定于图像分类任务的信息，该场景下的cl方法可以大致分为以下三类：扩展方法，这类方法的典型特征为不断增加单独的模型参数以适应新的图像分类任务；重放方法，这类工作通过保存部分原始图像或使用生成模型生成伪图像，以在学习新图像分类任务时进行联合训练；基于正则化的方法，通过施加惩罚限制重要参数，使其在后续图像分类任务的训练过程中不发生较大变化。然而，现有的cl方法为了减轻图像分类任务的灾难性遗忘难以同时满足最小化计算、存储和时间需求，它们往往对这些条件中的两个或全部做出妥协。例如，现有cl模型基本都是在深度神经网络(deep neural networks, dnns)上实现的，严重依赖反向传播(back propagation, bp)算法。因此，这些方法不仅训练耗时，对超参数的设置极为敏感，且潜在地需要多次遍历访问当前任务图像以获得更好的性能。


技术实现要素：

4.针对现有技术的以上缺陷或改进需求，本发明提供了一种再可塑性启发的连续图像分类方法，其目的在于解决现有方法在连续图像分类过程中需要逐层更新网络参数的技术问题。
5.为实现上述目的，按照提供了一种再可塑性启发的连续图像分类方法，包括：s1.获取随机权神经网络在当前图像分类任务上的输出权值，并构造交叉熵损失函数；s2.对输出权值添加多个更新量计算损失函数的变化，通过度量输出权值的重要
性得到再可塑性矩阵；s3.利用再可塑性矩阵指导输出权值的更新，实现在新图像分类任务上的学习与记忆融合。
6.进一步地，步骤s1中输出权值的获取过程具体为：01.随机初始化第组映射特征节点的输入权值和偏置，第个增强节点的输入权值和偏置；02.针对当前图像分类任务t，获取第组映射特征节点的输出，以及第个增强节点的输出；，，为图像输入，和均表示常用的激活函数；03.获取当前图像分类任务t扩展输入层的输出；为组拼接在一起得到节点集合；为个拼接在一起得到节点集合；04.构建具有个隐含层节点的输出函数；表示输出权值的第行；为激活函数；和为与维度相匹配的隐含层权值和偏置；05.获取当前图像分类任务t的隐含层输出矩阵；为第l个隐层节点的输出，；06.获取前图像分类任务t的输出权值；表示的广义逆运算；表示的转置；为引入的常数约束；为单位矩阵；为图像输出。
7.进一步地，步骤s2具体包括，对输出权值添加多个更新量，计算损失函数的变化；表示梯度信息；为模型输出；对所有更新量累积梯度以获得经过当前图像分类任务t解空间整个轨迹上的损失变化；将具备记忆功能的作为关于当前图像分类任务t的再可塑性矩阵，计算公式如下：。
8.进一步地，对于新的图像分类任务t+1，利用指导输出权值中的元素有选择性地接近或偏离最近一次得到的输出权值；为新的
图像分类任务t+1的隐含层输出矩阵，为新的图像分类任务t+1的输出，标量表示当前图像分类任务t与新的图像分类任务t+1之间的权衡，运算表示逐元素积运算。
9.进一步地，输出权值的求解方法为：分别对矩阵，和按列分块，依次得到，以及；为当前图像分类任务t包含的类别数；为新的图像分类任务t+1包含的类别数；模型输出权值的每一列独立地解析为：；为所有学过的任务类别数，为的对角矩阵，为的第c列。
10.总体而言，通过本发明所构思的以上技术方案与现有技术相比，能够取得下列有益效果。
11.本发明建立了的连续学习框架用于有效兼容未来非独立同分布图像分类任务以及伴随出现的新类别，不仅实现简单，而且计算损耗低、实时性快。与现有方法相比， (1) 其充分利用图像分类任务之间共享的随机权值，只需要更新最后一层的输出权值而无需逐层优化模型参数，因避免使用易于陷入局部最优的梯度下降算法而实现快速收敛；(2) 受启发于突触再可塑性构造了具备记忆功能的权值重要性矩阵用于自适应地调整网络参数、维持对历史任务的记忆，从而无需存储旧图像或构建图像生成器，也无需增加网络尺寸，具有参数高效、人为干预度少等优点；(3) 打破了现有连续学习方法需要多次遍历访问当前任务的数据以在新任务上获得更好性能的约束，有利于数据隐私保护，是一种新的更加适用于连续图像分类的学习与记忆融合模型与算法。
附图说明
12.图1为本发明实施例提供的一种再可塑性启发的连续图像分类方法的流程图。
13.图2为本发明实施例提供的一种随机权神经网络结构图。
14.图3为本发明一个具体实施例的cifar-100连续图像分类精度的测试结果图。
具体实施方式
15.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
16.实施本发明实施例的再可塑性启发的连续图像分类方法，首先可对给定样本数的图像分类数据集进行预处理。实施例中的发明结构，包括一个全局的预训练特征提取器、随机初始化的扩展输入层和隐含层。其输入既可以是原始图像分类数据也可以是图像特征向量。在这种设置下，全局网络仅在复杂任务序列时使用且可以是任何架构，将原始数据通过全局预训练特征提取器得到特征向量用以后续实施。为了简化符号，使用来表
示两者。假设给定当前分类任务(t=1,2,
…
,t)的训练样本，其中为图像输入，为图像输出，为图像样本个数，和分别为输入模式和输出类别数。在本实施例图像分类任务中，表示图像的大小，表示图像的独热编码(one-hot coding)标签。
17.如图1所示，本发明实施例的再可塑性启发的连续图像分类方法可包括如下步骤：步骤s1，面对实施例首个图像分类任务，即任务1，初始化随机权神经网络学习所需要的参数，随机权神经网络结构如图2所示。
18.初始化相关参数包括分别为在给定区间，如内随机生成的第组映射特征节点的输入权值和偏置个增强节点的输入权值和偏置，并使用下标加以区分；具体地，所述步骤s1 实现首个图像分类任务第组映射特征节点的输出，表示为：；其次第个()增强节点的输出为：，和在本实施例中均采用sigmoid激活函数；和分别表示将组和个拼接在一起得到的节点集合，从而得到首个图像分类任务1扩展输入层的输出，最后，在本实施例中具有个隐含层节点的输出函数可以表示为：其中表示输出权值的第行，为 relu激活函数，和为与维度相匹配的隐含层权值和偏置，用下标
‘’
加以区分。应当理解，本发明在首个图像分类任务1上完成网络结构初始化，并在接下来的图像分类任务中保持不变。
19.本发明使用的输出函数取代了当前传统连续图像分类方法中一贯使用的softmax函数，能够提高图像分类任务的决策效率。
20.步骤s2，基于隐含层输出矩阵，通过求逆替代方式实现广义逆运算，得到输出权值与预测误差。尤其地，输出权值用于模型对不同任务的决策，而预测误差用于保证模型在后续新任务上的性能。
21.结合实施例s1中的表达，指定为第l个隐层节点的输出，得到首个图像分类任务的隐含层输出矩阵；具体地，模型输出可以表示为，其中输出权值可以通过moore-penrose广义逆与当前图像分类输出相乘得到，即，然而，这种求解方法并不适用于处理本实施例较大规模数据；为匹配图像分类任务，采用下式给出的另一种替代方法，使之适用于处理较大规模数据的实施例：
其中表示矩阵的转置，通过引入一个额外的常数约束并在矩阵对角线上添加一组接近于0的正数来近似；在学完首个图像分类任务中的个类别后，模型的输出权值可以通过下式计算：因此，上式为仅通过首个图像分类任务得到的优化权值，需要注意的是，在任意实施例的任务1下，，为仅有一个任务时的最优输出权值；进一步地，预测误差矩阵为：；其中，对应于首个图像分类任务中第个训练样本的残差，输出权值将在后续任务的学习中不断更新。
22.步骤s3，利用损失函数与输出权值更新量，累积梯度以获得解空间整个轨迹上的损失变化，得到再可塑性矩阵。
23.输出权值重要性发挥着类似突触再可塑性的作用，每个输出权值的再可塑性越高,它的重要性越低,对于旧图像分类任务性能的影响也就越小,因此可以优先改变以兼容新图像分类任务的分布;相反,输出权值的再可塑性低则表示它的重要性高,那么对应输出权值保持不变,从而保留模型对旧任务的记忆，故本发明围绕节点之间的连接权值度量其重要性。
24.具体地，对于实施例的首个图像分类任务1（后续任务同），首先利用交叉熵损失函数保证模型所建立的映射关系与任务1数据之间分布的近似，其中为模型输出；通过对输出权值添加无穷小更新量观察损失函数的变化，可以近似表示为：；其中表示梯度信息，通过对所有无穷小更新量求和，累积梯度以获得经过任务1解空间整个轨迹上的损失变化，损失变化大表明输出权值重要性高，对应再可塑性低，故将具备记忆功能的命名为关于任务1的再可塑性矩阵，计算等式：本质上来说，本身相对于中每个元素的变化率。相应地，中较小的元素值表明其对损失函数的影响不大；反之亦然，从而实现了对旧任务记忆的保留。对于实施例后续图像分类任务，均指在前一个任务上持续获得再可塑性矩阵；更进一步地，虽然涉及了梯度计算，但仅仅是一阶的而且不需要梯度信息反传，因此，以上过程仍然是高效且易于实现的；一旦完成的计算，相应任务的数据不再保留。
25.步骤s4，随后续任务的出现，利用再可塑性矩阵构造目标函数，在解析求解的过程中指导输出权值的更新。
26.具体地，在本实施例中考虑当前图像分类任务2的出现，利用指导输出权值中的元素有选择性地接近或偏离最近一次得到的输出权值，因为最近一次得到的输出权值包含了先前所有学过的图像分类任务信息；目标函数的一般性问题为：包含了先前所有学过的图像分类任务信息；目标函数的一般性问题为：其中n2为当前图像分类任务样本个数，为当前图像分类任务的残差，为系数常量，为的变体，分别为输出权值和最近一次得到的输出权值第l列，分别为当前图像分类任务第个训练样本的输入和输出。
27.通过karush-kuhn-tucker (kkt)条件可以转化为下列一般性等式：其中为当前图像分类任务2的隐含层输出矩阵，为任务2的输出，标量表示任务1与任务2之间的权衡，运算表示逐元素积；更进一步地，由于传统矩阵相乘与逐元素积的共存导致难以推导出输出权值，依照分块矩阵对角化(partitioned matrix diagonalization, pmd)方法：1)首先分别对矩阵按列分块，得到，以及任务2的输出；2)然后矩阵被对角化为；3)最后在完成任务2中的个新类别后，模型输出权值 (其中)的每一列可以被独立地解析为：因此，通过递归地获取解析更新的输出权值，模型具有学习好任务2而且不忘记识别任务1的能力。
28.重复执行s3-s4，完成任意长任务序列的学习与记忆融合。
29.在本实施例中，重复执行步骤s3-s4，更新再可塑性矩阵，在指导下优化输出权值。
30.具体地，根据本发明实施例，新图像分类任务输出权值 (其中)的每一列可以被独立地解析为：其中表示紧接在之前的任务，表示最近一次得到的输出权值，则表示在任务出现之前的所有任务，表示任务与任务之间的权衡。
31.图3为本发明一个具体实施例的cifar-100连续图像分类精度的测试结果图，其中，(a) 为连续学习5个20分类任务的平均分类精度，(b) 为连续学习10个10分类任务的平均分类精度。从图3中可以看出，无论是面向单一任务具有较多新类别数、还是具有较多任务数的长任务序列，随着任务数量增加，测试结果曲线较为稳定，平均分类精度损失可小于5%，说明本发明在连续图像分类上具有出色的学习与记忆融合能力。
32.本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。