基于元学习和记忆网络的图像分类方法及系统与流程

1.本发明涉及图像识别分类技术领域，尤其是涉及一种基于元学习和记忆网络的图像分类方法及系统。


背景技术：

2.伴随着大数据时代和高性能计算资源技术的到来和提升，深度学习已经将人工智能的发展推进了一个新的阶段，由于深度学习在各个领域取得的优秀成就，目前基于深度学习的算法已成为人工智能领域研究的主流方法，计算机视觉方向研究是人工智能研究中的重要组成部分之一。其中图片作为一种常见的视觉媒介，充斥在互联网时代的各个角落，它凭借其简单，清晰的特点，在信息传递过程中发挥着重要作用。尤其随着web时代的普及，图片信息已经呈爆炸性增长。如果能够充分利用好这些信息，无疑对生产生活都有极大的便利之处。目前图像研究方向中，图片分类是主要研究方向之一，其有着广泛的应用场景，如物种识别，种类识别，人脸识别以及医学领域的一些应用等。这将会在一些工作场景中大大减轻人工工作量，减少人类的主观误差，大大提升工作效率。
3.目前图像分类的方法，大多基于深度学习模型，其中包括典型的vgg网络，googlenet以及resnet，由于图像是一个空间信息，因此这些模型都是基于convolutional neural network（cnn）网络搭建实现的。然而值得注意的是，传统的图像分类在对某一图像进行分类往往只关注于图片本身的特征（这里不包括多模态，如加入文本信息，以及加入其他额外的信息，而是特指当信息只有图片本身时），却很少关注于任务本身所持有的一些元信息。根据现实场景显而易见，同一类图片是有很大的共性知识，以最普通的物种分类为例，当数据包含猫和狗两类图片时，同属于猫的图片一定在某些地方有着其相同的地方。而传统的方法中往往忽视了这一点，或者没有很好地利用这一特性，这就导致同一类图片之间没有直接共享信息，而只是通过间接的方式共享。这种方法带来的弊端包括：一是模型收敛较慢，需要花费更长的时间来训练网络，这无疑增加了计算代价；二是在一定程度上降低了模型的性能，使得模型的性能没有实现最大化。


技术实现要素：

4.本发明的目的在于克服上述技术不足，提出一种基于元学习和记忆网络的图像分类方法及系统，其能实现当同类图像对其操作时起到辅助作用的同时抑制其他类图像在该类上的表现的有益效果。
5.为达到上述技术目的，本发明的技术方案第一方面提供一种基于元学习和记忆网络的图像分类方法，其包括如下步骤：将图像分类数据输入深度分类学习模型中学习得到图像原始特征表示；设置一个记忆网络模块，所述记忆网络模块包括多个记忆块，每一个记忆块对应保存着相应类别的元知识；将图像原始特征表示分别与记忆块进行计算得到读参数,利用读参数从记忆块中
获得图像最终特征表示；将图像最终特征表示映射到所有记忆块上，通过softmax计算得到其在每一个记忆块对应类别上的概率值，根据概率值的大小判断其所属分类。
6.本发明第二方面提供一种基于元学习和记忆网络的图像分类系统，其包括如下功能模块：图像学习模块，用于将图像分类数据输入深度分类学习模型中学习得到图像原始特征表示；记忆网络设置模块，用于设置一个记忆网络模块，所述记忆网络模块包括多个记忆块，每一个记忆块对应保存着相应类别的元知识；记忆读取模块，用于将图像原始特征表示分别与记忆块进行计算得到读参数,利用读参数从记忆块中获得图像最终特征表示；类别判断模块，用于将图像最终特征表示映射到所有记忆块上，通过softmax计算得到其在每一个记忆块对应类别上的概率值，根据概率值的大小判断其所属分类。
7.本发明第三方面提供一种服务器，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述一种基于元学习和记忆网络的图像分类方法的步骤。
8.本发明第四方面提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述一种基于元学习和记忆网络的图像分类方法的步骤。
9.与现有技术相比，本发明通过设计与类别一一对应的记忆块并构成记忆网络模块，保证每一个记忆块都保存的是自己所对应类别的元知识，同时通过共享记忆块的模式，学习类别间的元知识信息，将其直接用于任务学习中，从而当同类图像对其操作时起到辅助作用的同时抑制其他类图像在该类上的表现，实现更好的预测。
附图说明
10.图1是本发明实施例所述的基于元学习和记忆网络的图像分类方法的流程框图；图2是本发明实施例所述的基于元学习和记忆网络的图像分类方法的另一流程框图；图3是图2中步骤s1a的分步骤流程框图；图4是本发明实施例所述的基于元学习和记忆网络的图像分类系统的模块框图。
具体实施方式
11.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
12.基于上述内容，本发明实施例提供一种基于元学习和记忆网络的图像分类方法，如图1所示，其包括如下步骤：s1、将图像分类数据输入深度分类学习模型中学习得到图像原始特征表示；基于深度学习常用的图像分类模型包括vgg，resnet网络模型等，本发明以resnet
网络为例，输入通过resnet网络学习之后，得到图像原始特征表示。
13.如图2所示，在进行深度学习之前，还包括步骤s1a；s1 a、对图像分类数据进行预处理；具体的，如图3所示，步骤s1a包括如下分步骤：s1a1、收集图像分类任务的数据集；s1a2、对数据集中的图像数据进行大小比例调整，直至所有图像数据符合深度分类学习模型输入的统一大小尺寸；s1a3、采用常用的图像处理库获取数据集中所有图像数据的多通道二维表示，并将其转化成张量表示，作为深度分类学习模型的输入。
14.s2、设置一个记忆网络模块，所述记忆网络模块包括多个记忆块，每一个记忆块对应保存着相应类别的元知识。
15.整个记忆网络模块包含n个记忆块 m，其中n为类别数目，其对应类别的总数目，每一个记忆块对应保存着相应类别的元知识。
16.在进行图像类别的精细化分类前，还可以在记忆网络模块中增加一个记忆块，该记忆块对应的类为背景类，则记忆网络模块包含n+1个记忆块，所述背景类的记忆块能够在图像类别进行精细化分类前，对图像数据进行粗略判断，即判断图像是否是背景图像，如果是背景图像，则不再进行精细化分类。
17.s3、将图像原始特征表示分别与记忆块进行计算得到读参数,利用读参数从记忆块中获得图像最终特征表示。
18.其中，当类别数目较少时，即未超过某一设定范围时，将图像原始特征表示分别与每一个记忆块进行计算得到读参数,利用读参数从记忆块中获得图像最终特征表示。
19.具体的，将图像原始特征表示分别与记忆网络模块进行读写操作，读过程是将图像原始特征表示分别与每一个记忆块进行计算得到读参数 w r
，其具体计算方式如下：上式中，x为原始图片特征表示，m
i 为记忆块m中第i 个卡槽中存储的信息，m
j 为记忆块m 中第 j个卡槽中存储的信息。利用余弦相似度计算公式可得到两者之间的相似度值，并对所有的相似度值利用softmax函数计算出相应的权重，从而得到读参数 w r 。
20.然后利用读参数 w r 和记忆块获得图像最终特征表示；其具体计算方式如下：由于经过记忆网络模块输出的图像特征可能会丢失一部分信息，所以需要将记忆网络模块输出的图像特征和原始特征进行融合，即将得到的图像最终特征表示与原始特征表示x经过concat融合，融合之后的特征表示，其具体计算方式如下：
上式中，[;]表示concat操作。
[0021]
另外，在特征融合之后，通过预先设置的写参数对记忆块进行更新，优化模型性能；具体更新方式如下：上式中， 表示为上一状态第 i 个记忆块的值， 为第 i 个记忆块对应的写操作参数，x为原始图片特征表示。
[0022]
通过将写操作参数 w w 作为一个可学习参数，由模型自动学习，将其与特征计算之后，再经过激活函数作为更新的部分，加到上一个状态的记忆块上，作为新的记忆块的值，通过这种方式，记忆网络保存了类别的元知识，原特征表示融合元知识信息之后可以得到一个更好的表示，将其用于下游任务，从而提升模型的性能。
[0023]
上述方法基于的假设是当对于属于同一类的记忆块读取时，记忆块会对其起到辅助作用，当读取其他类别的记忆块时，这会抑制该特征在其他类上的表现，通过这种方式可以增强正类信息，抑制负类信息，从而实现提升性能的目标。
[0024]
不过当类别数目较多时，会带来较大的计算量和存储空间，同时也会增加太多的噪声，不利于提升模型的性能；因此，当类别数目超过设定范围时，将图像原始特征表示分别与部分记忆块进行计算得到读参数,利用读参数从记忆块中获得图像最终特征表示。
[0025]
所述将图像原始特征表示分别与部分记忆块进行计算得到读参数,利用读参数从记忆块中获得图像最终特征表示；包括如下内容：将经过网络表示学习之后的图像原始特征表示映射到所有记忆块上，通过softmax计算得到其在每一个记忆块对应类别上的概率值。
[0026]
即将经过网络表示学习之后的图像原始特征表示先映射到类别数n上，得到一个n维向量y，对该向量经过softmax得到在每个类上的概率值,其计算方式如下：上式中，为属于类型i的概率；为属于类型j的概率。
[0027]
取前k个概率值最大和前 k 个概率值最小所对应的类，将图像原始特征表示分别与每一个所取类相对应的记忆块进行计算得到读参数 w r ；利用读参数 w r 和记忆块获得图像最终特征表示。
[0028]
并将得到的图像最终特征表示与原始特征表示x经过concat融合。
[0029]
另外，在特征融合之后，通过预先设置的写参数对记忆块进行更新，优化模型性能。
[0030]
s4、将图像最终特征表示映射到所有记忆块上，通过softmax计算得到其在每一个记忆块对应类别上的概率值，根据概率值的大小判断其所属分类。
[0031]
将图片最终特征表示再映射到n个类上，经过softmax层得到其在每个类上的概率值，则概率值越大表示该图片越可能属于该类。计算损失时采用分类任务常用的交叉熵损失函数计算，其计算方式如下：
上式中，n为类别数目，y 为标签，当类别是i 时， y
i =1 ， 是模型的输出， 是指属于类型 i 的概率。
[0032]
本发明通过设计与类别一一对应的记忆块并构成记忆网络模块，保证每一个记忆块都保存的是自己所对应类别的元知识，同时通过共享记忆块的模式，学习类别间的元知识信息，将其直接用于任务学习中，从而当同类图像对其操作时起到辅助作用的同时抑制其他类图像在该类上的表现，实现更好的预测。
[0033]
如图4所示，本发明实施例还提供一种基于元学习和记忆网络的图像分类系统，其包括如下功能模块：图像学习模块10，用于将图像分类数据输入深度分类学习模型中学习得到图像原始特征表示；记忆网络设置模块20，用于设置一个记忆网络模块，所述记忆网络模块包括多个记忆块，每一个记忆块对应保存着相应类别的元知识；记忆读取模块30，用于将图像原始特征表示分别与记忆块进行计算得到读参数,利用读参数从记忆块中获得图像最终特征表示；类别判断模块40，用于将图像最终特征表示映射到所有记忆块上，通过softmax计算得到其在每一个记忆块对应类别上的概率值，根据概率值的大小判断其所属分类。
[0034]
本实施例一种基于元学习和记忆网络的图像分类系统的执行方式与上述基于元学习和记忆网络的图像分类方法基本相同，故不作详细赘述。
[0035]
本实施例服务器为提供计算服务的设备，通常指具有较高计算能力，通过网络提供给多个消费者使用的计算机。该实施例的服务器包括：存储器、处理器以及系统总线，所述存储器包括存储其上的可运行的程序，本领域技术人员可以理解，本实施例的终端设备结构并不构成对终端设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0036]
存储器可用于存储软件程序以及模块，处理器通过运行存储在存储器的软件程序以及模块，从而执行终端的各种功能应用以及数据处理。存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序（比如声音播放功能、图像播放功能等）等；存储数据区可存储根据终端的使用所创建的数据（比如音频数据、电话本等）等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0037]
在存储器上包含一种基于元学习和记忆网络的图像分类方法的可运行程序，所述可运行程序可以被分割成一个或多个模块/单元，所述一个或多个模块/单元被存储在所述存储器中，并由处理器执行，以完成信息的获取及实现过程，所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在所述服务器中的执行过程。例如，所述计算机程序可以被分割为图像学习模块10、记忆网络设置模块20、记忆读取模块30、类别判断模块40。
[0038]
处理器是服务器的控制中心，利用各种接口和线路连接整个终端设备的各个部
分，通过运行或执行存储在存储器内的软件程序和/或模块，以及调用存储在存储器内的数据，执行终端的各种功能和处理数据，从而对终端进行整体监控。可选的，处理器可包括一个或多个处理单元；优选的，处理器可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器中。
[0039]
系统总线是用来连接计算机内部各功能部件，可以传送数据信息、地址信息、控制信息，其种类可以是例如pci总线、isa总线、vesa总线等。处理器的指令通过总线传递至存储器，存储器反馈数据给处理器，系统总线负责处理器与存储器之间的数据、指令交互。当然系统总线还可以接入其他设备，例如网络接口、显示设备等。
[0040]
所述服务器应至少包括cpu、芯片组、内存、磁盘系统等，其他构成部件在此不再赘述。
[0041]
在本发明实施例中，该终端所包括的处理器执行的可运行程序具体为：一种基于元学习和记忆网络的图像分类方法，其包括如下步骤：s1、将图像分类数据输入深度分类学习模型中学习得到图像原始特征表示；s2、设置一个记忆网络模块，所述记忆网络模块包括多个记忆块，每一个记忆块对应保存着相应类别的元知识；s3、将图像原始特征表示分别与记忆块进行计算得到读参数,利用读参数从记忆块中获得图像最终特征表示；s4、将图像最终特征表示映射到所有记忆块上，通过softmax计算得到其在每一个记忆块对应类别上的概率值，根据概率值的大小判断其所属分类。
[0042]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0043]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
[0044]
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各实施例的模块、单元和/或方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0045]
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。