一种图像信息分类方法及装置与流程

本发明涉及深度学习技术领域，尤其涉及一种图像信息分类方法及装置。

背景技术：

现有图像信息分类方法由于肝癌数据集不足而导致鉴别诊断错误率高。现有公开的数据库中关于肝细胞癌、转移性肝腺癌、血管瘤等肝脏肿瘤症的数据量极少，对于在图像领域具有绝对优势的深度学习技术在如此少量的数据集上很难达到准确的效果。传统的数据扩充如仿射变换，透视变换等，都是在源数据上进行扩充，这些方法都是在挖掘原始数据的潜力，限制了扩充数据多样性的上限，过多的扩充并不能解决数据量不足的问题。在数据量足够的前提下，另一方面影响识别准确率的因素为是否拥有一个强大的深度神经网络。

现有技术中，一种图像信息分类方法是结合传统数据增强(旋转、翻转、缩放)和对抗生成网络(gan)合成新的医学数据来扩充数据，再利用卷积神经网络进行肝脏病变分类，但该方案在原来经典数据增强方案的基础上利用gan技术合成新的医学数据存在不稳定性，合成的数据需要专门的技术人员或者专业医师鉴别其有效性，并且这种数据增强也是在原有训练数据的基础上进行数据扩充的，相当于一种尽可能挖掘原始数据信息的方法，现阶段其对肝脏病变分类的提升是有限的；另一种图像信息分类方法是利用肝脏病变的全局和局部信息提取出更多尺度的特征信息，并利用resnet进行分类，肝脏病变部分的信息为全局信息，对病变部分进行分块并送入网络训练的部分为局部信息，全局信息和局部信息分别训练过后进行融合时存在特征信息冗余，模型容易过拟合。因此，怎样用少量的数据集结合更强力的卷积神经网络达到较高的肝脏肿瘤症识别效果成为亟待解决的问题。

技术实现要素：

为了克服现有技术的不足，本发明的目的在于提供一种图像信息分类方法，解决了现有图像信息分类方法采用传统的数据扩充挖掘原始数据的潜力，限制了扩充数据多样性的上限，过多的扩充并不能解决数据量不足的问题，且采用的神经网络分类效果差。

本发明提供一种图像信息分类方法，包括以下步骤：

训练分类网络，将肝脏数据集和肝脏肿瘤数据集同时输入邻居网络进行训练；

分配激活函数权重，对于所述邻居网络中肝脏分类支路的主干网络和所述邻居网络中肝脏肿瘤分类支路的主干网络每层卷积后对激活函数分配权重，网络训练过程中使每层网络选择出最佳激活函数或者激活函数的组合；

计算特征相关性，通过所述肝脏分类支路的主干网络每次训练过程中输出的肝脏概率分布和所述肝脏肿瘤分类支路的主干网络每次训练过程中输出的肝脏肿瘤概率分布计算公共特征相关性；

反向传播训练，通过所述肝脏概率分布、所述肝脏肿瘤概率分布和所述公共特征相关性计算损失度量，通过所述损失度量进行反向传播使网络收敛；

图像信息分类，将所述肝脏分类支路移除，通过训练好的肝脏肿瘤网络对测试数据集进行测试，得到图像信息分类结果。

进一步地，所述训练分类网络步骤中，对数据进行随机小幅度弹性形变、旋转和平移操作。

进一步地，所述训练分类网络步骤中，采用l2正则化和批归一化处理，并采用早停法训练至网络收敛。

进一步地，所述训练分类网络步骤中，所述肝脏分类支路的主干网络和所述肝脏肿瘤分类支路的主干网络均由两层网络和三层网络组成。

进一步地，所述分配激活函数权重步骤中，每层卷积后添加向量代表对应激活函数的权重，通过向量和激活函数点乘的方式实现激活函数自选择。

进一步地，所述计算特征相关性步骤中，将所述肝脏肿瘤概率分布输入缩小分布结构差异网络计算所述肝脏概率分布与所述肝脏肿瘤概率分布公共特征相关性。

进一步地，所述反向传播训练步骤还包括采用度量函数度量所述肝脏概率分布、所述肝脏肿瘤概率分布之间的距离，将所述度量函数作为约束，联合所述肝脏分类支路的损失函数、所述肝脏肿瘤分类支路的损失函数和所述约束对所述邻居网络进行反向传播训练，直至网络收敛。

进一步地，所述反向传播训练步骤中，所述度量函数为mmd度量函数，具体计算公式为：

其中，mmd(p,y)为所述肝脏概率分布和所述肝脏肿瘤概率分布之间的距离，ns为肝脏数据集的大小，nt为肝脏肿瘤数据集的大小，为所述肝脏概率分布，为所述肝脏肿瘤概率分布。

进一步地，所述反向传播训练步骤中，所述肝脏分类支路的损失函数、所述肝脏肿瘤分类支路的损失函数均为交叉熵，所述约束为所述mmd度量函数，具体计算公式为：

loss＝λloss1+(1-λ)loss2+mmd

其中，loss为分类交叉熵总损失函数，loss1为肝脏交叉熵，loss2为肝脏肿瘤交叉熵，λ为超参数，mmd为所述肝脏概率分布和所述肝脏肿瘤概率分布之间的距离。

一种图像信息分类装置，该装置执行上述一种图像信息分类方法。

相比现有技术，本发明的有益效果在于：

本发明提供一种图像信息分类方法，包括以下步骤：训练分类网络，将肝脏数据集和肝脏肿瘤数据集同时输入邻居网络进行训练；分配激活函数权重，对于邻居网络中肝脏分类支路的主干网络和邻居网络中肝脏肿瘤分类支路的主干网络每层卷积后对激活函数分配权重，网络训练过程中使每层网络选择出最佳激活函数或者激活函数的组合；计算特征相关性，通过肝脏分类支路的主干网络每次训练过程中输出的肝脏概率分布和肝脏肿瘤分类支路的主干网络每次训练过程中输出的肝脏肿瘤概率分布计算公共特征相关性；反向传播训练，通过肝脏概率分布、肝脏肿瘤概率分布和公共特征相关性计算损失度量，通过损失度量进行反向传播使网络收敛；图像信息分类，将肝脏分类支路移除，通过训练好的肝脏肿瘤网络对测试数据集进行测试，得到图像信息分类结果。本发明涉及一种图像信息分类装置。本发明将肝脏数据集和肝脏肿瘤数据集同时放进分类网络进行训练，通过主干网络得出两者的概率分布，并且通过缩小分布差异结构这种无监督的方式得出两者高维抽象特征表示之间的相关性，然后结合三部分得出损失度量进行反向传播使网络收敛，当小数据量的肝脏肿瘤数据集已无力提升数据分类效果时，大数据量的肝脏数据的网络分类效果还在提升，这时在无监督网络的帮助下将协助肝脏肿瘤网络继续提升肝脏肿瘤分类效果。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。本发明的具体实施方式由以下实施例及其附图详细给出。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明的一种图像信息分类方法流程图；

图2为本发明的邻居网络整体结构示意图；

图3为本发明的主干网络两层网络结构示意图；

图4为本发明的主干网络三层网络结构示意图；

图5为本发明的主干网络整体结构示意图。

具体实施方式

下面，结合附图以及具体实施方式，对本发明做进一步描述，需要说明的是，在不相冲突的前提下，以下描述的各实施例之间或各技术特征之间可以任意组合形成新的实施例。

一种图像信息分类方法，如图1所示，包括以下步骤：

训练分类网络，将130组33460张的肝脏数据集和31062张肝脏肿瘤数据集同时输入邻居网络进行训练。为了使网络泛化性能更强，在训练过程中对数据进行随机小幅度弹性形变、旋转和平移操作，使数据扩充至6倍,采用l2正则化和批归一化处理(batchnormalization)防止过拟合，并采用早停法(earlystopping)训练至网络收敛。

如图2所示，邻居网络是肝脏肿瘤分类的主体结构，主要由两条分支组成，分别是肝脏分类支路和肝脏肿瘤分类支路。如图5所示，在两条支路中主干网络共13层网络，5部分叠加组成，前两部分为图3网络结构，后三部分为图4网络结构，图3,图4结构分别由两层和三层网络组成，应当注意的是，一般网络层数不包括池化层。

分配激活函数权重，对于邻居网络中肝脏分类支路的主干网络和邻居网络中肝脏肿瘤分类支路的主干网络每层卷积后对激活函数分配权重，网络训练过程中使每层网络选择出最佳激活函数或者激活函数的组合；具体的，每一层卷积输出的结果都需要通过5个激活函数的自选择，自选择的实现方式是每一层卷积后添加一个5维向量代表相应激活函数的权重，权重初始化是(0-1)区间中服从正态分布的随机浮点数，通过5维向量和激活函数点乘的方式实现激活函数自选择。由于训练过程中不同网络层输出需要的最佳的非线性响应可能不同，而我们无法定量的衡量这种不同，从而选择最佳激活函数或者激活函数的组合，通过这种自适应激活方法，能够使响应值最大化，提升肝脏肿瘤的分类效果。应当理解的是，通过改变激活函数的个数或种类等提升网络效果。

计算特征相关性，通过肝脏分类支路的主干网络每次训练过程中输出的肝脏概率分布pi^s和肝脏肿瘤分类支路的主干网络每次训练过程中输出的肝脏肿瘤概率分布pi^t计算公共特征相关性；具体的，将肝脏肿瘤概率分布pi^t输入缩小分布结构差异网络计算肝脏概率分布与肝脏肿瘤概率分布公共特征相关性。

反向传播训练，通过肝脏概率分布、肝脏肿瘤概率分布和公共特征相关性计算损失度量，通过损失度量进行反向传播使网络收敛。具体的，采用度量函数度量肝脏概率分布、肝脏肿瘤概率分布之间的距离，将度量函数作为约束，使得在训练过程中抽象特征在公共子空间具有相似的分布，通过这种自适应方法，当小数据量的肝脏肿瘤数据集已无力提升数据分类效果时，大数据量的肝脏数据的网络分类效果还在提升时，在无监督网络的帮助下将协助肝脏肿瘤网络继续提升肝脏肿瘤分类效果。联合肝脏分类支路的损失函数、肝脏肿瘤分类支路的损失函数和约束对邻居网络进行反向传播训练，直至网络收敛，此时通过此自适应训练方法，两个数据集在公共子空间中公共特征具有相关性，即能够在肝脏肿瘤数据量不足的情况下，通过肝脏网络提高肿瘤分类的准确率。本实施例中，度量函数为mmd度量函数，具体计算公式为：

其中，mmd(p,y)为肝脏概率分布和肝脏肿瘤概率分布之间的距离，ns为肝脏数据集的大小，nt为肝脏肿瘤数据集的大小，为肝脏概率分布，为肝脏肿瘤概率分布。

肝脏分类支路的损失函数、肝脏肿瘤分类支路的损失函数均为交叉熵，约束为mmd度量函数，具体计算公式为：

loss＝λloss1+(1-λ)loss2+mmd

其中，loss为分类交叉熵总损失函数，loss1为肝脏交叉熵，loss2为肝脏肿瘤交叉熵，λ为超参数，本实施例中，λ为0.3，有利于网络的子选择偏好，mmd为肝脏概率分布和肝脏肿瘤概率分布之间的距离。

图像信息分类，将肝脏分类支路移除，通过训练好的肝脏肿瘤网络对测试数据集进行测试，得到图像信息分类结果。

在一实施例中，邻居网络使用的batchsize为8，输入为张量大小为8*512*512*1，经过前两部分操作特征图变成了8*128*128*128，再通过后三个部分模块输出特征图大小变成了8*16*16*1024，即主干网络输出的概率分布(distribution)，概率分布再通过softmax分类器输出最后的分类结果。邻居网络中全部使用3*3卷积核(kernel)，卷积步长(stride)设置为1，padding为2，以保证经过卷积后特征图大小不变，并且特征图随卷积操作成倍增长，初始卷积核个数为64，同时使用自选择激活函数，2*2步长为2的最大池化(maxpooling)。邻居网络通过肝脏协助肝脏肿瘤分类的特性，大幅度地提高了肝脏肿瘤分类的准确率，充分利用概率分布相近数据的相关性，当小数据量的肝脏肿瘤数据集已无力提升数据分类效果时，利用大数据量的肝脏数据的网络分类效果还有提升空间的特性，在无监督网络的帮助下协助肝脏肿瘤网络继续提升肝脏肿瘤分类效果。应当理解的是，可以增加更多相似的结构层，或使用其他无监督度量方式度量分布距离达到更好的效果，可以通过条件随机场等后处理技术提高分类准确性。

一种图像信息分类装置，该装置执行上述一种图像信息分类方法。

本发明提供的邻居网络，只要两个数据集域存在分布上的相关性，就可以利用这种相关性缩小两种数据集高度抽象特征表示之间的差距，再通过联合训练，在动态过程中达到大数据集分类准确性的提高而使小数据集突破自身数据分类能够达到的最高准确性的目的。另外，网络设计的主干部分采用了创新设计，卷积神经网络激活函数的引入为网络带来了非线性性的特点，但是现有技术中对于非线性激活函数总是选择人为认定最好的一个，并在整个任务网络中仅使用这样一个激活函数，这其实阻碍了神经网络自动化搜索最优解的特点，每种激活函数经过前人的证明都在某些领域数据集任务中存在优势。但即使在某个数据集任务上，不同网络层的输出，不同的激活函数的使用也会提升网络对于任务的性能。基于这种设计思路，本发明选择了卷积神经网络发展过程中被认为最有效的5种激活函数，它们几乎涵盖了所有的图像任务中所使用的激活函数，在网络训练过程中通过巧妙地设计方式让网络在特定任务上进行自选择，或自由组合激活函数，达到提升任务性能的效果。

以上，仅为本发明的较佳实施例而已，并非对本发明作任何形式上的限制；凡本行业的普通技术人员均可按说明书附图所示和以上而顺畅地实施本发明；但是,凡熟悉本专业的技术人员在不脱离本发明技术方案范围内，利用以上所揭示的技术内容而做出的些许更动、修饰与演变的等同变化，均为本发明的等效实施例；同时,凡依据本发明的实质技术对以上实施例所作的任何等同变化的更动、修饰与演变等，均仍属于本发明的技术方案的保护范围之内。