本发明涉及磁共振成像，更具体涉及基于多对比度磁共振影像的血管斑块成分识别方法。
背景技术：
因血管高危斑块所引发的心脑血管疾病已经成为危害人类健康的头号杀手。基于影像学手段的血管斑块监测，对于心脑血管疾病的预测、分期和预后评估都有着非常重要的意义。磁共振血管壁成像技术是基于磁共振物理原理，通过抑制血管内流动血液的信号来获得血管壁等静态组织信息的一种方法，能够对血管斑块的成分进行评估。
多对比度磁共振成像技术是利用QIR-T1W（Quadruple Inversion Recovery T1-Weighted Image，T1加权的四次反转恢复序列）、MDIR-T2W（Multi-slice Double Inversion Recovery T2-Weighted Image，T2加权的多重双反转恢复序列）、TOF（Time of Flight，三维飞行时间序列）、MP-RAGE（Magnetization Prepared Rapid Gradient Echo，基于反转准备脉冲的快速梯度回波序列）等磁共振血管壁成像技术来识别血管斑块的成分，如斑块内出血(intra-plaque hemorrhage, IPH)、钙化(calcification, CA)、脂质核(lipid rich necrotic core, LRNC)、疏松组织 (loose matrix，LM))等，进而达到对血管斑块成分分析的目的。随着病人数量的增加，加之专业医师数量的匮乏，计算机辅助多对比度磁共振影像进行血管斑块成分识别成为了一个重要的发展方向。
随着技术的发展，一些基于图像处理和机器学习的血管斑块成分识别方法相继被提出，但是这些方法的表现却不尽人意。
图1 示出了现有技术的基于多对比度磁共振影像的血管斑块成分识别方法的示意图。如图1中所示，现有的基于图像处理和机器学习的多对比度血管斑块磁共振影像成分识别方法首先对多对比度血管斑块磁共振影像进行特征提取，然后基于统计学和传统机器学习技术进行建模，得到多对比度血管斑块磁共振影像成分识别模型。在临床验证中，由模型产生多对比度血管斑块磁共振影像的辅助成分识别结果。
现有技术的缺点主要在于以下几点：
a、由于传统机器学习的建模能力有限，需要人工进行复杂的特征工程，这一过程需要大量的有经验的人员参与，而专业的医师数量匮乏，且很难与技术人员进行有效的协作；
b、特征工程必然会造成原始多对比度血管斑块磁共振影像信号的损失，从而降低识别的准确率；
c、模型的可移植性差，不具有通用性，无法简单应用于其他器官的磁共振影像识别场景。
技术实现要素：
针对现有技术的缺点，本发明提出一种基于多对比度磁共振影像的斑块成分分割深度学习算法，通过卷积神经网络对多对比度血管斑块磁共振影像进行学习和建模，其准确率可以大大超过传统的自动识别技术。
为了实现本发明的目的，根据本发明的第一方面，提供一种基于多对比度磁共振影像的血管斑块成分识别方法。所述方法包括：将待训练的多对比度血管斑块磁共振影像进行成分标注；将标注后的多对比度血管斑块磁共振影像输入到卷积神经网络中进行网络模型训练；将待识别的多对比度血管斑块磁共振影像输入到训练好的网络模型进行预测，以输出血管斑块成分识别结果。
优选地，所述方法可以进一步包括：在将待训练的多对比度血管斑块磁共振影像进行成分标注之前，对待训练的多对比度血管斑块磁共振影像进行数据增殖。
优选地，所述的数据增殖包括：对待训练的多对比度血管斑块磁共振影像随机左右翻转；对待训练的多对比度血管斑块磁共振影像放大或缩小后随机裁剪。
优选地，所述卷积神经网络是全卷积的神经网络结构，没有全连接层。
在对所述网络模型进行训练以及利用训练好的网络模型进行预测时，优选地，将每个对比度的磁共振影像单独经过一个卷积层；将以上用于每个对比度的卷积层的输出都连接到一个加法层；在所述加法层，通过加权求和将多个相同大小的特征图合并成单个特征图；将加法层的输出连接到网络的其余部分。
优选地，所述网络模型的最后一层为空洞卷积层。
为了实现本发明的目的，根据本发明的第二方面，提供一种计算机可读介质，用于记录可由处理器执行的指令，所述指令在被处理器执行时，使得处理器执行基于多对比度磁共振影像的血管斑块成分识别方法，包括如下操作：将待训练的多对比度血管斑块磁共振影像进行成分标注；将标注后的多对比度血管斑块磁共振影像输入到卷积神经网络中进行网络模型训练；将待识别的多对比度血管斑块磁共振影像输入到训练好的网络模型进行预测，以输出血管斑块成分识别结果。
本发明提高了多对比度血管斑块磁共振影像成分识别的准确率。更具体地说，卷积神经网络能够对图像数据进行有效地建模、学习和预测。相比于传统的机器学习算法，在大样本的场景下，卷积神经网络往往能够展现出更优的性能。
本发明避免了复杂的特征工程，解决端到端的学习问题。卷积神经网络是一种端到端的学习方法，能够在模型内部自动进行特征加工，这一过程不需要人的参与。因此，仅需要将原始的多对比度血管斑块磁共振影像输入卷积神经网络，就可以得到有效的建模。
同时，本发明也解决了模型的通用性问题。由于不需要复杂的特征工程，因此通过学习其他影像，卷积神经网络便能够被应用于相似的辅助诊断场景中。
通过卷积神经网络对多对比度血管斑块磁共振影像进行学习和建模，从而对新的样本进行有效的识别，辅助医师的诊断过程，能够大幅提高医生的工作效率。所获得的技术方案可以方便地推广到其他器官的磁共振影像辅助诊断过程中。
附图说明
下面参考附图结合实施例说明本发明。
图1 示出了现有技术的基于多对比度磁共振影像的血管斑块成分识别方法的示意图。
图2示出了根据本发明实施例的基于多对比度磁共振影像的血管斑块成分识别方法的示意图。
图3示出了根据本发明实施例的基于多对比度磁共振影像的血管斑块成分识别方法的流程图。
图4示出了应用于多对比度图像分割的卷积神经网络结构的示意图。
具体实施方式
附图仅用于示例说明，不能理解为对本发明的限制。下面结合附图和实施例对本发明的技术方案做进一步的说明。
多对比度血管斑块磁共振影像的成分识别问题对应于计算机图像处理中的图像分割问题，通过输入多对比度磁共振影像，图像分割模型会输出一张与输入图像大小相同的图像，包含有原始输入图像的若干个特定区域（各类成分）的分割结果。
图2示出了根据本发明实施例的基于多对比度磁共振影像的血管斑块成分识别方法的示意图。
深度学习是一种基于神经网络的人工智能方法，通过模拟人脑中神经元的连接，实现学习过程。卷积神经网络是一种特殊的神经网络结构，通过空间参数共享，能够有效地降低神经网络中的参数数量，可以对图像数据进行有效的建模。因此，卷积神经网络是深度学习技术中的重要组成部分。
图2所示的本发明的技术采用有监督学习的方案，在模型的训练过程中，机器通过多对比度血管斑块磁共振影像和对应的成分标注进行学习。如图2所示，标注后的多对比度血管斑块磁共振影像输入到卷积神经网络中进行模型的训练，模型训练完毕后得到的模型可以用于未来新样本的预测，从而得到多对比度血管斑块磁共振影像的成分识别结果。
图3示出了根据本发明实施例的基于多对比度磁共振影像的血管斑块成分识别方法的流程图。
如图3中所示，根据本发明实施例的基于多对比度磁共振影像的血管斑块成分识别方法300开始于步骤S310，在此步骤，将待训练的多对比度血管斑块磁共振影像进行成分标注。
接下来，在步骤S310，将标注后的多对比度血管斑块磁共振影像输入到卷积神经网络中进行网络模型训练。
训练好网络模型之后，该网络模型就可以用于对于新输入的多对比度血管斑块磁共振影像进行识别，即，对于磁共振影像中的血管斑块成分进行识别。
在步骤S320，将待识别的多对比度血管斑块磁共振影像输入到训练好的网络模型进行预测，以输出血管斑块成分识别结果。
在优选实施例中，所述多对比度血管斑块磁共振影像为四个对比度的血管斑块磁共振影像。
下面，分别针对网络模型训练的过程以及卷积神经网络模型的特性进行更加详细的描述。
在训练过程中，为防止模型过拟合，提高模型的泛化能力，本技术对原始的多对比度血管斑块磁共振影像进行数据增殖。也就是说，在图3中的步骤S310，即将待训练的多对比度血管斑块磁共振影像进行成分标注之前，对待训练的多对比度血管斑块磁共振影像进行数据增殖。所述的数据增殖具体包括：（1）对待训练的多对比度血管斑块磁共振影像随机左右翻转（例如，以0.5的概率）；（2）对影像放大或缩小后随机裁剪（例如，放大1.25倍）。这两步操作同时作用于多个对比度（例如四个对比度）的血管斑块磁共振影像和对应的成分标注上。最后将提取出的图像、标注对输入到卷积神经网络中进行模型学习。
在预测过程中，由于多对比度的血管斑块磁共振影像是成套进入模型的，那么不需要对影像进行预处理，直接输入到模型中进行识别。
再来看卷积神经网络模型。
为了适应任意大小输入样本的训练和预测，本发明采用全卷积的神经网络结构，即网络中不包含全连接层。在输入端，为了能够将四个对比度的血管斑块磁共振影像输入到神经网络中，我们将每个对比度的磁共振影像单独经过一层卷积层，然后将这四个卷积层的输出连接到一个加法层，在这个加法层通过加权求和将多个相同大小的特征图合并成单个特征图。然后，该加法层的输出连接到网络的其余部分。
有关卷积层（Convolution）的概念，请参见以下网址中的介绍：
http://cs231n.github.io/convolutional-networks/#conv。
在此，通过援引将上述网址中所涉及到的对于卷积层的概念的解释并入到本发明的说明书的描述中。
多对比度血管斑块磁共振影像输入到卷积神经网络模型后，会经过若干层卷积层的作用，不断提取出更高层级的特征，以完成最终的预测。在模型中，前面的卷积层通常会提取图像的轮廓和纹理信息，用于区分血管斑块中各类成分的边界；后面的卷积层能够提取更高层次的语义信息，用于血管斑块中各类成分性质的推理和判断。
图4示出了应用于多对比度图像分割的卷积神经网络结构的示意图。
所采用的卷积神经网络优化自DeepLab ResNet-101，我们的基本模型ResNet-101用一些步长为2的卷积层和最大值下采样层来减少特征图象的大小，以节省计算资源。ResNet-101拥有5组这样的操作，因此整个网络的下采样率为2^5=32倍。对于图像分类这样的任务，目前的降采样率通常就足够了。然而，现在的下采样对于像素预测会导致太多的信息丢失。原因在于血管斑块区域往往比较小，因此在最终的特征图像中对应不到1个像素，这样会给图象分割问题的解决带来困难。因此，按照 DeepLab中的方法，我们对ResNet-101原始模型中最后两组步长为2的卷积层进行了修改，将步长从2改变为1。同时应用空洞卷积，使得网络：（1）可以复用原有的模型参数；（2）增加卷积层的感受野。因此，整个网络的下采样率从32（2^5）倍更改为8（2^3）倍。
有关最大值下采样层（Max Pooling）的概念，又称最大池化层，请参见以下网址中的介绍：
http://cs231n.github.io/convolutional-networks/#pool。
在此，通过援引将上述网址中所涉及到的对于最大值下采样层的概念的解释并入到本发明的说明书的描述中。
图4中涉及的有关批归一化层（Batch Normalization）的概念，请参见以下网址中的介绍：
http://blog.csdn.net/hjimce/article/details/50866313。
在此，通过援引将上述网址中所涉及到的对于批归一化层的概念的解释并入到本发明的说明书的描述中。
图4中还涉及ReLU，有关ReLU激活层的概念，请参见以下网址中的介绍：
http://www.cnblogs.com/rgvb178/p/6055213.html。
在此，通过援引将上述网址中所涉及到的对于ReLU激活层的概念的解释并入到本发明的说明书的描述中。
总结一下，相比于DeepLab ResNet-101，本发明加入的改进包括以下几个方面。
（1）在需要输入四个对比度的血管斑块磁共振影像的情况下，采用四通道输入的方法。在输入端，将每个对比度的磁共振影像单独经过一层卷积层，然后将这四个卷积层连接到一个加法层，通过加权求和将多个相同大小的特征图合并成单个特征图。
（2）由于本发明优选实施例中所采用的基础网络是用于分类任务的。因此，它们的最后几层都是全连接层，以产生分类标签。但是，由于本发明要对每个像素进行分类，而不是整个图像，因此将分类模型中的最后全连接的层替换为全卷积层。此外，还采用了跳层融合的方法，即整合放大2倍、4倍和8倍的特征图像，以预测更精细的细节，同时保留语义信息。
（3）通过在原始的模型后面加入空洞卷积层（atrous convolution）（模型中最后两个残差单元），作为网络模型的最后一层，以消除原始模型中的“散斑”现象，进而得到光滑、准确的预测结果。可以参看图4的示意。
有关残差神经网络（ResNet）和空洞卷积，可分别参见以下网址中的介绍：
http://www.jianshu.com/p/e58437f39f65
https://www.zhihu.com/question/54149221/answer/192246237。
在此，通过援引将上述网址中所涉及到的对于以上两个概念的解释并入到本发明的说明书的描述中。
下面再来看本发明的技术方案所带来的有益效果。
首先，本发明提出了以卷积神经网络进行多对比度血管斑块磁共振影像成分的自动识别，实现了端到端的学习过程，避免了复杂的特征工程，相比于传统的机器学习系统有更优的性能。
其次，本发明所提出的卷积神经网络模型可以输入多对比度（优选为四个对比度）磁共振影像，结合不同对比度的磁共振影像，自动提取不同属性的特征，提高特征丰富性。
此外，本发明中的网络模型的可移植性好，具有通用性，能够简单应用于其他类似的场景。
本领域普通技术人员应该认识到，本发明的方法可以实现为计算机程序。如上结合图2和3所述，根据上述实施例的方法可以执行一个或多个程序，包括指令来使得计算机或处理器执行结合附图所述的算法。这些程序可以使用各种类型的非瞬时计算机可读介质存储并提供给计算机或处理器。非瞬时计算机可读介质包括各种类型的有形存贮介质。非瞬时计算机可读介质的示例包括磁性记录介质（诸如软盘、磁带和硬盘驱动器）、磁光记录介质（诸如磁光盘）、CD-ROM（紧凑盘只读存储器）、CD-R、CD-R/W以及半导体存储器（诸如ROM、PROM（可编程ROM）、EPROM（可擦写PROM）、闪存ROM和RAM（随机存取存储器））。进一步，这些程序可以通过使用各种类型的瞬时计算机可读介质而提供给计算机。瞬时计算机可读介质的示例包括电信号、光信号和电磁波。瞬时计算机可读介质可以用于通过诸如电线和光纤的有线通信路径或无线通信路径提供程序给计算机。
因此，根据本发明，还可以提议一种计算机程序或一种计算机可读介质，用于记录可由处理器执行的指令，所述指令在被处理器执行时，使得处理器执行基于多对比度磁共振影像的血管斑块成分识别方法，包括如下操作：将待训练的多对比度血管斑块磁共振影像进行成分标注；将标注后的多对比度血管斑块磁共振影像输入到卷积神经网络中进行网络模型训练；将待识别的多对比度血管斑块磁共振影像输入到训练好的网络模型进行预测，以输出血管斑块成分识别结果。
上面已经描述了本发明的各种实施例和实施情形。但是，本发明的精神和范围不限于此。本领域技术人员将能够根据本发明的教导而做出更多的应用，而这些应用都在本发明的范围之内。
也就是说，本发明的上述实施例仅仅是为清楚说明本发明所做的举例，而非对本发明实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其他不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。凡在本发明的精神和原则之内所作的任何修改、替换或改进等，均应包含在本发明权利要求的保护范围之内。