一种基于多维度信息融合的乳腺MRI病变区域检测方法与流程

本发明涉及磁共振成像技术领域，尤其涉及一种基于多维度信息融合的乳腺mri病变区域检测方法。

背景技术：

磁共振成像(magneticresonanceimaging，mri)技术是利用氢质子的核磁共振现象进行成像的一种技术。随着磁共振成像技术近年来不断成熟，其在乳腺疾病诊断中的重要性日益增加。乳腺磁共振技术对乳房病灶性质的进一步判断较为敏感，不仅对于病变的良恶性可以做进一步的判断，同时可以帮助医生识别病灶是否多发。特别的，乳腺磁共振技术在往病人体内注入造影剂后，根据造影剂在不同组织随着时间信号强度的变化，可以对病变的良恶性做出更加准确地判断。

目标检测是计算机自动识别图像中不同的物体内容，属于图像分析领域的基础任务之一。目标检测在只给定一张图像的情况下，不依赖于其他信息，仅通过计算机，将图像中的目标通过算法检出。医疗图像的目标检测，是针对于特定的医疗图像，例如影像图片、病理图片等进行病变目标检测。医疗图像的目标检测，通过计算机自动的图像分析处理，不仅能快速完成医疗图像的病变检测任务，还能进一步提高对病变区域检测的敏感度和特异度。

迄今为止，研究者在目标检测领域提出了很多有效的方法，特别是基于深度学习的较多算法在自然图像目标检测中取得了很好的效果。根据算法的特点，基于深度学习的目标检测算法可以分成两个类别：1、基于候选区域的方法，例如rcnn、fastrcnn、fasterrcnn等算法，该类方法基于两个步骤：首先算法生成大量的可能为目标区域的候选窗口；其次通过学习分类器，对上述候选窗口进行判别，得到最后的目标窗口和可能区域。2、基于回归的方法，例如yolo、ssd。这类方法直接对稠密的规则产生的窗口进行单个步骤的检测，在保持较高检测精度的同时，能够非常快速地得到检测结果。

在乳腺磁共振图像目标识别中，因为标注数据的匮乏以及磁共振图像与自然图像之间的差异性，直接利用自然图像的目标检测算法不能得到一个优异的结果。目前结果较好的方法是利用显著性检测对乳腺磁共振图像进行初步的分析处理，然后再进一步的利用深度网络对显著性检测得到的候选区域进行分类判断，这种方法在肿块检测中得到了较好的结果。但是，乳腺中有一部分病变区域的图像特征在单张影像图片中与正常的组织(例如，血管断面)具有较高的相似度，采用上述现有技术很难将它们进行有效区分。并且，现有的显著性检测在提取候选窗口时，对于病变区域的特征表达不全面，容易造成病变区域目标检测召回率不高。以上问题均导致对于乳腺磁共振图像的病变区域检测结果不准确。

技术实现要素：

本发明旨在提供一种基于多维度信息融合的乳腺mri病变区域检测方法，能够更加准确地对乳腺中的病变区域进行检测。

为达到上述目的，本发明采用的技术方案如下：

一种基于多维度信息融合的乳腺mri病变区域检测方法，包括：采用卷积神经网络，对预设图像进行特征学习，使所述卷积神经网络学习到所述预设图像中病变区域和正常组织之间的差异，获取训练后的卷积神经网络；获取待检测的乳腺mri图像，所述待检测的乳腺mri图像包括：同一期连续断层图像和同一断层不同期图像；根据所述训练后的卷积神经网络，对所述同一期连续断层图像进行病变区域选取，获取一个以上候选窗口；采用循环神经网络，对所述同一断层不同期图像进行编码，获取所述同一断层不同期图像的信号强度与病变类型之间的相关信息；将所述一个以上候选窗口映射到所述相关信息中，通过预设的分类器进行分类，获取最终的病变区域检测结果。

优选地，所述训练后的卷积神经网络为rpn网络。

优选地，所述根据所述训练后的卷积神经网络，对所述同一期连续断层图像进行病变区域选取的方法为：将所述同一期连续断层图像构成多通道序列作为所述rpn网络的输入；所述同一期连续断层图像小于7层。

优选地，所述循环神经网络为长短时记忆网络。

优选地，所述同一断层不同期图像包括：同一断层未注入造影剂时的图像，同一断层注入造影剂后不同时间点的图像。

优选地，通过感兴趣区域映射，将所述一个以上候选窗口映射到所述相关信息中。

本发明实施例提供的基于多维度信息融合的乳腺mri病变区域检测方法，采用训练后的卷积神经网络对待检测的乳腺mri图像中同一期连续断层图像进行病变区域选取，融合了不同断层的图像信息，使病变目标检测参考了三维空间总的信息，从而能够更加准确地区分mri图像中的病变区域和正常组织。同时，还采用了循环神经网络，对待检测的乳腺mri图像中同一断层不同期图像进行编码，基于时序变化的图像信息分析了造影剂在不同组织中的变化内容，从而提高了不同病变之间的分类精度。可见，本发明提供的技术方案，能够更加准确地对乳腺中的病变区域进行检测。

附图说明

图1为本发明实施例的方法流程图；

图2为本发明实施例中同一病变区域同一断层注射造影剂后不同时期显示的图像；

图3为本发明实施例中同一病变区域连续不同断层之间的图像；

图4为本发明实施例的检测框架示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图，对本发明进行进一步详细说明。

在本发明中，我们采用自然图像目标检测中基于候选区域的算法，提出使用卷积神经网络分别提取不同断层与不同时序的乳腺mri图像信息，将不同断层的图像主要用于候选区域的提取，利用不同时序期的图像，进行候选区域的进一步分类判断的方法。

图1为本发明实施例的方法流程图，具体包括以下步骤：

步骤101，采用卷积神经网络，对预设图像进行特征学习，使所述卷积神经网络学习到所述预设图像中病变区域和正常组织之间的差异，获取训练后的卷积神经网络，即rpn网络；

步骤102，获取待检测的乳腺mri图像，所述待检测的乳腺mri图像包括：同一期连续断层图像和同一断层不同期图像；

步骤103，根据所述训练后的卷积神经网络，对所述同一期连续断层图像进行病变区域选取，获取一个以上候选窗口；

本实施例中，获取候选窗口即为通过相关的算法找出可能为病变目标的区域。乳腺mri图像在连续的不同断层中，其相互之间的组织具有解剖结构上的关联。基于这种关联，可以对病变区域和正常组织进行区分。我们使用resnet网络对所述同一期连续断层图像搭建起rpn网络，通过卷积神经网络强大的表达能力，学习到预设的乳腺mri图像中病变区域和正常组织之间在形态特征上的差异。通过rpn网络，将图像中所有可能为目标的位置找出来，并给定置信度。

具体地，针对in层的图像，将所述同一期连续断层图像{in-k...in-1，in，in+1...in+k}构成多通道序列作为所述rpn网络的输入。这个多通道序列可以看作乳腺在三维立体空间中的重构信息。这样，我们不只是利用in单张图像信息对乳腺mri图像进行候选区域选取，同时利用了in层出现的组织在其上下层中结构的变化信息。

最终，我们的输入信息是与in层结构关联较大的2k+1层乳腺核磁共振图像序列{in-k...in-1，in，in+1...in+k}。由于乳腺相关联的组织结构平均相关层数一般低于7层，即所述同一期连续断层图像小于7层，因此，在本发明中，我们选择k＝3。通过rpn网络，我们得到了大量置信度较高且重叠率不大的矩形窗口位置信息，这些即为候选窗口：bboxs＝{bbox0，bbox1，...，bboxn}。

步骤104，采用循环神经网络，对所述同一断层不同期图像进行编码，获取所述同一断层不同期图像的信号强度与病变类型之间的相关信息；

有效的利用注射造影剂之后图像的变化趋势，是乳腺mri图像分析的重要手段，对于病变类型的判别起着至关重要的决定。在本发明中，我们采用循环神经网络对于同一断层不同时期的图像进行编码，再通过步骤103中rpn网络得到的结果，在编码后的结果中，对候选区域的类型进行判别。

循环神经网络具有动态地捕获时序信息的能力，并且在很多任务中(例如机器翻译，图像描述自动生成等)表现出较好的性能。因此，在本发明中，我们选择使用一个一层长短时记忆网络来对时序变化进行图像编码。长短时记忆网络是一种循环神经网络。循环神经网络一般包含一个输入层x，隐藏层h和输出层o。利用隐藏层h，循环神经网络将时序数据中的历史数据保留下来，作为最后推断的依据。训练循环神经网络时，一般采用bptt(backpropagationthroughtime)算法。但是该算法在网络学习时使用链式法则，会产生梯度消失的问题。而长短时记忆网络通过增加了一个细胞单元(cell)和三个门单元(输入门，忘记门，输出门)，解决了梯度消失的问题。

本实施例中，所述同一断层不同期图像包括：同一断层未注入造影剂时的图像，同一断层注入造影剂后不同时间点的图像。长短时记忆网络根据上述未注射造影剂时的mri图像以及注射造影剂后不同时间点的序列图像将其进行编码，提取其中的信号强度变化与病变类型的相关信息，得到

步骤105，将所述一个以上候选窗口映射到所述相关信息中，通过预设的分类器进行分类，获取最终的病变区域检测结果。

本实施例中，通过感兴趣区域映射，将所述一个以上候选窗口bboxs映射到所述相关信息e中，再通过预设的分类器进行分类判断，获取最终的病变区域检测结果。

本发明实施例提供的基于多维度信息融合的乳腺mri病变区域检测方法，采用训练后的卷积神经网络对待检测的乳腺mri图像中同一期连续断层图像进行病变区域选取，融合了不同断层的图像信息，使病变目标检测参考了三维空间总的信息，从而能够更加准确地区分mri图像中的病变区域和正常组织。同时，还采用了循环神经网络，对待检测的乳腺mri图像中同一断层不同期图像进行编码，基于时序变化的图像信息分析了造影剂在不同组织中的变化内容，从而提高了不同病变之间的分类精度。可见，本发明提供的技术方案，能够更加准确地对乳腺中的病变区域进行检测。

以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。