乳腺超声图像识别分析方法及系统与流程

本发明涉及超声检查技术领域，具体是一种乳腺超声图像识别分析方法及系统。

背景技术：

目前在使用超声设备检查患者乳腺部位进行检查时，由于机器成图质量受机器参数设置，探头检查时角度，以及医生经验等影响，导致在实时检查病人过程中，难以快速识别图像上出现的病灶；而且由于超声科医生的每天繁重的工作量，受体力情绪等因素影响，难以对所有患者身上的每个病灶都精准地触及分析；另外，由于受目前超声设备操作的繁琐性，医生对检查中发现的每个病灶区域中病灶的勾勒、测量等操作都需要大量的按键操作。目前设备难以方便快捷的根据图中的病灶区域得出用来分析判断的量化指标等。

传统乳腺癌诊断是通过一些超声征象，如钙化、形态、纵横比、是否浸润等一些标准来判断是否是乳腺癌，受诊断医生经验、设备等因素影响，诊断正确率一直不高。对发现的病灶区域提取也是通过水平集等传统算法分割来进行轮廓提取的，在分割过程中，受成图质量、经验等影响，难以自适应地针对每个患者适用。如何提高检查医生的诊治正确率，降低设备对经验的要求一直是研究中的难点。

深度学习，特别是卷积神经网络是近几年出现的一种新技术，其利用大量标注数据作为来样本来训练由多层卷积搭建而成的深度卷积神经网络。能够自动从大量数据中学习到数据中的潜在特征，非常适合用针对医学图像搭建模型，提高医学模型的诊断正确率。

技术实现要素：

本发明为了解决在乳腺超声检查诊断过程中，乳腺病灶识别率低、病灶性质区分困难、病灶测量过程繁琐等问题，提供一种自动分析乳腺检查图像，识别乳腺病灶并进行性质分析及病灶区域轮廓提取、参数自动测量的方法。本发明相对传统方法来说，可显著提高辅助诊断正确率及操作效率，减少误诊率及超声医生的工作量。

按照本发明提供的技术方案，所述的乳腺超声图像识别分析方法包括以下步骤：

步骤1、卷积神经网络模块接收乳腺超声图像或视频；

步骤2、卷积神经网络模块使用经训练的卷积神经网络模型对乳腺超声图像或视频进行处理，识别输入乳腺超声图像或视频中含病灶的图像帧；并对含有病灶的图像帧进行分割，提取图像帧中病灶区域轮廓，自动测量病灶区域参数。

具体的，所述卷积神经网络模型还可以将含病灶的图像帧标识出来并对病灶区域进行标注。

具体的，所述经训练的卷积神经网络模型可以至少包括经训练的第一卷积神经网络模型、经训练的第二卷积神经网络模型；

所述经训练的第一卷积神经网络模型对乳腺超声图像或视频进行识别，自动识别乳腺超声图像是否含有病灶区域，得到经识别的含病灶的图像帧；

经训练的第二卷积神经网络模型对经识别的含病灶的图像帧进行分割，提取病灶区域轮廓，并测量病灶区域参数进行输出。

具体的，所述第一卷积神经网络模型还可以将含病灶的图像帧标识出来并对病灶区域进行标注。

具体的，在所述第一卷积神经网络模型对乳腺超声图像或视频进行识别之前，先对输入的乳腺超声图像或视频进行预处理，得到预处理后的乳腺超声图像，预处理步骤在步骤1之前或者在步骤2第一卷积神经网络模型开始识别之前。

具体的，所述对病灶区域的标注包括病灶区域的良、恶性评分。

具体的，所述病灶区域良性评分，包括良性肿瘤、炎性、腺病的评分。

具体的，所述经训练的卷积神经网络模型由已识别为含有病灶，并提取了病灶区域轮廓、参数测量后的乳腺超声图像作为样本训练得到。

具体的，所述经训练的第一卷积神经网络由已经识别的含乳腺病灶的乳腺超声图像数据作为样本训练得到；所述经训练的第二卷积神经网络模型通过已分割提取病灶区域轮廓，参数测量后的乳腺超声图像作为样本训练得到。

按照本发明提供的技术方案，一种乳腺超声图像识别分析系统，包括：卷积神经网络模块，接收乳腺超声图像或视频，对乳腺超声图像或视频进行处理，识别输入乳腺超声图像或视频中含病灶的图像帧；并对含有病灶的图像帧进行分割，提取图像帧中病灶区域轮廓，自动测量病灶区域参数；所述卷积神经网络模块的识别、分割、测量结果输出到显示装置。

具体的，所述卷积神经网络模块包括第一卷积神经网络模块、第二神经网络模块；

所述第一卷积神经网络模块，用于对乳腺超声图像或视频进行病灶区域的识别，识别出含病灶的图像帧；

所述第二卷积神经网络模块，用于对经识别的含病灶的图像帧进行分割，提取病灶区域轮廓，并测量病灶区域参数进行输出。

具体的，系统还包括预处理模块，对输入的乳腺超声图像或视频预处理，将预处理后的乳腺超声图像输出到卷积神经网络模块。

或者，所述卷积神经网络模块中包括预处理模块，对输入的乳腺超声图像或视频预处理，将预处理后的乳腺超声图像输出到第一卷积神经网络模块。

按照本发明提供的技术方案，一种终端设备，包括：

至少一个处理模块及至少一个存储介质；

其中，所述存储介质存储有计算机程序，当所述计算机程序被处理模块执行时，使得所述处理模块执行上述方法的步骤。

按照本发明提供的技术方案，一种计算机存储介质，其存储有可由终端设备执行的计算机程序，当所述程序在终端设备上运行时，使得所述终端设备执行上述方法的步骤。

本发明的优点是：本发明使用多层卷积神经网络来构建识别分类及分割模型，使用了大量由手术穿刺确定病理结果的数据作为样本，并使用有多年临床经验的高年资医生标注的数据来作为训练数据来训练多层卷积神经网络，增加了模型鲁棒性和应用了有多年高年资经验的医生的经验，可显著提高诊断正确率，并减少医生的重复操作。

附图说明

图1是本发明的系统框图之一。

图2是本发明的系统框图之二。

图3是本发明的系统框图之三。

图4是本发明的方法流程图之一。

图5是本发明的方法流程图之二。

图6是本发明的方法流程图之三。

图7是本发明的方法流程图之四。

图8是本发明的方法流程图之五。

图9是本发明的方法流程图之六。

图10是本发明的方法流程图之七。

图11是含有病灶的乳腺超声图像。

图12是标识后的含有病灶的乳腺超声图像。

图13是含病灶的乳腺超声图像轮廓提取或标识后的图像。

具体实施方式

下面将结合附图和实施例对本发明作进一步说明。

在以下实施例中，术语“第一”、“第二”是纯粹用作标记，并且不视为对它们的修饰物有数值要求。

本文所述的神经网络“模块”或“单元”，意指但不限于执行特定任务的软件或硬件组件，诸如现场可编程门阵列(fpga)或专用集成电路(asic)或处理器，例如cpu、gpu。模块可以有利地被配置为驻留在可寻址存储介质中并且配置为在一个或多个处理器上执行。因此，作为示例，模块可以包括组件(诸如软件组件、面向对象软件组件、类组件和任务组件)、进程、函数、属性、过程、子例行程序、程序代码段、驱动程序、固件、微码、电路、数据、数据库、数据结构、表、数组和变量。在模块中提供的功能性可以被组合成更少的组件和模块或者进一步分成附加的组件和模块。如图1所示，本发明的乳腺超声图像识别分析系统包括：

换能器模块，换能器模块用于获取超声回波信号数据并合成乳腺超声图像或视频；

预处理模块，用于对换能器模块输入的实时乳腺超声图像或视频进行预处理，得到预处理后的乳腺超声图像；当然也可以是从硬盘、磁盘、内存、网盘等存储介质或网络存储单元中获得的乳腺超声图像或视频，也可以是实时乳腺超声图像或存储介质中的乳腺超声图像的结合；

第一卷积神经网络模块，用于训练第一卷积神经网络模型，并使用经训练的第一卷积神经网络模型对预处理后的乳腺超声图像进行病灶区域的标识、标注；

第二神经网络模块，用于训练第二卷积神经网络模型，并使用经训练的第二卷积神经网络模型对经病灶区域的标识、标注后的乳腺超声图像进行病灶的轮廓提取及参数测量；

显示模块，用于显示经提取及参数测量后的乳腺超声图像；

输入装置，用于输入控制参数、用户信息、病人信息、测量参数等数据中的一个或多个。

如图2所示，另一实施例中，本发明的乳腺超声图像识别分析系统包括：卷积神经网络模块，用于接受乳腺超声图像或视频；所述卷积神经网络模块对乳腺超声图像或视频进行处理，识别输入乳腺超声图像或视频中含病灶的图像帧；并对含有病灶的图像帧进行分割，提取图像帧病灶区域轮廓，自动测量病灶区域参数。

如图3所示，另一实施例中，卷积神经网络模块包括第一卷积神经网络模块、第二卷积神经网络模块；第一卷积神经网络模块，用于通过对乳腺超声图像或视频中进行病灶区域的识别，得到经识别的含病灶的乳腺超声图像帧；第二卷积神经网络模块，用于对经病灶区域的识别后的乳腺超声图像进行病灶的轮廓提取及参数测量。

如图4所示，对于归一化的输入数据，本发明可以不进行预处理，卷积神经网络模块直接使用经训练的卷积神经网络模型，对乳腺超声图像或视频进行处理。所述经训练的卷积神经网络模型由已识别提取病灶区域轮廓、参数测量后的乳腺超声图像作为样本训练得到。

如图6，7所示，所述经训练的卷积神经网络模型包括经训练的第一卷积神经网络模型、经训练的第二卷积神经网络模型；

所述经训练的第一卷积神经网络模型对乳腺超声图像或视频进行识别，自动识别乳腺超声图像是否含有病灶区域；

经训练的第二卷积神经网络模型对经识别的含病灶区域的乳腺超声图像进行分割，提取病灶区域轮廓，并测量病灶区域参数输出。

如图5、7所示的卷积神经网络模块还对乳腺超声图像或视频预处理，得到预处理后的乳腺超声图像；或所述第一卷积神经网络模型还对乳腺超声图像或视频预处理，得到预处理后的乳腺超声图像。

如图8所示的乳腺超声图像识别方法，在预处理模块对输入的乳腺超声图像预处理后，判断是否进行人工选择；当是由人工选择出时，人工选择出含有病灶的图像帧输入第二卷积神经网络模型进行分割提取病灶轮廓及自动计算病灶的参数；当不是由人工进行选择，而是由系统通过第一神经网络模型进行识别出含病灶的图像帧。当然此实施例中的图像预处理模块不是必需的。

在图9、10中，系统包括预处理模块，对输入乳腺超声图像或视频预处理，得到预处理后的乳腺超声图像。

如图9所示，本发明的方法处理流程包括以下步骤：

1)输入乳腺超声图像视频或乳腺超声图像，进行图像或视频预处理，得到预处理后的乳腺超声图像，如图11所示；

2)将乳腺超声图像输入经训练的第一卷积神经网络模型，对输入的乳腺超声图像标识识别(如图12所示)并标注，经训练的第一卷积神经网络由已标注的经识别的含乳腺病灶区域的乳腺超声图像数据作为训练样本训练得到，用一定尺寸形状的框，例如矩形、正方形、圆形、椭圆形框等来标识出乳腺图像数据的病灶区域。且可以进行一步地，标注乳腺病灶的分类性质，例如良、恶性，或良性肿瘤、恶性肿瘤、炎性、腺性的等各种分类。

第一神经网络模型对对输入的乳腺超声图像标识、标注过程不是必须的，例如在图5，第一神经网络模型或卷积神经网络模型只用于对输入的乳腺超声图像进行识别，即只需要识别出含有乳腺病灶区域的图像帧就可以。

3)输入经标识及标注的乳腺超声图像数据输入经训练的第二卷积神经网络模型病灶病灶进行处理得到病灶区域轮廓，并计算出量化区域参数。所述经训练的第二卷积神经网络模型通过已标注的病灶区域轮廓(如图13所示)及计算出量化参数的的图像训练，得到经训练的第二卷积神经网络模型。

本发明中的视频数据预处理，主要使用归一化方法来进行处理，例如将视频格式转成多帧图像格式，将图像或视频尺寸、像素等进行归一化的设置。第一卷积神经网络模型构建第一卷积神经网络用于识别输入图像中的乳腺病灶并将其按照性质进行分类，例如分类成良性、恶性。第一卷积神经网络使用由人工标注的乳腺病灶分类区域及性质病灶乳腺超声图像数据作为样本，用一定尺寸形状的框，例如矩形、正方形、圆形、椭圆形框等来识别出乳腺图像数据的病灶区域并标注其分类性质。使用标注后的乳腺超声图像数据作为训练样本用来训练第一卷积神经网络，用来作为检测分类卷积神经网络，用于自动识别输入的乳腺超声图像数据中的病灶区域并标注其分类性质。

第二卷积神经网络模型构建第二卷积神经网络，对标识、标注后的病灶的乳腺超声图像数据中的病灶区域进行分割，标识病灶区域的轮廓，并根据标识病灶区域的轮廓测量出病灶区域参数，输出测量参数可以是在图像的病灶区域标注，也可以在显示器的合适区域输出显示。第二卷积神经网络使用由人工标注病灶区域轮廓的乳腺超声图像数据作为样本病灶作为训练数据，训练出的网络模型称为分割神经网络模型。

第一卷积神经网络模型用于提取乳腺超声图像数据中的病灶特征，例如病灶区域、病灶性质，第一卷积神经网络模型包括多个由卷积层、最大池化层、激活函数层、批归一层跨路连接组成的网络，用来对输入的乳腺超声图像数据中提取乳腺超声图像数据中的病灶特征并标识、标注病灶；第二卷积神经网络模型用于乳腺超声图像数据病灶区域轮廓提取及病灶区域参数测量、输出功能，例如用来对输入经标识、标注的乳腺超声图像数据的轮廓提取及参数测量，病灶输出参数至少包含乳腺病灶区域长度、宽度、面积、像素比值。第一卷积神经网络模型或第二卷积神经网络模型在本发明中优选地使用多层卷积神经网络模型。

在一个实施例中第二卷积神经网络模型由三个单元组成:

第一单元用来用来对输入经标识、标注的乳腺超声图像数据中提取病灶特征，例如提取病病灶区域局部特征、全局特征所述特征包含像素比值、大小、面积、宽度；

第二单元用来综合病灶的局部特征和全局特征得到综合特征，对局部特征和全局特征加权综合；

第三单元用来对病灶综合特征中像素进行分类，例如二分类，分类出属于病灶区域的像素及非病灶区域的像素。

如图10所示，另一实施例中，本发明使用经训练的卷积神经网络进行乳腺超声图像数据识别分析，包括以下步骤：

1)输入图像或视频预处理；输入的图像可以是换能器模块采集的实时乳腺超声图像或视频，也可以是从硬盘、磁盘、内存、网盘等存储介质中获得的乳腺超声图像或视频，也可以是上述两者的结合。

2)输入第一卷积神经网络模型病灶对预处理后的乳腺超声图像数据进行乳腺病灶病灶识别检测，并对乳腺病灶进行评分，根据预先设置的阈值进行评分，例如设置的阈值大小为a，a为乳腺病灶的识别概率，其中a为大于0的概率数值，其可以是0.7、7、70······等，可以根据需要预先设置乳腺病灶的识别概率a的值，输出评分大于a值的乳腺病灶位置区域及病灶性质(良性或恶性)，标注各病灶区域是良性、恶性的评分或性质分类中的一个或多个；

3)将得到的经标识、标注的含乳腺病灶的乳腺超声图像帧输入人工交互模型，由使用者查阅至少一个包含病灶的乳腺超声图像帧，由使用者选定图像帧中的符合标准的病灶区域；人工交互模型包括处理器、显示装置、输入装置，显示装置可以是显示器、投影、vr眼镜等显示装置，当然显示器中也可以包含输入装置，例如触摸输入的显示屏、感应动作的投影机vr眼镜，输入装置可以是用户输入的轨迹球，鼠标，操纵杆，触控板，按钮，滑块，旋钮，位置传感器，它们的组合或其它现在已知的或以后开发的输入设备。

4)对医生选定的病灶区域，通过第二卷积神经网络模型，自动提取出病灶区域轮廓，根据轮廓进行参数测量。

上述步骤1)的一个实施例能对超声检查时的实时输入图像进行预处理，自动进行归一化并输入第一卷积神经网络模型病灶进行病灶病灶的分类检测。步骤1)的另一个实例能够对保存在超声机器中的视频进行分析处理，将视频中的每一帧都进行归一化，输入第一卷积神经网络模型，自动识别视频中包含病灶的帧进行病灶识别分类。

上述归一化方法是对输入乳腺图像进行操作，可以用如下公式表示，

公式中xj表示归一化前的乳腺超声图像，所述操作对输入图像的所有像素进行处理，j表示输入图像中的任一像素，min表示输入图像中的像素最小值，max表示当输入图像中的像素最大值，x'j表示归一化后生成的图像。

上述步骤1)中第一卷积神经网络模型能够根据输入的乳腺超声图像数据数据，自动计算标识出一个含有最大病灶截面区域的图像帧。

上述步骤2)的一个实施例能够对输入乳腺超声图像进行病灶检测，自动识别出图像的病灶位置、病灶性质及病灶良性、恶性的评分，对于包含多个病灶的乳腺超声图像帧进行分析处理返回多个病灶区域位置、病灶区域性质及评分。步骤2)的另一个实施例使用了由n个卷积层和最大池化层、批归一化层、激活函数层组成的神经网络模型，并使用矩形框、圆形框、椭圆形框来回归标识出病灶区域位置并标注病灶的性质及概率。例如n为4，卷积层由3×3大小的卷积核组成，池化层为2×2的最大池化层，所述回归操作使用卷积池化后结果作为输入图像，将输入图像分割成3×3大小的9个矩形小图，并对每个小图使用长宽比为0.25，0.5，1，2，4比例大小的矩形框来进行病灶位置区域标识及良、恶性标注。

本发明的卷积层对输入乳腺图像的操作可以用如下公式表示，

表示输入到卷积层的乳腺超声图像中的第i通道图像，表示卷积核，卷积核的值为模型通过训练学习到的参数，是偏置项，为模型通过训练学习到的参数值，*表示张量的卷积，所述操作作用于输入和输出图像，输入图像和输出图像都包含多个通道，m表示输入图像的集合，公式中i表示输入数据中的第i通道图像，公式中的j表示输出数据的第j通道，x^lj表示卷积层作用后的输出的第j通道图像，l-1和l(l为l的小写)分别代表输入层和输出层的相关参数。

本发明的最大池化层对输入图像的处理可用如下公式表示，

表示输入到最大池化层的图像，down表示最大池化中的采样降低操作，f表示最大池化，为最大池化的权重因子，一般选取2，x^lj表示经过最大池化后的输出图像，j代表对输入图像中的第j通道图像进行处理，其中l-1和l(l为l的小写)分别代表输入层和输出层的相关参数。

本发明的批归一化层对输入图像的处理可用如下公式表示，

公式中x^l-1表示输入到批归一化层的图像，m表示输入图像的通道数，γ，β为模型需要训练学习的参数，x^l表示批归一化层的输出，其中σb，μb为为了公式推导过程中引入的临时变量，其中l-1和l(l为l的小写)分别代表输入层和输出层的相关参数。

本发明的激活层包括以下几种激活方式，例如relu法,relu具体公式如下：

relu(x^l)＝max(0,x^l-1)

或者可以采用sigmoid法：sigmoid法具体公式如下：

或者可以采用softmax法：softmax法具体公式如下：

上述relu的激活层主要用来在输入数据添加非线性操作，其中，x^l-1，x^l分别代表输入数据和输出数据，公式中的max表示取最大值操作，sigmoid用来对输入图像中像素作分类操作，softmax用来对输入图像做多种类型分类(考虑良性、恶性、炎性、腺病时)，j表示j类型的输出，i表示对输入数据的第i维。

步骤4)的一个实施例使用热力图来在医生选定的病灶区域图像上标识病灶区域，步骤4)的另一个实施实例在医生选定病灶图像上用样条曲线画出病灶轮廓。具体使用显示模式可在系统中选择设置。

本发明基于乳腺超声图像的识别分析系统。它能够在使用超声设备针对病人乳腺部位检查时，自动识别检查图像中包含乳腺病灶的图像，并对图像中的病灶区域进行分析处理，可自动勾勒乳腺图像中的病灶区域，并在图像上高亮或热力图区别标识。能够生成包括病灶大小、面积等测量参数的量化指标输出。能够减轻目前超声医生或护士的繁重工作量和辅助提高效率和准确率。

本发明解决了以下几个问题：一、针对乳腺超声检查过程中的病灶图像快速识别的问题，二、含病灶帧中病灶区域的快速标识及病灶病灶良、恶性质判断问题，对于识别到多个病灶区域则按病灶区域性质严重程度进行评分排序，可用序号对应到图像上的每个病灶区域；三、针对医生确认性质并选定的病灶区域，快速输出该病灶的的量化测量结果，包括长度、宽度、面积等参数。

本发明的实施方案可以以其他具体的形式实施，而不偏离本发明的精神。所述已描述的实施方案应被认为是在各方面都仅是作为图示说明性的而非限制性的。因而，本发明实施方案的范围由所附的权利要求书而非前述说明书所示出。在权利要求书的含义和等同范围内的所有变化都应被包含在本发明的范围内。