一种乳腺影像识别的方法及装置与流程

本发明实施例涉及机器学习技术领域，尤其涉及一种乳腺影像识别的方法及装置。

背景技术：

目前，乳腺影像可以利用低剂量的x光检查人类的乳房，它能侦测各种乳房肿瘤、囊肿等乳腺病灶，有助于早期发现乳癌，并降低其死亡率。乳腺影像是一种有效的检测方法，可以用于诊断多种女性乳腺相关的疾病。当然，其中最主要的使用还是在乳腺癌，尤其是早期乳腺癌的筛查上。因此若能有效的检测出乳腺影像上各种乳腺癌早期表现，对医生的帮助是巨大的。

当患者拍摄乳腺影像之后，医生通过个人经验对乳腺影像进行诊断，该方法效率较低，并且存在较大的主观性。

技术实现要素：

本发明实施例提供一种乳腺影像识别的方法及装置，用于解决现有技术中通过医生经验判断乳腺影像的效率低，识别主观性较大，难以获得准确结果的问题。

本发明实施例提供了一种乳腺影像识别的方法，包括：

获取乳腺影像；

根据所述乳腺影像，确定所述乳腺影像中的乳腺病灶的感兴趣区域roi及所述乳腺的腺体分型；

根据所述roi，确定所述roi的乳腺病灶征象；

根据所述roi的乳腺病灶征象，以及所述乳腺的腺体分型，确定所述乳腺影像的分级。

一种可能的实现方式，所述根据所述roi确定所述roi的乳腺病灶征象，包括：

根据第一特征提取模块，确定所述roi的特征图像；所述第一特征提取模块包括k个卷积模块；所述k个卷积模块的每个卷积模块中依次包括第一卷积层、第二卷积层；所述第一卷积层输出的特征图像的个数小于所述第一卷积层输入的特征图像的个数；所述第二卷积层输出的特征图像的个数大于所述第一卷积层输出的特征图像的个数；k大于0；

将所述roi的特征图像输入至分类模块，确定所述roi的乳腺病灶征象的置信度。

一种可能的实现方式，所述根据所述roi的乳腺病灶征象，以及所述乳腺的腺体分型，确定所述乳腺影像的分级，包括：

将所述roi的乳腺病灶征象的置信度以及所述乳腺的腺体分型结果，输入至多个分类器中，所述多个分类器用于确定所述乳腺影像的分级中每个级的2分类的置信度；

根据所述多个分类器的分类结果，确定所述乳腺影像的分级。

一种可能的实现方式，所述根据所述乳腺影像，确定所述乳腺影像中的乳腺病灶的感兴趣区域roi，包括：

根据所述乳腺影像，确定乳腺影像中乳腺病灶的坐标；

以所述乳腺病灶的坐标为中心，向周围扩展第一预设距离，确定包含所述乳腺病灶的识别框，所述预设距离为所述乳腺病灶的半径的预设倍数；

若确定所述乳腺病灶的半径大于第二预设距离，则将第一预设距离扩大预设倍数；所述第二预设距离小于或等于所述第一预设距离。

一种可能的实现方式，所述第一特征提取模块还包括下采样模块；所述下采样模块包括所述第一卷积层、所述第二卷积层、池化层和第三卷积层；所述根据第一特征提取模块，确定所述roi的特征图像，包括：

将所述第一特征提取模块输出的特征图像依次通过所述第一卷积层和所述第二卷积层和池化层，获得第一特征图像；

将所述第一特征提取模块输出的特征图像通过第三卷积层，获得第二特征图像；

将所述第一特征图像和所述第二特征图像，确定为所述下采样模块输出的特征图像。

一种可能的实现方式，所述第一特征提取模块还包括第一卷积模块，所述第一卷积模块位于所述k个卷积模块之前；所述将所述乳腺影像输入至所述第一特征提取模块中，包括：

将所述乳腺影像输入至所述第一卷积模块中，所述第一卷积模块包括一个卷积层，一个bn层，一个relu层和一个池化层；所述第一卷积模块的卷积核大小大于所述n个卷积模块中的卷积和的大小；

或者，所述第一卷积模块包括连续的多个卷积层，一个bn层，一个relu层和一个池化层；所述第一卷积模块的卷积核大小与所述n个卷积模块中的最大的卷积核的大小相等。

本发明实施例提供了一种乳腺影像识别的装置，包括：

获取单元，用于获取乳腺影像；

处理单元，用于根据所述乳腺影像，确定所述乳腺影像中的乳腺病灶的感兴趣区域roi及所述乳腺的腺体分型；根据所述roi，确定所述roi的乳腺病灶征象；根据所述roi的乳腺病灶征象，以及所述乳腺的腺体分型，确定所述乳腺影像的分级。

一种可能的实现方式，所述处理单元，具体用于：

根据第一特征提取模块，对已标记乳腺病灶区域的乳腺病灶进行训练后确定所述roi的特征图像；所述特征提取模块包括n个卷积模块；所述n个卷积模块的每个卷积模块中依次包括第一卷积层、第二卷积层；所述第一卷积层输出的特征图像的个数小于所述第一卷积层输入的特征图像的个数；所述第二卷积层输出的特征图像的个数大于所述第一卷积层输出的特征图像的个数；n大于0；将所述roi的特征图像输入至分类模块，确定所述roi的乳腺病灶征象的置信度。

另一方面，本发明实施例提供了一种计算设备，包括至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行上述任一项所述方法的步骤。

又一方面，本发明实施例提供了一种计算机可读存储介质，其存储有可由计算设备执行的计算机程序，当所述程序在所述计算设备上运行时，使得所述计算设备执行上述任一项所述方法的步骤。

本发明实施例中，由于提取乳腺影像的特征图像，并识别每一个特征图像中的乳腺，可以快速识别乳腺的腺体分型、乳腺病灶及乳腺病灶征象等，提高了乳腺分级的准确率。另外，通过在卷积神经网络模型中，设置第一卷积层输出的通道数减少，且第二卷积层输出的通道数增加至第一卷积层输入的通道数，使得卷积过程中，有效的保留了图像中的有效信息，在减少参数量的同时，提高了特征图像的提取的有效性，进而提高了检测乳腺影像中乳腺分级的准确性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1a为本发明实施例提供的一种乳腺影像的示意图；

图1b为本发明实施例提供的一种乳腺影像的示意图；

图1c为本发明实施例提供的一种乳腺影像的示意图；

图1d为本发明实施例提供的一种乳腺影像的示意图；

图2为本发明实施例提供的一种乳腺影像乳腺病灶识别的方法的流程示意图；

图3为本发明实施例提供的一种乳腺影像征象识别的流程示意图；

图4为本发明实施例提供的一种乳腺影像识别的流程示意图；

图5为本发明实施例提供的一种乳腺影像识别的装置的结构示意图；

图6为本发明实施例提供的一种计算设备的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例中，以乳腺x射线影像为例，进行示例性的描述，其他影像在此不再赘述。乳腺是利用低剂量(约为0.7毫西弗)的x光检查人类(主要是女性)的乳房，它能侦测各种乳房肿瘤、囊肿等乳腺病灶，有助于早期发现乳癌，并降低其死亡率。有一些国家提倡年长(一般为45周岁以上)的女性定期(间隔从一年到五年不等)进行乳腺摄影，以筛检出早期的乳腺癌。乳腺影像一般包含四份x光摄像，分别为2侧乳房的2种投照位(头尾位cc，内外侧斜位mlo)的四份乳腺影像，如图1a-d所示。

一般来说，乳腺筛查的目的是预防乳腺癌，因此当发现乳腺病灶时医生往往希望能够对其乳腺癌恶性可能进行诊断。一般来说影像上对乳腺病灶的诊断往往基于乳腺病灶征象的检测。乳腺病灶征象一般分为钙化、肿块/不对称、以及结构扭曲。对于同一乳腺病灶，这些征象可能同时存在。

现有方法一般分为两类，一类是通过一些图形学的方法，尝试从影像中通过一些基础特征，提取出相关的钙化、肿块等乳腺病灶征象。方法简单，但是同时很难获得乳腺病灶的语义信息，从而使提取的准确性较差，容易受各种良性相似征象干扰。鲁棒性也较差。另一种方式是通过一些非监督的方法，尝试使用机器从图像中提取乳腺病灶的一些特征，但是这些特征缺乏实际的语义信息，医生很难根据这些信息进行判别诊断，这种征象医学价值不大。

另外，现有技术往往只检测钙化或者肿块这样单独类型的乳腺病灶，不能同时对多种乳腺病灶同时进行检出，应用范围狭窄。同时针对钙化这些乳腺病灶，使用的是基于图像初级特征方法，这类方法比较简单，同时检测的准确性也比较差。

基于上述问题，本发明实施例提供一种乳腺影像识别的方法，如图2所示，包括：

步骤201：获取乳腺影像；

步骤202：根据所述乳腺影像，确定所述乳腺影像中的乳腺病灶的感兴趣区域roi及所述乳腺的腺体分型；

步骤203：根据所述roi，确定所述roi的乳腺病灶征象；

步骤204：根据所述roi的乳腺病灶征象，以及所述乳腺的腺体分型，确定所述乳腺影像的分级。

其中，步骤202中，根据所述乳腺影像，确定所述乳腺影像中的乳腺病灶的感兴趣区域roi之前，本发明实施例中提供一种乳腺影像识别的方法，如图3所示，包括以下步骤：

步骤301：获取乳腺影像；

步骤302：将所述乳腺影像输入至第二特征提取模块中，获取所述乳腺影像不同尺寸的特征图像；

其中，所述第二特征提取模块包括n个卷积模块；所述n个卷积模块为下采样卷积块和/或上采样卷积块；每个下采样卷积块或上采样卷积块提取的特征图像的尺寸均不同，所述n个卷积模块的每个卷积模块中包括第一卷积层、第二卷积层；所述第一卷积层输出的特征图像的个数小于所述第一卷积层输入的特征图像的个数；所述第二卷积层输出的特征图像的个数大于所述第一卷积层输出的特征图像的个数；n大于0；

举例来说，该第二特征提取模块可以包括三个下采样卷积块。每个卷积模块可以包括第一卷积层和第二卷积层，第一卷积层包括卷积层，与卷积层连接的归一化(batchnormalization，bn)层、与bn层连接的激活函数层。

为增加第二特征提取模块的深度，一种可能的实现方式，特征图像经过卷积模块的步骤可以包括：

步骤一：将所述卷积模块输入的特征图像输入至所述第一卷积层获得第一特征图像；第一卷积层的卷积核可以为n1*m*m*n2；n1为所述卷积模块输入的特征图像的通道数，n2为第一特征图像的通道数；n1>n2；

步骤二：将第一特征图像输入至所述第二卷积层获得第二特征图像；第一卷积层的卷积核可以为n2*m*m*n3；n3为第二特征图像的通道数；n3>n2；

步骤三：将所述卷积模块输入的特征图像和所述第二特征图像合并后，确定为所述卷积模块输出的特征图像。

在一种具体的实施例中，第二卷积层输出的特征图像的个数可以与第一卷积层输入的特征图像的个数相等。即，n1＝n2。

上文所描述的乳腺影像对应的特征图像的确定方式仅为一种可能的实现方式，在其它可能的实现方式中，也可以通过其它方式确定乳腺影像对应的特征图像，具体不做限定。

需要说明的是：本发明实施例中的激活函数可以为多种类型的激活函数，比如，可以为线性整流函数(rectifiedlinearunit,relu)，具体不做限定；

由于本发明实施例中输入的图像为二维图像，因此，本发明实施例中的第二特征提取模块可以为(2dimensions，2d)卷积神经网络中的特征提取模块，相应地，第一卷积层的卷积核大小可以为m*m、第二卷积层的卷积核大小可以为n*n；m和n可以相同也可以不同，在此不做限定；其中，m，n为大于或等于1的整数。第一卷积层输出的特征图像的个数小于所述第一卷积层输入的特征图像的个数；所述第二卷积层输出的特征图像的个数大于所述第一卷积层输出的特征图像的个数。

进一步的，为优化第二特征提取模块，一种可能的实现方式，所述第一卷积层和所述第二卷积层之间还包括第三卷积层；所述第三卷积层输入的特征图像为所述第一卷积层输出的图像，所述第三卷积层输出的特征图像为所述第二卷积层输入的图像。

其中，第三卷积层的卷积核大小可以为k*k，k与m，n可以相同，也可以不同，在此不做限定。

一个具体的实施例中，所述第一卷积层的卷积核的大小为3*3；所述第二卷积层的卷积核的大小为3*3；所述第三卷积层的卷积核的大小为1*1。

通过上述卷积核的设置方式，可以有效的提高特征提取的感知野，有利于提高乳腺影像识别的准确度。

不同尺寸的特征图像可以为不同像素的特征图像，比如像素为500×500的特征图像与像素为1000×1000的特征图像为不同尺寸的特征图像。

可选地，采用预先训练好的乳腺病灶检测模型提取乳腺影像的不同尺寸的特征图像，模型是采用2d卷积神经网络对已标记的多个乳腺影像进行训练后确定的。

可选地，在提取乳腺影像的不同尺寸的特征图像之前，将图像缩放到特定尺寸，使各方向上像素与实际长度的比例尺一定。

另一种可能的实现方式，所述第二特征提取模块包括n/2个下采样卷积块和n/2个上采样卷积块；所述获取所述乳腺影像的不同尺寸的特征图像，包括：

将所述乳腺影像依次通过n/2个下采样卷积块提取n/2个所述乳腺影像的第一特征图像；

将第n/2个下采样卷积块输出的第一特征图像依次通过n/2个上采样卷积块提取n/2个所述乳腺影像的第二特征图像，每个上采样卷积块提取的第二特征图像的尺寸均不同；

将尺寸相同的第一特征图像和第二特征图像合并后，确定n个所述乳腺影像的不同尺寸的特征图像。

为提高特征提取的感知野，提高特征提取的性能，一种可能的实现方式，所述第二特征提取模块之前还包括特征预处理模块；所述特征预处理模块包括一个卷积层，一个bn层，一个relu层和一个池化层；所述特征预处理模块的卷积核大小大于所述n个卷积模块中任一卷积模块的卷积核的大小。

优选的，所述卷积层的卷积核大小可以为5*5，间隔为2个像素。池化层为2*2的最大值池化。通过特征预处理模块，可以将图像面积迅速缩小，边长变为原有1/4，有效的提高特征图像的感知野，快速的提取浅层特征，有效的减少原始信息的损失。

一种可能的实现方式，所述特征预处理模块包括连续的多个卷积层，一个bn层，一个relu层和一个池化层；所述特征预处理模块的卷积核大小与所述n个卷积模块中的最大的卷积核的大小相等。

特征图像经过特征预处理模块的步骤可以包括：将所述乳腺影像输入至特征预处理模块，获得预处理的特征图像；将所述预处理的特征图像作为所述第二特征提取模块的输入。

步骤303：针对所述乳腺影像的不同尺寸的特征图像中的任意一个特征图像，从所述特征图像中确定出乳腺病灶识别框。

可选地，采用预先训练好的乳腺乳腺病灶检测模型从特征图像中确定出乳腺病灶识别框，乳腺病灶检测模型是采用2d卷积神经网络对已标记乳腺病灶的多个乳腺影像进行训练后确定的。从特征图像中确定出的乳腺病灶识别框框选的区域并不一定都包含乳腺病灶，故需要根据乳腺病灶识别框的乳腺病灶概率对各乳腺病灶识别框进行筛选，将乳腺病灶概率小于预设阈值的乳腺病灶识别框删除，其中，乳腺病灶概率为乳腺病灶识别框框选的区域为乳腺病灶的概率。

步骤304：根据从各特征图像中确定出的乳腺病灶识别框，确定乳腺影像的乳腺病灶。

具体的，确定出乳腺病灶识别框之后，将识别框作为乳腺影像中的乳腺病灶输出，输出的乳腺病灶参数包括乳腺病灶的中心坐标以及乳腺病灶的直径，其中乳腺病灶的中心坐标为乳腺病灶识别框的中心坐标，乳腺病灶的直径为乳腺病灶识别框的中心至其中一个面的距离。

由于提取乳腺影像的不同尺寸的特征图像，并识别每一个特征图像中的乳腺病灶，故既能检测到大尺寸的乳腺病灶，同时也能检测到小尺寸的乳腺病灶，提高了乳腺病灶检测的精度。其次，相较于人工判断乳腺影像中是否存在乳腺病灶的方法，本申请中自动检测乳腺病灶的方法有效地提高了乳腺病灶检测效率。

由于从各个特征图像中确定出的乳腺病灶识别框可能存在多个识别框对应一个乳腺病灶，若直接根据乳腺病灶识别框的数量确定乳腺影像中乳腺病灶的数量，将导致检测得到的乳腺病灶数量存在很大偏差，故需要将各特征图像转化为同一尺寸的特征图像并对齐，然后将从各特征图像中确定出的乳腺病灶识别框进行筛选，并将筛选后的乳腺病灶识别框确定为乳腺影像中的乳腺病灶。

为进一步提高乳腺乳腺病灶的识别准确率，一种可能的实现方式，所述乳腺影像包括不同侧乳房的不同投照位的乳腺影像；所述将所述乳腺影像输入至第二特征提取模块，包括：

将所述乳腺影像的同一投照位的另一侧乳房的乳腺影像作为所述乳腺影像的参考影像，输入至所述第二特征提取模块，获得参考特征图像；

所述针对所述乳腺影像的不同尺寸的特征图像中的任意一个特征图像，从所述特征图像中确定出乳腺病灶识别框；包括：

确定所述特征图像中的第一乳腺病灶识别框和所述参考特征图像中的第二乳腺病灶识别框；

若确定所述第一乳腺病灶识别框和所述第二乳腺病灶识别框的位置和/或大小都相同，则删除所述第一乳腺病灶识别框。

下面具体介绍一下通过卷积神经网络对已标记乳腺病灶的多个乳腺影像进行训练确定乳腺病灶检测模型过程，包括以下步骤：

步骤一，获取乳腺影像作为训练样本。

具体地，可以将获取的多幅乳腺影像直接作为训练样本，也可以对获取的多幅乳腺影像进行增强操作，扩大训练样本的数据量，增强操作包括但不限于：随机上下左右平移设定像素(比如0～20像素)、随机旋转设定角度(比如-15～15度)、随机缩放设定倍数(比如0.85～1.15倍)。

步骤二，人工标记训练样本中的乳腺病灶。

可以通过医生等专业人员对训练样本中的乳腺病灶进行标记，标记的内容包括乳腺病灶的中心坐标以及乳腺病灶的直径。具体地，可以由多名医生对乳腺病灶进行标注，并通过多人投票合成的方式确定最终的乳腺病灶以及乳腺病灶参数，结果用掩码图的方式保存。需要说明的是，人工标记训练样本中乳腺病灶与训练样本的增强操作不分先后，可以先人工标记训练样本中的乳腺病灶，然后再将标记乳腺病灶的训练样本进行增强操作，也可以先将训练样本进行增强操作，然后人工对增强操作后的训练样本进行标记。

步骤三，将训练样本输入至第二特征提取模块对应的卷积神经网络中进行训练，确定乳腺病灶检测模型。

该卷积神经网络的结构包括输入层、下采样卷积块、上采样卷积块、目标检测网络以及输出层。将训练样本进行预处理后输入上述卷积神经网络，将输出的乳腺病灶与预先标记的训练样本的掩码图进行损失函数计算，然后采用反向传播算法以及sgd优化算法反复迭代，确定乳腺病灶检测模型。

进一步地，采用上述训练确定的乳腺病灶检测模型提取乳腺影像的不同尺寸的特征图像的过程，包括以下步骤：

步骤一，将乳腺影像依次通过n/2个下采样卷积块提取n个乳腺影像的第一特征图像。

每个下采样卷积块提取的第一特征图像的尺寸均不同，n/2大于0。

可选地，下采样卷积块包括第一卷积层和第二卷积层、组连接层、前后连接层、下采样层。

步骤二，将第n/2个下采样卷积块输出的第一特征图像依次通过n/2个上采样卷积块提取n/2个乳腺影像的第二特征图像。

每个上采样卷积块提取的第二特征图像的尺寸均不同。

可选地，上采样卷积块包括卷积层、组连接层、前后连接层、上采样层以及合成连接层。卷积层包括卷积运算，batchnormalization层和relu层。

步骤三，将尺寸相同的第一特征图像和第二特征图像合并后，确定n/2个乳腺影像的不同尺寸的特征图像。

通过上采样卷积块中的合成连接层将尺寸相同的第一特征图像和第二特征图像合并确定不同尺寸的特征图像。可选地，在合并时，是将第一特征图像和第二特征图像的通道数进行合并，合并后得到的特征图像的尺寸与第一特征图像和第二特征图像的尺寸相同。

进一步地，采用上述训练确定的乳腺病灶检测模型从特征图像中确定出乳腺病灶识别框的过程，包括以下步骤：

步骤一，针对特征图像中任意一个像素，以像素为中心，向四周扩散确定第一区域。

步骤二，在第一区域中根据预设规则设置多个预设框。

由于乳腺病灶的形状不一，故可以将预设框设置为多种形状。预设规则可以是将预设框中心与第一区域的中心重合，也可以是预设框的角与第一区域的角重合等等。

在一个具体的实施例中，乳腺病灶预设框选取的方式为，对于每个特征图的每个像素，认为其为一个锚点。在每个锚点上设置多个长宽比不一的预设框。对于每个预设框，通过对特征图进行卷积，预测一个坐标和尺寸的偏移，以及置信度，根据坐标和尺寸的偏移，以及置信度，确定预设框。

步骤三，针对任意一个预设框，预测预设框与第一区域的位置偏差。

步骤四，根据位置偏差调整预设框后确定乳腺病灶识别框，并预测乳腺病灶识别框的乳腺病灶概率。

其中，乳腺病灶概率为乳腺病灶识别框框选的区域为乳腺病灶的概率。通过预测预设框与第一区域的位置偏差，然后采用位置偏差调整预设框确定识别框，以使识别框更多地框选特征图中的乳腺病灶区域，提高乳腺病灶检测的准确性。

具体的训练过程可以包括：将训练数据影像输入上述的卷积神经网络进行计算。传入时，将乳腺病灶不同窗宽窗位的多张影像传入。训练时，在网络输出的预测框中，选取置信度最高的预测框集和与训练样本重合最大的预测框集合。将预测框置信度和样本标注的交叉熵，与训练样本的标注乳腺病灶和预测框的偏移的交叉熵，两者的加权和作为loss函数。通过反向传播的方法训练，训练的优化算法使用带有动量和阶梯衰减的sgd算法。

在算法使用过程中，通过预处理模块，将输入图像预处理，以提高特征提取的效果。

一种可能的实现方式，所述获取乳腺影像，包括：

步骤一、将拍摄的乳腺影像图像，根据高斯滤波，确定所述乳腺影像图像的二值化图像；

步骤二、获取所述二值化图像的连通区域，将连通区域中最大的区域对应于所述乳腺影像图像的区域作为分割出的乳腺图像；

步骤三、将所述分割出的乳腺图像添加至预设的图像模板中，生成预处理后的乳腺图像；并将所述预处理后的乳腺图像作为输入至所述第二特征提取模块的乳腺影像。

具体的，预处理模块的输入为以dicom格式形式保存的乳腺影像。预处理可以包括腺体分割和图像归一化；腺体分割的主要目的是将输入的乳腺影像中的乳腺部分提取出，剔除其他无关的干扰的图像；图像归一化是将图像化归为统一格式图像，具体的，包括：

在步骤一中，具体的二值化的阈值可以通过求图像灰度直方图的最大类间距方法获得。

在步骤二中，可以将二值化的结果，通过漫水法(floodfill)获得独立的区域块，并统计每个区域块的面积；将面积最大的区域块对应的图像上的区域，作为分割出来的乳腺图像。

在步骤三中，预设的图像模板可以为黑色底板的正方形图像；具体的，可以将获得的分割出来的乳腺图像，通过加黑边填充的方式扩充为1:1的正方形图像。

另外，输出的乳腺影像可以通过像素缩放，例如，可以将图像差值缩放到4096像素×4096像素大小。

针对乳腺，由于乳腺照射剂量以及拍摄的外界因素等原因，可以通过调整乳腺的窗宽窗位，以获得更好的乳腺影像识别的识别效果。一种可能的实现方式，所述将所述乳腺影像输入至第二特征提取模块之前，还包括：

获取所述乳腺影像的原始文件；

在所述乳腺影像的原始文件中选取至少一组窗宽窗位，并获取所述至少一组窗宽窗位对应的图片格式的乳腺影像；

根据所述至少一组窗宽窗位对应的图片格式的乳腺影像，作为输入至所述第二特征提取模块的乳腺影像。

在一个具体实施例中，可以通过三组窗宽窗位，将dicom图像转换为png图像，例如，第一组窗宽为4000，窗位2000；第二组窗宽为1000；窗位为2000；第三组窗宽为1500，窗位为1500。

本发明实施例提供的一种乳腺影像征象识别的方法，该流程的具体步骤包括：

步骤一，获取乳腺影像中乳腺病灶的坐标。

乳腺影像为二维图像，乳腺病灶的二维坐标可以为乳腺病灶内的点的二维坐标(比如乳腺病灶中心点的二维坐标)，也可以是乳腺病灶表面的点的二维坐标。乳腺病灶包括但不限于乳腺病灶。

步骤二，根据乳腺病灶的坐标从乳腺影像中确定包含乳腺病灶的感兴趣区域roi。

具体地，以乳腺病灶的二维坐标为中心，向周围扩展预设距离，确定包含乳腺病灶的识别框，预设距离为乳腺病灶的半径的预设倍数，比如乳腺病灶半径的1.25倍。然后截取此识别框，并插值缩放到一定的大小。

一种可能的实现方式，可以对识别框中每一个像素附加一个空间信息通道，输出感兴趣区域roi，空间信息通道为像素与乳腺病灶的二维坐标之间的距离。

一种可能的实现方式，若确定所述乳腺病灶的半径大于第二预设距离，则将第一预设距离扩大预设倍数；所述第二预设距离小于或等于所述第一预设距离。

例如，第一预设距离为768*768大小影像；根据乳腺病灶坐标，切取768*768大小影像作为roi。第二预设距离可以为640*640；如果乳腺病灶大小超过640*640，则将roi调整为尺寸×1.2倍；再缩放至768*768大小影像。

步骤三，根据roi以及乳腺病灶检测模型从乳腺影像中分割出乳腺病灶区域。

乳腺病灶检测模型是采用卷积神经网络对已标记乳腺病灶区域的多幅乳腺影像进行训练后确定的。

在一种可能的实施方式中，可以直接将乳腺影像输入乳腺病灶检测模型，通过乳腺病灶检测模型输出乳腺病灶区域。

在另一种可能的实施方式中，可以将乳腺影像中的roi输入乳腺病灶检测模型，通过乳腺病灶检测模型输出乳腺病灶区域。具体地，roi的大小可以根据实际情况进行设定，由于根据乳腺病灶的二维坐标从乳腺影像中确定包含乳腺病灶的感兴趣区域roi，故缩小了检测乳腺病灶的区域，相较于将整张乳腺影像输入乳腺病灶检测模型确定乳腺病灶区域的方法，将roi输入乳腺病灶检测模型确定乳腺病灶区域能有效提高乳腺病灶区域的检测精度和检测效率。

本发明实施例提供的一种乳腺影像征象的识别方法的流程，该流程可以由乳腺影像征象识别的装置执行，如图4所示，该流程的具体步骤包括：

步骤401，获取乳腺影像以及所述乳腺影像中乳腺病灶的坐标；

步骤402，根据所述乳腺病灶的坐标从所述乳腺影像中确定包含所述乳腺病灶的感兴趣区域roi；

步骤403：将所述roi输入至第一特征提取模块中，确定出乳腺病灶征象的特征图像；

其中，所述第一特征提取模块包括k个卷积模块；所述n个卷积模块的每个卷积模块中依次包括第一卷积层和第二卷积层；所述第一卷积层输出的特征图像的个数小于所述第一卷积层输入的特征图像的个数；所述第二卷积层输出的特征图像的个数大于或等于所述第一卷积层输入的特征图像的个数；k为正整数；

步骤404：将所述第一特征提取模块输出的特征图像输入至分类模块中，确定所述乳腺病灶的征象。

本发明实施例采用的第一特征提取模块，是通过对大量数据进行训练得到的，从而使得通过模型得到的结果较为合理，且具有一定的科学依据。相比于传统的医生诊断的方式而言，能够降低因医生水平差异导致的诊断误差率，从而提高确定乳腺病灶征象的准确性；进一步地，由于提取乳腺影像中每个roi的特征图像，可以快速识别乳腺病灶的征象，提高了乳腺病灶征象识别的效率。另外，通过在第一特征提取模块中，设置第一卷积层输出的通道数减少，且第二卷积层输出的通道数增加，使得卷积过程中，有效的保留了图像中的有效信息，在减少参数量的同时，提高了特征图像的提取的有效性，进而提高了检测乳腺病灶征象的准确性。

第一特征提取模块的参数可以是通过对多个患者的乳腺图像进行训练得到的。其中，第一特征提取模块可以为浅层特征提取模块，也可以为深层特征提取模块，即该特征提取神经网络可以包括k个卷积模块，且k小于或等于第一阈值。本领域技术人员可以根据经验和实际情况来设定第一阈值的具体数值，此处不做限定。

为了根据更加清楚地描述上文所涉及的第一特征提取模块，该第一特征提取模块可以包括三个卷积模块。每个卷积模块可以包括第一卷积层和第二卷积层，第一卷积层包括卷积层，与卷积层连接的归一化(batchnormalization，bn)层、与bn层连接的激活函数层。

为增加第一特征提取模块的深度，一种可能的实现方式，特征图像经过卷积模块的步骤可以包括：

步骤一：将所述卷积模块输入的特征图像输入至所述第一卷积层获得第一特征图像；第一卷积层的卷积核可以为n1*m*m*n2；n1为所述卷积模块输入的特征图像的通道数，n2为第一特征图像的通道数；n1>n2；

步骤二：将第一特征图像输入至所述第二卷积层获得第二特征图像；第一卷积层的卷积核可以为n2*m*m*n3；n3为第二特征图像的通道数；n3>n2；

步骤三：将所述卷积模块输入的特征图像和所述第二特征图像合并后，确定为所述卷积模块输出的特征图像。

一种可能的实现方式，n1＝n2。

上文所描述的乳腺影像对应的特征图像的确定方式仅为一种可能的实现方式，在其它可能的实现方式中，也可以通过其它方式确定乳腺影像对应的特征图像，具体不做限定。

需要说明的是：本发明实施例中的激活函数可以为多种类型的激活函数，比如，可以为线性整流函数(rectifiedlinearunit,relu)，具体不做限定；

由于本发明实施例中输入的图像为二维图像，因此，本发明实施例中的第一特征提取模块可以为(2dimensions，2d)卷积神经网络中的第一特征提取模块，相应地，第一卷积层的卷积核大小可以为m*m、第二卷积层的卷积核大小可以为n*n；m和n可以相同也可以不同，在此不做限定；其中，m，n为大于或等于1的整数。第一卷积层输出的特征图像的个数小于所述第一卷积层输入的特征图像的个数；所述第二卷积层输出的特征图像的个数大于或等于所述第一卷积层输入的特征图像的个数。

进一步的，为优化第一特征提取模块，一种可能的实现方式，所述第一卷积层和所述第二卷积层之间还包括第三卷积层；所述第三卷积层输入的特征图像为所述第一卷积层输出的图像，所述第三卷积层输出的特征图像为所述第二卷积层输入的图像。

其中，第三卷积层的卷积核大小可以为k*k，k与m，n可以相同，也可以不同，在此不做限定。

一个具体的实施例中，所述第一卷积层的卷积核的大小为3*3；所述第二卷积层的卷积核的大小为3*3；所述第三卷积层的卷积核的大小为1*1。

通过上述卷积核的设置方式，可以有效的提高特征提取的感知野，有利于提高乳腺病灶征象的准确度。

为进一步提高第一特征提取模块的鲁棒性，一种可能的实现方式，所述第一特征提取模块中还包括l个下采样模块；所述l个下采样模块中的每个下采样模块包括所述第一卷积层、所述第二卷积层、池化层和第四卷积层；特征图像经过下采样模块的步骤可以包括：

步骤一：将所述下采样模块的特征图像依次输入至所述第一卷积层和所述第二卷积层和池化层获得第一特征图像；

在一个具体的实施例中，可以将输入特征图像依次通过第一卷积层和第四卷积层，输出的特征图像的通道数减少，再从通过一个第二卷积层将特征图像增大回原有特征图的通道数。将第二卷积层输出的特征图像，输入至池化层，通过2*2的平均池化将特征图像的像素尺寸缩小到输入的一半，获得第一特征图像。

步骤二：将所述下采样模块的特征图像输入至第四卷积层，获得第二特征图像；

具体的，所述第四卷积层的卷积步长设为2，第二特征图像的像素尺寸为输入的特征图像的像素尺寸一半；卷积核大小可以与第一卷积层大小相同，也可以不同，在此不做限定。

步骤三：将所述第一特征图像和所述第二特征图像合并后，确定为所述下采样模块输出的特征图像。

为提高特征提取的感知野，提高特征提取的性能，一种可能的实现方式，所述第一特征提取模块之前还包括特征预处理模块；所述特征预处理模块包括一个卷积层，一个bn层，一个relu层和一个池化层；所述特征预处理模块的卷积核大小大于所述n个卷积模块中任一卷积模块的卷积核的大小。特征图像经过特征预处理模块的步骤可以包括：将所述乳腺影像输入至特征预处理模块，获得预处理的特征图像；将所述预处理的特征图像作为所述第一特征提取模块的输入。

优选的，所述卷积层的卷积核大小可以为5*5，间隔为2个像素。池化层为2*2的最大值池化。通过特征预处理模块，可以将图像面积迅速缩小，边长变为原有1/4，有效的提高特征图像的感知野。

本发明实施例提供的一种分类模块的结构，该分类模块包括平均池化层，dropout层，全连接层、和softmax层。待确诊患者对应的特征向量可以依次通过平均池化层，dropout层，全连接层进行计算后，再由softmax层进行分类后输出分类结果，从而得到患者的乳腺病灶征象。

具体的，首先通过全局平均池化层，将特征图提取成一个特征向量。再将特征向量通过一层dropout，全连接层和softmax层，获得一个二维的分类置信度向量(包括：钙化、肿块/不对称、以及结构扭曲)。每一位表示为此类型的置信度，且所有置信度的和为1。输出置信度最高的位，此位所代表的类型即为算法预测的乳腺征象。

需要说明的是，本发明实施例提供的分类模块仅为一种可能的结构，在其它示例中，本领域技术人员可以对发明实施例提供分类模块的内容进行修改，比如，分类模块可以包括2个全连接层，具体不做限定。

本发明实施例中，第一特征提取模块和分类模块可以作为一个神经网络分类模型进行训练，在训练神经网络分类模型的过程中，可以将多个患者对应的特征向量输入到初始的神经网络分类模型中，得到每个乳腺影像对应的预测腺体分型，并根据所述标注后的乳腺影像的乳腺病灶征象结果，进行反向训练，生成所述神经网络分类模型。

下面具体介绍一下通过神经网络分类模型训练确定乳腺病灶征象识别模型过程，包括以下步骤：

步骤一，获取乳腺影像作为训练样本。

具体地，可以将获取的多幅乳腺影像直接作为训练样本，也可以对获取的多幅乳腺影像进行增强操作，扩大训练样本的数据量，增强操作包括但不限于：随机上下左右平移设定像素(比如0～20像素)、随机旋转设定角度(比如-15～15度)、随机缩放设定倍数(比如0.85～1.15倍)。

步骤二，人工标记训练样本中乳腺病灶区域中的征象。

可以通过医生等专业人员对训练样本进行标记。具体地，可以由多名医生对乳腺病灶区域的征象进行标注，并通过多人投票合成的方式确定最终的乳腺病灶区域，结果用掩码图的方式保存。需要说明的是，人工标记训练样本中乳腺病灶区域的征象与训练样本的增强操作不分先后，可以先人工标记训练样本中的乳腺病灶区域，然后再将标记乳腺病灶区域的征象的训练样本进行增强操作，也可以先将训练样本进行增强操作，然后人工对增强操作后的训练样本进行标记。

步骤三，将训练样本输入卷积神经网络进行训练，确定乳腺病灶征象识别模型。

在一种可能的实施方式中，可以直接将已标记乳腺病灶区域的征象的乳腺影像作为训练样本输入卷积神经网络进行训练，确定乳腺病灶征象识别模型。

在另一种可能的实施方式中，可以对已标记乳腺病灶区域的乳腺影像进行处理后作为训练样本输入卷积神经网络进行训练，确定乳腺病灶征象识别模型，具体过程为：针对任意一个已标记乳腺病灶区域的乳腺影像，人工标记该乳腺影像中乳腺病灶的二维坐标，然后以乳腺病灶的二维坐标为中心，向周围扩展预设距离，确定包含乳腺病灶的识别框，预设距离为乳腺病灶的半径的预设倍数。对识别框中每一个像素附加一个空间信息通道，确定感兴趣区域roi，空间信息通道为像素与乳腺病灶的二维坐标之间的距离。之后再将已标记乳腺病灶区域的roi作为训练样本输入卷积神经网络进行训练，确定乳腺病灶征象识别模型。

通过增加距离信息，即像素与乳腺病灶的二维坐标之间的距离，可以根据乳腺病灶的区域进一步的提高乳腺病灶中的征象识别的准确度。

进一步地，采用上述训练确定的乳腺病灶征象识别模型确定乳腺影像中的乳腺病灶征象的过程，包括以下步骤：

步骤一，将所roi依次通过k个第一特征提取块提取roi的特征图像，k大于0。

步骤二，将roi的特征图像通过全局平均池化层，将特征图提取成一个特征向量。再将特征向量通过一层dropout，全连接层和sigmoid层，获得一个二维的分类置信度向量。

步骤三，根据roi的二维的分类置信度向量确定乳腺病灶的征象。

其中，获得的二维的分类置信度向量中，每一位表示为一个类型的置信度。对各个类型设定切选阈值，将置信度大于阈值的类别作为此乳腺病灶的征象。即，输出高于阈值的位，此位所代表的类型即为模型预测的乳腺病灶征象。

在步骤203中，一种可能的实现方式，包括：

步骤一、将所述roi的乳腺病灶征象的置信度以及所述乳腺的腺体分型结果，输入至多个分类器中，所述多个分类器用于确定所述乳腺影像的分级中每个级的2分类的置信度；

步骤二、根据所述多个分类器的分类结果，确定所述乳腺影像的分级。

举例来说，乳腺分级通常可以包括0-6级，可以将分类器设置为5个分类器，每个分类器分别为一个二分类的分类器，例如，第一个分类器输出的类型为小于或等于0级的置信度，和大于0级的置信度；第二个分类器输出的类型为小于或等于1级的置信度，和大于1级的置信度；第三个分类器输出的类型为小于或等于2级的置信度，和大于2级的置信度；第四个分类器输出的类型为小于或等于3级的置信度，和大于3级的置信度；第5个分类器输出的类型为小于或等于4级的置信度，和大于4级的置信度；

根据上述5个分类器输出的置信度的结果，进行平均，输出高于阈值的位作为所述乳腺影像的分级的结果。

基于相同的技术构思，本发明实施例提供了一种乳腺影像识别的装置，如图5所示，该装置可以执行乳腺影像识别的方法的流程，该装置包括获取模块501和处理模块502。

获取单元501，用于获取乳腺影像；

处理单元502，用于根据所述乳腺影像，确定所述乳腺影像中的乳腺病灶的感兴趣区域roi及所述乳腺的腺体分型；根据所述roi，确定所述roi的乳腺病灶征象；根据所述roi的乳腺病灶征象，以及所述乳腺的腺体分型，确定所述乳腺影像的分级。

一种可能的实现方式，所述处理单元502，具体用于：

根据第一特征提取模块，对已标记乳腺病灶区域的乳腺病灶进行训练后确定所述roi的特征图像；所述特征提取模块包括n个卷积模块；所述n个卷积模块的每个卷积模块中依次包括第一卷积层、第二卷积层；所述第一卷积层输出的特征图像的个数小于所述第一卷积层输入的特征图像的个数；所述第二卷积层输出的特征图像的个数大于所述第一卷积层输出的特征图像的个数；n大于0；将所述roi的特征图像输入至分类模块，确定所述roi的乳腺病灶征象的置信度。

一种可能的实现方式，所述处理单元502，具体用于：

将所述roi的乳腺病灶征象的置信度以及所述乳腺的腺体分型结果，输入至多个分类器中，所述多个分类器用于确定所述乳腺影像的分级中每个级的2分类的置信度；

根据所述多个分类器的分类结果，确定所述乳腺影像的分级。

一种可能的实现方式，所述处理单元502具体用于：

根据所述乳腺影像，确定乳腺影像中乳腺病灶的坐标；

以所述乳腺病灶的坐标为中心，向周围扩展第一预设距离，确定包含所述乳腺病灶的识别框，所述预设距离为所述乳腺病灶的半径的预设倍数；

若确定所述乳腺病灶的半径大于第二预设距离，则将第一预设距离扩大预设倍数；所述第二预设距离小于或等于所述第一预设距离。

一种可能的实现方式，所述第一特征提取模块还包括下采样模块；所述下采样模块包括所述第一卷积层、所述第二卷积层、池化层和第三卷积层；所述处理单元502，具体用于：

将所述第一特征提取模块输出的特征图像依次通过所述第一卷积层和所述第二卷积层和池化层，获得第一特征图像；

将所述第一特征提取模块输出的特征图像通过第三卷积层，获得第二特征图像；

将所述第一特征图像和所述第二特征图像，确定为所述下采样模块输出的特征图像。

一种可能的实现方式，所第一特征提取模块还包括第一卷积模块，所述第一卷积模块位于所述k个卷积模块之前；所述处理单元502，还用于：

将所述乳腺影像输入至所述第一卷积模块中，所述第一卷积模块包括一个卷积层，一个bn层，一个relu层和一个池化层；所述第一卷积模块的卷积核大小大于所述n个卷积模块中的卷积和的大小；

或者，所述第一卷积模块包括连续的多个卷积层，一个bn层，一个relu层和一个池化层；所述第一卷积模块的卷积核大小与所述n个卷积模块中的最大的卷积核的大小相等。

本发明实施例提供了一种计算设备，包括至少一个处理单元以及至少一个存储单元，其中，所述存储单元存储有计算机程序，当所述程序被所述处理单元执行时，使得所述处理单元执行检测乳腺的方法的步骤。如图6所示，为本发明实施例中所述的计算设备的硬件结构示意图，该计算设备具体可以为台式计算机、便携式计算机、智能手机、平板电脑等。具体地，该计算设备可以包括存储器801、处理器802及存储在存储器上的计算机程序，所述处理器802执行所述程序时实现上述实施例中的任一检测乳腺的方法的步骤。其中，存储器801可以包括只读存储器(rom)和随机存取存储器(ram)，并向处理器802提供存储器801中存储的程序指令和数据。

进一步地，本申请实施例中所述的计算设备还可以包括输入装置803以及输出装置804等。输入装置803可以包括键盘、鼠标、触摸屏等；输出装置804可以包括显示设备，如液晶显示器(liquidcrystaldisplay，lcd)、阴极射线管(cathoderaytube，crt)，触摸屏等。存储器801，处理器802、输入装置803和输出装置804可以通过总线或者其他方式连接，图6中以通过总线连接为例。处理器802调用存储器801存储的程序指令并按照获得的程序指令执行上述实施例提供的检测乳腺的方法。

本发明实施例还提供了一种计算机可读存储介质，其存储有可由计算设备执行的计算机程序，当所述程序在计算设备上运行时，使得所述计算设备执行检测乳腺的方法的步骤。

本领域内的技术人员应明白，本发明的实施例可提供为方法、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。