超声乳腺病灶的分类方法、装置及存储介质与流程

1.本申请涉及一种超声乳腺病灶的分类方法、装置及存储介质，属于深度学习技术领域。


背景技术：

2.乳腺癌是女性疾病的致死率因素之一，早期筛查是防止乳腺疾病的延长生存期的重要因素之一。
3.现有的筛查方式包括：在采集到人体的超声乳腺图像后，医疗人员对该超声乳腺图像进行分析，从而得到乳腺疾病类型。
4.但是，人工对超声乳腺图像进行分析的速度较慢，且效率较低。


技术实现要素：

5.本申请提供了一种超声乳腺病灶的分类方法、装置及存储介质，可以解决人工对超声乳腺图像进行分析的效率较低的问题。本申请提供如下技术方案：
6.第一方面，提供一种超声乳腺病灶的分类方法，所述方法包括：
7.获取待分类的目标超声乳腺信息，所述目标超声乳腺信息为目标超声乳腺图像或者目标超声乳腺视频，所述目标超声乳腺视频中包括至少两帧目标超声乳腺图像；
8.对于每一帧目标超声乳腺图像，
9.将所述目标超声乳腺图像分割为n1*n2个数据块；其中，n1为图像高度方向分割的数据块数目，n2为图像宽度方向分割的数据块数目，所述n1，n2为正整数；
10.将每个数据块转换为p1*p2*c维的向量数据；其中n1＝h/p1，n2＝w/p2；h为输入图像的高度，w为输入图像的宽度，p1为分割后数据块的高度，p2为分割后数据块的宽度；
11.将n1*n2个数据块对应的向量数据合并，得到n1n2×
p1p2c的二维数据矩阵；
12.根据每个数据块在所述目标超声乳腺图像中的位置，生成所述位置对应的位置编码向量，并将所述位置编码向量添加至所述二维数据矩阵中，得到的待处理的数据矩阵；分割分割
13.将所述待处理的数据矩阵输入预先训练的图像分类网络中，得到所述目标超声乳腺图像所对应的病灶性质分类。
14.可选的，所述图像分类网络包括多头注意力模块、前馈神经模块和多层全连接分类模块；
15.所述多头注意力模块包括三个全连接网络、激活函数层和多维逻辑回归层，每个全连接网络的输入为所述待处理的数据矩阵，输出为预设维度的特征数据；其中，预设两个全连接网络输出的特征数据相乘并除以预设比例因子后，经过多维逻辑回归层计算得到逻辑回归结果；所述逻辑回归结果与另一个全连接网络的特征数据相乘后，得到所述多头注意力模块的输出结果；所述另一个全连接网络是所述三个网络分中与所述预设两个全连接网络不同的全连接网络；
16.所述前馈神经模块包括全连接网络、与所述全连接网络相连的线性整流激活函数和层归一化；所述多头注意力模块的输出结果经过全连接网络、与所述全连接网络相连的线性整流激活函数和层归一化后，得到所述前馈神经模块的输出结果；
17.所述多层全连接分类模块接收到所述前馈神经模块的输出结果后，经过全连接层处理；将处理后的数据进行层归一化处理，得到所述病灶性质分类。
18.可选的，若所述目标超声乳腺图像为所述目标超声乳腺视频中的图像，则所述方法还包括：
19.在根据每帧目标超声乳腺图像得到病灶性质分类之后，根据所述目标超声乳腺视频中的各帧目标超声乳腺图像得到的病灶性质分类确定得到所述目标超声乳腺视频所对应的病灶性质分类。
20.可选的，所述根据所述目标超声乳腺视频中的各帧目标超声乳腺图像得到的病灶性质分类确定得到所述目标超声乳腺视频所对应的病灶性质分类，包括：
21.若所述目标超声乳腺视频的各帧目标超声乳腺图像中不存在病灶性质分类为恶性的图像，则统计各帧目标超声乳腺图像所对应的病灶性质分类中数量最多的病灶性质分类，并将统计得到的病灶性质分类确定为所述目标超声乳腺视频所对应的病灶性质分类；
22.若所述目标超声乳腺视频的各帧目标超声乳腺图像中存在病灶性质分类为恶性的图像，则将所述目标超声乳腺视频所对应的病灶性质分类确定为恶性。
23.可选地，所述病灶性质分类包括：良性类型和恶性类型；或者，包括良性类型、恶性类型、炎症类型、腺病类型、增生类型、导管扩张类型、早期浸润癌、浸润癌、非浸润性癌、小叶腺癌、导管腺癌、髓样癌、硬癌、单纯癌、原位癌、早期癌、浸润癌、未分化癌、低分化癌、中分化癌、高分化癌中的至少一种。
24.可选地，所述多头注意力模块和所述前馈神经模块的数量为多个。
25.可选地，所述目标超声乳腺图像为整张超声乳腺图像或乳腺病灶区域图像。
26.可选地，所述图像分类网络是基于权重随机激活训练得到的。
27.第二方面，提供一种超声乳腺病灶的分类装置，所述装置包括：
28.信息获取单元，用于获取待分类的目标超声乳腺信息，所述目标超声乳腺信息为目标超声乳腺图像或者目标超声乳腺视频，所述目标超声乳腺视频中包括至少两帧目标超声乳腺图像；
29.图像分割单元，对于每一帧目标超声乳腺图像，将所述目标超声乳腺图像分割为n1*n2个数据块；其中，n1为图像高度方向分割的数据块数目，n2为图像宽度方向分割的数据块数目，所述n1，n2为正整数；
30.数据转换单元，用于将每个数据块转换为p1*p2*c维的向量数据；其中n1＝h/p1，n2＝w/p2；h为输入图像的高度，w为输入图像的宽度，p1为分割后数据块的高度，p2为分割后数据块的宽度；
31.向量合并单元，用于将n1*n2个数据块对应的向量数据合并，得到n1n2×
p1p2c的二维数据矩阵；
32.矩阵生成单元，用于根据每个数据块在所述目标超声乳腺图像中的位置，生成所述位置对应的位置编码向量，并将所述位置编码向量添加至所述二维数据矩阵中，得到的待处理的数据矩阵；
33.病灶分类单元，用于将所述待处理的数据矩阵输入预先训练的图像分类网络中，得到所述目标超声乳腺图像所对应的病灶性质分类分割分割。
34.可选的，所述图像分类网络包括多头注意力模块、前馈神经模块和多层全连接分类模块；
35.所述多头注意力模块包括三个全连接网络、激活函数层和多维逻辑回归层，每个全连接网络的输入为所述待处理的数据矩阵，输出为预设维度的特征数据；其中，预设两个全连接网络输出的特征数据相乘并除以预设比例因子后，经过多层逻辑回归计算得到逻辑回归结果；所述逻辑回归结果与另一个全连接网络的特征数据相乘后，得到所述多头注意力模块的输出结果；所述另一个全连接网络是所述三个网络分中与所述预设两个全连接网络不同的全连接网络；
36.所述多头注意力模块的输出如下：
[0037][0038]
其中，q，k,v分别为输入数据块过全连接后的结果，d为尺度因子。
[0039]
所述前馈神经模块包括全连接网络、与所述全连接网络相连的线性整流激活函数和层归一化；所述多头注意力模块的输出结果经过全连接网络、与所述全连接网络相连的线性整流激活函数和层归一化后，得到所述前馈神经模块的输出结果；
[0040]
所述前馈神经网络的输出如下：
[0041]
z
out
＝ln(relu(mlp(relu(mlp(z
in
)))))，其中，z
in
中为前馈神经网络的输入，z
out
为前馈神经网络的输出,ln为层归一化操作，relu为线性整流激活函数，mlp为全连接层。
[0042]
所述多层全连接分类模块接收到所述前馈神经模块的输出结果后，经过全连接层处理；将处理后的数据进行层归一化处理，得到所述病灶性质分类。
[0043]
第三方面，提供一种超声乳腺病灶的分类装置，所述装置包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现第一方面提供的超声乳腺病灶的分类方法。
[0044]
第四方面，提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序被处理器执行时用于实现第一方面提供的超声乳腺病灶的分类方法。
[0045]
本申请的有益效果至少包括：通过对于每一帧目标超声乳腺图像，将目标超声乳腺图像分割为n1*n2个数据块；将每个数据块转换为p1*p2*c维的向量数据；将n1*n2个数据块对应的向量数据合并，得到n1n2×
p1p2c的二维数据矩阵；根据每个数据块在目标超声乳腺图像中的位置，生成位置对应的位置编码向量，并将位置编码向量添加至二维数据矩阵中，得到的待处理的数据矩阵；将待处理的数据矩阵输入预先训练的图像分类网络中，得到目标超声乳腺图像所对应的病灶性质分类；可以解决人工对超声乳腺图像进行分类时，分类效率较低的问题；由于可以通过图像分类模型实现自动分类，因此，可以提高对超声乳腺图像进行分类的准确率及效率。
[0046]
另外，通过设置图像分类网络不包括卷积操作，而是通过全连接网络结合其它计算方式实现图像分类，因此，可以减小模型计算量和难度，提高模型计算效率。
[0047]
另外，通过将图像分割为多个数据块后，将每个数据块转换为向量数据并合并，以
输入图像分类网络，可以减小输入图像分类网络的计算量，进一步提高模型计算效率。
[0048]
另外，通过设置多头注意力模块和前馈神经模块的数量为多个，可以提高图像分类网络的泛化能力。
[0049]
另外，通过基于权重随机激活训练得到图像分类网络，也可以提高图像分类网络的泛化能力。
[0050]
上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。
附图说明
[0051]
图1是本申请一个实施例提供的超声乳腺病灶的分类方法的流程图；
[0052]
图2是本申请一个实施例提供的图像分类模型的示意图；
[0053]
图3是本申请一个实施例提供的超声乳腺病灶的分类装置的框图；
[0054]
图4是本申请再一个实施例提供的超声乳腺病灶的分类装置的框图。
具体实施方式
[0055]
下面结合附图和实施例，对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。
[0056]
可选地，本申请以各个实施例的执行主体为具有计算能力的电子设备为例进行说明，该电子设备可以为终端或服务器，终端可以为超声成像设备、计算机、手机、平板电脑等，本实施例不对电子设备的类型作限定。
[0057]
下面对本申请提供的超声乳腺病灶的分类方法进行介绍。
[0058]
图1是本申请一个实施例提供的超声乳腺病灶的分类方法的流程图。该方法至少包括以下几个步骤：
[0059]
步骤101，获取待分类的目标超声乳腺信息，目标超声乳腺信息为目标超声乳腺图像或者目标超声乳腺视频，目标超声乳腺视频中包括至少两帧目标超声乳腺图像。
[0060]
可选地，目标超声乳腺图像为整张超声乳腺图像或乳腺病灶区域图像。
[0061]
步骤102，对于每一帧目标超声乳腺图像，将目标超声乳腺图像分割为n1*n2个数据块；其中，n1为图像高度方向分割的数据块数目，n2为图像宽度方向分割的数据块数目，所述n1，n2为正整数。
[0062]
在一个示例中，按照预设的尺寸p1×
p2对目标超声乳腺图像进行分割。不同数据块对应的p1和p2相同或不同。p1和p2可以是用户设置的，或者是电子设备中默认设置的，本实施例不对p1和p2的取值作限定。
[0063]
步骤103，将每个数据块转换为p1*p2*c维的向量数据，p1，p2为每个数据块的尺寸。
[0064]
其中，n1＝h/p1，n2＝w/p2；h为输入图像的高度，w为输入图像的宽度，p1为分割后数据块的高度，p2为分割后数据块的宽度；n1为图像高度方向分割的数据块数目，n2为图像宽度方向分割的数据块数目。
[0065]
本实施例中，通过将一张目标超声乳腺图像划分为多个数据块，对每个数据块转化为向量数据，这样，可以压缩输入图像分类模型的数据量，提高计算效率。
[0066]
可选地，将每个数据块转换为p1*p2*c维的向量数据的方式包括但不限于：使用神
经网络将数据块转换为对应的特征向量，得到向量数据；或者，将数据块中每个像素值均作为向量数据，本实施例不对向量数据的获取方式作限定。
[0067]
步骤104，将n1*n2个数据块对应的向量数据合并，得到n1n2×
p1p2c的二维数据矩阵。
[0068]
步骤105，根据每个数据块在目标超声乳腺图像中的位置，生成位置对应的位置编码向量，并将位置编码向量添加至二维数据矩阵中，得到的待处理的数据矩阵。
[0069]
位置编码向量用于指示数据块在目标超声乳腺图像中的位置。
[0070]
步骤106，将待处理的数据矩阵输入预先训练的图像分类网络中，得到的目标超声乳腺图像所对应的病灶病灶性质分类。
[0071]
其中，病灶性质分类用于指示目标超声乳腺图像对应的病理性质。
[0072]
参考图2，图像分类网络包括多头注意力模块21、前馈神经模块22和多层全连接分类模块23。
[0073]
多头注意力模块21包括三个全连接网络，激活函数层和多维逻辑回归层。当然，多头注意力模块21还可以包括其它网络结构，本实施例在此不再一一列举。每个全连接网络的输入为待处理的数据矩阵，输出为预设维度的特征数据；其中，预设两个全连接网络输出的特征数据相乘并除以预设比例因子后，经过多维逻辑回归计算得到逻辑回归结果；逻辑回归结果与另一个全连接网络的特征数据相乘后，得到多头注意力模块的输出结果；另一个全连接网络是三个网络分中与预设两个全连接网络不同的全连接网络；
[0074]
在一个示例中，多头注意力模块的输出为：
[0075][0076]
其中，q，k,v分别为输入数据块过全连接后的结果，d为尺度因子。
[0077]
前馈神经模块22包括全连接网络、与全连接网络相连的线性整流激活函数和层归一化；多头注意力模块的输出结果经过全连接网络、与全连接网络相连的线性整流激活函数和层归一化后，得到前馈神经模块的输出结果。
[0078]
在一个示例中，前馈神经模块22的输出为：
[0079]
z
out
＝ln(relu(mlp(relu(mlp(z
in
)))))，其中，z
in
中为前馈神经网络的输入，z
out
为前馈神经网络的输出,ln为层归一化操作，relu为线性整流激活函数，mlp为全连接层。
[0080]
多层全连接分类模块23接收到前馈神经模块的输出结果后，经过全连接层处理；将处理后的数据进行层归一化处理，得到病灶性质分类。
[0081]
其中，逻辑回归计算可以通过多头注意力模块21中的softmax实现。
[0082]
前馈神经模块22中，全连接网络和线性整流激活函数构成的网络单元的数量为一个或多个，图2中以该网络单元的数量为两个为例进行说明。
[0083]
可选地，病灶性质分类包括：良性类型和恶性类型；或者，包括良性类型、恶性类型、炎症类型、腺病类型、增生类型、导管扩张类型、早期浸润癌、浸润癌、非浸润性癌、小叶腺癌、导管腺癌、髓样癌、硬癌、单纯癌、原位癌、早期癌、浸润癌、未分化癌、低分化癌、中分化癌、高分化癌中的至少一种。在其它实施例中，病灶性质分类也可以划分为其它类型，本实施例不对病灶性质分类的划分方式作限定。
[0084]
可选地，多头注意力模块和前馈神经模块的数量为多个，从而可以提高模型的泛化性。
[0085]
本实施例中，图像分类网络是使用训练数据对初始神经网络模型训练得到的。其中，训练数据包括样本超声乳腺图像对应的样本数据矩阵、以及该样本数据矩阵对应的分类标签。在训练过程中，样本数据矩阵被输入至初始神经网络模型，得到模型结果；使用预设的损失函数计算模型结果和分类标签之间的差异，并按照计算结果对初始神经网络模型进行迭代训练，最终得到图像分类网络。示意性地，图像分类网络是基于权重随机激活训练得到的，从而可以进一步提高模型的泛化性。
[0086]
分类标签的类型和图像分类网络的输出类型相对应，图像分类网络的网络结构与初始神经网络模型的网络结构相同。
[0087]
可选地，若目标超声乳腺图像为目标超声乳腺视频中的图像，则方法还包括：在根据每帧目标超声乳腺图像得到病灶性质分类之后，根据目标超声乳腺视频中的各帧目标超声乳腺图像得到的病灶性质分类确定得到目标超声乳腺视频所对应的性质分类。
[0088]
其中，根据目标超声乳腺视频中的各帧目标超声乳腺图像得到的病灶性质分类确定得到目标超声乳腺视频所对应的病灶性质分类，包括：若目标超声乳腺视频的各帧目标超声乳腺图像中不存在病灶性质分类为恶性的图像，则统计各帧目标超声乳腺图像所对应的病灶性质分类中数量最多的病灶性质分类，并将统计得到的病灶性质分类确定为目标超声乳腺视频所对应的病灶性质分类；若目标超声乳腺视频的各帧目标超声乳腺图像中存在病灶性质分类为恶性的图像，则将目标超声乳腺视频所对应的病灶性质分类确定为恶性。
[0089]
综上所述，本实施例提供的超声乳腺病灶的分类方法，通过对于每一帧目标超声乳腺图像，将目标超声乳腺图像分割为n1*n2个数据块；将每个数据块转换为p1*p2*c维的向量数据；将n1*n2个数据块对应的向量数据合并，得到n1n2×
p1p2c的二维数据矩阵；根据每个数据块在目标超声乳腺图像中的位置，生成位置对应的位置编码向量，并将位置编码向量添加至二维数据矩阵中，得到的待处理的数据矩阵；将待处理的数据矩阵输入预先训练的图像分类网络中，得到目标超声乳腺图像所对应的病灶性质分类；可以解决人工对超声乳腺图像进行分类时，分类效率较低的问题；由于可以通过图像分类模型实现自动分类，因此，可以提高对超声乳腺图像进行分类的准确率及效率。
[0090]
另外，通过设置图像分类网络不包括卷积操作，而是通过全连接网络结合其它计算方式实现图像分类，因此，可以减小模型计算量和难度，提高模型计算效率。
[0091]
另外，通过将图像分割为多个数据块后，将每个数据块转换为向量数据并合并，以输入图像分类网络，可以减小输入图像分类网络的计算量，进一步提高模型计算效率。
[0092]
另外，通过设置多头注意力模块和前馈神经模块的数量为多个，可以提高图像分类网络的泛化能力。
[0093]
另外，通过基于权重随机激活训练得到图像分类网络，也可以提高图像分类网络的泛化能力。
[0094]
图3是本申请一个实施例提供的超声乳腺病灶的分类装置的框图。该装置至少包括以下几个模块：信息获取单元310、图像分割单元320、数据转换单元330、向量合并单元340、矩阵生成单元350和病灶分类单元360。
[0095]
信息获取单元310，用于获取待分类的目标超声乳腺信息，所述目标超声乳腺信息
为目标超声乳腺图像或者目标超声乳腺视频，所述目标超声乳腺视频中包括至少两帧目标超声乳腺图像；
[0096]
图像分割单元320，用于对于每一帧目标超声乳腺图像，将所述目标超声乳腺图像分割为n1*n2个数据块；其中，n1为图像高度方向分割的数据块数目，n2为图像宽度方向分割的数据块数目，所述n1，n2为正整数；
[0097]
数据转换单元330，用于将每个数据块转换为p1*p2*c维的向量数据，所述p1，p2为每个数据块的尺寸；其中n1＝h/p1，n2＝w/p2；h为输入图像的高度，w为输入图像的宽度，p1为分割后数据块的高度，p2为分割后数据块的宽度；n1为图像高度方向分割的数据块数目，n2为图像宽度方向分割的数据块数目；
[0098]
向量合并单元340，用于将n1*n2个数据块对应的向量数据合并，得到n1n2×
p1p2c的二维数据矩阵；
[0099]
矩阵生成单元350，用于根据每个数据块在所述目标超声乳腺图像中的位置，生成所述位置对应的位置编码向量，并将所述位置编码向量添加至所述二维数据矩阵中，得到的待处理的数据矩阵；
[0100]
病灶分类单元360，用于将所述待处理的数据矩阵输入预先训练的图像分类网络中，得到所述目标超声乳腺图像所对应的病灶性质分类。
[0101]
相关细节参考上述方法实施例。
[0102]
需要说明的是：上述实施例中提供的超声乳腺病灶的分类装置在进行超声乳腺病灶的分类时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将超声乳腺病灶的分类装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的超声乳腺病灶的分类装置与超声乳腺病灶的分类方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0103]
图4是本申请一个实施例提供的超声乳腺病灶的分类装置的框图。该装置至少包括处理器401和存储器402。
[0104]
处理器401可以包括一个或多个处理核心，比如：4核心处理器、8核心处理器等。处理器401可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器401也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器401可以在集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器401还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
[0105]
存储器402可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器402还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器402中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器401所执行以实现本申
请中方法实施例提供的超声乳腺病灶的分类方法。
[0106]
在一些实施例中，超声乳腺病灶的分类装置还可选包括有：外围设备接口和至少一个外围设备。处理器401、存储器402和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。示意性地，外围设备包括但不限于：射频电路、触摸显示屏、音频电路、和电源等。
[0107]
当然，超声乳腺病灶的分类装置还可以包括更少或更多的组件，本实施例对此不作限定。
[0108]
可选地，本申请还提供有一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的超声乳腺病灶的分类方法。
[0109]
可选地，本申请还提供有一种计算机产品，该计算机产品包括计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的超声乳腺病灶的分类方法。
[0110]
以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0111]
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。