超声乳腺病灶的分类方法、装置及存储介质与流程

本申请涉及一种超声乳腺病灶的分类方法、装置及存储介质，属于深度学习技术领域。

背景技术：

乳腺癌是女性疾病的致死率因素之一，早期筛查是防止乳腺疾病的延长生存期的重要因素之一。

现有的筛查方式包括：在采集到人体的超声乳腺图像后，医疗人员对该超声乳腺图像进行分析，从而得到乳腺疾病类型。

但是，人工对超声乳腺图像进行分析的速度较慢，且效率较低。

技术实现要素：

本申请提供了一种超声乳腺病灶的分类方法、装置及存储介质，可以解决人工对超声乳腺图像进行分析的效率较低的问题。本申请提供如下技术方案：

第一方面，提供一种超声乳腺病灶的分类方法，所述方法包括：

获取待分类的目标超声乳腺信息，所述目标超声乳腺信息为目标超声乳腺图像或者目标超声乳腺视频，所述目标超声乳腺视频中包括至少两帧目标超声乳腺图像；

对于每一帧目标超声乳腺图像，通过乳腺组织评估网络确定所述目标超声乳腺图像是否为乳腺切面所对应的乳腺图像；

若所述目标超声乳腺图像是所述乳腺切面所对应的乳腺图像，则识别所述目标超声乳腺图像中的病灶区域；

将识别到的乳腺病灶区域图像分割为n1*n2个数据块；其中，n1为图像高度方向分割的数据块数目，n2为图像宽度方向分割的数据块数目，所述n1，n2为正整数；

将每个数据块转换为p1*p2*c维的向量数据；其中n1＝h/p1，n2＝w/p2；h为输入图像的高度，w为输入图像的宽度，p1为分割后数据块的高度，p2为分割后数据块的宽度；

将n1*n2个数据块对应的向量数据合并，得到n1n2×p1p2c的二维数据矩阵；

根据每个数据块在所述目标超声乳腺图像中的位置，生成所述位置对应的位置编码向量，并将所述位置编码向量添加至所述二维数据矩阵中，得到的待处理的数据矩阵；

将所述待处理的数据矩阵输入预先训练的图像分类网络中，得到所述目标超声乳腺图像所对应的病灶性质分类。

可选的，所述图像分类网络包括多头注意力模块、前馈神经模块和多层全连接分类模块；

所述多头注意力模块包括三个全连接网络、激活函数层和多维逻辑回归层，每个全连接网络的输入为所述待处理的数据矩阵，输出为预设维度的特征数据；其中，预设两个全连接网络输出的特征数据相乘并除以预设比例因子后，经过多维逻辑回归层计算得到逻辑回归结果；所述逻辑回归结果与另一个全连接网络的特征数据相乘后，得到所述多头注意力模块的输出结果；所述另一个全连接网络是所述三个网络分中与所述预设两个全连接网络不同的全连接网络；

所述前馈神经模块包括全连接网络、与所述全连接网络相连的线性整流激活函数和层归一化；所述多头注意力模块的输出结果经过全连接网络、与所述全连接网络相连的线性整流激活函数和层归一化后，得到所述前馈神经模块的输出结果；

所述多层全连接分类模块接收到所述前馈神经模块的输出结果后，经过全连接层处理；将处理后的数据进行层归一化处理，得到所述病灶性质分类。

可选的，若所述目标超声乳腺图像为所述目标超声乳腺视频中的图像，则所述方法还包括：

在根据每帧目标超声乳腺图像得到病灶性质分类之后，根据所述目标超声乳腺视频中的各帧目标超声乳腺图像得到的病灶性质分类确定得到所述目标超声乳腺视频所对应的病灶性质分类。

可选的，所述根据所述目标超声乳腺视频中的各帧目标超声乳腺图像得到的病灶性质分类确定得到所述目标超声乳腺视频所对应的病灶性质分类，包括：

若所述目标超声乳腺视频的各帧目标超声乳腺图像中不存在病灶性质分类为恶性的图像，则统计各帧目标超声乳腺图像所对应的病灶性质分类中数量最多的病灶性质分类，并将统计得到的病灶性质分类确定为所述目标超声乳腺视频所对应的病灶性质分类；

若所述目标超声乳腺视频的各帧目标超声乳腺图像中存在病灶性质分类为恶性的图像，则将所述目标超声乳腺视频所对应的病灶性质分类确定为恶性。

可选地，所述病灶性质分类包括：良性类型和恶性类型；或者，包括良性类型、恶性类型、炎症类型、腺病类型、增生类型、导管扩张类型、早期浸润癌、浸润癌、非浸润性癌、小叶腺癌、导管腺癌、髓样癌、硬癌、单纯癌、原位癌、早期癌、浸润癌、未分化癌、低分化癌、中分化癌、高分化癌中的至少一种。

可选地，所述多头注意力模块和所述前馈神经模块的数量为多个。

可选地，所述目标超声乳腺图像为整张超声乳腺图像或乳腺病灶区域图像。

可选地，所述图像分类网络是基于权重随机激活训练得到的。

可选地，所述图像分类模型是通过多个乳腺分类模型融合而得，所述分类模型包括以上提到的由多头注意力模块、前馈神经模块和多层全连接分类模块组成的图像分类网络和基于临床经验的临床规则。所述临床规则包括区域纵横比、区域组织位置关系、区域组织声影关系等临床规则。

第二方面，提供一种超声乳腺病灶的分类装置，所述装置包括：

信息获取单元，用于获取待分类的目标超声乳腺信息，所述目标超声乳腺信息为目标超声乳腺图像或者目标超声乳腺视频，所述目标超声乳腺视频中包括至少两帧目标超声乳腺图像；

图像判断单元，用于通过乳腺组织评估网络确定所述目标超声乳腺图像是否为乳腺切面所对应的乳腺图像；

病灶识别单元，用于在所述图像判断单元的判断结果为所述目标超声乳腺图像是所述乳腺切面所对应的乳腺图像时，识别所述目标超声乳腺图像中的病灶区域；

图像分割单元，用于将识别得到的病灶区域分割为n1*n2个数据块；其中，n1为图像高度方向分割的数据块数目，n2为图像宽度方向分割的数据块数目，所述n1，n2为正整数；

数据转换单元，用于将每个数据块转换为p1*p2*c维的向量数据；其中n1＝h/p1，n2＝w/p2；h为输入图像的高度，w为输入图像的宽度，p1为分割后数据块的高度，p2为分割后数据块的宽度；

向量合并单元，用于将n1*n2个数据块对应的向量数据合并，得到n1n2×p1p2c的二维数据矩阵；

矩阵生成单元，用于根据每个数据块在所述目标超声乳腺图像中的位置，生成所述位置对应的位置编码向量，并将所述位置编码向量添加至所述二维数据矩阵中，得到的待处理的数据矩阵；

病灶分类单元，用于将所述待处理的数据矩阵输入预先训练的图像分类网络中，得到所述目标超声乳腺图像所对应的病灶性质分类分割分割。

可选的，所述图像分类网络包括多头注意力模块、前馈神经模块和多层全连接分类模块；

所述多头注意力模块包括三个全连接网络、激活函数层和多维逻辑回归层，每个全连接网络的输入为所述待处理的数据矩阵，输出为预设维度的特征数据；其中，预设两个全连接网络输出的特征数据相乘并除以预设比例因子后，经过多层逻辑回归计算得到逻辑回归结果；所述逻辑回归结果与另一个全连接网络的特征数据相乘后，得到所述多头注意力模块的输出结果；所述另一个全连接网络是所述三个网络分中与所述预设两个全连接网络不同的全连接网络；

所述多头注意力模块的输出如下：

其中，q，k,v分别为输入数据块过全连接后的结果，d为尺度因子。

所述前馈神经模块包括全连接网络、与所述全连接网络相连的线性整流激活函数和层归一化；所述多头注意力模块的输出结果经过全连接网络、与所述全连接网络相连的线性整流激活函数和层归一化后，得到所述前馈神经模块的输出结果；

所述前馈神经网络的输出如下：

zout＝ln(relu(mlp(relu(mlp(zin)))))，其中，zin中为前馈神经网络的输入，zout为前馈神经网络的输出,ln为层归一化操作，relu为线性整流激活函数，mlp为全连接层。

所述多层全连接分类模块接收到所述前馈神经模块的输出结果后，经过全连接层处理；将处理后的数据进行层归一化处理，得到所述病灶性质分类。

第三方面，提供一种超声乳腺病灶的分类装置，所述装置包括处理器和存储器；所述存储器中存储有程序，所述程序由所述处理器加载并执行以实现第一方面提供的超声乳腺病灶的分类方法。

第四方面，提供一种计算机可读存储介质，所述存储介质中存储有程序，所述程序被处理器执行时用于实现第一方面提供的超声乳腺病灶的分类方法。

本申请的有益效果至少包括：对于每一帧目标超声乳腺图像，通过在目标超声乳腺图像是乳腺切面所对应的图像时，识别图像中的病灶区域，进而将识别得的病灶区域分割为n1*n2个数据块；将每个数据块转换为p1*p2*c维的向量数据；将n1*n2个数据块对应的向量数据合并，得到n1n2×p1p2c的二维数据矩阵；根据每个数据块在目标超声乳腺图像中的位置，生成位置对应的位置编码向量，并将位置编码向量添加至二维数据矩阵中，得到的待处理的数据矩阵；将待处理的数据矩阵输入预先训练的图像分类网络中，得到目标超声乳腺图像所对应的病灶性质分类；可以解决人工对超声乳腺图像进行分类时，分类效率较低的问题；由于可以通过图像分类模型实现自动分类，因此，可以提高对超声乳腺图像进行分类的准确率及效率。

另外，通过设置图像分类网络不包括卷积操作，而是通过全连接网络结合其它计算方式实现图像分类，因此，可以减小模型计算量和难度，提高模型计算效率。

另外，通过将图像分割为多个数据块后，将每个数据块转换为向量数据并合并，以输入图像分类网络，可以减小输入图像分类网络的计算量，进一步提高模型计算效率。

另外，通过设置多头注意力模块和前馈神经模块的数量为多个，可以提高图像分类网络的泛化能力。

另外，通过基于权重随机激活训练得到图像分类网络，也可以提高图像分类网络的泛化能力。

上述说明仅是本申请技术方案的概述，为了能够更清楚了解本申请的技术手段，并可依照说明书的内容予以实施，以下以本申请的较佳实施例并配合附图详细说明如后。

附图说明

图1是本申请一个实施例提供的超声乳腺病灶的分类方法的流程图；

图2是本申请一个实施例提供的乳腺组织评估网络的网络结构示意图；

图3是本申请一个实施例提供的病灶区域识别网络的网络结构示意图；

图4是本申请一个实施例提供的图像分类模型的示意图；

图5是本申请一个实施例提供的超声乳腺病灶的分类装置的框图；

图6是本申请再一个实施例提供的超声乳腺病灶的分类装置的框图。

具体实施方式

下面结合附图和实施例，对本申请的具体实施方式作进一步详细描述。以下实施例用于说明本申请，但不用来限制本申请的范围。

可选地，本申请以各个实施例的执行主体为具有计算能力的电子设备为例进行说明，该电子设备可以为终端或服务器，终端可以为超声成像设备、计算机、手机、平板电脑等，本实施例不对电子设备的类型作限定。

下面对本申请提供的超声乳腺病灶的分类方法进行介绍。

图1是本申请一个实施例提供的超声乳腺病灶的分类方法的流程图。该方法至少包括以下几个步骤：

步骤101，获取待分类的目标超声乳腺信息，目标超声乳腺信息为目标超声乳腺图像或者目标超声乳腺视频，目标超声乳腺视频中包括至少两帧目标超声乳腺图像。

可选地，目标超声乳腺图像为整张超声乳腺图像或乳腺病灶区域图像。

步骤102，通过乳腺组织评估网络确定所述目标超声乳腺图像是否为乳腺切面所对应的乳腺图像；

由于医护人员乳腺扫查时，受医护人员的扫查经验的影响，目标超声乳腺图像可能准确也可能不准确，因此，在本步骤中，可以先通过乳腺组织评估网络评估目标超声乳腺图像是否为乳腺切面所对应的乳腺图像。可选的，本步骤包括：

第一，通过乳腺组织评估网络确定所述目标超声乳腺图像中的浅层组织特征信息和背景填充区域特征信息；

(1)、对所述目标超声乳腺图像下采样，得到3个数据流路；

乳腺组织评估网络为多层人工神经网络，该网络通过对输入的目标超声乳腺图像进行处理，识别目标超声乳腺图像中包括的乳腺脂肪、腺小叶、腺泡、叶间结缔、韧带、颈膜、导管及血流等组织，并通过比较各组织分布及评分比例规则关系来判断目标超声乳腺图像是否准确、标准地扫查了乳腺切面。请参考图2，其示出了一种可能的乳腺组织评估网络的结构示意图。

乳腺组织评估网络的输入为目标超声乳腺图像，将目标超声乳腺图像下采样成3个数据流路进行处理。其中，下采样可以由卷积、池化、线性整流激活函数组成。所述卷积层为可变形卷积。

(2)、对于每个数据流路，通过乳腺组织评估网络将所述目标超声乳腺图像缩小为所述目标超声乳腺图像分辨率的预设尺度，不同数据流路所对应的尺度不同；

在一个实施例中，该三个数据流路分别将输入的目标超声乳腺图像缩小为输入图像分辨率的尺度(宽和高各是1)，1/9尺度(宽和高各缩小1/3)和1/25尺度(宽和高各缩小1/5)。另一个实施例中，该三个数据流路处分别处理分辨率为输入分辨率的尺度、1/4尺度(宽和高各缩小1/2)，1/9尺度(宽和高各缩小1/3)。

可选的，在对每个数据流路进行处理时，均可以采用包括n个卷积、池化和线性整流的处理单元。其中n为1至3的整数。并且每个数据流路的处理单元可以由3*3卷积、2*2最大池化、线性整流函数依次连接而成。

(3)、对于所述3个数据流路的处理结果进行合并，得到所述浅层组织特征信息和所述背景填充区域特征信息。

在以上3个数据流路处理完毕之后，可以对3个数据流路的处理结果进行合并，进而得到两个分支，其中一个分支为不同尺度的浅层组织特征信息，另一个分支为不在组织区域范围内的背景填充区域特征信息。

具体的，对于上述第一个分支，合并了三个不同尺度的浅层组织特征。具体的，分别用三个同样分辨率尺度的数据处理流进行处理，在各分辨率的不同深度的处理过程中，分别融合了其他分辨率尺度的深度组织特征信息，进而综合考虑各组织在不同分辨率尺度的不同深度的分布信息。上述处理流程主要由m个卷积、池化、采样操作、归一化层等组合而成，并在各深度处添加了不同尺度的融合模块，分别融合了三个分辨率的尺度信息进行处理，在一个实施例中，该单元分别在1、1/9、1/25倍率尺度上合并了输入的1、1/9尺度、1/25倍率尺度的乳腺组织特征信息，并先经过2个由3*3卷积、线性整流函数、合并链接而成的数据处理流路，再经过合并、3*3卷积操作和softmax激活层之后分别返回包括脂肪、腺小叶、腺泡脂肪、腺泡、叶间结缔、韧带、颈膜、导管及血流在内的多种乳腺组织类别及概率值，也即浅层组织特征信息包括多种乳腺组织的类别和概率值。

对于第二个分支，其处理方式与第一分支的处理方式类似，不同的是该分支识别得到的是不在组织区域内的其他背景填充区域的概率值。

第二，根据所述浅层组织特征信息和所述背景填充区域特征信息生成组织分类评分；

可选的，可以根据浅层组织特征信息和背景填充区域特征信息生成组织分类评分图，组织分类评分图包括各组织所在像素点以及评分。

在一个实施例中，分别将乳腺组织类别及概率返回结果与背景填充区域返回结果分别与比例0.5加权后作加，也即按照预设分配权重进行加权得到最终结果，并作为最终结果返回。

第三，根据所述组织分类评分确定所述目标超声乳腺图像是否为乳腺切面所对应的乳腺图像。

可选的，本步骤包括：

(1)、根据所述组织分类评分获取判断参数，所述判断参数包括：各类组织区域所占比例、所有组织区域所占比例、各类组织区域的评分以及所有组织区域的评分中的至少一种；

各种判断参数的获取方式如下：

1)各类组织区域所占比例：通过计算各类组织区域占整张图像的比例来判断是否大于预设阈值δk，公式如下：

其中，为识别到的k类组织所在的像素点(m,n)，imn代表图像上的像素点(m,n)，m,n分别代表图像水平方向和垂直方向。

2)所有组织区域所占比例：通过计算所有组织区域之和是否大于预设阈值δa，公式如下：

其中，代表所有组织区域所占比例之和。

3)各类组织区域的评分：该通过计算各组织区域评分θk是否大于预设阈值τk，公式如下：

其中，代表k组织所在图像上的像素点(m,n)处的概率值。

4)所有组织区域的评分：该通过计算所有组织区域的评分θa是否大于预设阈值τa

其中，θk为各组织的评分。

(2)、若所述判断参数满足预设条件，则确定所述目标超声乳腺图像是乳腺切面所对应的乳腺图像。

在计算得到各个判断参数之后，即可检测判断参数是否满足预设条件，若满足，则确定目标超声乳腺图像是乳腺切面所对应的乳腺图像，此时继续执行后续步骤，反之若不满足，则返回提示信息，提示信息可以为提示识别失败或者提示目标超声乳腺图像为非乳腺图像，在此不再赘述。

本实施例所述的预设条件即为以上所述的大于对应的阈值，在此不再赘述。并且，实际实现时，在判断参数包括至少两个时，预设条件可以包括每个判断参数均大于对应的阈值，在此不再赘述。

需要补充说明的是，在上述各个步骤中，由于乳腺腺体容易受到扫查力度的大小而发生不同程度的形变进而生成得到不同形变尺度的超声乳腺图像，因此，为了改善上述情况，以上步骤中涉及的卷积均可以为可变形卷积。

步骤103，若所述目标超声乳腺图像是所述乳腺切面所对应的乳腺图像，则识别所述目标超声乳腺图像中的病灶区域；

通过病灶区域识别网络识别所述目标超声乳腺图像中的病灶区域，所述病灶区域识别网络融合matrixnet结构、rpn结构和relationshipnet。比如，请参考图3，其示出了病灶区域识别网络的网络结构示意图。

病灶区域识别网络是多层人工神经网络，用于对输入的目标超声乳腺图像进行处理，识别目标超声乳腺图像中包含的病灶区域。其中，病灶区域包括多种分型，比如非浸润性癌、高分化腺癌、髓样癌、纤维腺瘤、导管扩张等等，每种分型的识别可以通过判断形态、声影、边缘是否光整、边界是否锐利、是否存在钙化点以及血流情况来确定。实际实现时，需要考虑乳腺组织分布结构，通过确定各疑似区域所在乳腺腺体内与各组织的分布关系来确定具体的病灶区域。本申请通过病灶区域识别网络识别出各疑似病灶区域，统计各疑似病灶区域与乳腺各组织的形态分布关系进而确定最终的乳腺病灶区域。

可选的，matrixnet结构构建了类似矩阵分布的多尺度数据处理单元构成的数据处理流程，在一个实施例中，该结构采用包括1、1/4、1/9、1/25在内的四个不同倍率尺度对输入图像进行处理，首先将目标超声乳腺图像用一组卷积池化操作，将输入的目标超声乳腺图像依次下采样到以上的1，1/4，1/25分辨率倍率。并分别用3组数据处理单元对该分辨率数据进行处理，该数据处理单元由3*3卷积、合并、线性整流激活组合而成，其中合并单元合并了包括该分辨率处理的数据流和从更高分辨率下采样来的数据流。最后将所有不同分辨率倍率的数据流合并成n组不同分辨率倍率的特征区域，分别用于区域申请。在一个实施例中rpn结构将matrixnet处理结果合并成三路区域申请处理流程，分别以1、1/4、1/9分辨率倍率进行区域申请，该区域申请以最小分辨率特征图为基准、分别申请至少n个不同尺度、不同缩放比例的矩形框，在一个实施例中分别以1*1尺度及比例在最小分辨率(1/9倍率分辨率)上不同像素位置分别申请病灶区域框。对应其他尺度的区域框申请则将对应最小分辨率区域申请处分别以不同缩放比例申请区域框，最终区域申请后通过relationshipnet用来合并生成最终的病灶区域框，所述relationshipnet分别考虑不同分辨率的多个申请的区域框的关系，回归出最终的病灶区域框，所述relationshipnet关系如下式所示：

α^r为分辨率倍率，和分别为网络学习的权重，为不同分辨率下矩形框的加权因子，用于合并不同分辨率的矩形框，为同层多病灶区域加权因子，用于根据多个回归区域的出现情况加权出最终的病灶区域框。

在一个实施例中，采用全连接来合并包括1，1/4，1/9分辨率倍率的多个病灶候选框，所述多个病灶候选框通过分别对不同分辨率倍率候选框上除以应的分辨率倍率来得到统一尺度的区域框，并用两组全连接来得到最终的病灶区域。

在一个实施例中，在得到最终的病灶区域后，还通过后处理流程来增强得到病灶区域的准确性，所述后处理流程由多个高年资医师的临床经验总结而成，包括病灶区域与各组织的位置分布关系，尺度比例关系，声影统计关系对网络输出的病灶区域进行再处理，减少误判区域，并输出最终的病灶区域。

实际实现是，病灶区域的识别基于临床经验的临床规则，该临床规则包括区域纵横比、区域组织位置关系、区域组织声影关系等等。

步骤104，将识别得到的所述病灶区域

分割为n1*n2个数据块；其中，n1为图像高度方向分割的数据块数目，n2为图像宽度方向分割的数据块数目，所述n1，n2为正整数。

在一个示例中，按照预设的尺寸p1×p2对目标超声乳腺图像进行分割。不同数据块对应的p1和p2相同或不同。p1和p2可以是用户设置的，或者是电子设备中默认设置的，本实施例不对p1和p2的取值作限定。

步骤105，将每个数据块转换为p1*p2*c维的向量数据，p1，p2为每个数据块的尺寸。

其中，n1＝h/p1，n2＝w/p2；h为输入图像的高度，w为输入图像的宽度，p1为分割后数据块的高度，p2为分割后数据块的宽度；n1为图像高度方向分割的数据块数目，n2为图像宽度方向分割的数据块数目。

本实施例中，通过将一张目标超声乳腺图像划分为多个数据块，对每个数据块转化为向量数据，这样，可以压缩输入图像分类模型的数据量，提高计算效率。

可选地，将每个数据块转换为p1*p2*c维的向量数据的方式包括但不限于：使用神经网络将数据块转换为对应的特征向量，得到向量数据；或者，将数据块中每个像素值均作为向量数据，本实施例不对向量数据的获取方式作限定。

步骤106，将n1*n2个数据块对应的向量数据合并，得到n1n2×p1p2c的二维数据矩阵。

步骤107，根据每个数据块在目标超声乳腺图像中的位置，生成位置对应的位置编码向量，并将位置编码向量添加至二维数据矩阵中，得到的待处理的数据矩阵。

位置编码向量用于指示数据块在目标超声乳腺图像中的位置。

步骤108，将待处理的数据矩阵输入预先训练的图像分类网络中，得到的目标超声乳腺图像所对应的病灶性质分类。

其中，病灶性质分类用于指示目标超声乳腺图像对应的病理性质。

参考图4，图像分类网络包括多头注意力模块21、前馈神经模块22和多层全连接分类模块23。

多头注意力模块21包括三个全连接网络，激活函数层和多维逻辑回归层。当然，多头注意力模块21还可以包括其它网络结构，本实施例在此不再一一列举。每个全连接网络的输入为待处理的数据矩阵，输出为预设维度的特征数据；其中，预设两个全连接网络输出的特征数据相乘并除以预设比例因子后，经过多维逻辑回归计算得到逻辑回归结果；逻辑回归结果与另一个全连接网络的特征数据相乘后，得到多头注意力模块的输出结果；另一个全连接网络是三个网络分中与预设两个全连接网络不同的全连接网络；

在一个示例中，多头注意力模块的输出为：

其中，q，k,v分别为输入数据块过全连接后的结果，d为尺度因子。

前馈神经模块22包括全连接网络、与全连接网络相连的线性整流激活函数和层归一化；多头注意力模块的输出结果经过全连接网络、与全连接网络相连的线性整流激活函数和层归一化后，得到前馈神经模块的输出结果。

在一个示例中，前馈神经模块22的输出为：

zout＝ln(relu(mlp(relu(mlp(zin)))))，其中，zin中为前馈神经网络的输入，zout为前馈神经网络的输出,ln为层归一化操作，relu为线性整流激活函数，mlp为全连接层。

多层全连接分类模块23接收到前馈神经模块的输出结果后，经过全连接层处理；将处理后的数据进行层归一化处理，得到病灶性质分类。

其中，逻辑回归计算可以通过多头注意力模块21中的softmax实现。

前馈神经模块22中，全连接网络和线性整流激活函数构成的网络单元的数量为一个或多个，图4中以该网络单元的数量为两个为例进行说明。

可选地，病灶性质分类包括：良性类型和恶性类型；或者，包括良性类型、恶性类型、炎症类型、腺病类型、增生类型、导管扩张类型、早期浸润癌、浸润癌、非浸润性癌、小叶腺癌、导管腺癌、髓样癌、硬癌、单纯癌、原位癌、早期癌、浸润癌、未分化癌、低分化癌、中分化癌、高分化癌中的至少一种。在其它实施例中，病灶性质分类也可以划分为其它类型，本实施例不对病灶性质分类的划分方式作限定。

可选地，多头注意力模块和前馈神经模块的数量为多个，从而可以提高模型的泛化性。

本实施例中，图像分类网络是使用训练数据对初始神经网络模型训练得到的。其中，训练数据包括样本超声乳腺图像对应的样本数据矩阵、以及该样本数据矩阵对应的分类标签。在训练过程中，样本数据矩阵被输入至初始神经网络模型，得到模型结果；使用预设的损失函数计算模型结果和分类标签之间的差异，并按照计算结果对初始神经网络模型进行迭代训练，最终得到图像分类网络。示意性地，图像分类网络是基于权重随机激活训练得到的，从而可以进一步提高模型的泛化性。

分类标签的类型和图像分类网络的输出类型相对应，图像分类网络的网络结构与初始神经网络模型的网络结构相同。

可选地，若目标超声乳腺图像为目标超声乳腺视频中的图像，则方法还包括：在根据每帧目标超声乳腺图像得到病灶性质分类之后，根据目标超声乳腺视频中的各帧目标超声乳腺图像得到的病灶性质分类确定得到目标超声乳腺视频所对应的性质分类。

其中，根据目标超声乳腺视频中的各帧目标超声乳腺图像得到的病灶性质分类确定得到目标超声乳腺视频所对应的病灶性质分类，包括：若目标超声乳腺视频的各帧目标超声乳腺图像中不存在病灶性质分类为恶性的图像，则统计各帧目标超声乳腺图像所对应的病灶性质分类中数量最多的病灶性质分类，并将统计得到的病灶性质分类确定为目标超声乳腺视频所对应的病灶性质分类；若目标超声乳腺视频的各帧目标超声乳腺图像中存在病灶性质分类为恶性的图像，则将目标超声乳腺视频所对应的病灶性质分类确定为恶性。

综上所述，本实施例提供的超声乳腺病灶的分类方法，对于每一帧目标超声乳腺图像，通过在目标超声乳腺图像是乳腺切面所对应的图像时，识别图像中的病灶区域，进而将识别得的病灶区域分割为n1*n2个数据块；将每个数据块转换为p1*p2*c维的向量数据；将n1*n2个数据块对应的向量数据合并，得到n1n2×p1p2c的二维数据矩阵；根据每个数据块在目标超声乳腺图像中的位置，生成位置对应的位置编码向量，并将位置编码向量添加至二维数据矩阵中，得到的待处理的数据矩阵；将待处理的数据矩阵输入预先训练的图像分类网络中，得到目标超声乳腺图像所对应的病灶性质分类；可以解决人工对超声乳腺图像进行分类时，分类效率较低的问题；由于可以通过图像分类模型实现自动分类，因此，可以提高对超声乳腺图像进行分类的准确率及效率。

另外，通过设置图像分类网络不包括卷积操作，而是通过全连接网络结合其它计算方式实现图像分类，因此，可以减小模型计算量和难度，提高模型计算效率。

另外，通过将图像分割为多个数据块后，将每个数据块转换为向量数据并合并，以输入图像分类网络，可以减小输入图像分类网络的计算量，进一步提高模型计算效率。

另外，通过设置多头注意力模块和前馈神经模块的数量为多个，可以提高图像分类网络的泛化能力。

另外，通过基于权重随机激活训练得到图像分类网络，也可以提高图像分类网络的泛化能力。

图5是本申请一个实施例提供的超声乳腺病灶的分类装置的框图。该装置至少包括以下几个模块：信息获取单元310、图像判断单元320、病灶识别单元330、图像分割单元340、数据转换单元350、向量合并单元360、矩阵生成单元370和病灶分类单元380。

信息获取单元310，用于获取待分类的目标超声乳腺信息，所述目标超声乳腺信息为目标超声乳腺图像或者目标超声乳腺视频，所述目标超声乳腺视频中包括至少两帧目标超声乳腺图像；

图像判断单元320，用于通过乳腺组织评估网络确定所述目标超声乳腺图像是否为乳腺切面所对应的乳腺图像；

病灶识别单元330，用于在所述图像判断单元320的判断结果为所述目标超声乳腺图像是所述乳腺切面所对应的乳腺图像时，识别所述目标超声乳腺图像中的病灶区域；

图像分割单元340，用于将识别得到的病灶区域分割为n1*n2个数据块；其中，n1为图像高度方向分割的数据块数目，n2为图像宽度方向分割的数据块数目，所述n1，n2为正整数；

数据转换单元350，用于将每个数据块转换为p1*p2*c维的向量数据，所述p1，p2为每个数据块的尺寸；其中n1＝h/p1，n2＝w/p2；h为输入图像的高度，w为输入图像的宽度，p1为分割后数据块的高度，p2为分割后数据块的宽度；n1为图像高度方向分割的数据块数目，n2为图像宽度方向分割的数据块数目；

向量合并单元360，用于将n1*n2个数据块对应的向量数据合并，得到n1n2×p1p2c的二维数据矩阵；

矩阵生成单元370，用于根据每个数据块在所述目标超声乳腺图像中的位置，生成所述位置对应的位置编码向量，并将所述位置编码向量添加至所述二维数据矩阵中，得到的待处理的数据矩阵；

病灶分类单元380，用于将所述待处理的数据矩阵输入预先训练的图像分类网络中，得到所述目标超声乳腺图像所对应的病灶性质分类。

相关细节参考上述方法实施例。

需要说明的是：上述实施例中提供的超声乳腺病灶的分类装置在进行超声乳腺病灶的分类时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将超声乳腺病灶的分类装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的超声乳腺病灶的分类装置与超声乳腺病灶的分类方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。

图6是本申请一个实施例提供的超声乳腺病灶的分类装置的框图。该装置至少包括处理器401和存储器402。

处理器401可以包括一个或多个处理核心，比如：4核心处理器、8核心处理器等。处理器401可以采用dsp(digitalsignalprocessing，数字信号处理)、fpga(field－programmablegatearray，现场可编程门阵列)、pla(programmablelogicarray，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器401也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(centralprocessingunit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器401可以在集成有gpu(graphicsprocessingunit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器401还可以包括ai(artificialintelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。

存储器402可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器402还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器402中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器401所执行以实现本申请中方法实施例提供的超声乳腺病灶的分类方法。

在一些实施例中，超声乳腺病灶的分类装置还可选包括有：外围设备接口和至少一个外围设备。处理器401、存储器402和外围设备接口之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口相连。示意性地，外围设备包括但不限于：射频电路、触摸显示屏、音频电路、和电源等。

当然，超声乳腺病灶的分类装置还可以包括更少或更多的组件，本实施例对此不作限定。

可选地，本申请还提供有一种计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的超声乳腺病灶的分类方法。

可选地，本申请还提供有一种计算机产品，该计算机产品包括计算机可读存储介质，所述计算机可读存储介质中存储有程序，所述程序由处理器加载并执行以实现上述方法实施例的超声乳腺病灶的分类方法。

以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。