适应多机型的乳腺X射线影像识别方法和装置与流程

本发明涉及图像识别技术领域，具体涉及一种适应多机型的乳腺x射线影像识别方法和一种适应多机型的乳腺x射线影像识别装置。

背景技术：

乳腺x射线影像能比较全面而正确地反应出整个乳房的大体解剖结构，对于人体组织分析等研究工作具有较高参考价值。

在实际应用中，乳腺x射线影像来源于不同的机型，如philips、siemens、ge等，这些机型拍摄的影像在风格上差异很大，人类视觉很少会被这种差异影响，而计算机则相反，容易被这种差异影响，作出错误的判断。对于目前普遍应用的一些计算机视觉算法，当训练和测试数据来自同一机型时，分布较为近似，计算机对乳腺影像的识别效果好，但针对每一种机型都收集大量的数据代价非常大，而且非常困难。

技术实现要素：

本发明为解决上述技术问题，提供了一种适应多机型的乳腺x射线影像识别方法和装置，能够适用于对多种机型的乳腺x射线影像的识别，简单方便且准确性较高。

本发明采用的技术方案如下：

一种适应多机型的乳腺x射线影像识别方法，包括以下步骤：构建网络框架，其中，网络框架包括乳腺影像特征提取网络、乳腺影像机型分类网络和乳腺影像识别网络；获取来自不同机型的多个乳腺x射线影像数据集并统计得到其数据分布，根据数据集的数据分布分别为每张待识别乳腺x射线影像确定窗宽和窗位；将多个机型的、确定了窗宽和窗位的乳腺x射线影像输入网络框架中，对乳腺影像特征提取网络和乳腺影像机型分类网络进行一致性训练，同时训练乳腺影像识别网络；通过训练后的乳腺影像特征提取网络提取确定了窗宽和窗位的待识别乳腺x射线影像的特征，该特征经过训练后的乳腺影像识别网络，以实现对待识别乳腺x射线影像的识别。

所述乳腺影像特征提取网络包括若干个卷积模块和若干个下采样模块。

所述乳腺影像机型分类网络包括若干个卷积模块，或者包括若干个卷积模块和若干个完全连接模块。

所述数据分布包括影像像素值的均值和方差。

根据所述数据集的数据分布分别确定每张待识别乳腺x射线影像的窗宽和窗位，具体包括：自适应地选取所述待识别乳腺x射线影像的窗宽和窗位，使得所述待识别乳腺x射线影像的数据分布尽可能地接近所述数据集的数据分布。

利用多个机型的乳腺x射线影像对所述乳腺影像特征提取网络和所述乳腺影像机型分类网络进行一致性训练，同时训练乳腺影像识别网络，具体包括：一致性训练，通过所述乳腺影像特征提取网络和所述乳腺影像机型分类网络的共同训练，约束同一腺体类型不同机型的乳腺影像特征提取网络输出的特征图分布差异最小化、特征空间上的距离最小化，或分布差异和特征空间上的距离加权和最小化；通过对输入的多个机型的乳腺x射线影像采样或对所述乳腺影像机型分类网络的损失采样，限制所述乳腺影像机型分类网络每次梯度回传更新权重对应的多个乳腺x射线影像的腺体类型相同；计算每个乳腺x射线影像与其他腺体类型相同的乳腺x射线影像在特征层面的平均距离，并根据所述平均距离得到置信分数，作为所述乳腺影像机型分类网络的置信度；网络的总损失，由乳腺影像识别网络的损失以及上述置信度加权后的乳腺影像机型分类网络的损失两部分组成。

其中，乳腺x射线影像之间的距离为cosine距离或l2距离。

一种适应多机型的乳腺x射线影像识别装置，包括：网络框架，所述网络框架包括乳腺影像特征提取网络、乳腺影像机型分类网络和乳腺影像识别网络；预处理模块，所述预处理模块对来自不同机型的多个乳腺x射线影像数据集进行统计得到其数据分布，根据数据集的数据分布分别为每张待识别乳腺x射线影像确定窗宽和窗位；训练模块，所述训练模块将多个机型的、确定了窗宽和窗位的乳腺x射线影像输入网络框架中，对乳腺影像特征提取网络和乳腺影像机型分类网络进行一致性训练，同时训练乳腺影像识别网络；测试模块，所述测试模块通过训练后的乳腺影像特征提取网络提取确定了窗宽和窗位的待识别乳腺x射线影像的特征，该特征经过训练后的乳腺影像识别网络，以实现对待识别乳腺x射线影像的识别。

本发明的有益效果：

本发明的适应多机型的乳腺x射线影像识别方法和装置，在图像层面上，根据数据集的数据分布确定待识别乳腺x射线影像的窗宽和窗位，使图像层面上不同机型的乳腺x线影像风格尽可能相似，在特征层面上，通过乳腺影像特征提取网络与乳腺影像机型分类网络的一致性训练，使特征层面上不同机型的乳腺x射线影像风格尽可能相似，同时减小腺体类型和影像语义信息等对乳腺影像机型分类网络训练的影响，从而能够适用于对多种机型的乳腺x射线影像的识别，简单方便且准确性较高。

附图说明

图1为本发明实施例的适应多机型的乳腺x射线影像识别方法的流程图；

图2为本发明实施例的适应多机型的乳腺x射线影像识别装置的方框示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例的适应多机型的乳腺x射线影像识别方法包括以下步骤：

s1，构建网络框架，其中，网络框架包括乳腺影像特征提取网络、乳腺影像机型分类网络和乳腺影像识别网络。

在本发明的一个实施例中，乳腺影像特征提取网络可包括若干个卷积模块和若干个下采样模块，能够对输入的乳腺x射线影像进行特征提取。乳腺影像机型分类网络可包括若干个卷积模块，或者包括若干个卷积模块和若干个完全连接模块，能够根据乳腺影像特征提取网络输出的特征估计出乳腺x射线影像的来源机型。乳腺影像识别网络能够根据乳腺影像特征提取网络输出的特征进行影像识别，得到乳腺病灶检出、乳腺病灶良恶性分类等识别结果。

s2，获取来自不同机型的多个乳腺x射线影像数据集并统计得到其数据分布，根据数据集的数据分布分别为每张待识别乳腺x射线影像确定窗宽和窗位。

其中，数据分布可包括但不限于像素值的均值、方差。

首先可统计得到不同机型的多个乳腺x射线影像数据集的上述数据分布，然后根据数据集的上述数据分布，自适应地选取待识别乳腺x射线影像的窗宽和窗位，使得待识别乳腺x射线影像的数据分布尽可能地接近数据集的数据分布。此处的尽可能接近，可以是各项数据分布差值的均值或加权均值最小。

s3，将多个机型的、确定了窗宽和窗位的乳腺x射线影像输入网络框架中，对乳腺影像特征提取网络和乳腺影像机型分类网络进行一致性训练，同时训练乳腺影像识别网络。

在本发明的一个实施例中，可通过乳腺x射线影像的识别任务相关标签和机型标签来训练网络。

机型标签表明乳腺x射线影像来自哪个机型，假设某个输入的乳腺x射线影像来自某个机型，则对该乳腺x射线影像，该机型的标签为1，其他机型的标签均为0。如果数据集中部分乳腺x射线影像的识别任务相关标签缺失，则该部分乳腺x射线影像只有机型标签。

腺体类型和影像的语义信息对乳腺影像机型分类网络的学习有较大影响，其中，腺体类型包括脂肪型、散在纤维腺体型、不均匀致密型和极度致密型，影像的语义信息可包括肿块、钙化、结构扭曲等病灶和无病灶。

在本发明的一个实施例中，可利用腺体类型标签，通过对输入的多个乳腺x射线影像采样或对乳腺影像机型分类网络的损失采样，限制乳腺影像机型分类网络每次梯度回传更新权重对应的多个乳腺x射线影像的腺体类型相同，减小腺体类型对机型分类网络训练的影响。对于每个乳腺x射线影像，可计算其与其他腺体类型相同的乳腺x射线影像在特征层面的平均距离，并根据平均距离得到置信分数，作为乳腺影像机型分类网络的置信度，减小影像语义信息对机型分类网络训练的影响。

其中，如果腺体类型标签缺失，可通过聚类算法将腺体类型分为4类。乳腺x射线影像之间的距离可包括但不限于cosine距离和l2距离。置信分数的范围可为0～1，距离越小，置信分数越大。

通过一致性训练的方式，使得乳腺影像机型分类网络学习区分不同机型，而乳腺影像特征提取网络学习得到识别任务相关特征，并使该特征能够欺骗乳腺影像机型分类网络，从而减小不同机型的乳腺影像特征提取网络输出特征图分布的差异，使得特征层面上不同机型乳腺x射线影像的风格尽可能相似。

s4，通过训练后的乳腺影像特征提取网络提取确定了窗宽和窗位的待识别乳腺x射线影像的特征，该特征经过训练后的乳腺影像识别网络，以实现对待识别乳腺x射线影像的识别。

具体地，乳腺影像识别网络可以通过基于深度学习的物体检测、图像分割、图像分类等方法，实现乳腺病灶检出、乳腺病灶良恶性分类等任务。

根据本发明实施例的适应多机型的乳腺x射线影像识别方法，在图像层面上，根据数据集的数据分布确定待识别乳腺x射线影像的窗宽和窗位，使图像层面上不同机型的乳腺x线影像风格尽可能相似，在特征层面上，通过乳腺影像特征提取网络与乳腺影像机型分类网络的一致性训练，使特征层面上不同机型的乳腺x射线影像风格尽可能相似，同时减小腺体类型和影像语义信息等对乳腺影像机型分类网络训练的影响，从而能够适用于对多种机型的乳腺x射线影像的识别，简单方便且准确性较高。

对应上述实施例的适应多机型的乳腺x射线影像识别方法，本发明还提出一种适应多机型的乳腺x射线影像识别装置。

如图2所示，本发明实施例的乳腺x射线影像识别装置包括网络框架10、预处理模块20、训练模块30和测试模块40。其中，网络框架10包括乳腺影像特征提取网络、乳腺影像机型分类网络和乳腺影像识别网络；预处理模块20用于对来自不同机型的多个乳腺x射线影像数据集进行统计得到其数据分布，根据数据集的数据分布分别为每张待识别乳腺x射线影像确定窗宽和窗位；训练模块30用于将多个机型的、确定了窗宽和窗位的乳腺x射线影像输入网络框架中，对乳腺影像特征提取网络和乳腺影像机型分类网络进行一致性训练，同时训练乳腺影像识别网络；测试模块40用于通过训练后的乳腺影像特征提取网络提取确定了窗宽和窗位的待识别乳腺x射线影像的特征，该特征经过训练后的乳腺影像识别网络，以实现对待识别乳腺x射线影像的识别。

在本发明的一个实施例中，乳腺影像特征提取网络可包括若干个卷积模块和若干个下采样模块，能够对输入的乳腺x射线影像进行特征提取。乳腺影像机型分类网络可包括若干个卷积模块，或者包括若干个卷积模块和若干个完全连接模块，能够根据乳腺影像特征提取网络输出的特征估计出乳腺x射线影像的来源机型。乳腺影像识别网络能够根据乳腺影像特征提取网络输出的特征进行影像识别，得到乳腺病灶检出、乳腺病灶良恶性分类等识别结果。

其中，数据分布可包括但不限于影像像素值的均值和方差。

预处理模块20可统计得到不同机型的多个乳腺x射线影像数据集的上述数据分布，然后根据数据集的上述数据分布，自适应地选取待识别乳腺x射线影像的窗宽和窗位，使得待识别乳腺x射线影像的数据分布尽可能地接近数据集的数据分布。此处的尽可能接近，可以是各项数据分布差值的均值或加权均值最小。

在本发明的一个实施例中，训练模块30可通过乳腺x射线影像的识别任务相关标签和机型标签来训练网络。

机型标签表明乳腺x射线影像来自哪个机型，假设某个输入的乳腺x射线影像来自某个机型，则对该乳腺x射线影像，该机型的标签为1，其他机型的标签均为0。如果其中部分乳腺x射线影像的识别任务相关标签缺失，则该部分乳腺x射线影像只有机型标签。

腺体类型和影像的语义信息对乳腺影像机型分类网络的学习有较大影响，其中，腺体类型包括脂肪型、散在纤维腺体型、不均匀致密型和极度致密型，影像的语义信息可包括肿块、钙化、结构扭曲等病灶和无病灶。。

在本发明的一个实施例中，训练模块30可利用腺体类型标签，通过对输入的多个机型的乳腺x射线影像采样或对乳腺影像机型分类网络的损失采样，限制乳腺影像机型分类网络每次梯度回传更新权重对应的多个乳腺x射线影像的腺体类型相同，减小腺体类型对机型分类网络训练的影响。对于每个乳腺x射线影像，训练模块30可计算其与其他腺体类型相同的乳腺x射线影像在特征层面的平均距离，并根据平均距离得到置信分数，作为乳腺影像机型分类网络的置信度，减小影像语义信息对机型分类网络训练的影响。

其中，如果腺体类型标签缺失，可通过聚类算法将腺体类型分为4类。乳腺x射线影像之间的距离可包括但不限于cosine距离和l2距离。置信分数的范围可为0～1，距离越小，置信分数越大。

通过一致性训练的方式，使得乳腺影像机型分类网络学习区分不同机型，而乳腺影像特征提取网络学习得到识别任务相关特征，并使该特征能够欺骗乳腺影像机型分类网络，从而减小不同机型的乳腺影像特征提取网络输出特征图分布的差异，使得特征层面上不同机型乳腺x射线影像的风格尽可能相似。

测试模块40通过训练后的乳腺影像特征提取网络提取确定了窗宽和窗位的待识别乳腺x射线影像的特征，该特征经过训练后的乳腺影像识别网络，以实现对待识别乳腺x射线影像的识别。具体地，乳腺影像识别网络可以通过基于深度学习的物体检测、图像分割、图像分类等方法，实现乳腺病灶检出、乳腺病灶良恶性分类等任务。

根据本发明实施例的适应多机型的乳腺x射线影像识别装置，在图像层面上，根据数据集的数据分布确定待识别乳腺x射线影像的窗宽和窗位，使图像层面上不同机型的乳腺x线影像风格尽可能相似，在特征层面上，通过乳腺影像特征提取网络与乳腺影像机型分类网络的一致性训练，使特征层面上不同机型的乳腺x射线影像风格尽可能相似，同时减小腺体类型和影像语义信息等对乳腺影像机型分类网络训练的影响，从而能够适用于对多种机型的乳腺x射线影像的识别，简单方便且准确性较高。

在本发明的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。