一种基于深度学习的乳腺CEM图像病灶识别系统及设备

本发明涉及医学影像处理，特别是涉及一种基于深度学习的乳腺cem图像病灶识别系统及设备。

背景技术：

1、cem(contrast enhanced mammography，对比增强乳腺x线摄影)是近几年新兴的一项影像学技术，它将乳腺x线摄影与静脉注射碘对比剂进行结合，首先静脉注射对比剂，利用碘对比剂的k缘效应(33.2kev附近衰减特征有明显差异)进行高能量(高于33.2kev)和低能量(低于33.2kev)曝光得到高能图和低能图。接着利用碘和乳腺组织在这两个能级的x射线衰减差异来抑制背景乳腺组织，对低能和高能图像进行特定的加权重组(减影)，最终得到双侧乳腺头尾位、内外斜位的低能图及减影图。其中低能图拥有和乳腺x线摄影影像相似的形态细节，而减影图中去除了周围正常重叠腺体，使病灶显示更加清晰。因此，cem图像在提供肿瘤形态影像的同时，又可提供肿瘤灌注信息。

2、目前已经存在很多基于自然图像开发的目标识别方法能够准确快速的定位并识别目标物体，然而和自然图像相比，乳腺成像中关键信息占比小，有时病变和非病变通常具有相似的外观，需要网络关注更多细粒度类别的特征，很显然如果将基于自然图像开发的识别算法直接迁移到乳腺医学图像上使用是不合理的。另外，目前cem图像中的多模态信息缺乏有效利用。因此，本领域亟需研发一种专门针对双模态cem图像同时进行乳腺病灶快速检测和分类的方法。

技术实现思路

1、针对上述背景技术中提出的问题，本发明提供一种基于深度学习的乳腺cem图像病灶识别系统及设备，以实现基于cem图像对乳腺病灶的快速定位检测和分类，提升乳腺病灶识别精度。

2、为实现上述目的，本发明提供了如下方案：

3、一方面，本发明提供一种基于深度学习的乳腺cem图像病灶识别系统，包括：

4、图像收集及预处理模块，用于获取cem图像并进行图像预处理，得到预处理后的样本图像；所述cem图像包括双侧乳腺头尾位和内外斜位的低能图及减影图；所述预处理后的样本图像包括预处理后的低能图和减影图；

5、初步特征提取模块，用于将预处理后的低能图和减影图分别输入到两个相同的resnet50深度学习分支网络中进行初步特征提取，得到不同尺度的初步提取特征；

6、多模态特征融合模块，用于利用多模态特征融合网络对不同尺度的初步提取特征进行特征融合，得到不同尺度的双模态融合特征；

7、多尺度金字塔特征融合模块，用于将不同尺度的双模态融合特征输入多尺度金字塔特征融合网络，融合得到多尺度金字塔特征层；

8、检测头病灶识别模块，用于将多尺度金字塔特征层输入对应检测头，输出乳腺病灶识别结果；所述检测头包括回归子网络和分类子网络；所述乳腺病灶识别结果包括病灶位置和类别。

9、可选地，所述图像收集及预处理模块，具体包括：

10、标签标注单元，用于在获取的cem图像中标注出病灶感兴趣区域以生成病灶的位置标签，同时将标注的病灶标注良恶性以作为分类标签；

11、二值化单元，用于对带有标签的cem图像进行二值化处理，得到二值化图像；

12、裁剪及缩放单元，用于从二值化图像中裁剪出包含乳腺前景区域的最小外接矩形区域并缩放至统一大小，得到缩放后图像；

13、归一化单元，用于对缩放后图像进行归一化处理，得到归一化图像；

14、图像叠加单元，用于将三张相同的单通道归一化图像叠加在一起，得到预处理后的样本图像。

15、可选地，所述初步特征提取模块，具体包括：

16、初步特征提取单元，用于将预处理后的低能图和减影图分别输入到两个相同的resnet50深度学习分支网络中，首先经过3×3卷积层和最大池化层得到256×256大小的特征图，然后又经过三个结构相同的残差模块分别得到特征尺寸为128×128、64×64以及32×32大小的特征图，共同构成四种不同尺度的初步提取特征。

17、可选地，所述多模态特征融合模块，具体包括：

18、多模态特征融合单元，用于针对特征尺寸为128×128、64×64以及32×32大小的特征图，将同一尺度的低能图和减影图对应的特征图先分别经过相同的双卷积注意力机制得到双卷积注意力特征；随后将减影图的双卷积注意力特征通过1-sigmoid(双卷积注意力特征)的方式进行特征取反得到其反向特征；然后将减影图的反向特征与低能图的双卷积注意力特征进行逐元素相乘的运算，得到新的合成辅助特征；最后将原始减影图对应的特征图同合成辅助特征进行逐元素相加，得到不同尺度的双模态融合特征。

19、可选地，所述多尺度金字塔特征融合模块，具体包括：

20、多尺度金字塔特征融合单元，用于将不同尺度的双模态融合特征通过邻近的插值2倍上采样算法自顶向下生成和下一级融合特征大小相同的特征图，接着通过横向进行相加融合操作，在融合之后再采用3*3的卷积核对每个融合结果进行卷积消除上采样的混叠效应，最后得到自顶向下为32×32、64×64以及128×128大小的多尺度金字塔特征。

21、可选地，所述检测头病灶识别模块，具体包括：

22、病灶位置识别单元，用于将多尺度金字塔特征输入对应的回归子网络，输出病灶位置；

23、病灶类别识别单元，用于将多尺度金字塔特征输入对应的分类子网络，输出病灶类别。

24、另一方面，本发明提供一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现一种基于深度学习的乳腺cem图像病灶识别方法；所述基于深度学习的乳腺cem图像病灶识别方法，包括：

25、获取cem图像并进行图像预处理，得到预处理后的样本图像；所述cem图像包括双侧乳腺头尾位和内外斜位的低能图及减影图；所述预处理后的样本图像包括预处理后的低能图和减影图；

26、将预处理后的低能图和减影图分别输入到两个相同的resnet50深度学习分支网络中进行初步特征提取，得到不同尺度的初步提取特征；

27、利用多模态特征融合网络对不同尺度的初步提取特征进行特征融合，得到不同尺度的双模态融合特征；

28、将不同尺度的双模态融合特征输入多尺度金字塔特征融合网络，融合得到多尺度金字塔特征层；

29、将多尺度金字塔特征层输入对应检测头，输出乳腺病灶识别结果；所述检测头包括回归子网络和分类子网络；所述乳腺病灶识别结果包括病灶位置和类别。

30、根据本发明提供的具体实施例，本发明公开了以下技术效果：

31、本发明提供了一种基于深度学习的乳腺cem图像病灶识别系统及设备，通过获取原始cem图像的低能图和减影图并进行预处理，标注出图像乳腺区域中的病灶，分别用两个resnet50网络提取低能图和减影图的初步提取特征；进行双模态辅助特征融合并得到多尺度金字塔特征层；每一个金字塔特征层后都连接一个带有注意力机制的检测头对乳腺病灶进行最终的定位和分类。本发明基于深度学习方法，实现了基于多模态的cem图像对乳腺病灶的快速检测定位和分类，提升了乳腺病灶识别效率和精度。