一种基于数据驱动的乳腺图像处理和重建的方法及系统

本技术涉及医学图像，具体涉及一种基于数据驱动的乳腺图像处理和重建的方法及系统。

背景技术：

1、乳腺癌已经成为全球女性癌症死亡的主要原因。作为成最普遍的恶性肿瘤，乳腺癌其高发病率和死亡率，对我国乃至全球的女性健康和生活质量造成了严重的影响。乳腺x线摄影(dm)检查作为在乳腺癌诊断筛查的金标准，在早期发现和治疗乳腺癌方面起着不可替代的作用。

2、dm成像基本原理是通过软x射线穿透按压乳腺组织，然后利用数字探测器捕获透射的x射线，并将其转化为数字信号。这些数字信号表示了不同乳腺组织密度差异和吸收特性，再经过系列图像处理后生成数字化乳腺x线图像。该成像技术只能将三维空间下的乳房投照在平面的二维图像，图像缺乏三维空间信息，部分组织结构重叠会导致基于dm的乳腺诊断假阳性或假阴性增高。数字乳腺体层合成技术(dbt)是将dm和计算机技术结合发展的乳腺成像新技术。同样地，该技术通过对按压乳房进行小范围多个不同角度的x射线照射，然后将这些对应二维投照的图像，通过图像重建技术合成为三维乳腺图像。dbt解决了传统dm的结构重叠和立体信息不足的问题。dbt在乳腺癌早期检测和诊断中具有重要作用，提高了检测的准确性和可靠性。

3、尽管dbt在改善乳腺成像方面具有许多优势，但因其成像方法的限制，在不同体位的乳腺摄影过程中，将出现不同程度的截断伪影。在其成像过程中射线源则随着圆弧进行有限角度的曝光，不同角度下，相对固定的乳腺被投影至有限长的x射线探测器中，将出现不同程度的数据截断，导致乳腺投影数据的丢失。在dbt图像重建过程中，将会导致截断伪影产生，在图像上表现为图像两侧出现锯齿状伪影。截断伪影影响该区域下的乳腺结构和淋巴组织成像，从而在临床上可能导致漏诊或误诊。该伪影处理方法一般通过投影截断区域的邻域进行线性插值或邻域平均来模拟临近的像素值，这种人为规则的插值方法未考虑乳腺组织在投影角度的真实变化，造成的图像失真可能会降低图像的可靠性，使医生诊断时更难以确定。

技术实现思路

1、基于此，本技术提供了一种基于数据驱动的乳腺图像处理和重建的方法及系统，利用数据驱动的内容生成模型结合重建方法，以解决乳腺体层合成重建图像的截断伪影问题。

2、本技术为了实现上述目的具体采用以下技术方案：

3、第一方面，本技术提供一种基于数据驱动的乳腺图像处理和重建的方法，该方法可以由网络设备执行，或者，也可以由配置于网络设备中的芯片执行，本技术对此不作限定。

4、一种基于数据驱动的乳腺图像处理和重建的方法，其主要步骤包括：

5、1.首先获取批量各体位的乳腺dm影像和dbt投影图像数据，根据体位识别二维图像截断发生的区域；

6、2.按区域位置对乳腺dm影像进行随机裁剪，获得系列截断和未截断的dm图像对和dbt投影图像对；

7、3.通过dm影像对利用内容生成模型网络进行训练优化，获得模型的初始权重，然后利用dbt投影图像对生成微调和迭代优化，获得基于数据驱动的投影内容生成模块；

8、4.对待重建的乳腺投影数据根据投影角度和重建系统矩阵进行扩充处理，投影数据扩充后的数据为设定值；

9、5.分别将扩充后的投影图像和临近角度的投影输入至投影内容生成模块中，推断投影数据扩充区域的像素值，并合并成截断修复的投影图像；

10、6.根据dbt重建系统矩阵，计算截断修复的投影图像信息及空间坐标，进行乳腺体层合成重建，获取截断伪影矫正后的图像。

11、在一些实施例中，步骤1中，可根据扫描体位(cc位和mlo)以及类型(致密型、腺体型、脂肪型或混合型)的不同，来判别二维图像截断发生的区域，该区域发生的位置可根据乳腺大小和扫描设备的成像参数变化而变化。该区域一般在二维图像的上1/4象限或下1/4象限区域；

12、在一些实施例中，步骤2中，对乳腺dm影像进行随机裁剪可以根据截断区域位置生成若干随机截断长度，并按该长度截取对应行的图像并置为0，通过该处理可获得截断和截断后的二维图像对；

13、在一些实施例中，步骤3中，在图像输入前，可对图像对进行批处理，包括图像的滤波，噪声模拟，旋转，翻转等操作，以扩充数据的多样性。考虑数据的可获得性和图像特征的相似性，本技术收集来自dm的数据作为初始的训练数据。由于dm数据与dbt的投影数据相似性较高，我们通过dm数据对初始内容生成器进行初始训练，确保初始内容生成器学习可用的乳腺图像结构和特征。

14、以初始内容生成器作为基本架构，构建dbt投影内容生成模型，该模型以dbt的投影图像对和临近投影作为输入条件，并加载初始内容生成器的权重，在训练过程中进行权重微调和网络模型的迭代优化。

15、所述的内容生成器可以为基于unet的自编码结构，亦可为生成对抗网络的架构。若为基于unet的自编码生成器，则损失函数可设定为重建损失项和条件损失项的结合而重建损失则通过计算生成后的图像和未截断的图像进行像素级别的损失函数计算，而条件损失可利用余弦相似度构建损失函数比较生成后的图像与生活前的图像相似性。

16、若为基于生成对抗网络的结构，则可以在重建损失项和条件损失项的基础上，增加gan损失，通过生成器最小化生成的图像与未截断伪影之间的差异，判别器的目标是将未截断伪影图像和生成投影图像分开来，通过循环博弈，加强生成器的生成质量。

17、在一些实施例中，步骤4中，具体地，我们根据重建系统矩阵对待重建乳腺roi的所有体素在目标投影角度下的二维坐标，若该二维坐标超出探测器有效探测范围时，则将所述坐标所在行进行扩充处理，并填充为扩充设定值，最终扩充得基于角度变化而长度变化的二维像素矩阵。作为一个实施例，该扩充设定值可设定为0。

18、在一些实施例中，步骤5中，将待重建角度的投影作为输入图像，临近角度的投影作为输入条件，通过投影内容生成模块生成目标投影中待扩充区域的像素。该区域校像素值可通过邻域像素的均值或线性插值进行进一步约束，避免深度学习网络的不确定性。合并扩充区域和未阶段区域的像素值，获得截断修复后的投影图像；

19、另一方面，为了解决上述技术问题，本技术实施例还提供一种基于数据驱动的乳腺图像处理和重建的系统，所述系统包括：

20、训练计算模块，用于获取批量各体位的乳腺dm影像和dbt投影图像数据，根据体位识别二维图像截断发生的区域。

21、训练预处理模块，用于对区域位置对乳腺dm影像进行随机裁剪，获得系列截断和未截断的dm图像对和dbt投影图像对；

22、生成器训练模块，用于训练基于数据驱动的投影内容生成模块。首先通过dm影像对利用内容生成模型网络进行训练优化，获得模型的初始权重，然后利用dbt投影图像对生成微调和迭代优化，获得基于数据驱动的投影内容生成模块；

23、投影扩充模块，用于对待重建的乳腺投影数据根据投影角度和重建系统矩阵进行扩充处理，投影数据扩充后的数据为设定值；

24、投影处理模块，用于将扩充后的投各影图像和临近角度的投影输入至投影内容生成模块中，推断投影数据扩充区域的投影图像像素值；

25、图像重建模块，根据dbt重建系统矩阵，计算截断修复的投影图像信息及空间坐标，进行乳腺体层合成重建，获取截断伪影矫正后的图像。

26、本发明提出的一种基于数据驱动的乳腺图像处理和重建的方法及系统，分析乳腺体层合成图像的重建原理和截断伪影的来源，利用乳腺dm作为初始数据训练内容生成器的初始权重，再基于迁移学习学习dbt投影的影像分布特征和差异性，从而构建了投影内容生成模块。本发明利用成像关系判别投影截断作为待扩充区域，利用该模块再重建过程中预估和生成与之相匹配的投影图像内容。该方法与现有方法比较，本发明具备更高的创新性和可迁移性，提高了图像的真实性和空间一致性。这种基于数据驱动生成的图像内容减少了人为规则插值带来的重建图像失真。本发明截断区域生成的投影图像更真实，重建的乳腺三维图像更准确，这将提高医生在诊断过程中的可靠性，这对于及早发现病变和做出正确的医学判断具有重要意义。

27、本发明利用利用神经网络提取和学习各投影数据的相关性，对截断投影部分进行修复，该方法可很好地预测对应区域的低频分量，而欠缺的高频分量，则通过在迭代过程中进行更新和修正，最终获得截断伪影抑制后的重建图像。该发明很好地解决大投影角度截断造成的阶梯状伪影，大大提高该区域下的乳腺结构和淋巴组织的阅片和诊断精度。