一种二维心内超声导管图像的三维表面重建方法及装置与流程

本发明涉及心超图像处理，具体涉及一种二维心内超声导管图像的三维表面重建方法及装置。

背景技术：

1、心内超声导管图像被广泛应用于心脏疾病诊断和治疗过程中。然而，由于图像噪声和分辨率的限制，这些图像的重建仍然是一项具有挑战性的任务。

2、在复杂场景中，模型重建的往往依赖于专业人员的标注，而其精确程度又依赖于标注者的经验与能力，这种方法费时费力，导致患者最佳治疗的窗口期被错过，因此对模型的自动和精确建模极其重要。

3、近些年来，不断有超声图像的重建方法被提出，但大多具有局限性，例如：心脏内三维超声成像导管及系统、心脏三维模型构建方法中存在构建模型粗糙，无法重构心内腔室等问题。难以给心血管疾病诊断和治疗过程中提供更精确和全面的信息。

技术实现思路

1、有鉴于此，本发明实施例提供了一种二维心内超声导管图像的三维表面重建方法、装置及电子设备，用以解决或部分解决上述问题。

2、第一方面，本发明实施例提供了一种二维心内超声导管图像的三维表面重建方法，包括以下步骤：

3、s1:通过心内超声导管在心脏内部采集多个连续的超声图像；

4、s2:对各所述超声图像之间的空白区域进行插值处理，获得多个插值图像；

5、s3:将各所述超声图像输入预训练的unet模型中，获得输出的各所述超声图像的心脏腔室分隔图像；

6、s4:提取各所述心脏腔室分隔图像的各腔室表面的边缘信息，获得各所述腔室的边缘图像；

7、s5:根据各所述边缘图像和所述插值图像，生成对应的点云数据；

8、s6:通过ashape算法对生成的点云数据进行表面重建，获得三维模型。

9、根据本发明实施例的一种具体实现方式，所述步骤s1中，所述超声图像包含对应心内超声导管的旋转角度信息。

10、根据本发明实施例的一种具体实现方式，所述步骤s2中，所述插值处理为线性插值，所述插值图像包含像素信息和角度信息。

11、根据本发明实施例的一种具体实现方式，所述步骤s3中，所述unet模型训练方式如下：

12、s3.1：准备带有对应心脏腔室标注的心脏内超声图像数据集；

13、s3.2：对所述心脏内超声图像数据集内的心脏内超声图像进行预处理，以去除噪声、增强对比度并统一图像的尺度；

14、s3.3：将预处理后的所述心脏内超声图像数据集划分为训练集、验证集和测试集；

15、s3.4：使用所述训练集中的所述心脏内超声图像数据和对应的所述心脏腔室标注，对所述unet模型进行训练；

16、s3.5：使用所述验证集对训练过程中的所述unet模型进行验证，以评估模型的性能并进行调优；

17、s3.6：使用所述测试集对经过训练和验证的所述unet模型进行最终的评估。

18、根据本发明实施例的一种具体实现方式，所述步骤s3.4中，使用交叉熵损失函数来度量预测结果与真实标注之间的差异，并通过反向传播优化模型的参数，训练过程使用梯度下降算法来最小化损失函数。

19、根据本发明实施例的一种具体实现方式，所述步骤s3中，还包括：所述unet模型对输出的各所述心脏腔室分隔图像进行判定，若判定为待定，则由人工介入对对应的所述心脏腔室分隔图像进行二次标注。

20、根据本发明实施例的一种具体实现方式，所述步骤s4中，基于sobel算子提取所述边缘信息，方式如下：

21、对于所述心脏腔室分隔图像中的每个像素位置，梯度的幅值和方向可以通过以下公式计算：

22、

23、

24、其中，和分别代表图像中的像素在x方向和y方向上的梯度。

25、根据本发明实施例的一种具体实现方式，所述步骤s5中，点云数据生成方式如下：

26、

27、其中，为点云中的点坐标，（x,y）为所述边缘图像或所述插值图像中的各像素位置，为所述边缘图像或所述插值图像对应的角度信息，c为偏移常量。

28、本方法实施例至少具有如下技术效果：

29、第一、现阶段常规心腔建模依赖于第二根导管，而本三维表面重建方法是基于二维图像和单一超声探头且基于二维图像转点云的超声图像建模方法，减少操作流程和难度，同时支持实时更新的心脏腔室重建，可以实现心腔的位置自动分割，速度更快，准确性更高。

30、第二、本三维表面重建方法中通过人机交互的方式对自动分割的结果进行调整，随时介入以确保准确性及可靠性。

31、第三、本三维表面重建方法中心脏腔室分隔图像分割后通过边缘提取边界轮廓，再转点云数据，大大减少了计算量，提高效率。

32、第二方面，本发明实施例提供了一种二维心内超声导管图像的三维表面重建装置，包括：

33、数据采集模块，所述数据采集模块用以通过心内超声导管在心脏内部采集多个连续的超声图像；

34、图像插值模块，所述图像插值模块用以对各所述超声图像之间的空白区域进行插值处理，获得多个插值图像；

35、区域分隔模块，所述区域分隔模块用以将各所述超声图像输入预训练的unet模型中，获得输出的各所述超声图像的心脏腔室分隔图像；

36、边缘提取模块，所述边缘提取模块用以提取各所述心脏腔室分隔图像的各腔室表面的边缘信息，获得各所述腔室的边缘图像；

37、点云生成模块，所述点云生成模块用以根据各所述边缘图像和所述插值图像，生成对应的点云数据；

38、表面重建模块，所述表面重建模块用以通过ashape算法对生成的点云数据进行表面重建，获得三维模型。

39、第三方面，本发明实施例还提供了一种电子设备，该电子设备包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现前述第一方面或第一方面的任一实现方式中的三维表面重建方法的步骤。

技术特征：

1.一种二维心内超声导管图像的三维表面重建方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的三维表面重建方法，其特征在于，所述步骤s1中，所述超声图像包含对应心内超声导管的旋转角度信息。

3.根据权利要求1所述的三维表面重建方法，其特征在于，所述步骤s2中，所述插值处理为线性插值，所述插值图像包含像素信息和角度信息。

4.根据权利要求1所述的三维表面重建方法，其特征在于，所述步骤s3中，所述unet模型训练方式如下：

5.根据权利要求4所述的三维表面重建方法，其特征在于，所述步骤s3.4中，使用交叉熵损失函数来度量预测结果与真实标注之间的差异，并通过反向传播优化模型的参数，训练过程使用梯度下降算法来最小化损失函数。

6.根据权利要求4所述的三维表面重建方法，其特征在于，所述步骤s3中，还包括：所述unet模型对输出的各所述心脏腔室分隔图像进行判定，若判定为待定，则由人工介入对对应的所述心脏腔室分隔图像进行二次标注。

7.根据权利要求1所述的三维表面重建方法，其特征在于，所述步骤s4中，基于sobel算子提取所述边缘信息，方式如下：

8.根据权利要求1所述的三维表面重建方法，其特征在于，所述步骤s5中，点云数据生成方式如下：

9.一种二维心内超声导管图像的三维表面重建装置，其特征在于，包括：

10.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至8任一项所述三维表面重建方法的步骤。

技术总结
本发明属于心超图像处理技术技术领域，提供了一种二维心内超声导管图像的三维表面重建方法及装置。本重建方法包括以下步骤：S1:在心脏内部采集多个连续的超声图像；S2:对各超声图像进行插值处理，获得多个插值图像；S3:将各超声图像输入预训练的Unet模型中，获得各超声图像的心脏腔室分隔图像；S4:提取各心脏腔室分隔图像的各腔室表面的边缘信息，获得边缘图像；S5:根据各边缘图像和插值图像，生成对应的点云数据；S6:通过Ashape算法对生成的点云数据进行表面重建，获得三维模型。本三维表面重建方法是基于二维图像和单一超声探头的超声图像建模方法，支持实时更新的心脏腔室重建，实现心腔的位置自动分割及建模，速度更快，准确性更高。

技术研发人员：王泽辉,徐乃旻,范鲁燕
受保护的技术使用者：江苏霆升科技有限公司
技术研发日：
技术公布日：2024/1/22