一种3D-2D血管图像的匹配方法及装置与流程

本技术涉及医学图像处理，尤其是涉及一种3d-2d血管图像的匹配方法及装置。

背景技术：

1、目前，pci技术已成为治疗冠心病心肌缺血的主要方法。在血管介入手术(pci)中，医生通常使用实时的2d造影图像(如dsa)作为术中导管的引导图像。然而，由于2d造影图像的投影本质，血管的迂曲和重叠等因素使得医生在手术中难以清晰和直观地进行介入方式和治疗方案的精准决策。术前的cta可以通过三维重建直观、立体地呈现血管的走形和病灶位置等信息，弥补了这种缺陷。因此，在血管介入手术中，通过融合实时的2d造影图像和3d的cta图像，可以极大地提高医生手术的成功率，防止患者手术中并发症事件的发生。

2、当前的3d/2d血管图像配准技术通常用于未发生弹性形变的解剖结构，例如骨骼或脑血管，这意味着只实现了刚性配准。然而，对于冠状动脉和肝脏等器官，由于患者的呼吸和心跳等因素的影响，会发生弹性形变。因此，上述的刚性配准方法将不再适用于这类的血管介入手术。

技术实现思路

1、有鉴于此，本技术的目的在于提供一种3d-2d血管图像的匹配方法及装置，可实现3d血管图像与2d血管图像之间的有效配准。

2、本技术实施例提供了一种3d-2d血管图像的匹配方法，所述匹配方法包括：

3、获取第一中心线图像和第二中心线图像；其中，所述第一中心线图像为对待匹配的3d血管图像依次进行中心线提取处理、旋转处理以及投影处理后所得到的图像，所述第二中心线图像为对待匹配的2d血管图像进行中心线提取处理后得到的图像；

4、分别对所述第一中心线图像和所述第二中心线图像上的中心线进行点云提取处理，确定所述第一中心线图像的第一点云集和所述第二中心线图像的第二点云集；

5、通过预先训练好的血管类型识别模型，分别对所述第一点云集和第二点云集中的点进行识别，确定每个点的血管类型标签；

6、根据每个点的血管类型标签，对第一中心线图像和第二中心线图像中的每种血管的中心线，进行断线识别处理以及对识别出的中断中心线进行断线连接处理，得到所述第一中心线图像的第三点云集和所述第二中心线图像的第四点云集；

7、分别对所述第三点云集和所述第四点云集进行关键点识别，并分别根据每个点云集识别出的关键点建立所述第一中心线图像的第一树形拓扑图和所述第二中心线图像的第二树形拓扑图；其中，所述关键点包括端点和分叉点；

8、基于所述第一树形拓扑图和所述第二树形拓扑图，根据拓扑排序以及距离约束进行关键点配对，完成所述3d血管图像和所述2d血管图像的匹配。

9、可选的，通过以下步骤确定所述第一中心线图像：

10、获取目标患者的目标患处的所述3d血管图像和所述2d血管图像；

11、对所述3d血管图像进行中心线提取处理，确定所述3d血管图像的第三中心线图像；

12、基于所述3d血管图像和所述2d血管图像，确定所述3d血管图像与所述2d血管图像之间的成像偏移角度；

13、控制所述第三中心线图像按所述成像偏移角度进行旋转，并对旋转完成的第三中心线图像进行数字重建投影处理，确定所述3d血管图像的所述第一中心线图像；所述第一中心线图像为2d图像。

14、可选的，所述根据每个点的血管类型标签，对第一中心线图像和第二中心线图像中的每种血管的中心线，进行断线识别处理以及对识别出的中断中心线进行断线连接处理，得到所述第一中心线图像的第三点云集和所述第二中心线图像的第四点云集，包括：

15、根据每个点的血管类型标签，依次将所述第一中心线图像和所述第二中心线图像中的同一血管类型标签的点的像素设置为1，其余点的像素设置为0，得到所述第一中心线图像和所述第二中心线图像中每种血管的中心线的二值图像；

16、针对每个二值图像进行连通域检测，确定该二值图像中的连通域数量是否超过阈值；

17、若超过，确定该二值图像中的中心线存在中断；

18、针对中心线存在中断的二值图像进行断线连接处理，更新该二值图像；所述断线连接处理为对中断的中心线进行连接，使该二值图像的连通域数量不超过阈值；

19、根据已进行断线识别处理以及对识别出的中断中心线进行断线连接处理的所有对应的二值图像，得到更新后的所述第一中心线图像和更新后的所述第二中心线图像；

20、根据更新后的所述第一中心线图像和更新后的所述第二中心线图像，得到所述第三点云集和所述第四点云集。

21、可选的，所述针对中心线存在中断的二值图像进行断线连接处理，更新该二值图像，包括：

22、针对每个中心线存在中断的二值图像，针对该二值图像中的每相邻两个连通域，选取最近的两个端点作为待连接点；

23、基于确定出的多个待连接点，生成至少一个连接路径；

24、将所述至少一个连接路径和二值图像中的连通域进行对应拼接，得到中断连接处理后的二值图像，完成二值图像的更新。

25、可选的，所述分别对所述第三点云集和所述第四点云集进行关键点识别，并分别根据每个点云集识别出的关键点建立所述第一中心线图像的第一树形拓扑图和所述第二中心线图像的第二树形拓扑图，包括：

26、根据每个点的血管类型标签和每个点的坐标，确定第三点云集中的主支起点和第四点云集中的主支起点；

27、针对每个点云集，从该点云集的主支起点开始，依次遍历该点云集中的每个点，并根据每个点的邻点数量，确定该点的点类型；其中，所述点类型包括端点、分叉点以及中间点；

28、将点类型为端点和分叉点的点确定为子节点；

29、基于确定出的子节点和该点云集，构建对应的树形拓扑图。

30、可选的，所述分别对所述第一中心线图像和所述第二中心线图像上的中心线进行点云提取处理，确定所述第一中心线图像的第一点云集和所述第二中心线图像的第二点云集，包括：

31、针对所述第一中心线图像和所述第二中心线图像，分别提取该图像中血管中心线的所有点的前景位置坐标；

32、针对所述第一中心线图像和所述第二中心线图像中的每个图像，对该图像对应的所有点的前景位置坐标进行归一化处理，得到该图像的点云集。

33、可选的，通过以下步骤构建所述血管类型识别模型：

34、获取多张已进行点云提取处理以及对点云中的每个点添加有真实血管类型标签的待训练中心线图像；

35、将所述待训练中心线图像输入初始血管类型识别神经网络中，确定待训练中心线图像中每个点血管类型预测结果；

36、基于每个点血管类型预测结果和真实血管类型标签，确定目标损失函数值；

37、基于所述目标损失函数值，对所述初始血管类型识别神经网络进行迭代训练并对所述初始血管类型识别神经网络的网络参数进行更新，直至所述目标损失函数值收敛，停止训练，得到所述血管类型识别模型。

38、本技术实施例还提供了一种3d-2d血管图像的匹配装置，所述匹配装置包括：

39、获取模块，用于获取第一中心线图像和第二中心线图像；其中，所述第一中心线图像为对待匹配的3d血管图像依次进行中心线提取处理、旋转处理以及投影处理后所得到的图像，所述第二中心线图像为对待匹配的2d血管图像进行中心线提取处理后得到的图像；

40、提取模块，用于分别对所述第一中心线图像和所述第二中心线图像上的中心线进行点云提取处理，确定所述第一中心线图像的第一点云集和所述第二中心线图像的第二点云集；

41、识别模块，用于通过预先训练好的血管类型识别模型，分别对所述第一点云集和第二点云集中的点进行识别，确定每个点的血管类型标签；

42、处理模块，用于根据每个点的血管类型标签，对第一中心线图像和第二中心线图像中的每种血管的中心线，进行断线识别处理以及对识别出的中断中心线进行断线连接处理，得到所述第一中心线图像的第三点云集和所述第二中心线图像的第四点云集；

43、第一构建模块，用于分别对所述第三点云集和所述第四点云集进行关键点识别，并分别根据每个点云集识别出的关键点建立所述第一中心线图像的第一树形拓扑图和所述第二中心线图像的第二树形拓扑图；其中，所述关键点包括端点和分叉点；

44、匹配模块，用于基于所述第一树形拓扑图和所述第二树形拓扑图，根据拓扑排序以及距离约束进行关键点配对，完成所述3d血管图像和所述2d血管图像的匹配。

45、可选的，所述匹配装置还包括确定模块，所述确定模块用于：

46、获取目标患者的目标患处的所述3d血管图像和所述2d血管图像；

47、对所述3d血管图像进行中心线提取处理，确定所述3d血管图像的第三中心线图像；

48、基于所述3d血管图像和所述2d血管图像，确定所述3d血管图像与所述2d血管图像之间的成像偏移角度；

49、控制所述第三中心线图像按所述成像偏移角度进行旋转，并对旋转完成的第三中心线图像进行数字重建投影处理，确定所述3d血管图像的所述第一中心线图像；所述第一中心线图像为2d图像。

50、可选的，所述处理模块在用于根据每个点的血管类型标签，对第一中心线图像和第二中心线图像中的每种血管的中心线，进行断线识别处理以及对识别出的中断中心线进行断线连接处理，得到所述第一中心线图像的第三点云集和所述第二中心线图像的第四点云集时，所述处理模块用于：

51、根据每个点的血管类型标签，依次将所述第一中心线图像和所述第二中心线图像中的同一血管类型标签的点的像素设置为1，其余点的像素设置为0，得到所述第一中心线图像和所述第二中心线图像中每种血管的中心线的二值图像；

52、针对每个二值图像进行连通域检测，确定该二值图像中的连通域数量是否超过阈值；

53、若超过，确定该二值图像中的中心线存在中断；

54、针对中心线存在中断的二值图像进行断线连接处理，更新该二值图像；所述断线连接处理为对中断的中心线进行连接，使该二值图像的连通域数量不超过阈值；

55、根据已进行断线识别处理以及对识别出的中断中心线进行断线连接处理的所有对应的二值图像，得到更新后的所述第一中心线图像和更新后的所述第二中心线图像；

56、根据更新后的所述第一中心线图像和更新后的所述第二中心线图像，得到所述第三点云集和所述第四点云集。

57、可选的，所述处理模块在用于针对中心线存在中断的二值图像进行断线连接处理，更新该二值图像时，所述处理模块用于：

58、针对每个中心线存在中断的二值图像，针对该二值图像中的每相邻两个连通域，选取最近的两个端点作为待连接点；

59、基于确定出的多个待连接点，生成至少一个连接路径；

60、将所述至少一个连接路径和二值图像中的连通域进行对应拼接，得到中断连接处理后的二值图像，完成二值图像的更新。

61、可选的，所述第一构建模块在用于分别对所述第三点云集和所述第四点云集进行关键点识别，并分别根据每个点云集识别出的关键点建立所述第一中心线图像的第一树形拓扑图和所述第二中心线图像的第二树形拓扑图时，所述第一构建模块用于：

62、根据每个点的血管类型标签和每个点的坐标，确定第三点云集中的主支起点和第四点云集中的主支起点；

63、针对每个点云集，从该点云集的主支起点开始，依次遍历该点云集中的每个点，并根据每个点的邻点数量，确定该点的点类型；其中，所述点类型包括端点、分叉点以及中间点；

64、将点类型为端点和分叉点的点确定为子节点；

65、基于确定出的子节点和该点云集，构建对应的树形拓扑图。

66、可选的，所述提取模块在用于分别对所述第一中心线图像和所述第二中心线图像上的中心线进行点云提取处理，确定所述第一中心线图像的第一点云集和所述第二中心线图像的第二点云集时，所述提取模块用于：

67、针对所述第一中心线图像和所述第二中心线图像，分别提取该图像中血管中心线的所有点的前景位置坐标；

68、针对所述第一中心线图像和所述第二中心线图像中的每个图像，对该图像对应的所有点的前景位置坐标进行归一化处理，得到该图像的点云集。

69、可选的，所述匹配装置还包括第二构建模块，所述，第二构建模块用于：

70、获取多张已进行点云提取处理以及对点云中的每个点添加有真实血管类型标签的待训练中心线图像；

71、将所述待训练中心线图像输入初始血管类型识别神经网络中，确定待训练中心线图像中每个点血管类型预测结果；

72、基于每个点血管类型预测结果和真实血管类型标签，确定目标损失函数值；

73、基于所述目标损失函数值，对所述初始血管类型识别神经网络进行迭代训练并对所述初始血管类型识别神经网络的网络参数进行更新，直至所述目标损失函数值收敛，停止训练，得到所述血管类型识别模型。

74、本技术实施例还提供一种电子设备，包括：处理器、存储器和总线，所述存储器存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储器之间通过总线通信，所述机器可读指令被所述处理器执行时执行如上述的匹配方法的步骤。

75、本技术实施例还提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行如上述的匹配方法的步骤。

76、这样，本技术基于深度学习的血管类型识别对3d血管中心线的2d投影，以及2d血管中心线进行命名，并基于命名进行血管中心线中断的连接；接着根据拓扑关系沿着血管主支分别构建对应的树形拓扑结构；然后根据树形拓扑建立两个中心线的关键点配对关系，从而实现3d/2d血管图像的精准弹性配准。

77、为使本技术的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。