一种导管下介入目标场景的三维重建方法及系统

本发明涉及医学图像处理，具体涉及一种导管下介入目标场景的三维重建方法及系统。

背景技术：

1、导管介入式治疗是利用x线透视、ct定位、b型超声仪等医疗影像设备做导向，将特制的导管或器械经人体动脉、静脉、消化系统的自然管道、胆道或手术后的引流管道抵达体内病变区域，取得组织细胞、细菌或生化方面的资料，也可以进行造影摄片获得影像学资料。

2、现有技术中为了提高介入治疗的效果，通常对介入场景进行三维重建，但是三维重建介入场景忽略了病变区域周边的血管或重要器官的生理运动，利用在不具备周边的血管或重要器官的生理运动信息的三维场景中确定出的介入治疗位点，进行介入治疗手术时，会由于血管和器官的生理运动与介入治疗位点产生接触，甚至是覆盖在治疗位点上，使得介入治疗产生的热量会损伤周边的血管或重要器官，影响介入治疗效果，导致手术失败或并发症增加。

技术实现思路

1、本发明的目的在于提供一种导管下介入目标场景的三维重建方法，以解决现有技术中三维重建介入场景忽略了病变区域周边的血管或重要器官的生理运动，影响介入治疗效果的技术问题。

2、为解决上述技术问题，本发明具体提供下述技术方案：

3、一种导管下介入目标场景的三维重建方法，包括以下步骤：

4、获取位于一组连续时序中每个时序上的多组导管介入区域的术前影像，通过影像三维重建，得到一组具有每个时序上术前影像的暂态属性的三维暂态场景，所述暂态属性表示生理组织在单个时序上生理运动的暂态信息；

5、通过第一神经网络对一组三维暂态场景的所有暂态属性进行时序间动态规律性的深度学习，得到具有连续时序上术前影像的动态属性的三维动态场景，所述动态属性表示生理组织在连续时序上生理运动的动态信息；

6、再通过第二神经网络对所述三维暂态场景的暂态属性与介入目标位点进行映射关系的深度学习，得到三维暂态场景与三维暂态场景中的介入目标位点的目标映射关系，所述目标映射关系对应于三维暂态场景与三维暂态场景中的介入目标位点的映射关系，所述介入目标位点对应于导管下介入区域中对病灶进行介入操作的位点；

7、获取介入时间点，在介入时间点处通过目标映射关系以及三维动态场景，得到介入时间点处显示了介入目标位点的导管下介入区域的三维目标场景，所述介入时间点表示导管下介入区域中对病灶进行介入操作的时间点。

8、作为本发明的一种优选方案，所述三维暂态场景的构建，包括：

9、获取一组连续时序中每个时序处的多组导管介入区域的术前影像，并将每个时序处的多组术前影像进行影像三维重建，得到每个时序处的三维暂态影像；

10、每个时序处的三维暂态影像依时序排列，得到位于连续时序上的一组三维暂态场景；

11、其中，影像三维重建利用3d slicer实现。

12、作为本发明的一种优选方案，所述通过第一神经网络对一组三维暂态场景的所有暂态属性进行时序间动态规律性的深度学习，得到具有连续时序上术前影像的动态属性的三维动态场景，包括：

13、将一组三维暂态场景中位于前置时序处的三维暂态场景作为lstm神经网络的输入项，将一组三维暂态场景中位于后置时序处的三维暂态场景作为lstm神经网络的输出项；

14、利用lstm神经网络对lstm神经网络的输入项和lstm神经网络的输出项进行学习训练，得到三维暂态场景预测网络；

15、利用三维暂态场景预测网络基于一组三维暂态场景在后置时序进行连续预测，得到三维暂态场景的预测序列；

16、将三维暂态场景的预测序列中的时序作为第一cnn神经网络的输入项，将三维暂态场景的预测序列中三维暂态场景作为第一cnn神经网络的输出项；

17、利用第一cnn神经网络对第一cnn神经网络的输入项和第一cnn神经网络的输出项进行学习训练，得到三维动态场景；

18、所述三维暂态场景预测网络的表达式为：

19、sz_new=lstm(sz_old)；

20、式中，sz_new为后置时序处的三维暂态场景，sz_old为前置时序处的三维暂态场景，lstm为lstm神经网络；

21、所述三维动态场景的表达式为：

22、sz_t=cnn1(t)；

23、式中，sz_t为时序t处的三维暂态场景，t为时序，cnn1为第一cnn神经网络。

24、作为本发明的一种优选方案，所述再通过第二神经网络对所述三维暂态场景的暂态属性与介入目标位点进行映射关系的深度学习，得到三维暂态场景与三维暂态场景中的介入目标位点的目标映射关系，包括：

25、在每个三维暂态场景中确定出介入目标位点；

26、将三维暂态场景作为第二cnn神经网络的输入项，将三维暂态场景中的介入目标位点作为第二cnn神经网络的输出项；

27、利用第二cnn神经网络对第二cnn神经网络的输入项和第二cnn神经网络的输出项进行学习训练，得到所述目标映射关系；

28、所述目标映射关系的表达式为：

29、p_t=cnn2(sz_t)；

30、式中，p_t为时序t处的三维暂态场景中的介入目标位点，t为时序，cnn2为第二cnn神经网络。

31、作为本发明的一种优选方案，在三维暂态场景中确定出介入目标位点，包括：

32、在三维暂态场景中标记出病灶区域，以及具有生理运动的生理组织区域；

33、将介入目标位点与病灶区域的中心点的距离最短作为第一目标，所述第一目标的函数式为：

34、d1=min[dis(p_t,p_o)]；

35、式中，d1为第一目标，min为最小化运算符，p_t为时序t处的三维暂态场景中的介入目标位点，p_o为病灶区域的中心点，dis(p_t,p_o)为介入目标位点与病灶区域的中心点的距离，dis为欧氏距离运算式；

36、将介入目标位点与生理组织区域的边界点距离最长作为第二目标，所述第二目标的函数式为： ；式中，d2为第二目标，max为最大化运算符，p_t为时序t处的三维暂态场景中的介入目标位点，p_line_ i为生理组织区域的第 i个边界点，m为生理组织区域的边界点总数量，dis(p_t, p_line_i)为介入目标位点与生理组织区域的边界点距离，dis为欧氏距离运算式；

37、以病灶区域为求解空间，在求解空间中获得第一目标和第二目标的最优解，并将最优解作为三维暂态场景中的介入目标位点。

38、作为本发明的一种优选方案，所述在介入时间点处通过目标映射关系以及三维动态场景，得到介入时间点处显示了介入目标位点的导管下介入区域的三维目标场景，包括：

39、将三维动态场景，带入至目标映射关系，得到三维目标场景，所述三维目标场景的表达式为：

40、p_t=cnn2(cnn1(t))；

41、式中，p_t为时序t处的三维暂态场景中的介入目标位点，t为时序，cnn1为第一cnn神经网络，cnn2为第二cnn神经网络；

42、将介入时间点，带入至三维目标场景，得到介入时间点处的三维目标场景。

43、作为本发明的一种优选方案，所述在介入时间点处通过目标映射关系以及三维动态场景，得到介入时间点处显示了介入目标位点的导管下介入区域的三维目标场景包括：

44、将介入时间点输入值三维动态场景中，得到介入时间点处的三维暂态场景；

45、将介入时间点处的三维暂态场景，通过目标映射关系，得到介入时间点处的三维目标场景。

46、作为本发明的一种优选方案，对多组术前影像进行归一化处理。

47、作为本发明的一种优选方案，本发明提供了一种应用所述的一种导管下介入目标场景的三维重建方法的三维重建系统，包括：

48、数据获取单元，用于获取位于连续时序上多组术前影像；

49、三维重建单元，用于通过影像三维重建，得到位于连续时序上的一组三维暂态场景，所述三维暂态场景对应于导管下介入区域的三维虚拟场景在单个时序上的暂态属性，所述暂态属性对应于生理组织在单个时序上生理运动的暂态信息；

50、数据处理单元，用于获取位于一组连续时序中每个时序上的多组导管介入区域的术前影像，通过影像三维重建，得到一组具有每个时序上术前影像的暂态属性的三维暂态场景，所述暂态属性表示生理组织在单个时序上生理运动的暂态信息；以及

51、用于通过第一神经网络对一组三维暂态场景的所有暂态属性进行时序间动态规律性的深度学习，得到具有连续时序上术前影像的动态属性的三维动态场景，所述动态属性表示生理组织在连续时序上生理运动的动态信息；

52、再通过第二神经网络对所述三维暂态场景的暂态属性与介入目标位点进行映射关系的深度学习，得到三维暂态场景与三维暂态场景中的介入目标位点的目标映射关系，所述目标映射关系对应于三维暂态场景与三维暂态场景中的介入目标位点的映射关系，所述介入目标位点对应于导管下介入区域中对病灶进行介入操作的位点；

53、结果输出单元，用于在介入时间点处通过目标映射关系以及三维动态场景，得到介入时间点处显示了介入目标位点的导管下介入区域的三维目标场景，所述介入时间点对应于导管下介入区域中对病灶进行介入操作的时间点。

54、作为本发明的一种优选方案，所述数据处理单元通过第一神经网络对一组三维暂态场景的所有暂态属性进行时序间动态规律性的深度学习，得到具有连续时序上术前影像的动态属性的三维动态场景，包括：

55、将一组三维暂态场景中位于前置时序处的三维暂态场景作为lstm神经网络的输入项，将一组三维暂态场景中位于后置时序处的三维暂态场景作为lstm神经网络的输出项；

56、利用lstm神经网络对lstm神经网络的输入项和lstm神经网络的输出项进行学习训练，得到三维暂态场景预测网络；

57、利用三维暂态场景预测网络基于一组三维暂态场景在后置时序进行连续预测，得到三维暂态场景的预测序列；

58、将三维暂态场景的预测序列中的时序作为第一cnn神经网络的输入项，将三维暂态场景的预测序列中三维暂态场景作为第一cnn神经网络的输出项；

59、利用第一cnn神经网络对第一cnn神经网络的输入项和第一cnn神经网络的输出项进行学习训练，得到三维动态场景；

60、所述三维暂态场景预测网络的表达式为：

61、sz_new=lstm(sz_old)；

62、式中，sz_new为后置时序处的三维暂态场景，sz_old为前置时序处的三维暂态场景，lstm为lstm神经网络；

63、所述三维动态场景的表达式为：

64、sz_t=cnn1(t)；

65、式中，sz_t为时序t处的三维暂态场景，t为时序，cnn1为第一cnn神经网络；

66、数据处理单元在介入时间点处通过目标映射关系以及三维动态场景，得到介入时间点处显示了介入目标位点的导管下介入区域的三维目标场景，包括：

67、将三维动态场景，带入至目标映射关系，得到三维目标场景，所述三维目标场景的表达式为：

68、p_t=cnn2(cnn1(t))；

69、式中，p_t为时序t处的三维暂态场景中的介入目标位点，t为时序，cnn1为第一cnn神经网络，cnn2为第二cnn神经网络；

70、将介入时间点，带入至三维目标场景，得到介入时间点处的三维目标场景。

71、本发明与现有技术相比较具有如下有益效果：

72、本发明基于术前ct图像进行三维重建手术场景，并通过构建的一系列介入手术区域场景，对病灶周边的血管脏器运动规律进行深度学习，实现将手术场景进行三维动态化，在掌握病灶周边的血管脏器运动规律下进行导管介入治疗位点进行确定，实现在导管介入手术直接介入到达治疗位点，同时有效的在手术时规避血管脏器运动对病灶造成遮挡或与病灶接触所导致被手术热量波及造成血管脏器损伤。