医学影像配准方法、系统、设备、介质和程序产品与流程

文档序号:32157647发布日期:2022-11-12 00:29阅读:102来源:国知局
医学影像配准方法、系统、设备、介质和程序产品与流程

1.本技术涉及医疗器械技术领域,特别是涉及一种医学影像配准方法、系统、计算机设备、存储介质和计算机程序产品。


背景技术:

2.神经外科手术相比于其他类型的手术来说,其特殊性在于:神经、血管错综复杂,脑组织等结构非常精细、功能极其重要,稍有不慎就会损伤血管神经导致严重残障甚至危及生命;另外,神经系统结构游离程度低,术中不可随意牵拉移动。因此,在传统神经外科手术中,常常为了暴露病变而牺牲较多的颅骨结构。而神经导航系统是神经外科微创手术最重要的辅助设备之一,是神经外科医生手中的“利器”。类似于汽车导航,它可以实时告知术者目前的操作部位,使术者做出更精确的预判或判断。
3.传统技术中,将术前医学影像与术中医学影像进行配准的方式包括以下几种:
4.(1)基于骨钉的刚体配准:该方法需要在拍摄影像前再患者头骨上打入多个骨钉或其他装置,是一种有创的配准方法,给患者造成额外的伤害。
5.(2)基于面部的配准:该方法使用点云配准,两个点云分别为术前通过dicom影像提取人脸部位的点云与术中采集面部的点云,但由于人面部主要为软组织,容易产生变形,从而使两个点云的相似度降低,降低配准精度。也有其他产品使用面部某些特征点(如眼眶、额头)进行配准,但由于配准区域和手术区域距离较远,配准产生的误差会被放大,从而造成手术精度的下降。
6.因此,目前的术前医学影像与术中医学影像进行配准的方式,配准的精度较低。


技术实现要素:

7.基于此,有必要针对上述技术问题,提供一种能够提高配准精度的医学影像配准方法、系统、计算机设备、存储介质和计算机程序产品。
8.第一方面,本技术提供一种医学影像配准方法,所述方法包括:
9.获取与术前医学影像对应的第一血管特征;
10.获取血管显像仪所采集的术中医学影像,并识别所述术中医学影像中的第二血管特征;
11.根据所述第一血管特征和所述第二血管特征,计算得到所述术前医学影像和所述术中医学影像的第一配准关系;
12.获取所述血管显像仪的图像坐标系与世界坐标系的第二配准关系;
13.根据所述第一配准关系以及所述第二配准关系生成操作导航信息。
14.在其中一个实施例中,所述获取与术前医学影像对应的第一血管特征之前,包括:
15.获取对应的术前医学影像,并对所述术前医学影像进行分割得到血管掩膜;
16.对所述血管掩膜重建和分类得到血管表面模型;
17.根据所述血管表面模型得到对应所述术前医学图像的第一血管特征;所述第一血
管特征包括血管拓扑结构、血管点云数据、血管点云特征以及血管图像特征中的至少一个。
18.在其中一个实施例中,所述根据所述血管表面模型得到对应所述术前医学图像的第一血管特征,包括以下至少一种:
19.提取所述血管表面模型的第一骨架,并对所述第一骨架进行遍历分析得到血管拓扑结构;或
20.对所述血管表面模型进行等值面提取得到血管点云数据;或
21.根据所述血管表面模型以及所述血管点云数据,对所述血管点云数据中的点所在的空间进行划分,并对划分后的每个空间中的血管点云数据进行点云特征提取得到血管点云特征;或
22.根据所述血管表面模型以及所述血管点云数据,计算得到表面血管的位姿;根据所述表面血管的位姿生成血管图像,对所述血管图像进行图像特征提取得到血管图像特征。
23.在其中一个实施例中,所述获取血管显像仪所采集的术中医学影像,并识别所述术中医学影像中的第二血管特征,包括以下至少一种:
24.获取血管显像仪所采集的目标对象的不同部位的初始点云数据,对所述初始电源数据进行拟合得到第二骨架,并对所第二述骨架进行遍历分析得到第二血管特征,所述第二血管特征为血管拓扑结构;
25.获取血管显像仪所采集的目标对象的不同部位的初始点云数据,对所述初始点云数据进行点云拼接得到第二血管特征,所述第二血管特征为血管点云数据;或
26.获取血管显像仪所采集的目标对象的目标点云数据,对所述目标点云数据进行点云特征提取得到第二血管特征,所述第二血管特征为血管点云特征;或
27.获取血管显像仪所采集的目标对象的二维图像,对所述二维图像进行图像特征提取得到第二血管特征,所述第二血管特征为血管图像特征。
28.在其中一个实施例中,所述根据所述第一血管特征和所述第二血管特征,计算得到所述术前医学影像和所述术中医学影像的第一配准关系,包括以下至少一种:
29.通过术前医学图像对应的血管拓扑结构与术中医学图像对应的血管拓扑结构,进行配准得到第一配准关系;
30.通过术前医学图像对应的血管点云数据与术中医学图像对应的血管点云数据,进行点云配准得到第一配准关系;或
31.通过术前医学图像对应的点云特征与术中医学图像对应的点云特征,进行特征匹配,以从所述术前医学图像中确定第一初始配准区域,将所述第一初始配准区域中的血管点云数据与术中医学图像对应的血管点云数据,进行点云配准得到第一配准关系;或
32.通过术前医学图像对应的图像特征与术中医学图像对应的图像特征,进行特征匹配,以从所述术前医学图像中确定第二初始配准区域,将所述第二初始配准区域中的血管点云数据与术中医学图像对应的血管点云数据,进行点云配准得到第一配准关系。
33.在其中一个实施例中,所述获取所述血管显像仪的图像坐标系与世界坐标系的第二配准关系,包括:
34.获取所述血管显像仪所采集的标定板影像;
35.将所述标定板影像与真实标定板进行配准得到第三配准关系;
36.获取所述真实标定板与所述真实标定板对应的靶标的位姿关系、所述真实标定板对应的靶标与定位设备的坐标系的第一转换关系、所述定位设备的坐标系与所述血管显像仪对应的靶标的第二转换关系;
37.根据所述第三配准关系、所述位姿关系、所述第一转换关系以及所述第二转换关系,确定所述血管显像仪的图像坐标系与世界坐标系的第二配准关系。
38.在其中一个实施例中,所述根据所述第一配准关系以及所述第二配准关系生成操作导航信息,包括:
39.获取术中医疗器械在世界坐标系中的位置;
40.根据所述第一配准关系以及所述第二配准关系,将所述术前医学影像中的目标对象映射至世界坐标系中;
41.根据所述世界坐标系中的所述目标对象的位置以及在所述世界坐标系中的所述术中医疗器械的位置,生成操作导航信息。
42.第二方面,本技术还提供一种医学影像配准系统,所述系统包括:
43.血管显像仪,用于采集术中医学影像;
44.处理器,用于执行上述的医学影像配准方法以生成术中导航信息。
45.第三方面,本技术还提供一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述的任意一个实施例中的方法的步骤。
46.第i方面,本技术还提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的任意一个实施例中的方法的步骤。
47.上述医学影像配准方法、系统、计算机设备、存储介质和计算机程序产品,通过采集术前医学影像的第一血管特征,以及通过血管显像仪采集术中医学影像的第二血管特征,这样可以根据第一血管特征和第二血管特征,计算得到术前医学影像和术中医学影像的第一配准关系,再获取血管显像仪的图像坐标系与世界坐标系的第二配准关系,这样根据第一配准关系和第二配准关系生成操作导航信息,通过血管配准的方式提高了准确性,且采用血管显像仪,可以避免切口,也避免了对患者的伤害。
附图说明
48.图1为一个实施例中医学影像配准系统的示意图;
49.图2为一个实施例中手术机器人的应用场景图;
50.图3为一个实施例中处理器的模块示意图;
51.图4为一个实施例中医学影像配准方法的流程示意图;
52.图5为一个实施例中血管显像仪的示意图;
53.图6为一个实施例中的第一血管特征提取流程的示意图;
54.图7为一个实施例中的血管拓扑结构提取步骤的流程图;
55.图8为一个实施例中的血管点云数据提取步骤的流程图;
56.图9为一个实施例中的血管点云特征提取步骤的流程图;
57.图10为一个实施例中的八叉树的示意图;
58.图11为一个实施例中的血管图像特征提取步骤的流程图;
59.图12为一个实施例中的第二血管特征提取的示意图;
60.图13为一个实施例中的血管点云数据配准的流程图;
61.图14为另一个实施例中血管点云数据配准的流程图;
62.图15为再一个实施例中血管点云数据配准的流程图;
63.图16为一个实施例中的血管显像仪的标定流程的示意图;
64.图17为一个实施例中的手术场景的示意图;
65.图18为另外一个实施例中的手术场景的示意图;
66.图19为一个实施例中计算机设备的内部结构图。
具体实施方式
67.为了使本技术的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本技术进行进一步详细说明。应当理解,此处描述的具体实施例仅仅用以解释本技术,并不用于限定本技术。
68.具体地,结合图1所示,提供一种医学影像配准系统,该医学影像配准系统包括血管显像仪100以及处理器200,其中血管显像仪100用于采集术中医学影像,例如,采集术中目标区域,例如手术区域的血管影像。处理器200可以获取到血管显像仪100所采集的术中医学影像,识别术中医学影像中的第二血管特征,将第二血管特征与术前医学影像对应的第一血管特征进行配置以得到术前医学影像和术中医学影像的第一配准关系,此外处理器200还可以获取到血管显像仪100的图像坐标系与世界坐标系的第二配准关系,这样根据第一配准关系以及第二配准关系生成操作导航信息。
69.为了方便说明,提供一手术机器人的应用场景图,该应用场景中包括机器人手术系统300、手术台400以及医学影像设备,例如视觉跟踪仪304等。结合图2所示,图2为一个实施例中的机器人手术系统300的示意图,其中机器人手术系统300包括视觉导航台车301、手术控制台车302以及手术机械臂303等,其中手术机械臂303可以为七轴手术机械臂303或者其他,在此不做具体限制。处理器200安装于手术控制台车302内,视觉跟踪仪304安装于视觉导航台车301上,并与处理器200相连接。血管显像仪100可以通过手术机器臂控制,或者是固定在手术台400。
70.其中为了方便说明,结合图3所示,图3为一个实施例中处理器的模块示意图,在该实施例中处理器200包括术前规划模块500以及术中规划模块600,其中术前规划模块500包括影像导入单元501、血管特征提取单元502以及存储单元503,术中规划模块600包括标定单元601、影像获取单元602、特征提取单元603、配准单元604以及显示单元605。其中影像导入单元501用于解析导入的术前医学影像,例如dicom影像,血管特征提取单元502则用于对导入的术前医学影像进行血管以及特征提取,存储单元503则关于存储提取的血管特征。标定单元601用于对影像获取单元602进行标定,建立血管显像仪100局部坐标系与位于其上的定位装置的映射关系。影像获取单元602,用于获取术中目标部位,例如混着头部浅表血管三维点云数据以及二维图像数据,特征提取单元603用于从影像获取单元602得到的三维点云数据以及二维图像数据中提取血管特征,配准单元604用于建立术前以及术中点云的映射关系,显示单元605用于通过配准单元604求得的映射关系对手术器械进行实时显示。
71.在一个实施例中,如图4所示,提供了一种医学影像配准方法,以该方法应用于图1
中的处理器为例进行说明,包括以下步骤:
72.s402:获取与术前医学影像对应的第一血管特征。
73.具体地,术前医学图像是在手术操作之前通过医学成像设备所采集的手术部位的医学图像。第一血管特征是对导入的术前医学图像进行血管特征识别得到的,该第一血管特征可以包括血管拓扑结构、血管点云数据、血管点云特征以及血管图像特征中的至少一个。
74.在本实施例中,将术前医学图像导入,然后处理器200对术前医学图像进行血管以及特征提取得到第一血管特征。
75.s404:获取血管显像仪所采集的术中医学影像,并识别术中医学影像中的第二血管特征。
76.具体地,具体可以结合图5所示,血管显像仪100是一种可以向皮肤表面投射某种特定频率的近红外光,由于血液中的血红蛋白对红外光的吸收强于其他组织,当光线返回到装置时,光敏元器件会采集光信号,并进行信号处理,生成血管分布轮廓图,继而由微投影技术将图像700清晰地投射在皮肤表面。其中此处所提到的术中医学影像是根据光敏元器件采集的光信号进行处理得到的,其可以是点云数据或二维图像,并将二维图像投影到皮肤表面。
77.其中第二血管特征是对术中医学图像进行血管特征识别得到的,该第二血管特征可以包括血管拓扑结构、血管点云数据、血管点云特征以及血管图像特征中的至少一个。
78.其中需要说明的一点是,术中用血管显像仪100实时监测血管,校验配准结果,若探测到血管发生偏移,可进行实时的矫正。
79.s406:根据第一血管特征和第二血管特征,计算得到术前医学影像和术中医学影像的第一配准关系。
80.具体地,第一配准关系是将术前医学影像和术中医学影像进行配准得到的,其中配准的方式是通过相同类型的第一血管特征和第二血管特征进行配准得到的,例如通过点云配准以及特征配准的方式等等,在此不做具体限定。
81.s408:获取血管显像仪的图像坐标系与世界坐标系的第二配准关系。
82.s410:根据第一配准关系以及第二配准关系生成操作导航信息。
83.具体地,第二配准关系是对血管显像仪进行标定的过程,其主要目的是获取到血管显像仪的图像坐标系与世界坐标系的第二配准关系,其中世界坐标系可以是指光学定位仪800所对应的坐标系。
84.后续处理器200通过光学定位仪800采集到世界坐标系下的医疗器械的位置信息,通过第二配准关系转换至血管显像仪的图像坐标系,再通过第一配准关系转换至术前医学影像,这样可以在术前医学影像中实时显示医疗器械的位置,或者是根据医疗器械在术前医学影像中的位置以及术前规划等进行操作导航,在此不做具体限定。在其他的实施例中,还可以通过第一配准关系将术前规划映射至术中医学影像,根据第二配准关系将医疗器械的位置映射至术中医学影像,这样在术中医学影像显示医疗器械的位置以及术前规划,并根据医疗器械的位置和术前规划来进行操作导航。
85.上述实施例中,通过采集术前医学影像的第一血管特征,以及通过血管显像仪采集术中医学影像的第二血管特征,这样可以根据第一血管特征和第二血管特征,计算得到
术前医学影像和术中医学影像的第一配准关系,再获取血管显像仪的图像坐标系与世界坐标系的第二配准关系,这样根据第一配准关系和第二配准关系生成操作导航信息,通过血管配准的方式提高了准确性,且采用血管显像仪,可以避免切口,也避免了对患者的伤害。
86.此外,通过血管配准,使患者不需要在手术前打骨钉或安装头架,免去此类器械对患者的伤害,使手术更安全;通过血管配准,可以在手术区域进行配准,提高手术精度;通过血管配准,可以实时使用血管显像仪对患者进行位姿监测,对配准结果进行实时矫正,提高手术的精度与安全性;使用血管配准方法,可以减少患者的禁忌症,如做面部点云配准需要患者面部组织不能过于松弛,本实施例无此限制,提高系统的通用性;使用血管配准方法中所述的血管显像仪,可以将避开血管的切口位置投影在患者表皮上,帮助医生避开血管,进行切口。
87.在其中一个实施例中,获取与术前医学影像对应的第一血管特征之前,包括:获取对应的术前医学影像,并对术前医学影像进行分割得到血管掩膜;对血管掩膜重建和分类得到血管表面模型;根据血管表面模型得到对应术前医学图像的第一血管特征;第一血管特征包括血管拓扑结构、血管点云数据、血管点云特征以及血管图像特征中的至少一个。
88.具体结合图6所示,图6为一个实施例中的第一血管特征提取流程的示意图,在该实施例中,处理器200先获取到导入的术前医学影像,例如dicom影像,然后对术前医学影像进行分割得到血管掩膜,并基于掩膜重建血管表面模型,通过对血管表面模型进行点云特征提取或图像特征提取得到第一血管特征,通过对血管表面模型进行骨架提取,对所提取的骨架进行剪枝,遍历编号等处理,建立拓扑结构,最后将所提取的第一血管特征存储,可选地,处理器200可以将血管掩膜、血管表面模型、第一血管特征都进行存储。
89.上述实施例中,通过对术前医学图像进行分割重建,进行血管特征提取。
90.在其中一个实施例中,根据血管表面模型得到对应术前医学图像的第一血管特征,包括以下至少一种:提取血管表面模型的第一骨架,并对第一骨架进行遍历分析得到血管拓扑结构;或对血管表面模型进行等值面提取得到血管点云数据;或根据血管表面模型以及血管点云数据,对血管点云数据中的点所在的空间进行划分,并对划分后的每个空间中的血管点云数据进行点云特征提取得到血管点云特征;或根据血管表面模型以及血管点云数据,计算得到表面血管的位姿;根据表面血管的位姿生成血管图像,对血管图像进行图像特征提取得到血管图像特征。
91.具体地,本实施例中主要给出了各种第一血管特征的提取流程。
92.具体参见图7至图11所示,其中图7为一个实施例中的血管拓扑结构提取步骤的流程图,图8为一个实施例中的血管点云数据提取步骤的流程图,图9为一个实施例中的血管点云特征提取步骤的流程图,图10为一个实施例中的八叉树的示意图,图11为一个实施例中的血管图像特征提取步骤的流程图。
93.参见图7所示,其中将术前医学图像导入,并通过分割算法对血管进行分割提取得到血管掩膜;对血管掩膜进行孔洞填充等形态学处理,使其三维模型为单一连通域;将血管掩膜进行分类,提取浅表血管。一种分类方法可使用svn分类器,在其他的实施例中还可以采用其他的方法;对填充孔洞后的支气管掩膜进行细化处理,提取骨架;
94.对骨架进行遍历,使用26邻域法或者其他的方法进行分析,标记每个点所在的血管段号、分叉个数等信息,建立血管拓扑结构。
95.参见图8所示,其中将术前医学图像导入,并使用分割算法对血管进行分割提取得到血管掩膜;对血管掩膜进行孔洞填充等形态学处理,使其三维模型为单一连通域;使用目标算法,例如marching cubes算法对掩膜进行等值面提取,生成点云数据。
96.参见图9和图10所示,其中将术前医学图像导入,并使用分割算法对血管进行分割提取得到血管掩膜及浅表血管点云数据;根据点云包围盒的大小,对点云所在的空间进行八叉树划分(如图10所示),空间划分最小单位参考血管显像仪100成像参数;对每个空间内的点云数据进行特征向量提取,如sift特征,在其他的实施例中也可以使用pfh,fpfh,shot,c-shot,rsd,3d形状描述子等,所提取的特征即为点云特征数据。
97.参见图11所示,其中将术前医学图像导入,并使用分割算法对血管进行分割提取得到血管掩膜及浅表血管点云数据;计算环绕浅表血管的不同位姿,用于生成二维图像;使用血管显像仪100的各项参数,使渲染引擎生成基于当前位姿的二维图像;最后提取血管图像特征,如orb特征,在其他的实施例中,还可以采用其他的图像特征。
98.上述实施例中,采用多种方式提取血管特征。
99.在其中一个实施例中,获取血管显像仪100所采集的术中医学影像,并识别术中医学影像中的第二血管特征,包括以下至少一种:获取血管显像仪100所采集的目标对象的不同部位的初始点云数据,对初始电源数据进行拟合得到第二骨架,并对所第二述骨架进行遍历分析得到第二血管特征,第二血管特征为血管拓扑结构;获取血管显像仪100所采集的目标对象的不同部位的初始点云数据,对初始点云数据进行点云拼接得到第二血管特征,第二血管特征为血管点云数据;或获取血管显像仪100所采集的目标对象的目标点云数据,对目标点云数据进行点云特征提取得到第二血管特征,第二血管特征为血管点云特征;或获取血管显像仪100所采集的目标对象的二维图像,对二维图像进行图像特征提取得到第二血管特征,第二血管特征为血管图像特征。
100.具体地,结合图12所示,其中对于血管显像仪100,先获取血管显像仪100局部坐标系在术中物理空间的位姿,以完成对血管显像仪100的标定,然后实时使用采集单元采集病人头部浅表血管数据;并如术前提取特征流程所述,对点云数据进行特征提取或对二维图像进行特征提取;对采集到的血管点云数据进行拟合,生成骨架,进行剪枝,遍历编号等处理,建立拓扑结构。最后使用术前和术中提取到的特征,对血管进行配准,得到病人在术中物理空间的位姿,从而后续根据病人在术中物理空间的位姿,实时给出手术器械和病人之间的位置关系。
101.在其中一个实施例中,根据所述第一血管特征和第二血管特征,计算得到术前医学影像和术中医学影像的第一配准关系,包括以下至少一种:通过术前医学图像对应的血管拓扑结构与术中医学图像对应的血管拓扑结构,进行配准得到第一配准关系;通过术前医学图像对应的血管点云数据与术中医学图像对应的血管点云数据,进行点云配准得到第一配准关系;或通过术前医学图像对应的点云特征与术中医学图像对应的点云特征,进行特征匹配,以从术前医学图像中确定第一初始配准区域,将第一初始配准区域中的血管点云数据与术中医学图像对应的血管点云数据,进行点云配准得到第一配准关系;或通过术前医学图像对应的图像特征与术中医学图像对应的图像特征,进行特征匹配,以从术前医学图像中确定第二初始配准区域,将第二初始配准区域中的血管点云数据与术中医学图像对应的血管点云数据,进行点云配准得到第一配准关系。
102.具体地,参见图13至图15所示,图13为一个实施例中的血管点云数据配准的流程图,图14为另一个实施例中血管点云数据配准的流程图,图15为再一个实施例中血管点云数据配准的流程图。
103.其中,参见图13所示,术中,使用血管显像仪100获取患者浅表血管点云数据,也即术中医学影像,使用过程中,可以取某一处血管数据,也移动血管显像仪100,采集患者头部不同部位的数据。根据血管显像仪100在光学定位装置或某个靶标下的位姿,对血管显像仪100采集到的血管数据进行点云拼接;对拼接后的点云数据进行降噪处理,与术前医学影像对应的点云数据进行icp配准得到上述的第一配准关系,进而建立患者与光学定位装置或某个靶标的映射关系。
104.结合图14所示,其为icp配准的一种优化算法,由于术中采集到的点云有限,和术前医学影像对应的全部点云进行icp配准速度较慢,可以利用术前根据不同位置生成的二维图像的特征进行粗配准确定粗略区域,再根据粗略区域的点云数据进行精确配准,具体地,术中,使用血管显像仪100获取一帧患者浅表血管点云数据及二维图像;使用和术前相同的特征提取单元603,对该二维图像提取orb特征(oriented fast and rotated brief),将其和术前建立的orb特征进行对比打分,选出最接近当前帧的一个orb特征,该orb特征对应的位姿空间即作为配准的初始结果;使用点云配准进行再次配准,矫正结果。
105.结合图15所示,其为icp配准的一种优化算法,由于术中采集到的点云有限,和术前医学影像对应的全部点云进行icp配准速度较慢,可以利用术前根据不同空间提取的特征向量进行粗配准确定粗略区域,再根据粗略区域的点云数据进行精确配准,具体地,术中,使用血管显像仪100获取一帧患者浅表血管点云数据;使用和术前相同的特征提取单元603,对该点云数据提取sift特征(scale-invariant feature transform);和术前建立的sift特征进行对比打分,选出最接近当前帧的一个sift特征,该sift特征对应的划分空间即作为配准的初始结果;使用点云配准进行再次配准,矫正结果。
106.上述实施例中,给出了多种配准方式,以实现血管的快速配准。
107.在其中一个实施例中,获取血管显像仪100的图像坐标系与世界坐标系的第二配准关系,包括:获取血管显像仪100所采集的标定板影像;将标定板影像与真实标定板900进行配准得到第三配准关系;获取真实标定板900与真实标定板900对应的靶标的位姿关系、真实标定板900对应的靶标与定位设备的坐标系的第一转换关系、定位设备的坐标系与血管显像仪100对应的靶标的第二转换关系;根据第三配准关系、位姿关系、第一转换关系以及第二转换关系,确定血管显像仪100的图像坐标系与世界坐标系的第二配准关系。
108.具体地,结合图16所示,图16为一个实施例中的血管显像仪的标定流程的示意图,在该实施例中,光学定位仪800可以识别到第一靶标801以及第二靶标802的位姿,即给出第一靶标801以及第二靶标802在光学定位仪800坐标系下的位姿,第二靶标802和真实标定板900的位姿关系可以使用工程数据或三坐标测量仪或其他方式进行标定,血管显像仪100装置可以获取到标定表的标定板影像,从而获取到在图像坐标系下的位姿,该影像可以与真实标定板900进行配准得到第三配准关系,也就获取到图像坐标系和真实标定板900的第三配准关系,进而根据第二靶标802和真实标定板900的位姿关系、第二靶标802和光学定位仪800的位姿关系、第一靶标801和光学定位仪800的位姿关系,即可以得到血管显像仪100的图像坐标系与第一靶标801,也即世界坐标系的第二配准关系。
109.在其中一个实施例中,根据第一配准关系以及第二配准关系生成操作导航信息,包括:获取术中医疗器械在世界坐标系中的位置;根据第一配准关系以及第二配准关系,将术前医学影像中的目标对象映射至世界坐标系中;根据世界坐标系中的目标对象的位置以及在世界坐标系中的术中医疗器械的位置,生成操作导航信息。
110.具体地,本实施例中根据第一配准关系以及第二配准关系,将术前医学影像中的目标对象映射至世界坐标系中,这样根据世界坐标系中的目标对象的位置以及在世界坐标系中的术中医疗器械的位置,生成操作导航信息,以便于进行术中导航。
111.为了方便理解,可以结合图17和图18所示,图17为一个实施例中的手术场景的示意图,图18为另外一个实施例中的手术场景的示意图。
112.在图17中,第三靶标803用于标定血管显像仪100,第四靶标804用于标定患者头部的位置,第五靶标805用于标定医疗器械806的位置,其中通过血管显像仪100在患者头部进行扫描获取到术中医学影像,并与术前医学影像进行配准,且由于血管显像仪100是预先标定好的,因此则建立了第四靶标804和血管显像仪100的图像坐标系的映射关系,后续由于医疗器械806携带有第五靶标805,这样就可以实时获取医疗器械806和患者之间的位置关系,进行可视化显示。
113.在图18中,第三靶标803用于标定血管显像仪100,第五靶标805用于标定医疗器械806的位置,其中将患者头部使用头部固定架固定在手术床或其他装置上,使其和光学定位仪800不会发生相对位移。通过血管显像仪100在患者头部进行扫描获取到术中医学影像,并与术前医学影像进行配准,且由于血管显像仪100是预先标定好的,因此则建立了光学定位仪800和血管显像仪100的图像坐标系的映射关系,后续由于医疗器械806携带有第五靶标805,这样就可以实时获取医疗器械806和患者之间的位置关系,进行可视化显示。
114.应该理解的是,虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
115.基于同样的发明构思,本技术实施例还提供了一种用于实现上述所涉及的医学影像配准方法的医学影像配准装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个医学影像配准装置实施例中的具体限定可以参见上文中对于医学影像配准方法的限定,在此不再赘述。
116.在一个实施例中,提供了一种医学影像配准装置,包括:
117.血管特征提取单元502,用于获取与术前医学影像对应的第一血管特征;
118.特征提取单元603,用于获取血管显像仪100所采集的术中医学影像,并识别所述术中医学影像中的第二血管特征;
119.配准单元604,用于根据所述第一血管特征和所述第二血管特征,计算得到所述术前医学影像和所述术中医学影像的第一配准关系;
120.标定单元601,用于获取所述血管显像仪100的图像坐标系与世界坐标系的第二配
准关系;
121.显示单元605,用于根据所述第一配准关系以及所述第二配准关系生成操作导航信息。
122.在其中一个实施例中,上述血管特征提取单元502用于获取对应的术前医学影像,并对所述术前医学影像进行分割得到血管掩膜;对所述血管掩膜重建和分类得到血管表面模型;根据所述血管表面模型得到对应所述术前医学图像的第一血管特征;所述第一血管特征包括血管拓扑结构、血管点云数据、血管点云特征以及血管图像特征中的至少一个。
123.在其中一个实施例中,上述血管特征提取单元502在所述根据所述血管表面模型得到对应所述术前医学图像的第一血管特征,包括以下至少一种:提取所述血管表面模型的第一骨架,并对所述第一骨架进行遍历分析得到血管拓扑结构;或对所述血管表面模型进行等值面提取得到血管点云数据;或根据所述血管表面模型以及所述血管点云数据,对所述血管点云数据中的点所在的空间进行划分,并对划分后的每个空间中的血管点云数据进行点云特征提取得到血管点云特征;或根据所述血管表面模型以及所述血管点云数据,计算得到表面血管的位姿;根据所述表面血管的位姿生成血管图像,对所述血管图像进行图像特征提取得到血管图像特征。
124.在其中一个实施例中,上述特征提取单元603在所述获取血管显像仪100所采集的术中医学影像,并识别所述术中医学影像中的第二血管特征,包括以下至少一种:获取血管显像仪100所采集的目标对象的不同部位的初始点云数据,对所述初始电源数据进行拟合得到第二骨架,并对所第二述骨架进行遍历分析得到第二血管特征,所述第二血管特征为血管拓扑结构;获取血管显像仪100所采集的目标对象的不同部位的初始点云数据,对所述初始点云数据进行点云拼接得到第二血管特征,所述第二血管特征为血管点云数据;或获取血管显像仪100所采集的目标对象的目标点云数据,对所述目标点云数据进行点云特征提取得到第二血管特征,所述第二血管特征为血管点云特征;或获取血管显像仪100所采集的目标对象的二维图像,对所述二维图像进行图像特征提取得到第二血管特征,所述第二血管特征为血管图像特征。
125.在其中一个实施例中,上述配准单元604在所述根据所述第一血管特征和所述第二血管特征,计算得到所述术前医学影像和所述术中医学影像的第一配准关系,包括以下至少一种:通过术前医学图像对应的血管拓扑结构与术中医学图像对应的血管拓扑结构,进行配准得到第一配准关系;通过术前医学图像对应的血管点云数据与术中医学图像对应的血管点云数据,进行点云配准得到第一配准关系;或通过术前医学图像对应的点云特征与术中医学图像对应的点云特征,进行特征匹配,以从所述术前医学图像中确定第一初始配准区域,将所述第一初始配准区域中的血管点云数据与术中医学图像对应的血管点云数据,进行点云配准得到第一配准关系;或通过术前医学图像对应的图像特征与术中医学图像对应的图像特征,进行特征匹配,以从所述术前医学图像中确定第二初始配准区域,将所述第二初始配准区域中的血管点云数据与术中医学图像对应的血管点云数据,进行点云配准得到第一配准关系。
126.在其中一个实施例中,上述标定单元601用于获取所述血管显像仪100所采集的标定板影像;将所述标定板影像与真实标定板900进行配准得到第三配准关系;获取所述真实标定板900与所述真实标定板900对应的靶标的位姿关系、所述真实标定板900对应的靶标
与定位设备的坐标系的第一转换关系、所述定位设备的坐标系与所述血管显像仪100对应的靶标的第二转换关系;根据所述第三配准关系、所述位姿关系、所述第一转换关系以及所述第二转换关系,确定所述血管显像仪100的图像坐标系与世界坐标系的第二配准关系。
127.在其中一个实施例中,上述显示单元605用于获取术中医疗器械在世界坐标系中的位置;根据所述第一配准关系以及所述第二配准关系,将所述术前医学影像中的目标对象映射至世界坐标系中;根据所述世界坐标系中的所述目标对象的位置以及在所述世界坐标系中的所述术中医疗器械的位置,生成操作导航信息。
128.上述医学影像配准装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器200中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器200调用执行以上各个模块对应的操作。
129.在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图19所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种医学影像配准方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
130.本领域技术人员可以理解,图19中示出的结构,仅仅是与本技术方案相关的部分结构的框图,并不构成对本技术方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
131.在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
132.在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
133.在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
134.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory,rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory,mram)、铁电存储器(ferroelectric random access memory,fram)、相变存储器(phase change memory,pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory,
ram)或外部高速缓冲存储器等。作为说明而非局限,ram可以是多种形式,比如静态随机存取存储器(static random access memory,sram)或动态随机存取存储器(dynamic random access memory,dram)等。本技术所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
135.以上实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
136.以上所述实施例仅表达了本技术的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对本技术专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本技术构思的前提下,还可以做出若干变形和改进,这些都属于本技术的保护范围。因此,本技术的保护范围应以所附权利要求为准。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1