运用机器视觉的三维图像配准方法及血脑屏障开放装置与流程

本发明涉及机器视觉技术领域，特别涉及一种运用机器视觉的三维图像配准方法及血脑屏障开放装置。

背景技术：

血脑屏障是脑组织与周围循环系统之间的一种生理屏障，这种结构可阻止循环系统中的有害物质进入脑组织，对于维持脑内环境稳定和中枢神经系统正常生理状态具有重要的生物学意义。同时，对于脑疾病的治疗，血脑屏障也限制大分子治疗药物进入中枢神经系统发生效用，是中枢神经系统给药的一个主要障碍。脑功能性疾病传统疗法主要包括药物、手术、心理引导等。由于血脑屏障的存在，化学药物作用效率低，而且长期接受药物治疗的患者易产生药物耐受、成瘾及毒副作用。传统的手术治疗都是有创治疗，存在难以准确定位，不易重复实施等问题。以聚焦超声为核心机制联合磁共振图像引导的无创治疗技术是一种在多种神经系统疾病都具有重大应用前景的新技术，为脑功能性疾病的有效治疗途径。2016年7月11日，美国fda批准首个用于治疗原发性颤抖症的磁共振引导聚焦超声治疗系统exablateneuro，该系统通过超声的热效应进行特定脑组织消融治疗，需要磁共振进行实时的温度监控。超声开放血脑屏障给药是磁共振引导超声治疗应用的另外一个重要方向，超声开放血脑屏障是利用超声的空化效应，磁共振技术主要应用于超声作用靶点定位，血脑屏障开放的造影验证。现有的磁共振引导超声治疗系统大多是将超声换能器集成到磁共振扫描系统里面，这种系统昂贵，而且对于某些不适应磁共振扫描的患者该治疗方案受到限制，同时超声治疗占用大量的磁共振扫描时间，降低了医院磁共振设备的使用效率。一种能进行图像离线注册的便携式超声治疗系统，不仅能克服磁共振系统昂贵难以获得的挑战，还能更广泛的应用于不能进行磁共振扫描的患者(如幽闭恐怖症或安装有植入器械的患者)。

现行技术主要是集成到磁共振系统下面进行超声治疗，这种方式能实现快速的治疗目标区定位，但是占用大量的磁共振系统扫描时间，使得医院的磁共振设备利用率低下，而且集成到磁共振图像实时引导下的治疗不适用于幽闭证患者或者具有植入物的患者。前述专利cn109688934a提供一种移动式血脑屏障开放装置，但是该系统选用了后期超声成像和术前的图像进行配准，超声图像由于成像视野较小，与术前的磁共振或ct图像配准难度大。

技术实现要素：

本发明的主要目的在于提供一种运用机器视觉的三维图像配准方法，可以有效解决背景技术中的问题。

为实现上述目的，本发明采取的技术方案为：

一种运用机器视觉的三维图像配准方法，包括以下步骤：

图像读入；

三维视觉扫描，拍摄对象建立三维图像；

图像配准，提取所述对象的关键点信息，通过关键点匹配映射关系。

进一步地，所述步骤图像读入具体为，当读入图像为二维连续层面扫描图像的磁共振图像或者ct图像时，读取影像数据中的层厚，层间距以及图像视野fov，将连续层面的二维图像重构成三维图像。

进一步地，所述步骤三维视觉扫描具体为，利用双目视觉系统模型获取对象轮廓图。

进一步地，其中，利用双目视觉系统模型获取对象轮廓图时，旋转摄像头进行多组不同方位角拍摄，第一次三维扫描之后得到超声换能器的物理坐标信息以及对象在物理坐标系下的分布。

进一步地，所述对象为头部。

进一步地，所述步骤图像配准具体为，选取目标治疗区域tg(x1,y1,z1)，该区域的图像坐标根据f(x,y,z)函数隐射求出治疗区域的物理坐标范围tgw(xw1,yw1,zw1)，根据第一次三维扫描获得的换能器的初始物理坐标tdw(xw2,yw2,zw2),运动控制组件根据tdw(xw2,yw2,zw2)和tgw(xw1,yw1,zw1)的差值移动换能器位置使换能器作用到目标区域。

进一步地，还包括以下步骤：

选择感兴趣治疗区；

规划和移动超声能换器路径；

机器视觉再次扫描确认换能器位置；

设置治疗超声参数。

基于本发明的另一个方面，提出一种血脑屏障开放装置，包括：

控制主机；

换能器，所述换能器与所述控制主机电联接；

摄像头，所述摄像头与所述控制主机电联接，所述摄像头至少为两个。

进一步地，所述换能器与多自由度运动机械臂连接，所述摄像头与光学跟踪器支架连接，所述控制主机与显示器电联接。

进一步地，所述控制主机内具有超声控制系统和运动控制系统，所述超声控制系统具有超声信号波形发生器和超声功率放大器。

与现有技术相比，本发明具有如下有益效果：

利用三维视觉成像及图像融合的方法，将多模态的mri、ct与三维视觉图像进行线下融合，为离线血脑屏障开放提供准确定位，降低原本在线扫描需要的条件。本发明提供的血脑屏障开放装置不需要磁共振扫描，ct扫描等系统进行在线的图像导航，通过离线的图像读入重建，和系统具有三维机器视觉成像进行图像配准和融合，为血脑屏障开放提供准确的定位方案。

附图说明

图1为本发明运用机器视觉的三维图像配准方法的流程图；

图2为本发明血脑屏障开放装置的结构示意图；

图中：1、控制主机；2、换能器；3、摄像头；4、多自由度运动机械臂；5、光学跟踪器支架；6、显示器。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。

需要说明的是，本申请的说明书和权利要求书及附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，以便这里描述的本申请的实施方式例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

现在，将参照附图更详细地描述根据本申请的示例性实施方式。然而，这些示例性实施方式可以由多种不同的形式来实施，并且不应当被解释为只限于这里所阐述的实施方式。应当理解的是，提供这些实施方式是为了使得本申请的公开彻底且完整，并且将这些示例性实施方式的构思充分传达给本领域普通技术人员，在附图中，为了清楚起见，有可能扩大了层和区域的厚度，并且使用相同的附图标记表示相同的器件，因而将省略对它们的描述。

如图1所示，一种运用机器视觉的三维图像配准方法，包括以下步骤：

图像读入；

三维视觉扫描，拍摄对象建立三维图像，利用双目视觉系统模型获取患者脑部轮廓图，理论上双摄像头一次拍摄便可建立起三维图，为提高三维测量进度，可以旋转摄像头进行多组不同方位角拍摄。第一次三维扫描之后得到超声换能器的物理坐标信息以及患者头部轮廓在物理坐标系下的分布；

图像配准，提取所述对象的关键点信息，通过关键点匹配映射关系。

其中，所述步骤图像读入具体为，当读入图像为二维连续层面扫描图像的磁共振图像或者ct图像时，读取影像数据中的层厚，层间距以及图像视野fov，将连续层面的二维图像重构成三维图像。

其中，所述步骤三维视觉扫描具体为，利用双目视觉系统模型获取对象轮廓图。

其中，利用双目视觉系统模型获取对象轮廓图时，旋转摄像头进行多组不同方位角拍摄，第一次三维扫描之后得到超声换能器的物理坐标信息以及对象在物理坐标系下的分布。

其中，所述对象为头部。

其中，所述步骤图像配准具体为，选取目标治疗区域tg(x1,y1,z1)，该区域的图像坐标根据f(x,y,z)函数隐射求出治疗区域的物理坐标范围tgw(xw1,yw1,zw1)，根据第一次三维扫描获得的换能器的初始物理坐标tdw(xw2,yw2,zw2),运动控制组件根据tdw(xw2,yw2,zw2)和tgw(xw1,yw1,zw1)的差值移动换能器位置使换能器作用到目标区域。

其中，还包括以下步骤：

选择感兴趣治疗区；

规划和移动超声能换器路径；

机器视觉再次扫描确认换能器位置；

设置治疗超声参数，前述目标治疗区选择是医师直接根据通过鼠标在术前磁共振图像或ct图像上进行圈取，运动控制组件根据选取的目标位置和当前换能器的位置查询规划处换能器异动路径，并移动换能器。

利用三维视觉成像及图像融合的方法，将多模态的mri、ct与三维视觉图像进行线下融合，为离线血脑屏障开放提供准确定位，降低原本在线扫描需要的条件。

基于本发明的另一个方面，提出一种血脑屏障开放装置，包括：

控制主机1；

换能器2，所述换能器2与所述控制主机1电联接；

摄像头3，所述摄像头3与所述控制主机1电联接，所述摄像头3至少为两个。

其中，所述换能器2与多自由度运动机械臂4连接，超声换能器2可以是单阵元或多阵元轻便换能器2，所述摄像头3与光学跟踪器支架5连接，所述控制主机1与显示器6电联接。

其中，所述控制主机1内具有超声控制系统和运动控制系统，所述超声控制系统具有超声信号波形发生器和超声功率放大器。

显示器6提供图像显示，超声治疗参数编辑显示。控制主机1有超声控制系统，运动控制系统。超声控制器系统里面具有超声信号波形发生器和超声功率放大器，超声信号发生器根据显示界面上编辑的参数产生相应的超声波形，经过功率发起之后驱动超声换能器2。多自由度运动机械臂4通过转动和轴向运动异动换能器2到目标位置，离线的术前磁共振图像或ct图像读取和重构，不需要磁共振系统在线导航，不需要检测的超声成像探头，而且利用磁共振图像计算出的血管动力学参数图谱具有很高的空间分辨率，可以实现全脑范围内的血脑屏障开放监控。

因此，通过血脑屏障开放装置，可以做到不需要磁共振扫描，ct扫描等系统进行在线的图像导航，通过离线的图像读入重建，和系统具有三维机器视觉成像进行图像配准和融合，为血脑屏障开放提供准确的定位方案。

以上参照本发明的实施例对本发明予以了说明。但是，这些实施例仅仅是为了说明的目的，而并非为了限制本发明的范围。本发明的范围由所附权利要求及其等价物限定。不脱离本发明的范围，本领域技术人员可以做出多种替换和修改，这些替换和修改都应落在本发明的范围之内。