一种应用于立体定向手术机器人的增强现实装置及其方法与流程

本发明涉及机器人控制技术，具体涉及一种应用于立体定向手术机器人的增强现实装置及其控制方法。

背景技术：

随着计算机技术、光学跟踪技术和机器人技术的发展，适用于不同需求的外科手术机器人被不断地开发出来。当前在脑神经外科领域应用的手术机器人一般用于辅助医生对患者颅内病灶或靶点的定位定向引导，由于其能够实现三维空间内的定位定向，故该类手术机器人被称为立体定向手术机器人。

当前已经商业化的立体定向手术机器人有Renaissance，NeuroMate和Rosa等，其中应用最广泛的是Rosa手术机器人。Rosa手术机器人是使用固定在机械臂末端的激光测距仪扫描患者头部得到一群表征头皮表面的三维点云数据，通过配准将术中患者头部和术前通过核磁成像提取的表面对齐，再将在影像坐标系中规划的立体定向手术方案映射到患者身上，机械臂按照术前规划手术路径为医生提供定位定向辅助引导。Rosa等商业化立体定向手术机器人在执行手术路径定位定向引导时，尚没有将路径入点周围的重要的结构信息(比如颅内的血管、脑沟回结构、功能区等)投射到患者头部进行增强现实显示的功能。对医生来说缺少对手术路径直观的观察，对患者来说存在一定的风险。

因此研制开发一种既能在线获取患者头部表面数据用于配准，同时还能够在患者头部准确的投射感兴趣区域内部和周围的重要结构信息，对这些重要结构进行增强现实的装置，是亟需解决的技术问题。

技术实现要素：

为了能在线获取成像目标表面数据用于配准，同时还能够在成像目标准确的投射感兴趣区域内部和周围的重要结构信息，本发明提出了一种应用于立体定向手术机器人的增强现实装置及其控制方法。

本发明的一个目的在于提出一种应用于立体定向手术机器人的增强现实装置，使立体定向手术机器人有更强的性能。

本发明的增强现实装置包括：计算机、机械臂、相机、投影仪和连接件；其中，连接件 的一个表面固定安装在机械臂末端，相机和投影仪安装在连接件的另一个表面，相机和投影仪之间的位置保持固定不变；机械臂的控制器通过网线连接至计算机与计算机进行通信；相机和投影仪分别通过数据线连接至计算机与计算机进行数据传输；成像目标相对于机械臂基坐标系位置固定不变，通过由相机和投影仪组成的投影仪相机系统，在相机坐标系下对成像目标进行三维表面点云数据采集，通过标定好的相机坐标系和机械臂末端坐标系的变换关系，将采集得到的成像目标的三维表面点云数据从相机坐标系转换到机械臂末端坐标系下，再由计算机读取机械臂的控制器得到机械臂末端坐标系到机械臂基坐标系的变换关系，从而将三维表面点云数据从机械臂末端坐标系转换到机械臂基坐标系下；在计算机中存储有通过核磁成像得到的在影像坐标系下的成像目标的影像数据，并通过算法将影像数据中成像目标的表面影像数据与内部影像数据分开；将由核磁成像得到的成像目标的表面影像数据与在机械臂基坐标系下成像目标的三维表面点云数据配准对齐，从而实现影像坐标系与机械臂基坐标系的坐标变换；在计算机中选择对成像目标的感兴趣区域，通过影像坐标系与机械臂基坐标系的变换关系，计算机械臂末端位姿，通过计算机控制机械臂到达指定位姿，投影仪把核磁成像得到的感兴趣区域的内部影像投射到成像目标的表面，实现准确的增强现实。

计算机采用台式机、笔记本电脑、平板设备或者其他嵌入式微型机中的一种，关键特征在于可编程。

机械臂采用串联六轴型机械臂，计算机通过网线与机械臂的控制器进行通信，能够获得机械臂末端的位置和角度信息，即机械臂末端坐标系相对机械臂基坐标系的位姿关系，也能够发送运动指令控制机械臂末端到达特定位置和保持特定的姿态。

相机为彩色相机，采用电荷耦合器件CCD相机或者互补金属氧化物半导体CMOS相机；通过USB线与计算机相连，能接受计算机发出的采集相片的指令，也能够根据指令把数据传输到计算机中。

投影仪采用液晶显示器LCD投影仪或者数字光处理DLP投影仪；通过HDMI线与计算机相连，根据计算机指定的内容进行投影显示。

连接件采用硬质型材制作，如铝合金，用于安装相机和投影仪，并保证两者之间的位置关系固定不变，相机和投影仪共同构成用于获取三维表面的投影仪相机系统(Projector-Camera systems)；同时连接件固定安装在机械臂的第六轴上。其中，为了对相机和投影仪组成的系统进行标定，应用张正友提出的方法(zhang's method)对相机进行标定^[1]；可以将投影仪看成是针孔相机的逆模型，使用改进版的张正友的方法即可实现对投影仪的标定^[2]，并由在相机坐标系和投影仪坐标系下棋盘格标定板的角点的对应关系，进而得到投影仪坐标系到相机 坐标系的变换关系，完成投影仪相机系统的标定。为了获取成像目标的三维表面信息，使用格雷码的结构光编码技术得到投影仪的格雷码图案和相机成像的图片中点对的对应关系，再对那些点对根据投影仪坐标系到相机坐标系的变换关系，应用线性三角测量方法^[3](linear triangulation method)，从而获得成像目标在相机坐标系下的三维表面信息。采用手眼标定方法求解相机和机械臂末端的位姿关系^[4]，标定相机坐标系到机械臂末端坐标系的变换关系。结合计算机从机械臂的控制器读取到机械臂末端坐标系相对于机械臂基坐标系的位姿关系，计算得到相机坐标系与机械臂基坐标系的变换关系，从而得到由相机和投影仪采集得到成像目标的三维表面数据在机械臂基坐标系下的空间位置。

进一步，本发明还包括样品台，成像目标放置在样品台上，样品台与机械臂基坐标系的位置固定不变；成像目标放置在样品台上，并通过安装在样品台上的固定架固定，使得成像目标相对于机械臂基坐标系的位置固定不变。

本发明的另一个目的在于提供一种应用于立体定向手术机器人的增强现实装置的控制方法。

本发明的增强现实装置的控制方法，包括以下步骤：

1)标定：相机和投影仪固定在连接件上，对相机和投影仪组成的投影仪相机系统进行标定，得到从投影仪坐标系到相机坐标系的变换关系；将连接件安装固定到机械臂末端，对相机和机械臂末端进行标定，得到从相机坐标系到机械臂末端坐标系的变换关系；

2)将成像目标通过固定架固定在样品台上，将机械臂的基座固定在样品台的旁边，使得成像目标在机械臂的工作空间内；把计算机和机械臂、相机及投影仪连接，启动设备；

3)计算机控制机械臂通过连接件带着相机和投影仪从多个角度采集成像目标的三维表面数据，在计算机中将由多个角度获得的三维表面数据进行融合处理后，得到在机械臂基坐标系下的成像目标的三维表面点云数据；

4)在计算机中，将在机械臂基坐标系下的成像目标的三维表面点云数据，与从核磁成像中提取的成像目标的表面影像数据，在影像坐标系中配准，从而使得影像坐标系和机械臂基坐标系对齐，在计算机中的影像坐标系里看到叠加有成像目标表面的颜色和纹理的表面影像数据，增加影像数据的真实感；

5)在计算机中选择感兴趣区域，设定要显示的成像目标的核磁成像的内容和角度，根据步骤4)中配准得到的影像坐标系和机械臂基坐标系的对应关系，自动计算机械臂末端的位姿；

6)机械臂根据步骤5)计算得到的位姿，运动到指定位置和姿态，投影仪依据计算机给 定的内容进行投影显示，把核磁成像得到的感兴趣区域的内部影像投射到成像目标的表面；

7)判断是否查看其他感兴趣区域，如果是，继续重复步骤5)～6)，查看对应的感兴趣区域及其周围的情况，实现增强现实。

在步骤1)中，对固定在连接件上的相机和投影仪组成的投影仪相机系统进行标定，包括以下步骤：

a)将相机和投影仪安装在连接件上，并保证两者之间的位置关系固定不变；

b)采用张正友的方法(zhang's method)对相机进行标定^[1]；

c)采用改进版的张正友的方法对投影仪进行标定^[2]；

d)由在相机坐标系和投影仪坐标系下棋盘格标定板的角点的对应关系，进而得到投影仪坐标系到相机坐标系的变换关系，完成投影仪相机系统的标定。

张正友的方法为基于平面标定的方法，该方法中使用平面棋盘格板进行标定。

在步骤1)中，对固定在连接件上的相机和机械臂末端进行标定，包括以下步骤：

a)将连接件固定安装在机械臂的第六轴(末端)上；

b)采用手眼标定方法进行标定^[4]，求解相机和机械臂末端的位姿关系；

c)得到从相机坐标系到机械臂末端坐标系的变换关系。

如果相机和投影仪的相对位置不发生改变，只需标定一次。可以通过事先标定好，在使用时不需要再标定，只需要加载已经标定好的相机与投影仪的变换关系。将连接件固定到机械臂末端，应用手眼标定方法对相机坐标系到机械臂末端坐标系的变换关系进行标定。同样如果相机和机械臂末端的相对位置不发生改变，也只需标定一次。

在步骤3)中，得到在机械臂基坐标系下的成像目标的三维表面点云数据，具体包括以下步骤：

a)加载相机与投影仪的变换关系；

b)确定相机和投影机的角度，使用格雷码的结构光编码技术得到投影仪的格雷码图案和相机成像的图片中点对的对应关系，再对那些点对根据投影仪坐标系到相机坐标系的变换关系，应用线性三角测量方法^[3](linear triangulation method)，从而获得成像目标在相机坐标系下的三维表面数据；

c)加载相机坐标系到机械臂末端坐标系的变换关系；

d)结合计算机从机械臂的控制器读取到机械臂末端坐标系相对于机械臂基坐标系的位姿关系，计算得到相机坐标系与机械臂基坐标系的变换关系，从而得到由相 机和投影仪采集得到成像目标的三维表面数据在机械臂基坐标系下的空间位置；

e)控制机械臂通过连接件带着相机和投影仪调整角度，重复步骤a)～d)，得到多个角度下的三维表面数据；

f)在计算机中将由多个角度获得的三维表面数据进行融合处理后，得到在机械臂基坐标系下的成像目标的三维表面点云数据。

在步骤4)中，进一步包括：在影像坐标系中将规划好机械臂末端的路径显示出来，验证规划路径是否会碰到障碍物，从而验证规划的路径的可实施性。

本发明的增强现实装置的控制方法能够应用于立体定向手术机器人进行头部微创手术，核磁共振形成的是灰度的影像数据，叠加上投影仪相机系统得到的皮肤的颜色和纹理，增加影像数据的真实感，并能将术前规划的手术路径显示出来，验证是否会碰到耳朵或者固定架等障碍，从而验证术前规划的手术路径的可实施性；医生能够选择感兴趣区域(例如病灶靶点)，设定要显示的例如由核磁成像得到的脑皮层结构和颅内血管的内容，由投影仪投影显示，医生在不开颅的情况下，可以知道感兴趣区域周围的结构情况，比如病灶和血管的关系。

本发明的优点：

1、由相机和投影仪组成的投影仪相机系统，不仅可以获取成像目标的表面点，还可以获取成像目标的颜色和纹理信息，通过配准之后，可以将成像目标表面的颜色和纹理信息叠加到由核磁成像提取得到的表面影像数据上，相比于仅依赖灰度的核磁成像，能够在计算机看到更加真实的、带有颜色和纹理的三维模型，同时将术前的规划路径一起显示在模型上，使得能够在未实施手术前就可以预览到若根据术前的规划路径实施后的场景，有利于验证术前的规划路径的可实施性；

2、将相机和投影仪通过连接件挂载在机械臂末端，可以很方便的控制相机和投影仪从不同方向对成像目标的三维表面进行采集，有利于得到成像目标更加完整的三维表面，进而提高配准精度；

3、在高精度配准的基础上，得到影像坐标系和机械臂基坐标系的一一对应关系，为后续计算在影像坐标系中指定的待增强现实位置后机械臂末端应该到达的位置提供依据；

4、传统立体定向手术中，需要观察计算机屏幕中的影像，再接着在成像目标相应的部位执行手术，存在成像目标表面上没有相应的内部结构信息导致的影像信息的不连续性问题，而本发明的增强现实装置使得可以在成像目标的表面非常直观看到内部结构，有利于避开重要血管和快速定位靶点。

附图说明

图1为本发明的增强现实装置的结构图；

图2本发明的增强现实装置的一个实施例的示意图；

图3为本发明的增强现实装置的控制方法的流程图。

具体实施方式

下面结合附图，通过具体实施例，进一步阐述本发明。

如图1所示，本实施例的增强现实装置包括：计算机1、机械臂2、相机3、投影仪4和连接件5；其中，连接件5的一个表面固定安装在机械臂2末端，相机3和投影仪4安装在连接件5的另一个表面，相机3和投影仪4之间的位置固定不变；机械臂2的控制器通过网线连接至计算机1与计算机进行通信；相机3和投影仪4分别通过数据线连接至计算机1与计算机进行数据传输。

如图2所示，成像目标6放置在样品台8上，并通过安装在样品台上的固定架7固定，使得成像目标相对于机械臂基坐标系的位置固定不变。

在本实施例中，计算机1为dell optiplex 9020台式机，机械臂2为VS060A3(DensoCo.Ltd.，Japan)，相机3为型号为BFLY-U3-50H5C-C(Point Grey,Canada)的微型CCD相机，投影仪4为微型DLP投影仪，连接件5采用铝合金制作。

如图3所示，本实施例的增强现实装置的控制方法，包括以下步骤：

1)将成像目标通过固定架固定在样品台上，将机械臂的基座固定在样品台的旁边，使得成像目标在机械臂的工作空间内；把计算机和机械臂、相机及投影仪连接，启动设备；

2)计算机控制机械臂通过连接件带着相机和投影仪从多个角度采集成像目标的三维表面数据，在计算机中将由多个角度获得的三维表面数据进行融合处理后，得到的在机械臂基坐标系下的成像目标的三维表面点云数据，该点云数据的点间距小于1mm，覆盖成像目标表面超过60％的区域；

3)在计算机中，将在机械臂基坐标系下的成像目标的三维表面点云数据，与使用FreeSurfer开源软件^[5]从核磁成像中提取的成像目标的表面影像数据，在影像坐标系中配准，从而使得影像坐标系和机械臂基坐标系对齐，在计算机中的影像坐标系里看到叠加有成像目标表面的颜色和纹理的表面影像数据，增加影像数据的真实感，并在影像坐标系中将规划好机械臂末端的路径显示出来，验证规划路径是否会碰到障碍物，从而验证规划的路径的可实施性；

4)在计算机中选择感兴趣区域，设定要显示的成像目标的内容和角度，默认以感兴趣区域为中心，默认设定在机械臂基坐标系中投影仪4的中心到感兴趣区域的中心距离为250mm，根据步骤3)中配准得到的影像坐标系和机械臂基坐标系的对应关系，自动计算机械臂末端的位姿；

5)机械臂根据步骤4)计算得到的位姿，运动到指定位置和姿态，投影仪依据计算机给定的内容进行投影显示，把核磁成像得到的感兴趣区域的内部影像投射到成像目标的表面，实现增强现实；

6)判断是否查看其他感兴趣区域，如果是，继续重复步骤4)～5)，查看对应的感兴趣区域及其周围的情况。

最后需要注意的是，公布实施例的目的在于帮助进一步理解本发明，但是本领域的技术人员可以理解：在不脱离本发明及所附的权利要求的精神和范围内，各种替换和修改都是可能的。因此，本发明不应局限于实施例所公开的内容，本发明要求保护的范围以权利要求书界定的范围为准。

[1]Zhang Z.A flexible new technique for camera calibration[J].Pattern Analysis and Machine Intelligence,IEEE Transactions on,2000,22(11):1330-1334.

[2]Park H,Lee M-H,Kim S-J,et al.Surface-independent direct-projected augmented reality[C].Asian Conference on Computer Vision,2006:892-901.

[3]Zisserman R H A.Multiple view geometry in computer vision[J],2004.

[4]Horaud R,Dornaika F.Hand-eye calibration[J].The international journal of robotics research,1995,14(3):195-210.

[5]http://freesurfer.net/。