一种应用于立体定向手术机器人的增强现实装置及其方法与流程

文档序号:12532033阅读:来源:国知局

技术特征:

1.一种增强现实装置,其特征在于,所述增强现实装置包括:计算机、机械臂、相机、投影仪和连接件;其中,连接件的一个表面固定安装在机械臂末端,相机和投影仪安装在连接件的另一个表面,相机和投影仪之间的位置保持固定不变;机械臂的控制器通过网线连接至计算机与计算机进行通信;相机和投影仪分别通过数据线连接至计算机与计算机进行数据传输;成像目标相对于机械臂基坐标系位置固定不变,通过由相机和投影仪组成的投影仪相机系统,在相机坐标系下对成像目标进行三维表面点云数据采集,通过标定好的相机坐标系和机械臂末端坐标系的变换关系,将采集得到的成像目标的三维表面点云数据从相机坐标系转换到机械臂末端坐标系下,再由计算机读取机械臂的控制器得到机械臂末端坐标系到机械臂基坐标系的变换关系,从而将三维表面点云数据从机械臂末端坐标系转换到机械臂基坐标系下;在计算机中存储有通过核磁成像得到的在影像坐标系下的成像目标的影像数据,并通过算法将影像数据中成像目标的表面影像数据与内部影像数据分开;将由核磁成像得到的成像目标的表面影像数据与在机械臂基坐标系下成像目标的三维表面点云数据配准对齐,从而实现影像坐标系与机械臂基坐标系的坐标变换;在计算机中选择对成像目标的感兴趣区域,通过影像坐标系与机械臂基坐标系的变换关系,计算机械臂末端位姿,通过计算机控制机械臂到达指定位姿,投影仪把核磁成像得到的感兴趣区域的内部影像投射到成像目标的表面,实现准确的增强现实。

2.如权利要求1所述的增强现实装置,其特征在于,所述机械臂采用串联六轴型机械臂,计算机通过网线与机械臂的控制器进行通信,能够获得机械臂末端的位置和角度信息,即机械臂末端坐标系相对机械臂基坐标系的位姿关系,也能够发送运动指令控制机械臂末端到达特定位置和保持特定的姿态。

3.如权利要求1所述的增强现实装置,其特征在于,所述相机为彩色相机,采用电荷耦合器件CCD相机或者互补金属氧化物半导体CMOS相机;通过USB线与计算机相连,能接受计算机发出的采集相片指令,也能够根据指令把数据传输到计算机中。

4.如权利要求1所述的增强现实装置,其特征在于,所述投影仪采用液晶显示器LCD投影仪或者数字光处理DLP投影仪;通过HDMI线与计算机相连,根据计算机指定的内容进行投影显示。

5.如权利要求1所述的增强现实装置,其特征在于,所述连接件采用硬质型材制作,连接件固定安装在机械臂的第六轴上。

6.一种增强现实装置的控制方法,其特征在于,所述控制方法包括以下步骤:

1)标定:相机和投影仪固定在连接件上,对相机和投影仪组成的投影仪相机系统进行标定,得到从投影仪坐标系到相机坐标系的变换关系;将连接件安装固定到机械臂末端,对相机和机械臂末端进行标定,得到从相机坐标系到机械臂末端坐标系的变换关系;

2)将成像目标通过固定架固定在样品台上,将机械臂的基座固定在样品台的旁边,使得成像目标在机械臂的工作空间内;把计算机和机械臂、相机及投影仪连接,启动设备;

3)计算机控制机械臂通过连接件带着相机和投影仪从多个角度采集成像目标的三维表面数据,在计算机中将由多个角度获得的三维表面数据进行融合处理后,得到在机械臂基坐标系下的成像目标的三维表面点云数据;

4)在计算机中,将在机械臂基坐标系下的成像目标的三维表面点云数据,与从核磁成像中提取的成像目标的表面影像数据,在影像坐标系中配准,从而使得影像坐标系和机械臂基坐标系对齐,在计算机中的影像坐标系里看到叠加有成像目标表面的颜色和纹理的表面影像数据,增加影像数据的真实感;

5)在计算机中选择感兴趣区域,设定要显示的成像目标的核磁成像的内容和角度,根据步骤4)中配准得到的影像坐标系和机械臂基坐标系的对应关系,自动计算机械臂末端的位姿;

6)机械臂根据步骤5)计算得到的位姿,运动到指定位置和姿态,投影仪依据计算机给定的内容进行投影显示,把核磁成像得到的感兴趣区域的内部影像投射到成像目标的表面;

7)判断是否查看其他感兴趣区域,如果是,继续重复步骤5)~6),查看对应的感兴趣区域及其周围的情况,实现增强现实。

7.如权利要求6所述的控制方法,其特征在于,在步骤1)中,对固定在连接件上的相机和投影仪组成的投影仪相机系统进行标定,包括以下步骤:

a)将相机和投影仪安装在连接件上,并保证两者之间的位置关系固定不变;

b)采用张正友的方法对相机进行标定;

c)采用改进版的张正友的方法对投影仪进行标定;

d)由在相机坐标系和投影仪坐标系下棋盘格标定板的角点的对应关系,进而得到投影仪坐标系到相机坐标系的变换关系,完成投影仪相机系统的标定。

8.如权利要求6所述的控制方法,其特征在于,在步骤1)中,对固定在连接件上的相机和机械臂末端进行标定,包括以下步骤:

a)将连接件固定安装在机械臂的第六轴上;

b)采用手眼标定方法进行标定,求解相机和机械臂末端的位姿关系;

得到从相机坐标系到机械臂末端坐标系的变换关系。

9.如权利要求7所述的控制方法,其特征在于,在步骤3)中,得到在机械臂基坐标系下的成像目标的三维表面点云数据,具体包括以下步骤:

a)加载相机与投影仪的变换关系;

b)确定相机和投影机的角度,使用格雷码的结构光编码技术得到投影仪的格雷码图案和相机成像的图片中点对的对应关系,再对那些点对根据投影仪坐标系到相机坐标系的变换关系,应用线性三角测量方法,从而获得成像目标在相机坐标系下的三维表面数据;

c)加载相机坐标系到机械臂末端坐标系的变换关系;

d)结合计算机从机械臂的控制器读取到机械臂末端坐标系相对于机械臂基坐标系的位姿关系,计算得到相机坐标系与机械臂基坐标系的变换关系,从而得到由相机和投影仪采集得到成像目标的三维表面数据在机械臂基坐标系下的空间位置;

e)控制机械臂通过连接件带着相机和投影仪调整角度,重复步骤a)~d),得到多个角度下的三维表面数据;

f)在计算机中将由多个角度获得的三维表面数据进行融合处理后,得到在机械臂基坐标系下的成像目标的三维表面点云数据。

10.如权利要求6所述的控制方法,其特征在于,在步骤4)中,进一步包括:在影像坐标系中将规划好机械臂末端的路径显示出来,验证规划路径是否会碰到障碍物,从而验证规划的路径的可实施性。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1