手术机器人系统及其腹腔镜操作方法以及体感式手术用图像处理装置及其方法

文档序号:9358864阅读:405来源:国知局
手术机器人系统及其腹腔镜操作方法以及体感式手术用图像处理装置及其方法
【专利说明】手术机器人系统及其腹腔镜操作方法以及体感式手术用图像处理装置及其方法
[0001]本申请是分案申请,原申请的申请日为2011年10月28日,申请号为201180052600.7,发明名称为“手术机器人系统及其腹腔镜操作方法以及体感式手术用图像处理装置及其方法”。
技术领域
[0002]本发明涉及手术,更具体地说,涉及一种手术机器人系统及其腹腔镜操作方法以及体感式手术用图像处理装置及其方法。
【背景技术】
[0003]手术机器人是指具有能够代替由医生进行的手术行为的功能的机器人。这种手术机器人具有与人相比能够进行准确精密动作且能够进行远程手术的优点。
[0004]目前全世界正在开发的手术机器人有骨外科手术机器人、腹腔镜(laparoscope)手术机器人、立体定向手术机器人等。在此,腹腔镜手术机器人是利用腹腔镜和小型手术工具进行微创手术的机器人。
[0005]腹腔镜手术机器人是在肚脐部位钻孔Icm左右之后插入用于观察腹腔内的作为内窥镜的腹腔镜而进行手术的尖端手术技术,是期待将来有很大发展的领域。
[0006]近来,腹腔镜发展到,安装有电脑芯片,从而能够获得比肉眼观察更清晰的放大图像,而且,若通过监控器看着画面的同时使用特别设计的腹腔镜手术工具,则可以进行任何手术。
[0007]此外,腹腔镜手术的其手术范围与剖腹手术几乎相同,但与剖腹手术相比并发症少,而且手术后能够尽快进行治疗,从而具有保持手术患者体力或免疫功能的优点。因此,在美国和欧洲等国家,治疗大肠癌等时腹腔镜手术日益公认为标准手术。
[0008]手术机器人系统通常包括主机器人和从机器人。若施术者操作主机器人所具有的操纵器(例如手柄),则结合于从机器人的机器臂或由机器臂把持的手术工具被操作,从而进行手术。主机器人和从机器人通过网络连接而进行网络通信。
[0009]然而,现有的手术机器人系统,施术者为了取得有关手术部位的图像,用户需要进行单独操作,以便将腹腔镜移动到所需位置,或调节图像输入角度。即,施术者在手术过程中利用手或脚单独输入用于控制腹腔镜的操作。
[0010]但是,这在需要保持注意力高度集中的手术进行过程中,可能成为降低施术者注意力的原因,而注意力下降引起的不完整手术可能导致严重的并发症。
[0011]现在,进行腹腔镜手术时,通过腹腔镜拍摄的手术图像输出给用户,用户看着该图像进行手术,但是与直接剖腹进行的手术相比,存在真实感降低的问题。发生这些问题的原因可以是,腹腔镜在腹腔内移动及旋转而照射其它部位时,用户可以看到的图像输出到相同位置及大小的监控器上,因此,所述操纵器和图像之间的相对距离感及运动,与实际腹腔内的手术工具和脏器之间的相对距离感及运动不同。
[0012]此外,通过腹腔镜拍摄的手术图像仅包括手术工具的部分图像,所以这些手术工具彼此碰撞或重叠时,可能发生用户难以操作或视野被遮挡无法顺利进行手术的情况。
[0013]上述【背景技术】是发明人为了导出本发明而保留或导出本发明的过程中所学到的技术信息,不一定是本发明申请之前向公众公开的公知技术。

【发明内容】

[0014]技术问题
[0015]本发明的目的在于,提供一种仅通过施术者想看到所需手术部位的行为就能够控制腹腔镜的位置及图像输入角度的手术机器人系统及其腹腔镜操作方法。
[0016]另外,本发明的目的在于,提供一种不需要施术者进行用于操作腹腔镜的单独操作从而能够使施术者完全集中于手术行为的手术机器人系统及其腹腔镜操作方法。
[0017]另外,本发明的目的在于,提供一种不需要学习利用面部识别的设备操作方法而能够直观了解操作方法的手术机器人系统及其腹腔镜操作方法。
[0018]另外,本发明的目的在于,提供一种不必使用胳膊而仅通过在三维空间上的面部运动来能够以多种方式控制内窥镜装置的手术机器人系统及其腹腔镜操作方法。
[0019]另外,本发明的目的在于,提供一种对应于根据手术用内窥镜的运动而变化的内窥镜的视点,改变在用户看的监控器上输出的内窥镜图像的输出位置,从而能够使用户更真实地感受到实际手术状况的体感式手术用图像处理装置及其方法。
[0020]另外,本发明的目的在于,提供一种在当前时间提取之前输入存储的内窥镜图像并与当前的内窥镜图像一同输出到画面显示部,从而能够将有关内窥镜图像变化的信息通知给用户的体感式手术用图像处理装置及其方法。
[0021]另外,本发明的目的在于,提供一种将手术时利用内窥镜实际拍摄的内窥镜图像和预先生成并存储于图像存储部的手术工具的建模图像进行各自或彼此匹配或调节其尺寸等图像修改后,向用户可观察的监控部输出的体感式手术用图像处理装置及其方法。
[0022]另外,本发明的目的在于,提供一种体感式手术用图像处理装置及其方法,通过与不断变化的内窥镜的视点对应地旋转及移动监控器,从而能够使用户更生动地感受到手术真实感。
[0023]除了本发明提出的之外的其它技术问题可以通过下面的说明容易理解。
[0024]解决技术问题的方法
[0025]根据本发明的一实施方式,提供一种手术机器人,利用操作信号控制视觉部的位置及图像输入角度中的一个以上,其包括:接面部,向与被接触的施术者面部的运动方向及大小相对应的方向及大小游动;运动检测部,输出对应于接面部游动的方向及大小的传感信息;操作命令生成部,利用传感信息生成并输出有关视觉部的位置及图像输入角度中一个以上的操作命令。
[0026]操作命令为有关视觉部的直线操作及旋转操作中的至少一个的命令时,可以与其相应地变更操作手术机器人的操作手柄方向。
[0027]接面部可以形成为,作为手术机器人的控制台(console)面板的一部分。
[0028]为了固定施术者面部位置,可以在接面部的一个以上部位突出形成有支承部。
[0029]在接面部可以穿孔形成有接目部,从而使通过视觉部获得的图像以视觉信息方式能够看到。
[0030]接面部可以由透光材料形成,从而使通过视觉部获得的图像以视觉信息方式能够看到。
[0031]手术机器人还可以包括:接触检测部,检测施术者面部是否接触于接面部或支承部;原状恢复部,当通过接触检测部识别到接触解除时,接面部恢复到指定为默认(default)的位置及状态的基准状态。
[0032]原状恢复部可以通过根据传感信息的接面部游动方向及大小的反向操作,能够使接面部恢复到基准状态。
[0033]手术机器人还可以包括:眼球跟踪部,将依次生成的图像数据按时间顺序进行比较和判断,并生成解析瞳孔位置变化、眼睛模样变化及注视方向中的至少一个的解析信息。此外,手术机器人也还可以包括:摄像部,在手术机器人的内侧朝向接面部拍摄而生成图像数据;存储部,用于存储所生成的图像数据。
[0034]操作命令生成部判断解析信息作为任一操作命令是否满足预定的变化,若满足时,输出相应的操作命令。
[0035]视觉部可以是显微镜、内窥镜中的任一种,内窥镜可以是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜、心脏镜中的一种以上。
[0036]接面部以被弹性体支承的方式形成于控制台面板的前表面,弹性体可以提供恢复力,以便解除接面部运动施加的外力时,使接面部恢复到原位置。
[0037]根据本发明的另一实施方式,提供一种手术机器人,利用操作信号控制视觉部的位置及图像输入角度中的一个以上,其包括:接目部,用于将通过视觉部获得的图像作为视觉信息提供;眼球跟踪部,生成对通过接目部看到的瞳孔位置变化、眼睛模样变化及注视方向中的至少一个进行解析的解析信息;操作命令生成部,判断解析信息作为任一操作命令是否满足预定的变化,若满足时,输出用于操作视觉部的操作命令。
[0038]眼球跟踪部可以包括:摄像单元,在手术机器人的内侧朝向接目部拍摄而生成图像数据;存储单元,用于存储生成的图像数据;眼球跟踪单元,将依次生成的图像数据按时间顺序进行比较判断,并生成解析瞳孔位置变化、眼睛模样变化及注视方向中的至少一个的解析信息。
[0039]接目部可以在作为手术机器人的控制台(console)面板的一部分的接面部上穿孔形成。
[0040]根据本发明的另一实施方式,提供一种手术机器人,利用操作信号控制视觉部,其包括:拍摄部,拍摄对象物而生成图像数据;角度及距离算出部,解析包含于图像数据中的面部的两眼中心点的连接线与画面中心线所形成的内角大小及旋转方向,并与根据之前拍摄的图像数据解析出的内角大小及旋转方向进行比较,以生成有关面部旋转方向及旋转角度的位移量信息;操作命令生成部,生成并输出操作命令以与所述位移量信息相应地操作所述视觉部。
[0041]角度及距离算出部还可以算出根据之前拍摄的图像数据解析出的所述面部内的基准点与根据图像数据解析出的面部内的基准点之间的距离信息,而为了视觉部的平行移动操作,算出的距离信息可包含于位移量信息。
[0042]角度及距离算出部还可以算出根据之前拍摄的图像数据解析出的面部内两眼间距与根据图像数据解析出的面部内两眼间距之间的变化量,两眼间距之间的变化量包含于位移量信息,以用于调节视觉部的图像倍率。
[0043]视觉部可以是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜、心脏镜中的一种以上。
[0044]视觉部可以是用于获得三维图像的装置,可以根据面部和眼睛的位置调节三维图像处理所需的左/右图像重叠程度。
[0045]手术机器人还可以包括:存储部,用于存储认证用户的照片图像;判断部,算出图像数据中的面部特征要素和照片图像中的面部特征要素之间的类似度,在算出的类似度大于等于预定值时,控制操作命令生成部生成并输出操作命令。在此,面部特征要素可以是构成部位的位置及模样、瞳孔颜色、面部模样、皮肤颜色、皱纹形状、红晕中的一个以上,构成部位可以是眼睛、眉毛、鼻子和嘴中的一个以上。
[0046]手术机器人还可以包括:存储部,用于存储有效用户信息,该有效用户信息是面部轮廓所处的区域信息及图像数据中面部大小的基准值中的一种以上;判断部,判断包含于图像数据中的面部是否满足有效用户信息,在满足时,控制操作命令生成部生成并输出操作命令。
[0047]手术机器人还可以包括:判断部,判断包含于图像数据中的面部运动状态是否保持规定时间以上,在面部运动状态保持规定时间以上时,控制操作命令生成部生成并输出操作命令。
[0048]手术机器人还可以包括:判断部,判断包含于图像数据中的面部运动程度是否超出预定范围,在超出预定范围时,控制操作命令生成部生成并输出操作命令。
[0049]手术机器人还可以包括:存储部,存储对头部运动及面部表情中一个以上的变化生成的操作命令信息;判断部,解析多个图像数据来生成头部运动及面部表情中一个以上的变化信息,控制所述操作命令生成部生成并输出与操作命令信息对应的相应操作命令。
[0050]根据本发明的另一实施方式,提供一种视觉部操作方法,用于手术机器人控制视觉部的位置及图像输入角度中的一个以上,其特征在于,包括如下步骤:输出对应于接面部游动方向及大小的传感信息的步骤;利用传感信息,生成并输出有关视觉部的位置及图像输入角度中一个以上的操作命令的步骤;接面部作为手术机器人的控制台面板的一部分形成,并向与施术者面部的运动方向及大小相对应的方向及大小游动。
[0051]视觉部操作方法还可以包括如下步骤:判断施术者面部是否处于与接面部接触状态的步骤;处于接触状态时,开始输出传感信息的进行控制的步骤。
[0052]视觉部操作方法还可以包括如下步骤:接触状态解除时,判断接面部是否以作为指定为默认(default)的位置及状态的基准状态存在的步骤,未以基准状态存在时,恢复到基准状态的进行处理的步骤。
[0053]恢复到基准状态,可以通过根据传感信息的接面部游动方向及大小的反向操作来进行。
[0054]视觉部操作方法还可以包括如下步骤:生成并存储在手术机器人的内侧朝向接面部拍摄的图像数据的步骤;将存储的图像数据按时间顺序进行比较判断,并生成解析瞳孔位置变化、眼睛模样变化及注视方向中一种以上的解析信息的步骤。
[0055]视觉部操作方法还可以包括如下步骤:判断解析信息作为任一操作命令是否满足预定的变化的步骤;若满足时,输出相应的预定的操作命令的步骤。
[0056]接面部被弹性体支承地形成在控制台面板的前表面,弹性体可以提供恢复力,以便解除接面部运动施加的外力时,接面部恢复到原位置。
[0057]根据本发明的另一实施方式,提供一种手术机器人,利用操作信号控制视觉部的位置及图像输入角度中的一个以上,其包括:接面部,用于将通过视觉部获得的图像作为视觉信息提供;分析处理部,生成解析通过接面部看到的面部运动的解析信息;操作命令生成部,判断解析信息作为任一操作命令是否满足预定的变化,若满足时,输出用于操作视觉部的操作命令。
[0058]分析处理部可以包括:摄像单元,在手术机器人的内侧朝向所述接面部拍摄而生成图像数据;存储单元,用于存储生成的图像数据;分析单元,在依次生成的图像数据中,按时间顺序比较判断规定特征点的位置变化,并生成有关面部运动的解析信息。
[0059]接面部可以作为所述手术机器人的控制台(console)面板的一部分形成,接面部可以由透光材料形成,从而使通过视觉部获得的图像以视觉信息方式能够看到。
[0060]根据本发明的另一实施方式,提供一种视觉部操作方法,用于手术机器人控制视觉部的位置及图像输入角度中的一个以上,其特征在于,包括如下步骤:生成解析通过接目部看到的瞳孔位置变化、眼睛模样变化及注视方向中一种以上的解析信息的步骤;判断解析信息作为任一操作命令是否满足预定的变化的步骤;若满足时,生成并输出有关视觉部的位置及图像输入角度中一个以上的操作命令的步骤。
[0061]生成解析信息的步骤可以包括如下步骤:生成并存储在手术机器人的内侧朝向接目部拍摄的图像数据的步骤;将存储的图像数据按时间顺序进行比较判断,并生成解析瞳孔位置变化、眼睛模样变化及注视方向中一种以上的解析信息的步骤。
[0062]根据本发明的另一实施方式,提供一种视觉部操作方法,用于手术机器人对视觉部进行操作,其包括如下步骤:拍摄对象物而生成图像数据的步骤;解析包含于图像数据中的面部内两眼中心点的连接线与画面中心线所形成的内角大小及旋转方向,并与根据之前拍摄的图像数据解析出的内角大小及旋转方向进行比较,以生成有关面部旋转方向及旋转角度的位移量信息的步骤;生成并输出操作命令以与所述位移量信息对应地操作所述视觉部的步骤。
[0063]生成位移量信息的步骤可以包括如下步骤:算出根据之前拍摄的图像数据解析出的面部内的基准点与根据图像数据解析出的面部内的基准点之间的距离信息的步骤;使所述算出的距离信息包含于所述位移量信息,以用于所述视觉部的平行移动操作的步骤。
[0064]生成位移量信息的步骤可以包括如下步骤:算出根据之前拍摄的图像数据解析出的面部内两眼间距与根据图像数据解析出的面部内两眼间距之间的变化量的步骤;使所述两眼间距之间的变化量包含于所述位移量信息,以用于调节所述视觉部的图像倍率的步骤。
[0065]视觉部可以是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜、心脏镜中的一种以上。
[0066]视觉部可以是用于获得三维图像的装置,可以根据面部和眼睛的位置调节三维图像处理所需的左/右图像重叠程度。
[0067]视觉部操作方法还可以包括如下步骤:算出包含于图像数据中的面部特征要素和预先存储于存储部的认证用户的照片图像之间的类似度的步骤;在算出的类似度大于等于预定值时,进行控制以执行所述生成并输出操作命令的步骤的步骤。在此,面部特征要素可以是构成部位的位置及模样、瞳孔颜色、面部模样、皮肤颜色、皱纹形状、红晕中的一个以上,构成部位可以是眼睛、眉毛、鼻子和嘴中的一个以上。
[0068]视觉部操作方法还可以包括如下步骤:判断包含于图像数据中的面部是否满足预先存储的有效用户信息的步骤;在满足时,进行控制以执行所述生成并输出操作命令的步骤的步骤。在存储部可以预先存储有效用户信息,该有效用户信息是在图像数据中面部轮廓所处的区域信息及包含于图像数据中的面部大小的基准值中的一种以上。
[0069]视觉部操作方法还可以包括如下步骤:判断包含于图像数据中的面部运动状态是否保持规定时间以上的步骤;在面部运动状态保持规定时间以上时,进行控制以执行所述生成并输出操作命令的步骤的步骤。。
[0070]视觉部操作方法还可以包括如下步骤:判断包含于图像数据中的面部运动程度是否超出预定范围的步骤;在超出预定范围时,进行控制以执行生成并输出操作命令的步骤的步骤。
[0071]视觉部操作方法还可以包括如下步骤:解析多个图像数据来生成面部表情及头部运动中一个以上的变化信息的步骤;根据对应于面部表情及头部运动中一个以上的变化信息的操作命令信息,生成并输出相应操作命令的步骤。在存储部可以预先存储对头部运动及面部表情的变化生成的操作命令信息。
[0072]另外,根据本发明的另一实施方式,提供一种体感式手术用图像处理装置,其包括:图像输入部,接收从手术用内窥镜提供的内窥镜图像;画面显示部,将内窥镜图像输出在特定区域;画面显示控制部,变更对应于手术用内窥镜的视点而输出内窥镜图像的画面显示部的特定区域。
[0073]在此,手术用内窥镜可以是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜、心脏镜中的一种以上,也可以是立体内窥镜。
[0074]在此,画面显示控制部可以包括:内窥镜视点追踪部,对应于手术用内窥镜的移动及旋转,追踪手术用内窥镜的视点信息;图像移动信息提取部,利用手术用内窥镜的视点信息,提取内窥镜图像的移动信息;图像位置设定部,利用移动信息,设定在画面显示部输出内窥镜图像的特定区域。
[0075]此外,画面显示控制部可以对应于手术用内窥镜的视点坐标变化值,移动内窥镜图像的中心点。
[0076]根据本发明的另一实施方式,提供一种体感式手术用图像处理装置,其包括:图像输入部,接收从手术用内窥镜以彼此不同时间点提供的第一内窥镜图像和第二内窥镜图像;画面显示部,将第一内窥镜图像和第二内窥镜图像向彼此不同区域输出;图像存储部,用于存储第一内窥镜图像和第二内窥镜图像;画面显示控制部,用于控制画面显示部,以与手术用内窥镜的彼此不同视点对应地,将第一内窥镜图像和第二内窥镜图像向彼此不同区域输出。
[0077]在此,图像输入部可以比先于第二内窥镜图像接收第一内窥镜图像,画面显示部可以输出使彩度、亮度、颜色及画面图案中一种以上不同的第一内窥镜图像和第二内窥镜图像。
[0078]此外,画面显示控制部还可以包括存储图像显示部,画面显示部输出实时输入的第二内窥镜图像的期间,提取存储于图像存储部的第一内窥镜图像而输出给画面显示部。
[0079]根据本发明的另一实施方式,提供一种体感式手术用图像处理装置,其包括:图像输入部,接收从手术用内窥镜提供的内窥镜图像;画面显示部,将内窥镜图像输出在特定区域;图像存储部,用于存储对手术用内窥镜拍摄的手术对象进行手术的有关手术工具的建模图像;图像匹配部,将内窥镜图像和建模图像彼此匹配而生成输出图像;画面显示控制部,变更对应于手术用内窥镜的视点而输出内窥镜图像的画面显示部的特定区域,并向画面显示部输出匹配的内窥镜图像和建模图像。
[0080]在此,图像匹配部可以将包含于内窥镜图像中的实际手术工具图像和包含于建模图像中的建模手术工具图像进行彼此匹配,而生成输出图像。
[0081]此外,图像匹配部还可以包括:特性值运算部,利用内窥镜图像及结合于一个以上机器臂的实际手术工具的位置坐标信息中的一个以上来运算特性值;建模图像实现部,实现对应于特性值运算部运算的特性值的建模图像。
[0082]在此,图像匹配部还可以包括重叠图像处理部,从建模手术工具图像去除建模手术工具图像和实际手术工具图像的重叠区域,而且,可以利用手术工具的操作信息来设定向建模图像输出的建模手术工具图像的位置。
[0083]根据本发明的另一实施方式,提供一种体感式手术用图像处理装置,其包括:图像输入部,接收从手术用内窥镜提供的内窥镜图像;画面显示部,输出内窥镜图像;画面驱动部,使画面显示部旋转及移动;画面驱动控制部,用于控制画面驱动部,使得画面驱动部对应于手术用内窥镜的视点,旋转及移动画面显示部。
[0084]在此,画面驱动控制部可以包括:内窥镜视点追踪部,对应于手术用内窥镜的移动及旋转,追踪手术用内窥镜
当前第1页1 2 3 4 5 6 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1