专利名称：手术机器人系统及其自适应控制方法
技术领域：
本发明涉及一种手术机器人系统及其自适应控制方法。
背景技术：
医学上的手术是指使用医疗器械对皮肤、粘膜或其它组织进行切开、切割或进行操作而治愈病的行为。特别是，切开手术部位皮肤而对其内部器官等进行治疗、整形或切除的剖腹手术等，由于出血、副作用、患者痛苦、疤痕等问题，最近使用机器人(robot)的手术备受欢迎。手术机器人系统一般包括主机器人和从机器人，主机器人和从机器人可以是各自独立实现，也可以是一体实现。当施术者操作主机器人上所具有的操纵器(例如手柄)时，与从机器人的机器臂结合或由机器臂把持的手术工具(即手术器械instrument)被操作，从而进行手术。为了进行根据施术者操作操纵器的手术，手术机器人系统在多种动作模式下执行指定的动作。对作为多种动作模式中的部分动作模式的主机器人重定位模式、腹腔镜位置控制模式、保持模式说明如下。主机器人重定位模式为，按下所具有的主机器人重定位按钮时的手术机器人系统的动作模式，即使施术者移动操纵器，根据操纵器操作的操作命令也不会传递到从机器人的动作模式。用于进入主机器人重定位模式的主机器人重定位按钮可以通过下面说明的离合按钮来实现。腹腔镜位置控制模式是当施术者移动操纵器时腹腔镜取代安装在从机器人上的手术工具而被操作的动作模式。施术者按住主机器人上预先具备的摄像机按钮(例如踏板)的情况下移动操纵器，从而能够在腹腔镜位置控制模式下以移动腹腔镜等方式操作腹腔镜。保持模式是维持当前动作状态的动作模式，是使主机器人和从机器人都在当前状态停止的动作模式。通过施术者按下预先设定的按钮或面部从控制台(console)离开等动作，手术机器人系统可以进入保持模式。下面，参照相关附图简单说明现有技术涉及的手术机器人系统的主机器人重定位模式及腹腔镜位置控制模式的动作。图I是表示现有技术涉及的手术机器人系统整体结构的俯视图，图2是表示现有技术涉及的手术机器人系统主界面的概念图，图3a及图3b是表示现有技术中的手术机器人系统所具有的手术器械的移动控制过程的概念图。参照图I及图2，手术机器人系统包括从机器人2，对躺在手术台上的患者直接实施手术；主机器人I，施术者用于远程操控从机器人2。当主机器人I和从机器人2 —体构成时，主界面4可对应于一体型手术机器人的界面部分。从机器人2包括机器臂3及腹腔镜5。主机器人I的主界面4包括显示器6、手柄10、主机器人重定位按钮及摄像机按钮。主机器人重定位按钮及摄像机按钮可以分别由离合按钮14或踏板30等形式实现。主机器人I和从机器人2可以通过有线网络或无线网络相连接并将操作信号等传送给对方。如果，需要在相同及/或相近时间传送通过主界面4上所具有的两个手柄10的两个操作信号及/或用于调节腹腔镜5位置的操作信号时，各操作信号可以彼此独立地传送给从机器人2。从机器人2的机器臂3可具有多自由度地驱动。机器臂3例如可以包括手术工具，插入在患者的手术部位；偏转驱动部，根据手术位置以使手术工具向偏转(yaw)方向旋转；俯仰驱动部，向与偏转驱动部的旋转驱动正交的俯仰(Pitch)方向旋转手术工具；移送驱动部，向长度方向移动手术工具；旋转驱动部，用于旋转手术工具；手术工具驱动部，设在手术工具的末端，用于切开或切割手术病灶。主界面4上所具有的两个手柄10形成为，能够由施术者分别攥在双手上进行操作，根据施术者操作手柄10的操作信号传送到从机器人2，从而控制机器臂3。通过腹腔镜5输入的图像以画面图像显示在主界面4的显示器6上。而且，在显示器6上还可以增加显示例如患者的心电图曲线等。在主界面4上具有的主机器人重定位按钮是，施术者进行手术过程中，将用于进行手术的作业区域(例如，为了操作手术工具而通过腹腔镜5拍摄的区域)从第一位置移动到不同位置的第二位置后，为了操作主界面4的手柄10而再调节行动区域(例如，当前作业区域的中心位置恢复调整到手柄10的基本位置)时，能够利用的控制按钮。施术者输入主机器人重定位按钮的状态(例如，踩踏踏板30的状态)下即使向任一方向操作手柄10,该操作引起的手术工具操作命令或腹腔镜5操作命令也不会提供给从机器人2，因此施术者能够为了便于进行手术动作将手柄10恢复到原来状态。S卩，当施术者将作业区域从第一位置移动到第二位置时，首先要进行用于移动腹腔镜5的摄像机按钮输入(即，进入腹腔镜位置控制模式)，并通过操作手柄10将腹腔镜5移动至所需位置之后，为了防止腹腔镜5在为移动腹腔镜5而向任一方向操作的手柄10恢复至原来位置时移动，在按住主机器人重定位按钮的状态(主机器人重定位模式)下对手柄10进行操作而恢复至原来位置后，结束主机器人重定位按钮的按住状态，从而能够再调节行动区域，以便在变更的作业区域内进行用于操作手术工具的手柄10的操作。但是，腹腔镜5在腹腔镜位置控制模式下通过操作手柄10向相应方向移动的程度，限定于预先设定的作业区域310的尺寸，所以，如图3a所示的将作业区域310从(a)区域移动至(b)区域时，给施术者带来很大不便。S卩，要将(a)区域的作业区域310移动至(b)区域时，如图3b所示，施术者只能将作业区域310以(a)、(pi)、(p2)、(p3)及(b)的顺序依次移动，在各移动步骤中，施术者需要反复进行操作摄像机按钮而移动腹腔镜5、操作手柄10使腹腔镜5移动、为了将手柄10恢复到原来位置而操作主机器人重定位按钮及结束操作的过程，当移动作业区域10的路径改变时，摄像机按钮及主机器人重定位按钮的操作次数还可能更多。在此，图3b的c-a、c-b等表示随着操作手柄10腹腔镜5的移动位置。而且，在现有技术涉及的手术机器人系统中，手 术工具的移动方式的问题点是，与通过腹腔镜5输入的图像信息倍率无关地保持不变。其理由是，用于定义手术工具移动间距的移动比例因子(MSF，Motion ScaleFactor)固定在一定值以能够在预先设定的作业区域310内进行最佳移动，而完全未考虑通过腹腔镜5输入的图像信息包括哪些部分及哪些区域。而且，以作业区域为单位的腹腔镜5移动机制最终导致手术时间延长，还存在对在高度紧张状态下进行手术的医生带来严重疲劳感的问题。
所述背景技术是发明人为了导出本发明而所掌握或在导出本发明的过程中所学到的技术信息，不一定是本发明申请前被一般公众公开的公知技术。
发明内容
本发明目的在于提供一种手术机器人系统及其自适应控制方法，能够根据由腹腔镜拍摄的图像信息是关于哪个区域及哪个范围的被摄体来自适应地改变手术工具的移动比例因子。本发明目的在于提供一种手术机器人系统及其自适应控制方法，能够缩短手术时间及减轻手术进行过程中施术者的疲劳感，并根据显示的图像信息能够直观地辨认手术工具的移动距离。本发明目的在于提供一种手术机器人系统及其自适应控制方法，能够最大限度地提高腹腔镜及/或手术工具的操作便利性。本发明目的在于提供一种手术机器人系统及其自适应控制方法，改善为了操作腹腔镜而利用的摄像机按钮，并增加了单独的位置控制/速度控制按钮，从而能够实施新的动作。根据本发明的一实施方式，提供一种主界面，包括于安装有手术用内窥镜及手术工具中的一个以上控制对象的手术机器人系统中，并用于控制所述控制对象的位置，该主界面包括操作部，接收用于对控制对象进行移动操作的用户命令；存储部，用于存储由手术用内窥镜提供的图像信息中的一个以上的基准图像和对应于基准图像的移动比例因子(Motion Scale Factor);比例因子运算部，判断当前通过手术用内窥镜提供的当前图像信息与基准图像相比是被放大还是缩小，并且以与其放大或缩小程度成线性或非线性比例的方式调节移动比例因子，并进行再设定；操作信号生成部，将利用操作部的用户命令转换为对应于再设定的移动比例因子，从而生成对于控制对象的操作信号。比例因子运算部为了判断当前图像信息与基准图像相比是被放大还是缩小，可以根据预先设定的图像解析技术检测当前图像信息在基准图像中的一致区域，并设定区域。比例因子运算部可以利用被设定区域的横向尺寸、竖向尺寸、对角线长度及宽度中一个以上的换算信息和在基准图像中对应于换算信息的信息之间的比例关系来调节移动比例因子。根据用户命令的控制对象的移动距离，可通过移动比例因子进行调节。手术用内窥镜可以是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜、心脏镜中的一个以上。根据本发明的一实施方式，提供一种主界面，包括于安装有手术用内窥镜及手术工具中一个以上的控制对象的手术机器人系统中，并用于控制所述控制对象的位置，该主界面包括操作部，接收用于对控制对象进行移动操作的用户命令；存储部，用于存储一个以上的基于手术用内窥镜的拍摄条件的移动比例因子；比例因子运算部，接收有关手术用内窥镜拍摄条件的信息，在存储部检索相应的移动比例因子，并设定为适用的移动比例因子；操作信号生成部，将利用操作部的用户命令转换为对应于所设定的移动比例因子，从而生成对于控制对象的操作信号。拍摄条件可以是手术用内窥镜的图像拍摄变焦倍率、拍摄位置、距手术部位表面的距离及被拍摄的手术部位的实际尺寸中的一个以上。图像拍摄变焦倍率为高倍率时的移动比例因子，可以比图像拍摄变焦倍率为低倍率时的移动比例因子，具有相对小的值。手术用内窥镜插入人体内部相对深时的移动比例因子，可以比手术用内窥镜相对插入浅时的移动比例因子，具有小的值。从用于检测距手术部位表面的距离的传感器接收检测值，距手术部位表面的距离越近，移动比例因子可以设定成越小的值。被拍摄的手术部位的实际尺寸越小，移动比例因子可以设定成越小的值。根据用户命令的手术工具的移动距离，可通过移动比例因子进行调节。当用户命令属于用于移动操作手术用内窥镜的命令时，手术用内窥镜的移动距离可通过移动比例因子进行调节。根据拍摄条件的变化，可实时运算移动比例因子并存储在存储部。当为了控制对象的移动操作，操作部以相对大的操作量被操作时，与操作部以相对少的操作量操作时相比，比例因子运算部可以设定更大的移动比例因子。当手术用内窥镜为获得三维图像的装置时，有关拍摄条件的信息可以是通过解析由手术用内窥镜拍摄的图像信息而计算出的深度(cbpth)信息。手术用内窥镜可以是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜、心脏镜中的一个以上。根据本发明的另一实施方式，提供一种控制对象的自适应控制方法，是在主界面上执行的手术用内窥镜及手术工具中一个以上的控制对象的自适应控制方法，包括如下步骤存储由手术用内窥镜提供的图像信息中一个以上的基准图像和与基准图像相应的移动比例因子(Motion Scale Factor)的步骤；判断由当前手术用内窥镜提供的当前图像信息与基准图像相比是被放大还是缩小的步骤；以与判断的放大或缩小程度成线性或非线性比例的方式调节移动比例因子并进行再设定的步骤；将为了对控制对象进行移动操作而输入的用户命令转换成对应于再设定的移动比例因子，并生成对于控制对象的操作信号的步骤。在判断步骤中，为了判断当前图像信息与基准图像相比是被放大还是缩小，可以根据预先设定的图像解析技术检测当前图像信息在基准图像中的一致区域，从而设定区域。在调节并进行再设定的步骤中，可以利用被设定区域的横向尺寸、竖向尺寸、对角线长度及宽度中一个以上的换算信息和在基准图像中对应于换算信息的信息之间的比例关系来调节移动比例因子。根据用户命令的控制对象的移动距离，可以通过移动比例因子进行调节。手术用内窥镜可以是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜、心脏镜中的一个以上。
根据本发明的另一实施方式，提供一种手术工具的自适应控制方法，是在主界面上执行的手术用内窥镜及手术工具中一个以上的控制对象的自适应控制方法，包括如下步骤存储基于手术用内窥镜拍摄条件的一个以上移动比例因子的步骤；接收有关手术用内窥镜拍摄条件的信息，在存储部检索相应的移动比例因子，并设定为适用的移动比例因子的步骤；将为了对控制对象进行移动操作而输入的用户命令转换为对应于再设定的移动比例因子，并生成对于控制对象的操作信号的步骤。拍摄条件可以是手术用内窥镜的图像拍摄变焦倍率、拍摄位置、距手术部位表面的距离及被拍摄手术部位的实际尺寸中的一个以上。图像拍摄变焦倍率为高倍率时的移动比例因子，可以比图像拍摄变焦倍率为低倍率时的移动比例因子，具有相对小的值。手术用内窥镜插入人体内部相对深时的移动比例因子，可以比手术用内窥镜相对插入浅时的移动比例因子，具有小的值。还包括接收由传感器检测的距手术部位表面的距离的信息的步骤，距手术部位表面的距离越近，移动比例因子可以设定为越小的值。被拍摄的手术部位的实际尺寸越小，移动比例因子可以设定为越小的值。根据用户命令的控制对象的移动距离，可以通过移动比例因子进行调节。根据拍摄条件的变化，可实时运算移动比例因子并存储在存储部。在设定步骤中，当用于移动操作控制对象的用户命令为有关操作部相对大的操作量时，与操作部以相对少的操作量被操作时相比，可以设定更大的移动比例因子。手术用内窥镜为获得三维图像的装置时，有关拍摄条件的信息可以是通过解析由手术用内窥镜拍摄的图像信息而计算出的深度(Cbpth)信息。手术用内窥镜可以是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜、心脏镜中的一个以上。根据本发明的另一实施方式，提供一种主界面，包括于安装有手术用内窥镜及手术工具中一个以上的控制对象的手术机器人系统中，并用于控制控制对象的位置，该主界面包括操作部，接收用于移动操作控制对象的用户命令；操作信号生成部，根据工具/视觉选择(Instrument/Vision Selection)输入单元的选择信息，与操作部的操作量相对应地生成用于控制相应控制对象的位置的操作信号。操作信号生成部判断是否选择了位置控制模式，而且只有在被选择的情况下才能生成用于控制所述位置的操作信号。根据工具/视觉选择输入单元的选择信息，控制对象可以指定为手术用内窥镜及手术工具中的一个以上。工具/视觉选择输入单元为了指定控制对象，可以由一个以上的按钮构成。当根据工具/视觉选择输入单元的选择信息，控制对象被指定为手术用内窥镜及手术工具时，操作信号生成部可以生成操作信号，该操作信号使手术用内窥镜及手术工具在保持并排状态下向与操作部的操作方向相应的方向移动。
当根据工具/视觉选择输入单元的选择信息，控制对象被指定为手术用内窥镜及手术工具时，处于夹住手术部位中任一部位的状态的手术工具、末端未被手术用内窥镜拍摄的手术工具、夹钳(jaw)处于闭合状态的手术工具、被施术者指定为保持固定状态的手术工具、以及在多个操作部各自具有的固定状态保持按钮中按下任一固定状态按钮时与该操作部相对应地设定的手术工具中的一个以上，可以与操作部的操作无关地不进行移动而保持其位置。
被控制成对应于操作部操作量的控制对象的位置移动量，可以通过移动比例因子(Motion Scale Factor)而决定。还包括存储部，存储由手术用内窥镜提供的图像信息中一个以上的基准图像和与基准图像相应的移动比例因子；比例因子运算部，判断当前由手术用内窥镜提供的当前图像信息与基准图像相比是被放大还是缩小，并且以与其放大或缩小程度成线性或非线性比例的方式调节移动比例因子，从而进行再设定；操作信号生成部可以将操作部的操作量转换而使其对应于再设定的移动比例因子，并生成操作信号。比例因子运算部为了判断当前图像信息与基准图像相比是被放大还是缩小，可以根据预先设定的图像解析技术检测当前图像信息在基准图像中的一致区域，并设定区域。比例因子运算部可以利用被设定区域的横向尺寸、竖向尺寸、对角线长度及宽度中一个以上的换算信息和在基准图像中对应于换算信息的信息之间的比例关系来调节移动比例因子。还包括存储部，存储基于手术用内窥镜拍摄条件的一个以上移动比例因子；t匕例因子运算部，接收有关手术用内窥镜拍摄条件的信息，并在存储部检索相应的移动比例因子，并设定为适用的移动比例因子；操作信号生成部可以将操作部的操作量转换成使其对应于设定的移动比例因子，并生成操作信号。拍摄条件可以是手术用内窥镜的图像拍摄变焦倍率、拍摄位置、距手术部位表面的距离及被拍摄手术部位的实际尺寸中的一个以上。图像拍摄变焦倍率为高倍率时的移动比例因子，可以比图像拍摄变焦倍率为低倍率时的移动比例因子，具有相对小的值。手术用内窥镜插入人体内部相对深时的移动比例因子，可以比手术用内窥镜相对插入浅时的移动比例因子，具有小的值。从用于检测距手术部位表面的距离的传感器接收检测值，距手术部位表面的距离越近，移动比例因子可以设定成越小的值。被拍摄的手术部位的实际尺寸越小，移动比例因子可以设定成越小的值。根据拍摄条件的变化，实时运算移动比例因子可并存储在存储部。当用于移动操作手术工具的操作部以相对大的操作量被操作时，与操作部以相对少的操作量操作时相比，比例因子运算部能够设定更大的移动比例因子。手术用内窥镜为获得三维图像的装置时，有关拍摄条件的信息可以是通过解析被手术用内窥镜拍摄的图像信息而计算出的深度(cbpth)信息。手术用内窥镜可以是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜、心脏镜中的一个以上。根据本发明的另一实施方式，提供一种有关控制对象的位置控制方法，是对在主界面上执行的手术用内窥镜及手术工具中一个以上控制对象的位置控制方法，包括如下步骤利用操作部接收用于移动操作控制对象的用户命令的步骤；根据工具/视觉选择(Instrument/Vision Selection)输入单元的选择信息，与操作部的操作量相应地生成用于控制相应控制对象位置的操作信号的步骤。根据工具/视觉选择输入单元的选择信息，控制对象可以指定为手术用内窥镜及手术工具中的一个以上。当根据工具/视觉选择输入单元的选择信息，控制对象被指定为手术用内窥镜及手术工具时，在生成步骤中生成操作信号，该操作信号可以使手术用内窥镜及手术工具在保持并排状态下向与操作部的操作方向相应的方向移动。
当根据工具/视觉选择输入单元的选择信息，控制对象被指定为手术用内窥镜及手术工具时，处于夹住手术部位中任一部位的状态的手术工具、其末端未被手术用内窥镜拍摄的手术工具、夹钳(jaw)处于闭合状态的手术工具、由施术者指定成保持固定状态的手术工具、以及在多个操作部中各自具有的固定状态保持按钮中按下任一固定状态按钮时与该操作部相应设定的手术工具中的一个以上，可与操作部的操作无关地不进行移动而保持其位置。被控制成对应于操作部操作量的控制对象的位置移动量，可以通过移动比例因子(Motion Scale Factor)而决定。提供一种控制对象的位置控制方法，其特征在于，生成步骤包括判断由当前手术用内窥镜提供的当前图像信息与通过手术用内窥镜提供的图像信息中的任一基准图像相比是被放大还是缩小的步骤；被放大或缩小时，以与其放大或缩小程度成线性或非线性比例的方式调节移动比例因子，并进行再设定的步骤；生成与转换的操作量相应的操作信号的步骤，该转换的操作量符合再设定的移动比例因子。在判断是被放大还是缩小的步骤中，可以根据预先设定的图像解析技术检测当前图像信息在基准图像中的一致区域，从而设定区域。在生成步骤中，可以包括接收有关手术用内窥镜拍摄条件的信息的步骤；从预先存储在存储部中的基于拍摄条件的一个以上的移动比例因子中抽取对应于接收的信息的移动比例因子的步骤；将操作部的操作量转换而使其对应于抽取的移动比例因子，从而生成操作信号的步骤。拍摄条件可以是手术用内窥镜的图像拍摄变焦倍率、拍摄位置、距手术部位表面的距离及由手术用内窥镜拍摄的手术部位实际尺寸中的一个以上。图像拍摄变焦倍率为高倍率时的移动比例因子，可以比图像拍摄变焦倍率为低倍率时的移动比例因子，具有相对小的值。手术用内窥镜插入人体内部相对深时的移动比例因子，可以比手术用内窥镜相对插入浅时的移动比例因子，具有小的值。还包括从用于检测距手术部位表面的距离的传感器接收检测值的步骤，距手术部位表面的距离越近，移动比例因子可以设定成越小的值。被拍摄的手术部位的实际尺寸越小，移动比例因子可以设定成越小的值。根据拍摄条件的变化，可实时运算移动比例因子并存储在存储部。当为了控制控制对象的位置，操作部以相对大的操作量操作时，与操作部以相对少的操作量操作时相比，可以设定更大的移动比例因子。手术用内窥镜为获得三维图像的装置时，有关拍摄条件的信息可以是通过解析被手术用内窥镜拍摄的图像信息而计算出的深度(Cbpth)信息。
根据本发明的另一实施方式，提供一种主界面，包括于安装有手术用内窥镜及手术工具中一个以上的控制对象的手术机器人系统中，并用于控制控制对象的移动速度，该主界面包括操作部，接收用于移动操作控制对象的用户命令；操作信号生成部，根据工具/视觉选择(Instrument/Vision Selection)输入单元的选择信息，与操作部的操作量相对应地生成用于控制相应控制对象的移动速度的操作信号。操作信号生成部判断是否选择了速度控制模式，而且只有在被选择的情况下才能生成用于控制所述移动速度的操作信号。操作部的操作量越大，控制对象的移动速度可以被设定成越大的值。 根据工具/视觉选择输入单元的选择信息，控制对象可以指定为手术用内窥镜及手术工具中的一个以上。工具/视觉选择输入单元为了指定控制对象，可以由一个以上的按钮构成。当根据工具/视觉选择输入单元的选择信息，控制对象被指定为手术用内窥镜及手术工具时，操作信号生成部可以生成操作信号，该操作信号可以使手术用内窥镜及手术工具在保持并排状态下向与操作部的操作方向相应的方向移动。当根据工具/视觉选择输入单元的选择信息，控制对象被指定为手术用内窥镜及手术工具时，处于夹住手术部位中任一部位的手术工具、末端未被手术用内窥镜拍摄的手术工具、夹钳(jaw)处于闭合状态的手术工具、由施术者指定成保持固定状态的手术工具、以及在多个操作部中各自具有的固定状态保持按钮中按下任一固定状态按钮时与该操作部相应设定的手术工具中的一个以上，可以与操作部的操作无关地不进行移动而保持其位置。被控制成对应于操作部操作量的控制对象的移动速度，可以通过移动比例因子(Motion Scale Factor)而决定。还包括存储部，存储由手术用内窥镜提供的图像信息中一个以上的基准图像和与基准图像相对应的移动比例因子；比例因子运算部，判断当前由手术用内窥镜提供的当前图像信息与基准图像相比是被放大还是缩小，并且以与其放大或缩小程度成线性或非线性比例的方式调节移动比例因子，从而进行再设定；操作信号生成部可以将操作部的操作量转换而使其对应于再设定的移动比例因子，并生成操作信号。比例因子运算部为了判断当前图像信息与基准图像相比是被放大还是缩小，可以根据预先设定的图像解析技术检测当前图像信息在基准图像中的一致区域，从而设定区域。比例因子运算部可以利用被设定的区域的横向尺寸、竖向尺寸、对角线长度及宽度中一个以上的换算信息和在基准图像中对应于换算信息的信息之间的比例关系来调节移动比例因子。还包括存储部，存储根据手术用内窥镜拍摄条件的一个以上的移动比例因子；比例因子运算部，接收有关手术用内窥镜拍摄条件的信息，并在存储部检索相应的移动比例因子，从而设定为适用的移动比例因子；操作信号生成部可以将操作部的操作量转换而对应于设定的移动比例因子，并生成操作信号。拍摄条件可以是手术用内窥镜的图像拍摄变焦倍率、拍摄位置、距手术部位表面的距离及被拍摄手术部位的实际尺寸中的一个以上。
图像拍摄变焦倍率为高倍率时的移动比例因子，可以比图像拍摄变焦倍率为低倍率时的移动比例因子，具有相对小的值。手术用内窥镜插入人体内部相对深时的移动比例因子，可以比手术用内窥镜相对插入浅时的移动比例因子，具有小的值。从用于检测与手术部位表面之间距离的传感器接收检测值，距手术部位表面的距离越近，移动比例因子设定成越小的值。被拍摄的手术部位的实际尺寸越小，移动比例因子可以设定成越小的值。根据拍摄条件的变化，可实时运算移动比例因子并存储在存储部。当用于移动操作手术工具的操作部以相对大的操作量被操作时，与操作部以相对少的操作量操作时相比，比例因子运算部能够设定更大的移动比例因子。手术用内窥镜为获得三维图像的装置时，有关拍摄条件的信息可以是通过解析被手术用内窥镜拍摄的图像信息而计算出的深度(Cbpth)信息。手术用内窥镜可以是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜、心脏镜中的一个以上。根据本发明的另一实施方式，提供一种控制对象的移动速度控制方法，在安装有手术用内窥镜及手术工具中一个以上控制对象的手术机器人系统中执行，包括如下步骤利用操作部接收用于移动操作控制对象的用户命令的步骤；根据工具/视觉选择(Instrument/Vision Selection)输入单元的选择信息，与操作部的操作量相对应地生成用于控制相应控制对象的移动速度的操作信号。在生成步骤中，操作部的操作量越大，控制对象的移动速度可以被指定为越大的值。根据工具/视觉选择输入单元的选择信息，控制对象可以指定为手术用内窥镜及手术工具中的一个以上。当根据工具/视觉选择输入单元的选择信息，控制对象被指定为手术用内窥镜及手术工具时，在生成步骤中可以生成操作信号，该操作信号使手术用内窥镜及手术工具在保持并排状态下向与操作部的操作方向相应的方向移动。当根据工具/视觉选择输入单元的选择信息，控制对象被指定为手术用内窥镜及手术工具时，处于夹住手术部位中任一部位的状态的手术工具、末端未被手术用内窥镜拍摄的手术工具、夹钳(jaw)处于闭合状态的手术工具、由施术者指定成保持固定状态的手术工具、以及在多个操作部中各自具有的固定状态保持按钮中按下任一固定状态按钮时与该操作部相应设定的手术工具中的一个以上，可以与操作部的操作无关地不进行移动而保持其位置。被控制成对应于操作部操作量的控制对象的移动速度，可以通过移动比例因子(Motion Scale Factor)而决定。
提供一种控制对象的位置控制方法，其特征在于，生成步骤包括判断由当前手术用内窥镜提供的当前图像信息与通过手术用内窥镜提供的图像信息中任一基准图像相比是被放大还是缩小的步骤；被放大或缩小时，以与其放大或缩小程度成线性或非线性比例的方式调节移动比例因子，从而进行再设定的步骤；生成与转换的操作量相应的操作信号的步骤，该转换的操作量符合再设定的移动比例因子。
在判断是被放大还是缩小的步骤中，可以根据预先设定的图像解析技术检测当前图像信息在基准图像中的一致区域，从而设定区域。
生成步骤可以包括接收有关手术用内窥镜拍摄条件的信息的步骤；从预先存储在存储部中的基于拍摄条件的一个以上的移动比例因子中抽取对应于所接收的信息的移动比例因子的步骤；将操作部的操作量转换而使其对应于抽取的移动比例因子，从而生成操作信号的步骤。拍摄条件可以是手术用内窥镜的图像拍摄变焦倍率、拍摄位置、距手术部位表面的距离及由手术用内窥镜拍摄的手术部位实际尺寸中的一个以上。图像拍摄变焦倍率为高倍率时的移动比例因子，可以比图像拍摄变焦倍率为低倍率时的移动比例因子，具有相对小的值。手术用内窥镜插入人体内部相对深时的移动比例因子，可以比手术用内窥镜相对插入浅时的移动比例因子，具有更小的值。还包括从用于检测距手术部位表面的距离的传感器接收检测值的步骤，距手术部位表面的距离越近，移动比例因子可以设定成越小的值。被拍摄的手术部位的实际尺寸越小，移动比例因子可以设定成越小的值。根据拍摄条件的变化，可实时运算移动比例因子并存储在存储部。当为了控制对象的位置控制，操作部以相对大的操作量操作时，与操作部以相对少的操作量操作时相比，可以设定更大的移动比例因子。手术用内窥镜为获得三维图像的装置时，有关拍摄条件的信息可以是通过解析被手术用内窥镜拍摄的图像信息而计算出的深度(cbpth)信息。除上述之外，其它实施方式、特征、优点可以通过下面的附图、权利要求范围及发明的详细说明会更加明确。根据本发明的实施例，可以根据通过腹腔镜拍摄的图像信息为有关哪个区域及哪个范围内的被摄体，自适应地改变手术工具的移动比例因子。而且，能够缩短手术时间及减轻手术进行过程中施术者的疲劳感，并根据显示的图像信息能够直观地认识手术工具的移动距离。而且，能够最大化腹腔镜及/或手术工具的操作便利性。而且，改善用于操作腹腔镜的摄像机按钮，并增加了单独的位置控制/速度控制按钮，从而能够实施新的动作。
图I是表示现有技术涉及的手术机器人系统的整体结构的俯视图。图2是表示现有技术涉及的手术机器人系统的主界面的概念图。图3a及图3b是表示现有技术涉及的手术机器人系统所具有的器械的移动控制过程的概念图。图4a是概略表示本发明的一实施例涉及的手术机器人系统结构的模块图。图4b及图4c是表示本发明的一实施例涉及的适用固定(fixed)移动比例因子(Motion Scale Factor)的概念的不意图。图4d及图4e是表示本发明的一实施例涉及的适用自适应(adaptive)移动比例因子概念的示意图。图5a及图5b是表示本发明的一实施例涉及的移动比例因子的自适应调节概念的示意图。
图6是表示本发明的一实施例涉及的移动比例因子的自适应调节方法的顺序图。图7是表示本发明的一实施例涉及的手术机器人系统的位置控制模式决定方法的顺序图。图8是表示本发明的另一实施例涉及的手术机器人系统的速度控制模式决定方法的顺序图。
具体实施例方式本发明可以进行各种改进并且可具有多种实施例，将对具体的实施例进行详细说明并在附图中示出。然而，具体实施例并不意在限制本发明，应该理解，本发明包括属于本发明的思想及技术范围的所有改进、等同物和替换物。当判断出与本发明相关的公知技术的详细描述使本发明的主旨模糊时，将省略该详细描述。可以使用诸如“第一”、“第二”等术语来描述各种构成要素，但是所述构成要素不受所述术语限制。所述术语仅用于将一个构成要素与另一构成要素区分开来。在本申请中使用的术语仅用于描述具体的实施例，并不意在限制本发明。单数表示包括复数表示，只要可以清晰地区别理解。在本申请中诸如“包括”或“具有”的术语意在表示存在说明书中记载的特征、序号、步骤、操作、构成要素、组件或其组合，并且因此，应该理解，不排除存在或增加一个或多个不同的特征、编号、步骤、操作、构成要素、组件或其组合的可能性。下面，参照附图详细说明本发明的实施例，在参照附图的说明中，相同或相应的构成要素赋予了相同的附图标记，并省略对其的重复说明。图4a是概略表示本发明的一实施例涉及的手术机器人系统结构的模块图，图4b及图4c是表示本发明的一实施例涉及的适用了固定(fixed)移动比例因子(MotionScale Factor)概念的示意图，图4d及图4e是表示本发明的一实施例涉及的适用了自适应(adaptive)移动比例因子概念的示意图，图5a及图5b是表示本发明的一实施例涉及的移动比例因子的自适应调节概念的示意图。参照图4a，手术机器人系统可以包括主机器人I和从机器人2，主机器人I和从机器人2可以单独实施或一体实施。主机器人I包括图像输入部410、画面显示部420、臂操作部430、操作信号生成部450、比例因子运算部440及控制部460。虽然未图示，主机器人I还可以具有存储部。从机器人2包括机器臂3及腹腔镜5。图像输入部410通过有线或无线通讯网接收通过在从机器人2的腹腔镜5上具有的摄像机输入的图像。画面显示部420以视觉信息形式输出与通过图像输入部410接收的图像相应的画面图像。画面显示部420可以以显示器6等形式实现，用于将接收的图像通过画面显示部420以画面图像输出的图像处理程序可以由控制部460或图像处理部(未图示)执行。臂操作部430是施术者能够操作从机器人2的机器臂3及/或腹腔镜5的位置及功能的单元。臂操作部430如图2所示的可以以手柄形状形成，但并不限定于该形状，可以以实现相同目的的多种形状变形实施。而且，例如也可以部分以手柄形状形成，而其它部分以离合按钮等不同形状形成。例如，施术者攥住臂操作部430的状态下向任一方向操作臂操作部430时，能够使手术工具向该方向移动。臂操作部430例如也可以在三维空间进行倾斜操作，根据臂操作部430的实施方式其操作方式可以有多种。即，在本说明书中，为了移动操作手术工具及/或腹腔镜5等，以一端部被固定而通过将另一端部向任一方向弯曲而输入操作命令的结构的臂操作部430为例进行了说明，但用于接收施术者操作命令的臂操作部430可以具有多种结构，并根据采用的结构输入操作命令的方式也可以有多种。
如上所述，在主机器人I的主界面4上可以具有一个以上的功能按钮，各功能按钮可以以具有物理实体的机构形式按钮/开关实现，或者通过画面显示部420显示并通过施术者触摸而动作的软件形式的按钮/开关实现。主界面4上具有的功能按钮可以包括例如主机器人重定位按钮、工具/视觉选择按钮及位置控制/速度控制模式按钮中的一个以上。主机器人重定位(Master Reposition :MR)按钮是,为了使施术者基于利用主机器人I操作的操作命令不传递给从机器人2而使手术机器人系统在主机器人重定位模式下动作的按钮。施术者可以利用主机器人重定位按钮将臂操作部430恢复到原来位置，从而能够重新设定下面说明的在位置控制/速度控制模式下用于控制位置/速度的开始点。工具/视觉选择(Instrument/Vision Selection IVS)按钮是,施术者执行利用主机器人I的臂操作部430等的操作时，根据操作结果，操作腹腔镜5及手术工具中一个以上的按钮。其为改进并扩展了使用在现有技术中的手术机器人系统上的摄像机按钮的用途及功能，施术者能够利用工具/视觉选择按钮指定根据臂操作部430的操作而移动手术工具的工具控制模式、根据臂操作部430的操作而移动腹腔镜5的视觉控制模式、及根据臂操作部430的操作而移动手术工具和腹腔镜5的综合控制模式中的一个以上动作模式。如上所述，为了能够利用IVS按钮选择多个动作模式中的任一动作模式，例如IVS按钮可以由视觉控制按钮和综合控制按钮的两个按钮构成。此时，没有按任一按钮的状态下，可以在工具控制模式下驱动，仅按视觉控制按钮的状态下，可以在视觉控制模式下驱动，仅按综合控制按钮的状态下，可以在综合控制模式下驱动。此时，两个按钮都被按住的状态下，可以在如上所述的保持模式下驱动。当然，IVS按钮也可以由一个按钮实现。例如IVS按钮可以通过旋转操作来实现在多种动作模式中选择任一动作模式。作为其它例，IVS按钮也可以形成为能够按下的结构，在该按钮未被按住的状态下，可以在工具控制模式下驱动，保持按住的状态下，可以在视觉控制模式下驱动，双击时也可以开始综合控制模式，再按一次时结束综合控制模式。根据施术者的IVS按钮的操作状态，S卩，动作模式的有关信息可以通过画面显示部420显示。这样，用于指定手术机器人系统动作模式的按钮的实现形式及按钮操作形式可以由多种，该概念对于下面说明的位置控制/速度控制模式按钮也可以同样适用。位置控制/速度控制模式(Position/Velocity Mode PVM)按钮是施术者用于指定利用主机器人I的臂操作部430等的操作是在位置控制模式下动作还是在速度控制模式下动作的按钮。在此，位置控制模式是根据操作臂操作部430等来移动手术工具或腹腔镜位置(例如，手术工具等的操作)的动作模式，速度控制模式是根据操作臂操作部430等来变更手术工具或腹腔镜移动的速度(还可以包括方向)的动作模式。通过选择PVM按钮，手术机器人系统在位置控制模式或速度控制模式下动作，以在各动作模式下操作的对象为中心进行整理，如下表I。表I
权利要求
1.一种主界面，包括于安装有手术用内窥镜及手术工具中一个以上控制对象的手术机器人系统中，并用于控制所述控制对象的位置，该主界面包括 操作部，接收用于对所述控制对象进行移动操作的用户命令； 存储部，用于存储由所述手术用内窥镜提供的图像信息中一个以上的基准图像和对应于所述基准图像的移动比例因子； 比例因子运算部，判断当前通过所述手术用内窥镜提供的当前图像信息与所述基准图像相比是被放大还是缩小，并且以与其放大或缩小程度成线性或非线性比例的方式调节所述移动比例因子，并进行再设定；以及 操作信号生成部，将通过所述操作部的用户命令转换为对应于再设定的所述移动比例因子，从而生成对于所述控制对象的操作信号。
2.根据权利要求I所述的主界面，其特征在于， 所述比例因子运算部为了判断所述当前图像信息与所述基准图像相比是被放大还是缩小，根据预先设定的图像解析技术检测所述当前图像信息在所述基准图像中的一致区域，并设定区域。
3.根据权利要求2所述的主界面，其特征在于， 所述比例因子运算部利用所述被设定区域的横向尺寸、竖向尺寸、对角线长度及宽度中一个以上的换算信息和在所述基准图像中对应于所述换算信息的信息之间的比例关系来调节所述移动比例因子。
4.根据权利要求I所述的主界面，其特征在于， 基于所述用户命令的所述控制对象的移动距离，通过所述移动比例因子进行调节。
5.根据权利要求I所述的主界面，其特征在于， 所述手术用内窥镜是腹腔镜、胸腔镜、关节镜、鼻镜、膀胱镜、直肠镜、十二指肠镜、纵隔镜、心脏镜中的一个以上。
6.一种主界面，包括于安装有手术用内窥镜及手术工具中一个以上控制对象的手术机器人系统中，并用于控制所述控制对象的位置，该主界面包括 操作部，接收用于对所述控制对象进行移动操作的用户命令； 存储部，用于存储一个以上的基于手术用内窥镜的拍摄条件的移动比例因子； 比例因子运算部，接收有关所述手术用内窥镜拍摄条件的信息，并在所述存储部检索相应的移动比例因子，并设定为适用的移动比例因子；以及 操作信号生成部，将利用所述操作部的用户命令转换为对应于所述设定的移动比例因子，从而生成对于所述控制对象的操作信号。
7.根据权利要求6所述的主界面，其特征在于， 所述拍摄条件是所述手术用内窥镜的图像拍摄变焦倍率、拍摄位置、距手术部位表面的距离及被拍摄手术部位的实际尺寸中的一个以上。
8.根据权利要求7所述的主界面，其特征在于， 所述图像拍摄变焦倍率为高倍率时的移动比例因子，比所述图像拍摄变焦倍率为低倍率时的移动比例因子，具有相对小的值。
9.根据权利要求7所述的主界面，其特征在于， 所述手术用内窥镜插入人体内部相对深时的移动比例因子，比所述手术用内窥镜相对插入浅时的移动比例因子，具有小的值。
10.根据权利要求7所述的主界面，其特征在于， 从用于检测与所述手术部位表面之间距离的传感器接收检测值， 距所述手术部位表面的距离越近，移动比例因子设定成越小的值。
全文摘要
公开了手术机器人系统及其自适应控制方法，主界面包括于安装有内窥镜及手术工具中一个以上控制对象的手术机器人系统中，用于控制控制对象位置，包括操作部，接收移动操作控制对象的用户命令；存储部，存储由内窥镜提供的图像信息中一个以上基准图像和对应于基准图像的移动比例因子；比例因子运算部，判断通过内窥镜提供的当前图像信息与基准图像相比是被放大还是缩小，以与放大或缩小程度成比例的方式调节移动比例因子，并进行再设定；操作信号生成部，将利用操作部的用户命令转换为对应于再设定的移动比例因子，并生成对控制对象的操作信号。能够缩短手术时间及减轻施术者的疲劳感，并根据显示的图像信息直观地确认手术工具移动距离。
文档编号A61B19/00GK102614019SQ201110423299
公开日2012年8月1日 申请日期2011年12月16日 优先权日2010年12月17日
发明者崔胜旭, 李珉奎, 闵东明 申请人:伊顿株式会社