手术机器人及其控制方法
【专利说明】
[0001] 本申请要求于2014年5月8日在韩国知识产权局（KIPO)提交的第 10-2014-0054783号韩国专利申请的优先权，该申请的整个公开通过引用包含于此。
技术领域
[0002] 本公开的一些示例实施例可总体涉及在使用机器人进行手术期间基于内窥镜图 像信息来实时估计内窥镜和器械的位置。
【背景技术】
[0003] 微创手术一般可以指能够最小化切口尺寸的手术，使用手术机器人的手术或腹腔 镜手术可以被用于微创手术。与使用穿过人体部位（例如，腹部）的较大手术切口的剖腹 手术不同，在微创手术中，可穿过腹壁形成直径为例如〇. 5厘米（cm)至I. 5cm的一个或更 多个小口（切口或创口），并且手术员可以将内窥镜和手术仪器插入穿过一个或更多个口， 从而在查看由内窥镜提供的图像的同时进行手术。
[0004] 与剖腹手术相比，由于切口小，上述微创手术可减小术后疼痛，可实现排便的更快 恢复，可实现进食能力的更早恢复，可实现更短的住院时间，可实现日常生活的更快恢复， 并可促进更好的美容效果。因此，微创手术已经被用于胆囊切除术、前列腺癌手术和疝修补 术等，并且微创手术的应用会继续增长。
[0005] 手术机器人可包括主装置和从机器人，其中，主装置可根据手术员（例如医生）的 操纵而产生需要的信号并可发送该信号，从机器人可从主装置接收信号，并可响应于从主 装置接收到的信号直接进行患者的手术所需要的操纵（即使从机器人可能远离主装置）。 对此，主装置可基于可由从机器人检测的各种物理信息（诸如，力、位置、触感、温度、湿度、 照度等），执行对从机器人的操作的远程控制。
[0006] 总体上，从机器人可被安装在手术室中，主装置可被安装在操纵室中，主装置和从 机器人可经由有线或无线通信彼此连接以在一定距离内执行手术。医生可以在同一房间 中、不同房间中或者在不同的设施（可能位于其它国家）中。
[0007] 手术机器人可提供多个其它优点，诸如潜在地增加精度、能够更好地监视患者、能 够记录手术过程以进行训练、鉴定和取证目的。
[0008] 当通过使用手术机器人在腹腔中进行手术时，手术员仅可通过内窥镜监视关于腹 内环境的信息。然而，内窥镜的窄视野可能会限制手术员在手术期间判断内窥镜和手术器 械在腹腔中的精确位置。这可能是造成内窥镜和器械之间的干扰或碰撞、或者由于内窥镜 和器械的不必要的移动而导致对器官和组织的伤害的原因之一。
[0009] 虽然将联系手术机器人和控制这些机器人的方法来描述一些实例实施例，但是本 领域技术人员应理解，一些示例实施例可被应用于其它类型的机器人，诸如不是在医疗领 域中使用的机器人（例如，航空机器人、用于处理危险材料的机器人、巡检机器人、军事机 器人）、人形机器人或更通用的系统和/或控制这样的系统的方法。
【发明内容】
[0010] 一些示例实施例可提供手术机器人及其控制方法，该手术机器人能够通过不仅使 用内窥镜的位置和方位还使用器械的位置和方位作为位置识别滤波器的状态变量同时识 别内窥镜的位置和器械的位置，来改善位置识别性能（位置识别的精度和聚合度）。
[0011] -些示例实施例可提供手术机器人及其控制方法，该手术机器人能够通过在对内 窥镜和器械的位置识别处理期间融合运动信息和各种传感器信息（内窥镜图像信息、惯性 测量信息等）来改善改善位置识别性能（例如位置识别的精度和聚合度）。
[0012] 一些示例实施例可提供手术机器人及其控制方法，该手术机器人能够通过基于由 位置识别滤波器获得的腹腔中的特征点的位置信息和内窥镜的位置/方位信息对腹内环 境进行建模，识别被建模的腹内环境与内窥镜和器械的位置/方位之间的相对关系。
[0013] 在一些示例实施例中，一种控制设置有内窥镜和器械的手术机器人的方法可包 括：在手术机器人执行手术操作时获取关于腹内环境的图像信息；和/或基于获取的图像 信息和包括在内窥镜和器械中的链接件的运动信息来识别内窥镜和器械的位置。
[0014] 在一些示例实施例中，所述方法还可包括：基于内窥镜和器械的位置识别的结果 来创建腹内环境的图。
[0015] 在一些示例实施例中，识别内窥镜和器械的位置的步骤可包括：基于当前获取的 图像信息和运动信息，预测内窥镜和器械的位置和方位以及特征点的位置；确定现有标记 物是否与从当前获取的图像信息提取的特征点相同；和/或通过使用现有标记物的位置和 从当前获取的图像信息提取且与现有标记物匹配的特征点的位置信息，更新内窥镜和器械 的预测位置和方位以及被注册为标记物的特征点的位置。
[0016] 在一些示例实施例中，所述方法还可包括：在预测内窥镜和器械的位置和方位以 及特征点的位置之后，将当前获取的图像信息划分为多个感兴趣区域。
[0017] 在一些示例实施例中，将当前获取的图像信息划分为多个感兴趣区域的步骤包 括：通过使用预测的内窥镜和器械的位置和方位，计算器械相对于内窥镜的相对位置和方 位信息；将器械模型投影到当前获取的图像信息上；和/或将当前获取的图像信息划分为 器械图像感兴趣区域和腹内图像感兴趣区域。
[0018] 在一些示例实施例中，一种控制设置有内窥镜和器械的手术机器人的方法可包 括：在手术机器人执行手术操作时，获取腹内环境的图像信息和手术机器人的惯性测量信 息；和/或基于获取的图像信息和获取的惯性测量信息识别内窥镜和器械的位置。
[0019] 在一些示例实施例中，所述方法还可包括：基于内窥镜和器械的位置识别的结果 来创建腹内环境的图。
[0020] 在一些示例实施例中，识别内窥镜和器械的位置的步骤可包括：基于当前获取的 图像信息和惯性测量信息，预测内窥镜和器械的位置和方位以及特征点的位置；确定现有 标记物是否与从当前获取的图像信息提取的特征点相同；和/或通过使用现有标记物的位 置和从当前获取的图像信息提取且与现有标记物匹配的特征点的位置信息，更新内窥镜和 器械的预测位置和方位以及被注册为标记物的特征点的位置。
[0021] 在一些示例实施例中，所述方法还可包括：在预测内窥镜和器械的位置和方位以 及特征点的位置之后，将当前获取的图像信息划分为多个感兴趣区域。
[0022] 在一些示例实施例中，将当前获取的图像信息划分为多个感兴趣区域的步骤可包 括：通过使用预测的内窥镜和器械的位置和方位，计算器械相对于内窥镜的相对位置和方 位信息；将器械模型投影到当前获取的图像信息上；和/或将当前获取的图像信息划分为 器械图像感兴趣区域和腹内图像感兴趣区域。
[0023] 在一些示例实施例中，一种手术机器人可包括：图像信息获取单元，被配置为在手 术机器人执行手术操作时获取腹内环境的图像信息；和/或控制器，被配置为基于获取的 图像信息和安装在手术机器人上的内窥镜和器械中所包括的链接件的运动信息来识别内 窥镜和器械的位置。
[0024] 在一些示例实施例中，控制器还可被配置为基于内窥镜和器械的位置识别的结果 来创建腹内环境的图。
[0025] 在一些示例实施例中，控制器还可被配置为通过以下操作来识别内窥镜和器械的 位置，所述操作包括：基于当前获取的图像信息和运动信息，预测内窥镜和器械的位置和方 位以及特征点的位置；确定现有标记物是否与从当前获取的图像信息提取的特征点相同； 通过使用现有标记物的位置和从当前获取的图像信息提取且与现有标记物匹配的特征点 的位置信息，更新预测的内窥镜和器械的位置和方位以及被注册为标记物的特征点的位 置。
[0026] 在一些示例实施例中，控制器还可被配置为：在预测内窥镜和器械的位置和方位 以及特征点的位置之后，将当前获取的图像信息划分为多个感兴趣区域。
[0027] 在一些示例实施例中，控制器还可被配置为通过以下操作将当前获取的图像信息 划分为多个感兴趣区域，所述操作包括：通过使用预测的内窥镜和器械的位置和方位，计算 器械相对于内窥镜的相对位置和方位信息；将器械模型投影到当前获取的图像信息上；将 当前获取的图像信息划分为器械图像感兴趣区域和腹内图像感兴趣区域。
[0028] 在一些示例实施例中，一种手术机器人可包括：图像信息获取单元，被配置为在手 术机器人执行手术操作时，获取腹内环境的图像信息；惯性测量单元，被配置为获取手术机 器人的惯性测量信息；和/或控制器，被配置为基于获取的图像信息和惯性测量信息，识别 安装在手术机器人上的内窥镜和器械的位置。
[0029] 在一些示例实施例中，控制器还可被配置为基于内窥镜和器械的位置识别的结果 来创建腹内环境的图。
[0030] 在一些示例实施例中，控制器还可被配置为通过以下操作识别内窥镜和器械的位 置，所述操作包括：基于当前获取的图像信息和惯性测量信息，预测内窥镜和器械的位置和 方位以及特征点的位置；确定现有标记物是否与从当前获取的图像信息提取的特征点相 同；通过使用现有标记物的位置和从当前获取的图像信息提取且与现有标记物匹配的特征 点的位置信息，更新预测的内窥镜和器械的位置和方位以及被注册为标记物的特征点的位 置。
[0031] 在一些示例实施例中，控制器还可被配置为：在预测内窥镜和器械的位置和方位 以及特征点的位置之后，将当前获取的图像信息划分为多个感兴趣区域。
[0032] 在一些示例实施例中，控制器还可被配置为通过以下操作将当前获取的图像信息 划分为多个感兴趣区域，所述操作包括：通过使用预测的内窥镜和器械的位置和方位，计算 器械相对于内窥镜的相对位置和方位信息；将器械模型投影到当前获取的图像信息上；将 当前获取的图像信息划分为器械图像感兴趣区域和腹内图像感兴趣区域。
[0033] 在一些示例实施例中，一种手术机器人可包括：主装置；和/或从机器人，被配置 为与主装置进行通信。从机器人可被配置为在手术机器人执行手术操作时获取腹内环境的 图像信息。主装置或从机器人可被配置为基于获取的图像信息和附加信息识别安装在从机 器人上的内窥镜和器械的位置。
[0034] 在一些示例实施例中，主装置可被配置为基于获取的图像信息和附加信息来识别 安装在从机器人上的内窥镜和器械的位置。
[0035] 在一些示例实施例中，附加信息可包括内窥镜和器械中所包括的链接件的运动信 息。
[0036] 在一些示例实施例中，附加信息可包括从机器人的惯性测量信息。
[0037] 在一些示例实施例中，主装置还可被配置为基于内窥镜和器械的位置识别的结果 来创建腹内环境的图。
[0038] 在一些示例实施例中，从机器人可被配置为基于获取的图像信息和附加信息来识 别安装在从机器人上的内窥镜和器械的位置。
[0039] 在一些示例实施例中，附加信息可包括内窥镜和器械中所包括的链接件的运动信 息。
[0040] 在一些示例实施例中，附加信息可包括从机器人的惯性测量信息。
[0041] 在一些示例实施例中，从机器人还可被配置为基于内窥镜和器械的位置识别的结 果来创建腹内环境的图。
[0042] 在一些示例实施例中，主装置和从机器人可被配置为基于获取的图像信息和附加 信息来识别安装在从机器人上的内窥镜和器械的位置。
【附图说明】
[0043