用于对成像装置和输入控制装置重定中心的系统和方法与流程

文档序号:12281604阅读:270来源:国知局
用于对成像装置和输入控制装置重定中心的系统和方法与流程

本公开要求2014年3月17日提交的题为“System and Method for Recentering Imaging Devices and Input Controls(用于对成像装置和输入控制装置重定中心的系统和方法)”的美国临时专利申请No.61/954,191的优先权,该申请通过引用以其整体并入本文。

技术领域

本公开大体涉及具有铰接臂的装置的远程操作并且更具体地涉及对成像装置和输入控制装置重定中心。



背景技术:

越来越多的装置正在用自主和半自主电子装置取代。在现今具有在手术室、介入套房(interventional suites)、加强监护病房、急诊室等中发现的大阵列的自主和半自主电子装置的医院中更是如此。例如,玻璃温度计和水银温度计正在用电子温度计取代,静脉滴注线现在包括电子监测器和流量调节器,并且传统手持式手术器械正在由计算机辅助医疗装置取代。

这些电子装置向操作它们的工作人员提供优点和挑战。许多这些电子装置可以能够使一个或更多个铰接臂和/或末端执行器自主或半自主运动。经由使用操作员工作台上的一个或更多个输入控制装置的远程操作而操作该电子装置以控制铰接臂和/或末端执行器的运动和/或操作,也是常规的。当电子装置从该操作员工作台远程操作和/或该末端执行器正在该操作员不直接可见的区域中使用时,诸如在计算机辅助手术期间当该末端执行器被患者解剖体隐藏时,该电子装置可以包括捕获感兴趣区域并使用显示系统向该操作员显示感兴趣区域的成像装置。当该操作员控制铰接臂和/或末端执行器时,操作员通常尝试将末端执行器保持在成像装置看得见的地方,使得末端执行器的操作可以在显示系统上观察。此外,输入控制装置的位置和取向通常匹配到末端执行器,使得当输入控制装置移动时,末端执行器“遵循”那些移动。

当成像装置和/或末端执行器移动时,有可能的是,操作员可能看不见末端执行器中的一个或更多个和/或失去对成像装置和末端执行器之间的空间关系的跟踪。当电子装置的操作员切换控制到可以停在该感兴趣区域周围的其他区域中的附加铰接臂和/或末端执行器时,并且/或者当末端执行器被感兴趣区域中的其他物体部分地或完全地阻挡时,这可能进一步复杂。为了重新获取末端执行器的可视化(即为了将末端执行器放置在成像装置的视见体积(view volume)内),操作员可能必须执行与成像装置的一系列重定中心移动,以找到包括末端执行器的成像装置合适姿势(位置和取向)。这一系列的移动可能变得繁琐、拖延和/或不切实际。

此外,当成像装置移动且/或输入控制装置切换到附加铰接臂和/或末端执行器时,成像装置和末端执行器之间的空间取向可以改变。这可能导致如由显示系统显示的末端执行器的位置和/或取向与用于那些末端执行器的输入控制装置的对应位置和/或取向之间的不和谐。在一些情况下,这可以由操作员通过激活用于输入控制装置的离合器并且然后重定位和/或重取向输入控制装置以匹配如显示系统上显示的末端执行器位置和/或取向而被校正。如同成像装置的移动,这些重定位和/或重取向操作也可以变得繁琐、拖延和/或不切实际。

因此,用于视觉上重新获取末端执行器且/或重定位和/或重取向输入控制装置以匹配末端执行器的改进方法和系统是期望的。



技术实现要素:

与一些实施例一致,计算机辅助医疗装置包括一个或更多个末端执行器、成像装置、用于远程操作该一个或更多个末端执行器的一个或更多个输入控制装置、和控制单元,该控制单元包括耦连到该末端执行器、该成像装置和该输入控制装置的一个或更多个处理器。该控制单元响应于重定中心请求暂停该输入控制装置对该末端执行器的远程操作控制,确定用于该成像装置的视野重定中心移动以便该末端执行器被包含在该成像装置的视野空间(view space)内,确定一个或更多个输入控制装置重定中心移动以提供在该输入控制装置的每个和该末端执行器的对应末端执行器之间的位置和取向和谐,执行该视野重定中心移动和输入控制装置重定中心移动,以及恢复该输入控制装置对该末端执行器的远程操作控制。

与一些实施例一致,一种控制医疗装置中的运动的方法包括:响应于重定中心请求,暂停该医疗装置的一个或更多个输入控制装置对该医疗装置的一个或更多个末端执行器的远程操作控制;确定用于该成像装置的视野重定中心移动,以便该末端执行器被包含在该医疗装置的成像装置的视野空间内;确定一个或更多个输入控制装置重定中心移动,以提供在该输入控制装置中的每个和该末端执行器的对应末端执行器之间的位置和取向和谐;执行该视野重定中心移动和输入控制装置重定中心移动,以及恢复该输入控制装置对该末端执行器的远程操作控制。

与一些实施例一致,一种控制医疗装置中的运动的方法包括:响应于重定中心请求,暂停该医疗装置的一个或更多个输入控制装置对该医疗装置的一个或更多个末端执行器的远程操作控制;确定用于该成像装置的视野重定中心移动,以便该末端执行器被包含在该医疗装置的成像装置的视野空间内,执行该视野重定中心移动,以及恢复该输入控制装置对该末端执行器的远程操作控制。

与一些实施例一致,一种确定医疗装置的成像装置的优选工作距离的方法包括:检测用于该医疗装置的成像装置的重定位移动的开始;检测该重定位移动的结束;基于在该重定位移动的结束时该成像装置和与处于该成像装置的视见体积内的该医疗装置的一个或更多个末端执行器关联的一个或更多个目标之间的第一距离,确定当前工作距离,该第一距离在该成像装置的视野方向(view direction)上被测量;以及集合该当前工作距离与之前获得的当前工作距离以确定该优选工作距离。

与一些实施例一致,一种控制医疗装置中的运动的方法包括:响应于重定中心请求,暂停该医疗装置的一个或更多个输入控制装置对该医疗装置的一个或更多个末端执行器的远程操作控制;确定一个或更多个输入控制装置重定中心移动,以提供在该输入控制装置中的每个和该末端执行器的对应末端执行器之间的位置和取向和谐;执行该输入控制装置重定中心移动;以及恢复该输入控制装置对该末端执行器的远程操作控制。

与一些实施例一致,一种确定用于医疗装置的操作员工作台的人机工程学中心的方法:检测用于该医疗装置的一个或更多个输入控制装置的重定位移动的开始;检测该重定位移动的结束;确定在该重定位移动的结束时与该输入控制装置关联的一个或更多个控制点的位置;集合该位置以确定输入控制装置中心点;以及集合该输入控制装置中心点与之前获得的输入控制装置中心点以确定该人机工程学中心。

与一些实施例一致,一种非临时性机器可读介质包括多个机器可读指令。当该机器可读指令由与医疗装置关联的一个或更多个处理器执行时,它们使该一个或更多个处理器执行一种方法。该方法包括:响应于重定中心请求,暂停该医疗装置的一个或更多个输入控制装置对该医疗装置的一个或更多个末端执行器的远程操作控制;确定用于该成像装置的视野重定中心移动,以便该末端执行器被包含在该医疗装置的成像装置的视野空间内;确定一个或更多个输入控制装置重定中心移动,以提供在该输入控制装置中的每个和该末端执行器的对应末端执行器之间的位置和取向和谐;执行该视野重定中心移动和输入控制装置重定中心移动;以及恢复该输入控制装置对该末端执行器的远程操作控制。

与一些实施例一致,一种控制耦连到医疗装置的成像装置的运动的方法包括:检测成像装置运动模式的激活,以及确定一个或更多个运动输入控制装置是否正在被使用。当该一个或更多个运动输入控制装置正在被使用时,基于该一个或更多个运动输入控制装置,控制该成像装置的姿势。当该一个或更多个运动输入控制装置未被使用达超时时间段时,对该成像装置重定中心。对该成像装置重定中心包括:确定用于该成像装置的视野重定中心移动,以便该医疗装置的一个或更多个末端执行器被包含在该成像装置的视野空间内,以及执行该视野重定中心移动。

附图说明

图1是根据一些实施例的计算机辅助系统的简化示意图。

图2是根据一些实施例的对末端执行器和输入控制装置重定中心的方法的简化示意图。

图3A和图3B是根据一些实施例的在视野重定中心(view recentering)操作之前和之后的成像视图的简化示意图。

图4A和图4B分别是根据一些实施例的在视野重定中心操作之后的成像视图和侧视图的简化示意图。

图5是根据一些实施例的视野重定中心的方法的简化示意图。

图6是根据一些实施例的确定用于成像装置的优选工作距离的方法的简化示意图。

图7是示出根据一些实施例的在输入控制装置重定中心操作之后在显示系统上的图像中的末端执行器和控制台工作空间中的对应输入控制装置之间的关系的简化示意图。

图8是根据一些实施例的输入控制装置重定中心的方法的简化示意图。

图9是根据一些实施例的确定输入控制装置的人机工程学中心/人机控制中心(ergonomic center)的方法的简化示意图。

图10是根据一些实施例的控制成像装置的方法的简化示意图。

在附图中,具有相同名称的元件具有相同的或类似的功能。

具体实施方式

在下列描述中,详细阐述描述与本公开一致的一些实施例的具体细节。然而,对本领域的技术人员显而易见的是,一些实施例可以在没有一些或全部这些具体细节的情况下实践。本文公开的具体实施例意在是说明性的,而不是限制性的。本领域的技术人员可以认识到虽然未在这里具体描述但是也在本公开的范围和精神内的其他元件。此外,为了避免不必要的重复,与一个实施例关联示出和描述的一个或更多个特征可以并入其他实施例中,除非另外具体描述,或者如果一个或更多个特征会使实施例无功能。

图1是根据一些实施例的计算机辅助系统100的简化示意图。如图1中所示,计算机辅助系统100包括具有一个或更多个可移动的臂120或铰接臂120的装置110。一个或更多个铰接臂120中的每个铰接臂可以支撑一个或更多个末端执行器125。在一些实施例中,装置110可以与计算机辅助手术装置一致。一个或更多个末端执行器125可以包括手术器械、成像装置和/或类似物。在一些示例中,手术器械可以包括钳、夹持器、牵开器、烧灼工具、抽吸工具、缝合装置和/或类似物。在一些示例中,成像装置可以包括内窥镜、摄像机、立体镜装置和/或类似物。

装置110经由接口耦连到控制单元130。接口可以包括一个或更多个电缆、连接器和/或总线,并且可以进一步包括具有一个或更多个网络交换和/或路由装置的一个或更多个网络。控制单元130包括耦连到存储器150的处理器140。控制单元130的操作由处理器140控制。并且虽然控制单元130被示出具有仅一个处理器140,但是应当理解的是处理器140可以表示控制单元130中的一个或更多个中央处理单元、多芯处理器、微处理器、微控制器、数字信号处理器、现场可编程门阵列(FPGA)、专用集成电路(ASIC)和/或类似物。控制单元130可以实现为添加到计算装置的独立子系统和/或板或者实现为虚拟机。

存储器150可以用于存储由控制单元130执行的软件和/或在控制单元130的操作期间使用的一个或更多个数据结构。存储器150可以包括一种或多种类型的机器可读介质。一些常见形式的机器可读介质可以包括软盘、软磁盘、硬盘、磁带、任何其他磁介质、CD-ROM、任何其他光学介质、穿孔卡片、纸卡、具有孔式样的任何其他物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储器芯片或卡盒和/或处理器或计算机适于从中读取的任何其他介质。

如图所示,存储器150包括可以用于支持装置110的自主和/或半自主控制的运动控制应用160。运动控制应用160可以包括一个或更多个应用编程接口(API),用于从装置110接收位置、运动和/或其他传感器信息,与其他控制单元交换关于其他装置的位置、运动和/或碰撞避免信息,和/或计划和/或辅助计划该装置110、装置110的铰接臂120和/或末端执行器125的运动。并且虽然运动控制应用160被描绘为软件应用,但是运动控制应用160可以使用硬件、软件和/或硬件和软件的组合实现。

控制单元130可以进一步经由接口耦连到操作员工作台170。操作员工作台170可以由操作员(诸如外科医生)使用,以控制铰接臂120和末端执行器125的移动和/或操作。为了支持铰接臂120的操作,操作员工作台170包括显示系统180,用于显示铰接臂120和/或末端执行器125中的一个或更多个的至少部分的图像。例如,当操作员看到正在使用的铰接臂120和/或末端执行器125是不实际和/或不可能时,可以使用显示系统180。操作员工作台170可以进一步包括具有一个或更多个输入控制装置或主控制装置195的控制台工作空间,一个或更多个输入控制装置或主控制装置195可以用于操作装置110、铰接臂120和/或末端执行器125。输入控制装置195中的每个可以耦连到其自身的铰接臂的远端,以便输入控制装置195的移动可以由操作员工作台170检测并且传达到控制单元130。为了提供改进的人机工程学,控制台工作空间也可以包括一个或更多个支托,诸如臂支托190,操作员可以在操纵输入控制装置195时将其臂靠在臂支托190上。在一些示例中,显示系统180和输入控制装置195可以由操作员使用,以远程操作铰接臂120和/或末端执行器125。在一些实施例中,装置110、操作员工作台170和控制单元130可以对应于由加利福尼亚州Sunnyvale的直观外科手术公司(Intuitive Surgical,Inc.)商售的da外科手术系统。

在一些实施例中,其他配置和/或构造可以与计算机辅助系统100一起使用。在一些示例中,控制单元130可以作为操作员工作台170和/或装置110的一部分被包括。在一些实施例中,计算机辅助系统100可以在手术室和/或介入套房中找到。并且虽然计算机辅助系统100包括具有两个铰接臂120的仅一个装置110,但是本领域的普通技术人员将理解的是,计算机辅助系统100可以包括与装置110类似和/或不同设计的具有铰接臂和/或末端执行器的任何数量的装置。在一些示例中,每个装置可以包括更少或更多的铰接臂120和/或末端执行器125。

图2是根据一些实施例的对末端执行器和输入控制装置重定中心的方法200的简化示意图。方法200的过程210-280中的一个或更多个可以至少部分地以存储在非暂时的有形的机器可读介质上的可执行代码的形式实现,该可执行代码在由一个或更多个处理器(例如,控制单元130中的处理器140)运行时可以使一个或更多个处理器执行过程210-280中的一个或更多个。在一些实施例中,方法200可以通过应用(诸如运动控制应用160)来执行。在一些实施例中,方法200可以用于在由成像装置捕获并在显示系统180上显示的图像中对末端执行器125中的一个或更多个重定中心,和/或在控制台工作空间中对输入控制装置195中的一个或更多个重定中心,以便输入控制装置195的位置和/或取向与图像中显示的末端执行器125的位置和/或取向对应。

在过程210处,检测重定中心的请求。在一些示例中,电子装置的操作员可以手动地触发该请求,以使用诸如开关、踏板、水平仪、声音识别和/或类似物的一个或更多个输入控制装置重定中心。在一些示例中,该请求可以作为触发重定中心的暂时输入而被发出和/或作为激活重定中心直到其完成和/或该输入被撤回的连续输入而被发出。在一些示例中,重定中心的请求可以响应于系统状态的变化自动进行。在一些示例中,系统状态的变化可以包括输入控制装置和远程操作末端执行器之间的关联的变化。在一些示例中,系统状态的变化可以包括输入控制装置和远程操作末端执行器之间的关联的变化,其中检测到一个或更多个末端执行器在成像装置的视场之外。在一些示例中,系统状态的变化可以包括导致一个或更多个末端执行器在成像装置的视场之外的成像装置的模式的变化(例如,数字变焦的变化、远视角的变化和/或类似情况)。在一些示例中,重定中心的请求也可以包括待被重定中心的铰接臂和末端执行器的指定。在一些示例中,重定中心请求的检测可以通过对操作员的适当反馈,诸如独特声音、控制台上的消息、指示器和/或类似物确认。

在过程220处,暂停一个或更多个末端执行器的操作员控制。在重定中心可以开始之前,暂停操作员控制和/或远程操作电子装置的末端执行器中的一个或更多个末端执行器的能力。操作员控制的暂停允许重定中心操作继续,而没有来自操作员命令的运动的干扰。

在过程230处,确定期望的视野重定中心移动。通过使用例如铰接臂和耦连到铰接臂的末端执行器中的感测的接头位置以及铰接臂和末端执行器的一个或更多个运动学模型,确定视野重定中心移动。在一些示例中,这可以包括确定与正被控制的电子装置关联的感兴趣的一个或更多个末端执行器的姿势(例如,位置和/或取向)。在一些示例中,每个确定的姿势可以被映射到常见的坐标系统,诸如世界坐标系统(world coordinate system)和/或视野坐标系统(view coordinate system)。通过使用用于成像装置的优选工作距离的姿势的几何结构和优选工作距离的知识,确定将末端执行器放置在成像装置的视野空间内的用于成像系统的期望姿势。然后成像装置的姿势和一个或更多个运动学模型可以用于确定成像装置的期望的视野重定中心移动。

在过程240处,确定期望的输入控制装置重定中心移动。在过程230期间确定的用于末端执行器的姿势可以被映射到其中与末端执行器对应的输入控制装置所位于的控制台工作空间的坐标系统。通过使用控制台工作空间的优选人机工程学中心的知识以及在由末端执行器使用的工作空间的距离和包含输入控制装置的控制台工作空间的距离之间的比例因子,姿势可以被映射。然后映射的姿势和输入控制装置的一个或更多个运动学模型可以被用于确定输入控制装置的对应输入控制装置重定中心移动。在一些实施例中,确定两个输入控制装置重定中心移动,一个对应于与末端执行器的第一末端执行器关联的左输入控制装置,另一个对应于与末端执行器的第二末端执行器关联的右输入控制装置。在一些实施例中,也可以确定其他数量的输入控制装置的对应重定中心移动。

在过程250处,确定视野重定中心移动和/或输入控制装置重定中心移动是否是有效的。通过使用成像装置的运动学模型和在过程230期间确定的用于成像装置的期望的重定中心移动,确定用于成像装置的期望重定中心移动是否有效。在一些示例中,此有效性确定可以包括检验对以下因素的一个或更多个约束:成像装置的移动、其他铰接臂的位置、其他末端执行器和/或在电子装置的工作空间中的装置和/或成像装置获得末端执行器的合适图像的能力。通过使用输入控制装置的运动学模型和在过程240期间确定的用于输入控制装置的期望的重定中心移动,确定用于输入控制装置的期望的重定中心移动是否有效。在一些示例中,此有效性确定可以包括检验对以下因素的一个或更多个约束:输入控制装置的移动、在控制台工作空间中的操作员工作台的部分的位置和/或用于输入控制装置的操作员的人机工程学考虑。当重定中心移动被确定为有效时,重定中心移动通过使用过程260而被执行。当任何重定中心移动被确定为无效时,使用过程270指示错误。

在过程260处,协调视野重定中心移动和输入控制装置重定中心移动。一个或更多个移动命令被发送至耦连到成像装置的铰接臂的一个或更多个致动器,以命令和/或指示成像装置执行视野重定中心移动。一个或更多个移动命令也被发送至耦连到输入控制装置的铰接臂的一个或更多个致动器,以命令和/或指示输入控制装置执行输入控制装置重定中心移动。典型地协调用于成像装置和输入控制装置的移动命令。在一些示例中,协调可以允许成像装置和输入控制装置的同时重定中心。在一些示例中,可以执行协调,以便在重定中心移动期间至少一些位置和/或取向和谐(harmony)正维持在成像装置的视野空间内的末端执行器与输入控制装置的姿势之间。在一些示例中,过程260也可以包括提供指示重定中心操作正在发生的对操作员的音频和/或视觉反馈。在一些示例中,音频反馈可以包括独特声音、口述短语和/或类似物。在完成重定中心移动时,使用过程280恢复操作员控制。

在过程270处,指示错误。当所确定的重定中心移动被确定为无效时,通知操作员。在一些示例中,通知可以包括任何合适音频和/或视觉反馈。在一些示例中,音频反馈可以包括独特声音的播放。在指示错误之后,使用过程280恢复操作员控制。

在过程280处,恢复末端执行器的操作员控制。无论是使用过程260执行重定中心移动还是使用过程270指示错误,使用输入控制装置的末端执行器的控制都被返回至操作员。当指示错误时,成像装置和/或输入控制装置的重定中心可以变成操作员的责任。在由操作员控制末端执行器和/或成像装置的时间段之后,另一重定中心操作可以通过使用过程210被检测。

如上面讨论和在这里进一步强调,图2仅是示例,其不应该不适当地限制权利要求的范围。本领域的普通技术人员将认识到许多变型、替代物和修改。根据一些实施例,附加条件可以诸如通过返回正在使用过程280的操作员控制和/或通过装置操作的暂停导致方法200的提前终止。在一些示例中,附加条件可以包括来自于使用在操作员工作台上的一个或更多个控制装置或铰接臂的操作员的手动干涉或超驰(override)、操作员与使用一个或更多个安全互锁设备的操作员工作台的脱离的检测、铰接臂和/或输入控制装置中的位置追踪错误、系统故障和/或类似物。

图3A和图3B是根据一些实施例的在视野重定中心操作之前和之后的成像视图的简化示意图。如图3A中所示,示出了在视野重定中心操作的执行之前的包括三个铰接臂的工作空间。第一铰接臂以夹持器类型的末端执行器310结束。夹持器类型的末端执行器310包括两个夹持指形件312和314以及一个枢轴接头316。第二铰接臂也以夹持器类型的末端执行器320结束,该夹持器类型的末端执行器320包括两个夹持指形件322和334以及一个枢轴接头326。第三铰接臂包括单个指形件末端执行器330,其包含端点332和参考点334。在一些示例中,参考点334可以对应于可旋转接头。在一些示例中,单个指形件末端执行器330可以表示烧灼工具、抽吸工具和/或类似物。在一些示例中,铰接臂可以是铰接臂120的代表性示例,并且夹持器类型和/或单个指形件的末端执行器310、320和/或330可以是末端执行器125的代表性示例。

而且图3A中描绘的是视野空间340。在一些示例中,视野空间340可以对应于由成像装置捕获的图像。如图所示,视野空间340包含夹持器类型的末端执行器320、夹持器类型的末端执行器310的一部分,而不包含单个指形件末端执行器330。在一些示例中,图3A可以对应于当操作员正在控制末端执行器310和/或320时截取的图像。

在一些示例中,当操作员期望切换到控制末端执行器310和330而不是末端执行器310和320时,这可能产生问题。例如,因为末端执行器330不在视野空间340内,所以末端执行器330在视野空间340的图像中是不可见的,并且操作员可能记不住末端执行器330所在的位置。在一些示例中,操作员可以手动地对视野空间340重定中心,以将末端执行器310和330放置在视野空间340内。在一些示例中,操作员可以通过使用类似于方法200的方法触发自动化的重定中心,并且将末端执行器310和330指定为将要关于它们进行重定中心的末端执行器。

图3B示出在重定中心之后的末端执行器310和330的视野空间350。通过使用视野重定中心移动,用于捕获末端执行器310和330的成像装置被重定位和/或重取向至包含末端执行器310和330的姿势。重定中心移动将视野空间340从在视野重定中心移动之前改变为在视野重定中心移动发生之后的视野空间350。此视野重定中心移动导致视野空间350包含夹持指形件312和314、枢轴接头316、端点332和参考点334。视野空间350也关于夹持指形件312和314、枢轴接头316、端点332和参考点334定中心。

图4A和图4B分别是根据一些实施例的在视野重定中心操作之后的成像视图和侧视图的简化示意图。图4A和图4B示出末端执行器310和330上的目标的使用,以使视野空间350以末端执行器310和330为中心。这在图4A中从可以由成像装置使用视野空间350捕获的图像示出。在一些示例中,当使用视野坐标系统时,视野空间350可以包括在视野空间350中从左至右的x轴线、在向上观看方向上的y轴线和在视野方向上的z轴线。

为了帮助在视野空间350中对末端执行器310和330重定中心,选择每个末端执行器310和/或330上的一个或更多个目标。在一些实施例中,每个目标可以与末端执行器310和/或330的每个指形件的端头以及如图4A中所示感兴趣的任何接头和/或参考点相关联。在一些实施例中,其他标准可以用于选择目标,诸如仅在指形件的端头上的和/或在末端执行器310和/或330和/或关联铰接臂上的其他位置处的关联目标。如图4A中所示,三个目标在夹持器类型的末端执行器310上使用,并且两个目标在单个指形件的末端执行器330上使用。夹持器类型的末端执行器310上的三个目标包括分别在夹持指形件312和314的端头上定中心的目标412和414、和在枢轴接头316上定中心的目标点416。单个指形件的末端执行器330上的两个目标包括在端点332上定中心的目标点432和在参考点334上定中心的目标点434。

在一些示例中,目标412-416和/或432-434中的每个目标可以被建模为虚拟包围球体,这些虚拟包围球体的中心在指形件的对应端头处和/或在对应接头和/或参考点的中心处或附近。在一些示例中,每个虚拟球体的半径足够大,以捕获至少与相应目标点关联的末端执行器的对应部分的体积。在一些示例中,半径可以是末端执行器的对应部分的体积的两倍至三倍,使得视野空间350可以捕获对应末端执行器以及对应末端执行器周围的空间余量。这帮助防止使末端执行器正好放置在视野空间350的边缘上。在一些示例中,半径的尺寸可以被设定成考虑在目标点的位置中的运动学不确定性。

在一些示例中,可以计算每个目标412-416和/或432-434的中心点的质心(centroid)440。然后质心440可以用作视野空间350的中心点。然后可以调整质心440和成像装置之间的工作距离,以便视野空间350包括目标412-416和/或432-434中的每个。

图4B示出视野空间350的对应侧视图。图4B的侧视图示出了视野空间350是远离成像装置450移动时加宽的视见平截头体(viewing frustum)。在一些示例中,平截头体的角宽度可以从成像装置450的光学属性确定。在一些示例中,成像装置450可以是通过套管460插入患者的内窥镜。在一些示例中,成像装置450可以是立体镜。在一些示例中,套管460可以定位在用于成像装置450的远程中心附近,以便成像装置450的滚转旋转、俯仰旋转和偏航旋转以远程中心为中心。如图4B进一步示出,成像装置450在视野坐标系统的z方向上沿视野方向以质心440取向。质心440也可以位于目标412-416和/或332-334中的每个目标的z方向上的平均深度处。质心440也位于距成像装置450的端头470工作距离480处。

在一些实施例中,工作距离480可以基于一个或更多个标准选择。该过程开始于确定质心440和使用从成像装置上的参考点至质心440的方向作为视野方向或z轴线方向。在一些示例中,当成像装置在套管460和端头470之间为直时,参考点可以对应于套管460。在一些示例中,成像装置的一个或更多个运动学模型可以用于确定参考点相对于套管460的位置。在一些示例中,参考点可以与端头470关联。然后目标412-416和/或432-434中的每个目标的最大x轴线和/或y轴线范围被用于确定用于目标412-416和/或432-434中的每个目标的相应最小视距,以便目标412-416和/或432-434处于视野空间350的平截头体内。然后最大的最小视距可以被选择作为工作距离480,以便确保与目标412-416和/或432-434中的每个目标关联的体积都被包含在视野空间350内。在一些示例中,当工作距离被指定并且大于最大的最小视距时,工作距离480可以被增加到用于成像装置450的优选工作距离。在一些示例中,工作距离480也可以被约束在成像装置450的最小和最大焦距内。

一旦确定视野方向/视野坐标系统z轴线和工作距离480,就可以确定用于成像装置450的视野重定中心移动。视野重定中心移动可以包括调整成像装置450的俯仰和偏航以对准视野方向,以及基于工作距离480调整端头470相对于套管460的插入量和/或缩回量。在一些示例中,可以分析视野重定中心移动,以确定其是否有效。在一些示例中,这可以包括确定成像装置450所附连到的铰接臂是否可以执行视野重定中心移动。在一些示例中,由于接头限制、设置在视野重定中心移动上的最大移动限制和/或与其他铰接臂(例如,铰接臂310、320和/或330)、患者解剖体和/或工作空间中的其他物体的碰撞避免,铰接臂可能不能执行视野重定中心移动。在一些示例中,最大移动限制可以包括俯仰和偏航角限制,其限制俯仰和偏航运动低于30度和/或阻止端头470超过其预移动位置的插入。在一些示例中,当设置在成像装置450的移动上的任何约束可以导致任何目标不再被包含在视野空间350的平截头体中时,视野重定中心移动可以被确定为无效。

在一些示例中,视野重定中心移动可以被计划为多步骤移动,多步骤移动包括远离质心440缩回成像装置450,执行俯仰和/或偏航取向以对准视野方向,以及然后将端头470插入至距质心440的工作距离480。在一些示例中,当视野重定中心移动包括放大时,多步骤移动可以包括在将端头470插入至距质心440的工作距离480之前,执行俯仰和/或偏航取向以对准视野方向。在一些示例中,当视野重定中心移动包括缩小时,多步骤移动可以包括在执行俯仰和/或偏航取向之前缩回成像装置至工作距离480。在一些示例中,多步骤移动可以帮助降低端头470与铰接臂310、320和/或330的末端执行器、患者解剖体和/或工作空间中的其他物体碰撞的可能性。在一些示例中,视野重定中心移动也可以包括滚转成像装置450,以便向上观看方向/视野坐标系统y轴线对准世界坐标系统。在一些示例中,可以通过使用反复的运动计划操作,来确定视野重定中心移动,其中反复的运动计划操作基于在接头控制成像装置450的铰接臂中的准确度限制,优化成像装置450的俯仰、偏航和插入,从而最小化成像装置450的取向和/或定位错误。

在一些实施例中,当视野重定中心移动被确定为无效时,确定可替代的视野重定中心移动,其中端头470被缩回到最小插入深度。在一些示例中,最小插入深度可以对应于一种深度,超过该深度,成像装置可能变得由用于定位和/或取向成像装置450的铰接臂的一个或更多个部分部分地阻挡。在一些示例中,可能部分地阻挡成像装置的铰接臂的部分可以对应于套管460。在一些示例中,最小插入深度可以对应于一点,即,距用于成像装置的远程中心的预定距离。在一些示例中,预定距离可以基于套管460的长度。在一些示例中,预定距离可以在长度上从2厘米至9厘米。随着端头470缩回到套管460,成像装置450的视野方向然后被设定为朝向质心440指向。然后检查用于目标412-416和/或432-434中的每个目标的最大x轴线和/或y轴线范围,以查看它们是否落在视野空间350内。当目标412-416和/或432-434中的每个目标不落入视野空间350内时,可替代视野重定中心移动也被确定为无效。如同视野重定中心移动一样,对可替代视野重定中心移动的有效性的附加检查可以包括确定成像装置450所附连到的铰接臂是否可以执行可替代的视野重定中心移动。在一些示例中,由于接头限制、设置在视野重定中心移动上的最大移动限制和/或与其他铰接臂(例如,铰接臂310、320和/或330)和/或患者解剖体的碰撞避免,铰接臂可能不能执行可替代的视野重定中心移动。当可替代的视野重定中心移动无效时,中止视野重定中心并指示适当的错误。

图5是根据一些实施例的视野重定中心的方法500的简化示意图。方法500的过程510-580中的一个或更多个可以至少部分地以存储在非临时性、有形的机器可读介质上的可执行代码的形式实现,可执行代码在由一个或更多个处理器(例如,控制单元130中的处理器140)运行时可以使一个或更多个处理器执行过程510-580中的一个或更多个。在一些实施例中,方法500可以由应用(诸如运动控制应用160)执行。在一些实施例中,方法500可以用于在成像装置(诸如成像装置450)的视野空间中对末端执行器125和/或末端执行器310-330中的一个或更多个重定中心,以便对应图像可以在显示系统180上显示。

在过程510处,确定视见中心点(view center point)。在一些示例中,视见中心点可以对应于要在由成像装置(诸如成像装置450)捕获的图像中重定中心的一个或更多个末端执行器的质心。在图3A、图3B、图4A和图4B的示例中,末端执行器可以对应于末端执行器310和330,并且视见中心点可以对应于质心440。在一些示例中,质心可以通过取得一个或更多个目标诸如目标412-416和/或432-434的质心而被确定。在一些示例中,与末端执行器310和/或330的铰接臂关联的传感器可以用于确定铰接臂中的接头的位置。这些接头位置与末端执行器310和/或330及其铰接臂的一个或更多个运动学模型结合可以用于确定末端执行器310和/或330的位置,该末端执行器310和/或330的位置可以然后用于确定质心。

在过程520处,确定工作距离。在一些示例中,可以通过确定末端执行器的目标应该多远以便每个目标都处于成像装置的视野空间内,来确定工作距离。在一些示例中,可以通过确定用于每个目标的垂直于视野方向的最大x轴线和/或y轴线范围并且然后确定用于每个目标的相应最小视距以便目标在视野空间的平截头体内,来确定工作距离。然后最大的最小视距可以被选择作为工作距离,以便确保每个目标都被包含在视野空间中。在一些示例中,当工作距离被指定并且大于最大的最小视距时,工作距离可以被增加到用于成像装置的优选工作距离。在一些示例中,优选工作距离可以由成像装置的操作员设定。在一些示例中,工作距离也可以被约束在用于成像装置的最小焦距和最大焦距内。

在过程530处,确定期望的成像装置位置和取向。通过成像装置上的参考点和在过程510期间确定的视见中心之间的矢量,取向成像装置。在一些示例中,当成像装置通过关于远程中心(诸如成像装置450的套管460)的移动约束时,当成像装置在远程中心和成像装置的端头之间为笔直时,参考点可以对应于远程中心。在一些示例中,成像装置的一个或更多个运动学模型可以用于确定参考点的位置。在一些示例中,参考点可以与成像装置的端头关联。在一些示例中,可以通过在保留成像装置的滚转位置的同时排列成像装置的端头与视见中心,并且然后使用成像装置的视野方向作为取向矢量,来确定取向矢量。然后基于将成像装置的端头在与视野方向相反的方向上远离视见中心定位在如在过程520期间确定的工作距离,来确定成像装置的端头的位置。

在过程540处,确定期望的成像装置位置和取向是否有效。在一些示例中,这可以包括确定成像装置所附连到的铰接臂是否可以执行从其当前位置和取向至在过程530期间确定的成像装置位置和取向的视野重定中心移动。在一些示例中,由于接头限制、设置在视野重定中心移动上的最大移动限制和/或与其他铰接臂、患者解剖体和/或工作空间中的其他物体的碰撞避免,铰接臂可能不能执行视野重定中心移动。在一些示例中,最大移动限制可以包括俯仰和偏航角限制,其限制俯仰和偏航运动至30度或更小和/或阻止成像装置超过其预移动位置的插入。在一些示例中,当设置在成像装置的移动上的任何约束可以导致任何目标不再被包含在视野空间的平截头体中时,视野重定中心移动可以被确定为无效。当期望的成像装置位置和取向有效时,通过使用过程550将成像装置移动到期望的成像装置位置和取向。当期望的成像装置位置和取向无效时,可替代的成像装置位置和取向通过使用过程560被确定。

在过程550处,移动成像装置。通过计划用于成像装置和附连到成像装置的铰接臂的适当运动,来移动成像装置,并且然后通过发送一个或更多个命令至铰接臂中的致动器,来执行计划的运动。在一些示例中,运动计划可以包括多步骤移动,多步骤移动包括远离视见中心点缩回成像装置,执行俯仰和/或偏航取向以对准视野方向,以便成像装置朝向视见中心点取向,以及然后将成像装置插入至距视见中心点的工作距离。在一些示例中,当成像装置移动包括放大时,多步骤移动可以包括执行俯仰和/或偏航取向,以在将成像装置插入至工作距离之前对准视野方向。在一些示例中,当成像装置移动包括缩小时,多步骤移动可以包括在执行俯仰和/或偏航取向之前缩回成像装置至工作距离。在一些示例中,多步骤移动可以帮助降低成像装置与其他铰接臂、患者解剖体和/或工作空间中的其他物体的末端执行器碰撞的可能性。在一些示例中,当成像装置将要被缩回时,如在过程560期间确定的,插入步骤可以被省略。在一些示例中,计划的运动也可以包括滚转成像装置,以便用于成像装置的向上观看方向对准世界坐标系统。在一些示例中,与成像装置关联的铰接臂的一个或更多个的运动学模型可以用于辅助运动计划。在一些示例中,可以通过使用反复的运动计划操作,来确定计划的运动,其中反复的运动计划操作基于在接头控制与成像装置关联的铰接臂中的准确度限制,优化成像装置的俯仰、偏航以及插入和/或缩回,从而最小化成像装置的取向和/或定位错误。一旦成像装置移动,重定中心操作就被完成。

在过程560处,确定可替代的成像装置位置和取向。当在过程540期间确定的期望的成像装置位置和取向无效时,确定可替代的成像装置位置和取向,其中成像装置远离视见中心点缩回。在一些示例中,可替代的成像装置位置和取向包括缩回成像装置至最小可用插入深度以及忽视在过程520期间确定的工作距离。在一些示例中,最小插入深度可以对应于一深度,超过该深度成像装置可以变得由用于定位和/或取向成像装置的铰接臂的一个或更多个部分部分地阻挡。在一些示例中,可能部分地阻挡成像装置的铰接臂的部分可以对应于套管,诸如套管460。在一些示例中,最小插入深度可以对应于一点,距用于成像装置的远程中心的预定距离。在一些示例中,预定距离可以基于套管的长度。在一些示例中,预定距离可以在长度上从两厘米至九厘米。然后可替代的成像装置取向包括通过使用如在过程530期间使用的类似方法,使成像装置朝向视见中心点取向。

在过程570处,确定可替代的成像装置位置和取向是否有效。在一些示例中,这可以包括确定成像装置所附连到的铰接臂是否可以执行从其当前位置和取向至在过程560期间确定的可替代的成像装置位置和取向的视野重定中心移动。在一些示例中,由于接头限制、设置在视野重定中心移动上的最大移动限制和/或与其他铰接臂、患者解剖体和/或工作空间中的其他物体的碰撞避免,铰接臂可能不能执行视野重定中心移动。在一些示例中,最大移动限制可以包括俯仰和偏航角限制,其限制俯仰和偏航运动至30度或更小。当可替代的成像装置位置和取向有效时,通过使用过程550,成像装置被移动到可替代的成像装置位置和取向。当可替代的成像装置位置和取向无效时,使用过程580指示错误。

在过程580处,指示错误。当确定的和可替代的成像装置位置和取向被确定为无效时,通知操作员。在一些示例中,通知可以包括任何合适的音频和/或视觉反馈。在一些示例中,音频反馈可以包括独特声音的播放。

如上面讨论且在这里进一步强调的,图5仅是示例,其不应该不适当地限制权利要求的范围。本领域的普通技术人员将认识到许多变型、可替代方案和修改。根据一些实施例,当成像装置处于自动化移动时,可以在方法500期间和更具体地在过程550期间,考虑额外条件和/或安全因素。

在一些实施例中,一个或更多个预防措施可以被用于减少和/或防止成像装置和患者的解剖体和/或接近成像装置的其他障碍物之间的接触和/或干扰。在一些示例中,患者的解剖体的一个或更多个手术前的和/或手术中的图像可以用于识别成像装置不应该进入的一个或更多个非飞行区域。在一些示例中,用于操纵成像装置的接头中的一个或更多个接头上的力和/或转矩可以通过使用合适的传感器而被监测,以确定未预期的力和/或转矩可以指示成像装置与患者的解剖体和/或其他障碍物的不可接受的接触。在一些示例中,用于操纵成像装置的成像装置和/或接头的命令的位置和/或速度与实际位置和/或速度之间的错误可以被监测,以确定错误是否超过可配置的阈值。在一些示例中,可配置的阈值可以对于每个接头是不同的。在一些示例中,错误可以被低通滤波和/或平滑的,以避免可能由于另外的可接受暂时条件导致的误报检测(false positive detection)。在一些示例中,位于成像装置的远端附近的一个或更多个接触可以被监测,以确定成像装置是否与患者的解剖体和/或其他障碍物接触。在一些示例中,确定成像装置正在接触和/或干扰患者的解剖体可以导致成像装置的移动的提前终止和/或一个或更多个视觉和/或音频警告的激活。

在一些实施例中,一个或更多个互锁设备可以用于确保操作员出现以视察重定中心移动。在一些示例中,诸如头部/套头(head-in)传感器的一个或更多个输入控制装置可以用于确定操作员出现在操作员控制台处并在适当位置观察来自成像装置的图像。在一些示例中,照度传感器可以用于确定来自成像装置的图像正在为操作员显示在操作员控制台的观察器上。在一些示例中,互锁设备中的一个或更多个互锁设备检测到操作员的缺席和/或成像装置上的图像的丢失的确定可以导致成像装置的移动的提前终止和/或一个或更多个视觉和/或音频警告的激活。

在一些实施例中,在过程550期间计划和执行的运动可以被设计成设置成像装置的和/或用于操纵成像装置的一个或更多个接头的速度和/或加速度的上限。在一些示例中,速度和/或加速度可以受到限制,以便监测重定中心运动的操作员可以具有充足的时间对成像装置中的潜在的不期望运动做出反应并且超驰和/或终止重定中心运动。在一些示例中,速度和/或加速度可以受到限制,以便用于操纵成像装置的接头中的正向输送转矩保持在充分最小水平处,充分最小水平允许克服预期惯性、粘性摩擦和/或诸如此类的成像装置中的运动,而不允许可能导致与患者的解剖体、接近成像装置的其他末端执行器和/或其他未预期的障碍物的过度用力的接触的移动。在一些示例中,用于操纵成像装置的接头中的反馈转矩可以限于足够克服预期阻力源的最小值,预期阻力源是诸如消毒帷帘、套管密封件中的摩擦和/或诸如此类。

图6是根据一些实施例的确定用于成像装置的优选工作距离的方法600的简化示意图。方法600的过程610-660中的一个或更多个过程可以至少部分地以存储在非临时性、有形的机器可读介质上的可执行代码的形式实现,可执行代码在由一个或更多个处理器(例如,控制单元130中的处理器140)运行时可以使一个或更多个处理器执行过程610-660中的一个或更多个过程。在一些实施例中,方法600可以由诸如运动控制应用160的应用执行。在一些实施例中,方法600可以用于确定成像装置和视见中心点之间的优选工作距离。在一些示例中,优选工作距离可以是在过程520期间使用的优选工作距离。在一些实施例中,方法600可以用于由操作员监测成像装置的手动重定位操作,以学习用于操作员的优选工作距离。

在过程610处,检测用于成像装置的运动的开始。随着操作员操作具有一个或更多个铰接臂和成像装置的装置,可以监测成像装置的重定位移动。在一些示例中,成像装置的运动可以与成像装置的端头(诸如端头470)关联。在一些示例中,感兴趣的运动可以与由操作员进行的成像装置的手动重定位关联。通过监测成像装置的手动重定位,可行的是,学习由成像装置在取得的图像中捕获的成像装置和一个或更多个末端执行器之间的操作员的优选距离。在一些示例中,每个手动重定位操作可以通过用于成像装置的重定位和/或重取向控制的激活而被检测到。在一些示例中,当检测到手动重定位的开始时,可以记录成像装置的当前位置和/或取向。

在过程620处,检测成像装置的运动的结束。一旦在过程610期间检测到成像装置的运动,就监测该运动直到其结束。在一些示例中,运动的结束可以通过成像装置中的移动的缺乏而被检测到。在一些示例中,通过确定成像装置的速度下降到低于最小阈值,可以检测到运动的缺乏。在一些示例中,通过确定成像装置的速度保持低于最小阈值达预定的时间段,可以检测运动的缺乏。在一些示例中,运动的结束可以与手动重定位的结束关联,如通过重定位和/或重取向控制的停用所指出的。在一些示例中,当检测到运动的结束时,可以记录成像装置的当前位置和/或取向。

在过程630处,确定在成像装置中是否检测到充分的运动。通过使用在过程610和620期间记录的当前位置和/或取向值,可以确定成像装置的运动的量。在一些示例中,运动的量可以是开始位置和结束位置之间的距离,诸如欧几里得(Euclidean)距离。在一些示例中,运动的量可以进一步基于开始取向和结束取向之间的角变化。在一些示例中,通过确定角变化的正弦和/或余弦并且用它们中的一个乘以从在过程610期间检测运动的开始之前的与成像装置的工作距离有关的距离,角变化可以被转换为距离。当运动量超过最小阈值诸如0.5cm左右时,在过程640开始确定新的优选工作距离。当运动量不超过最小阈值时,方法600可以返回到过程610,以检测在成像装置中的未来运动。

在过程640处,确定z距离为感兴趣的点。在一些示例中,成像装置的工作距离可以基于沿视野方向的从成像装置至一个或更多个感兴趣的点的垂直距离而被表示。在一些示例中,当感兴趣的点被映射到成像装置的视野坐标系统时,感兴趣的点中的每个的z值可以表示对应的z距离。在一些示例中,感兴趣的点可以对应于一个或更多个末端执行器上的一个或更多个目标的中心。在一些示例中,末端执行器可以由操作员选择和/或基于被确定将要在由成像装置捕获的图像中可见的末端执行器而被自动地选择。在图4A和图4B的示例中,目标可以从目标412-416、422-426和/或432-434中选择。

在过程650处,确定当前工作距离。在一些示例中,通过集合过程640期间确定的z距离中的每个z距离,可以确定当前工作距离。在一些示例中,集合可以包括平均值、中间值、最小值、最大值和/或诸如此类。在一些示例中,感兴趣的点的质心(诸如质心440)的z坐标可以用于确定当前工作距离。

在过程660处,当前工作距离与之前的工作距离集合。在过程650期间确定的当前工作距离与之前的工作距离值集合,以确定优选工作距离。在一些示例中,在过程650期间确定的当前工作距离可以基于成像装置的运动的开始和结束之间的运动量而被加权,以便较大的移动对优选工作距离具有更大影响。在一些示例中,集合可以包括确定滑动平均、在预定时间段内的加窗平均值、指数平滑和/或诸如此类。在一些示例中,优选工作距离可以被初始化为默认值。在一些示例中,默认值可以基于用于成像装置的最小焦距和/或最大焦距。在一些示例中,默认值可以被设定为7cm左右。在一些实施例中,多个优选工作距离可以基于检测的运动的背景而被确定。在一些示例中,背景可以包括保持用于不同操作员的不同优选工作距离、不同程序、程序的不同阶段、数字变焦设定、焦距设定、立体视差设定和/或诸如此类。一旦执行集合,方法600就可以重复在优选工作距离的集合体中包括成像装置中的额外移动。

图7是示出根据一些实施例的在输入控制装置重定中心操作之后在显示系统上的图像中的末端执行器和控制台工作空间中的对应输入控制装置之间的关系的简化示意图。在一些示例中,输入控制装置重定中心操作可以对应于在方法200期间作为重定中心的一部分发生的输入控制装置重定中心。在一些示例中,重定中心操作的目标之一是维持在视野重定中心期间的成像装置的视野空间中的末端执行器与对应于末端执行器的输入控制装置之间的位置和/或取向和谐。在一些示例中,输入控制装置重定中心包括改变每个输入控制装置的位置和/或取向,以对应于相应末端执行器的位置和/或取向。

图7的上部分示出在图3B和图4A的视野重定中心移动之后当末端执行器310和330可以被捕获到在显示系统180上显示的图像时末端执行器310和330的图像。使用成像装置450捕获的图像可以在显示系统180上显示为显示系统180的边界710内示出的图像。为了清楚起见,在图7中示出了末端执行器310和330的额外部分及其铰接臂,即使它们不会出现在显示系统180上,并且也从图像中移除可能正在部分地或全部地阻挡末端执行器的任何物体。也示出了可以对应于质心440的视见中心点720。在一些示例中,为了利于输入控制装置的重定中心,末端执行器310和330上的感兴趣的点中的每个点也可以被映射到如由xv轴线、yv轴线和zv轴线描绘的视野坐标系统。在一些示例中,感兴趣的点可以对应于目标412-416和/或432-434。

图7的下部分示出包含分别对应于末端执行器310和330的输入控制装置760和770的控制台工作空间。输入控制装置760和770可以经由其自身的铰接臂耦连到操作员工作台的主体730。在一些示例中,控制台工作空间可以相对于臂支托740定位。在一些示例中,操作员工作台可以对应于操作员工作台170,并且臂支托740可以对应于臂支托190。因为每个操作员可以偏爱不同高度的臂支托740,具有不同尺寸和长度的臂、腕和/或手,和/或对肘放置和/或弯曲具有不同偏爱,所以人机工程学中心750可以在控制台工作空间内确定。在一些示例中,控制台工作空间坐标系统可以如由xc轴线、yc轴线和zc轴线所示定义。

在一些实施例中,末端执行器310和330与输入控制装置760和770之间的位置和/或取向和谐可以基于输入控制装置760和770上的控制点与末端执行器310和330上的对应点之间的映射而被确定。更具体地,如图7的示例中所示,输入控制装置760的指环(finger loops)上的控制点762和764可以分别被映射到目标412和414,以便当操作员在远程操作期间打开和关闭控制点762和764之间的距离时,夹持指形件312和314打开和关闭。此外,输入控制装置760上的控制点766可以被映射到目标点416,以便当枢轴点766在远程操作期间移动时,枢轴接头316可以对应地移动。类似地,输入控制装置770上的控制点772和774可以分别被映射到目标432和434。

为了分别维持在末端执行器310和330与输入控制装置760和770之间的位置和/或取向和谐,输入控制装置重定中心操作围绕人机工程学中心750对输入控制装置760和770重定位和/或重取向,以近似地对应于末端执行器310和330在对应于具有边界710的图像的视野空间内的位置和/或取向。因此,如图7中所示,输入控制装置760被定位到控制台工作空间的左下部分并且以匹配末端执行器310的位置和取向的右上方向取向。类似地,输入控制装置770被定位在控制台工作空间的右上部分中,并且以匹配末端执行器330的位置和取向的左下方向取向。为了维持位置和/或取向和谐,视见和控制台立体观察器工作空间坐标系统通常在左右(xc和xv)方向、上下(yc和yv)方向和里外(zc和zv)方向上对准。通常,由于输入控制装置的操作员手移动可以被转化为末端执行器310和/或330的对应移动,这在远程操作期间提供末端执行器310和/或330的直观操作。

在一些实施例中,可以通过将末端执行器310和330的目标412-416和/或432-434从视野坐标系统映射到控制台工作空间坐标系统,并且然后使用与输入控制装置760和770关联的铰接臂中的一个或更多个致动器以在控制台工作空间坐标系统中的映射位置处定位和/或取向对应控制点762-766和/或772-774,分别维持在末端执行器310和330与输入控制装置760和770之间的位置和/或取向和谐。在一些示例中,这可以通过使用转化和换算(scale)各变换来完成。在一些示例中,一个或更多个转化变换可以用于将视见中心点720映射至人机工程学中心740。一旦视见中心点720和人机工程学中心740对准,视野坐标系统中的距离可以被换算成控制台工作台坐标系统中的对应距离。在一些示例中,用于换算的一个或更多个比例因子(scale factor)可以由操作员工作台的操作员设定。在一些示例中,一个或更多个比例因子可以基于图像边界710和控制台工作空间的相对尺寸设定。一旦末端执行器的每个点312-316和/或332-334被映射来确定对应控制点762-766和/或772-774的位置,就可以开展并执行用于输入控制装置760和770的运动计划。

在一些实施例中,在开展并执行运动计划之前,可以约束每个控制点762-766和/或772-774的位置。在一些示例中,控制点762-766和/或772-774的位置和/或取向可以由对应铰接臂中的接头的运动限制的范围约束,从而:维持在输入控制装置760和770之间的最小距离和/或最大距离;避免与操作员工作台的臂支托740和/或其他部分的碰撞;防止输入控制装置760和770的左/右纵横交错;避免输入控制装置760和770的不期望位置和/或取向;考虑目标412-416和/或432-434和/或控制点762-766和/或772-774的位置精度(例如,1cm左右)和/或诸如此类。

虽然图7中未示出,但是输入控制装置760和/或770的前至后定位被匹配到对应末端执行器310和/或330的深度。因此,目标412-416和/或432-434的zv坐标被对应地转移(shift)和换算,以确定控制点762-766和/或722-774的zc坐标。因此,与图4B中所示的侧视图关系一致,控制点672和674可以比控制点762-766更靠近操作员定位。

图8是根据一些实施例的输入控制装置重定中心的方法800的简化示意图。方法800的过程810-860中的一个或更多个过程可以至少部分地以存储在非临时性、有形的机器可读介质上的可执行代码的形式实现,可执行代码在由一个或更多个处理器(例如,控制单元130中的处理器140)运行时可以使一个或更多个处理器执行过程810-860中的一个或更多个过程。在一些实施例中,方法800可以由诸如运动控制应用160的应用执行。在一些实施例中,方法800可以用于在控制台工作空间中对输入控制装置195、760和/或770中的一个或更多个重定中心,以维持与对应末端执行器125、310、320和/或330的位置和/或取向和谐,如在由成像装置(诸如成像装置450)捕获的图像中显示的和在显示系统180上显示的。

在过程810处,确定末端执行器位置。在一些示例中,与末端执行器关联的铰接臂关联的传感器可以用于确定铰接臂中的接头的位置。这些接头位置与铰接臂和末端执行器的一个或更多个运动学模型结合可以用于确定末端执行器的位置。在一些示例中,末端执行器的一个或更多个图像可以用于确定末端执行器的位置。在图3A、图3B、图4A、图4B和图7的示例中,末端执行器可以对应于末端执行器310和330,其中末端执行器310和/或330的位置以目标412-416和/或432-434为特征。

在过程820处,末端执行器位置被映射到视野坐标系统。通过使用与成像装置关联的铰接臂关联的传感器以及与成像装置关联的铰接臂的一个或更多个运动学模型,确定用于成像装置的视野坐标系统。然后在过程810期间确定的末端执行器位置被映射到视野坐标系统。此映射帮助确定末端执行器在由成像装置捕获的图像中的x和y位置以及指示末端执行器在视野方向上距成像装置多远的末端执行器的z位置。在图7的示例中,视野坐标系统中的末端执行器位置可以对应于目标412-416和/或432-434的xv、yv和zv坐标值。

在过程830处,末端执行器位置关于人机工程学中心转移。为了帮助维持末端执行器和操作员控制台的一个或更多个输入控制装置之间的位置和/或取向和谐,视野坐标系统被映射到控制台工作空间坐标系统。在一些示例中,在视野坐标系统和控制台工作空间坐标系统之间的映射开始于将视野坐标系统中的中心点与控制台工作空间坐标系统中的中心点相关联。在一些示例中,末端执行器位置的质心可以被选择为视野坐标系统中的中心点。在一些示例中,控制台工作空间的人机工程学中心可以被选择为控制台工作空间坐标系统的中心点。在一些示例中,当视野坐标系统和/或控制台工作空间坐标系统的原点不与选择的中心点一致时,两个中心点可以通过使用一个或更多个转化变换相关联。在一些示例中,控制台工作空间的人机工程学中心可以通过操作员控制台的操作员和/或通过操作员控制台及其输入控制装置的几何结构进行预先选择。在一些示例中,当一个或更多个支托(诸如控制台工作台上的臂支托)被重定位时,人机工程学中心可以移动。在一些示例中,可以通过监测如关于图9进一步详细讨论的操作员工作台的操作,来学习人机工程学中心。在图7的示例中,过程830对应于将质心720与人机工程学中心750对准。

在过程840处,末端执行器位置关于人机工程学中心换算,以确定控制点位置。因为视野坐标系统和控制台工作空间坐标系统的比例通常不同,所以视野坐标系统中的末端执行器相对于视野坐标系统中的中心点的位置关于控制台工作空间坐标系统中的人机工程学中心换算。换算将视野坐标系统中的末端执行器位置和中心点之间的相对距离转换成控制台工作空间坐标系统中的输入控制装置位置和人机工程学中心之间的对应的相对距离。然后来自于视野坐标系统的每个换算点变成控制台工作空间坐标系统中的控制点。在一些示例中,用于换算的一个或更多个比例因子可以由操作员工作台的操作员设定。在一些示例中,一个或更多个比例因子可以基于视野坐标系统中捕获的图像的相应尺寸和控制台工作空间的尺寸设定。在图7的示例中,过程840的换算将相应的xv、yv和zv距离分别转换成xc、yc和zc距离,以便目标412-416和/或432-434的位置分别转换成控制点762-766和/或772-774的位置。

在过程850处,约束控制点位置。在一些示例中,与视野坐标系统中的末端执行器位置关联的各点到控制台工作空间坐标系统中的控制点位置的映射可能不导致用于输入控制装置(诸如输入控制装置195、760和/或770)的合适位置和/或取向。在一些实施例中,可以约束在过程830和/或940期间映射的每个控制点的位置。在一些示例中,控制点的位置和/或取向可以由对应铰接臂中的接头的移动限制的范围约束,从而:维持不同输入控制装置的控制点之间的最小距离和/或最大距离;避免与操作员工作台的臂支托和/或其他部分的碰撞;防止输入控制装置的左/右纵横交错;避免输入控制装置的不期望位置和/或取向;考虑对末端执行器的点和/或输入控制装置的控制点的位置精度的限制(例如,1cm左右)和/或诸如此类。

在过程860处,输入控制装置被移动到控制点位置。通过使用与输入控制装置关联的铰接臂的一个或更多个运动学模型,根据输入控制装置确定将输入控制装置上的控制点从其之前的位置移动到使用过程830-850确定的控制点位置的运动计划。在一些示例中,当输入控制装置的期望运动和控制点位置可能导致在与输入控制装置关联的铰接臂之间的碰撞和/或接近碰撞时,运动计划可以包括具有避免碰撞和/或接近碰撞的中间控制位置点的多段计划。然后运动计划可以通过发送一个或更多个命令至与铰接臂关联的致动器来实现。在一些示例中,当没有合适的运动计划可以被确定时,指示错误。

图9是根据一些实施例的确定用于输入控制装置的人机工程学中心的方法900的简化示意图。方法900的过程910-950中的一个或更多个过程可以至少部分地以存储在非临时性、有形的机器可读介质上的可执行代码的形式实现,可执行代码在由一个或更多个处理器(例如,控制单元130中的处理器140)运行时可以使一个或更多个处理器执行过程910-950中的一个或更多个过程。在一些实施例中,方法900可以由诸如运动控制应用160的应用执行。在一些实施例中,方法900可以用于确定控制台工作空间中的一个或更多个输入控制装置的人机工程学中心。在一些实施例中,方法900可以用于监测输入控制装置的手动重定位操作,以学习用于操作员的优选人机工程学中心。

在过程910处,检测输入控制装置重定位移动的开始。在使用操作员工作台的远程操作装置的操作期间,操作员可以周期性地将一个或更多个输入控制装置重定位到更舒适和/或人机工程学位置。在一些示例中,这可以通过操作员接合离合器而被触发,其中离合器脱离正由相应输入控制装置远程操作的末端执行器与输入控制装置的移动。在一些示例中,检测离合器的接合指示着输入控制装置重定位移动的开始。在一些示例中,当检测输入控制装置重定位移动的开始时,可以针对输入控制装置的一个或更多个控制点记录输入控制装置的当前位置和/或取向。

在过程920处,检测每个输入控制装置重定位移动。当操作员完成输入控制装置重定位移动时,离合器脱离,并且铰接臂和末端执行器的远程操作被恢复。在一些示例中,检测离合器的脱离指示输入控制装置重定位移动的结束。在一些示例中,当检测输入控制装置重定位移动的结束时,输入控制装置的当前位置和/或取向可以基于输入控制装置的一个或更多个控制点被记录。

在过程930处,确定在输入控制装置重定位移动的开始和结束之间在输入控制装置中是否检测到充分的运动。通过使用在过程910和920期间记录的当前位置和/或取向值,可以确定输入控制装置的运动量。在一些示例中,运动量可以是在开始位置和结束位置之间的距离,诸如欧几里得距离。在一些示例中,运动量可以是一个或更多个控制点的开始位置和结束位置之间的一个或更多个距离的集合。在一些示例中,集合可以是总和、加权总和、平均值和/或诸如此类。当运动量超过最小阈值(诸如2cm左右)时,在过程940开始确定输入控制装置中心。当运动量不超过最小阈值时,方法900返回到过程910,以检测未来的输入控制装置重定位移动。

在过程940处,确定输入控制装置中心。通过使用在过程920期间记录的输入控制装置的结束位置,确定输入控制装置的中心。在一些示例中,输入控制装置的中心可以通过使用输入控制装置的一个或更多个控制点的结束位置的集合(诸如质心)而被确定。

在过程950处,输入控制装置中心与之前的输入控制装置中心集合。在过程940期间确定的输入控制装置中心与之前的输入控制装置中心集合,以确定人机工程学中心。在一些示例中,在过程940期间确定的输入控制装置中心可以基于输入控制装置重定位移动的开始和结束之间的运动量加权,以便较大的移动对人机工程学中心具有更大的影响。在一些示例中,集合可以包括确定滑动平均、在预定时间段内的加窗平均值、指数平滑和/或诸如此类。在一些示例中,人机工程学中心可以初始化为默认值。在一些示例中,默认值可以基于输入控制装置的几何结构、控制台工作空间和/或操作员的预期生理机能。在一些实施例中,多个人机工程学中心可以基于检测的运动的背景确定。在一些示例中,背景可以包括保持用于不同操作员的不同人机工程学中心、不同程序、程序的不同阶段、正在由输入控制装置远程操作的不同末端执行器和/或诸如此类。一旦执行集合,方法900就可以重复在人机工程学中心的集合体中包括额外的输入控制装置重定位移动。在一些示例中,可以调整人机工程学中心,以考虑控制台工作空间中的一个或更多个支托(诸如臂支托)的位置。

图10是根据一些实施例的控制成像装置的方法1000的简化示意图。方法1000的过程1005-1050中的一个或更多个过程可以至少部分地以存储在非临时性、有形的机器可读介质上的可执行代码的形式实现,可执行代码在由一个或更多个处理器(例如,控制单元130中的处理器140)运行时可以使一个或更多个处理器执行过程1005-1050中的一个或更多个过程。在一些实施例中,方法1000可以由诸如运动控制应用160的应用执行。在一些实施例中,方法1000可以用于结合使用控制台工作空间中的一个或更多个输入控制装置进行成像装置(诸如成像装置450)的手动控制与成像装置的自动化重定中心。在一些实施例中,过程中的变型都是可能的。在一些示例中,过程1020-1035可以以不同的顺序和/或基本上并行地执行。

在过程1005处,检测成像装置运动模式的激活。在一些示例中,电子装置的操作员可以使用一个或更多个输入控制装置(诸如开关、按钮、踏板、水平仪、声音识别和/或类似物)手动地触发成像装置运动模式的激活。在一些示例中,请求可以作为触发成像装置运动模式的暂时输入而被发出和/或作为激活成像装置运动模式的连续输入而被发出。

在过程1010处,进入成像装置运动模式。在一些示例中,在进入成像装置运动模式之前,暂停一个或更多个末端执行器的操作员控制。在一些示例中,一个或更多个运动输入控制装置(诸如一个或更多个主控制装置195)可以从一个或更多个末端执行器的控制分离。在一些示例中,由于用于控制附连到铰接臂的远端的装置的有限数量的操作员控制和/或由于限制操作员控制和/或远程操作电子装置的末端执行器中的一个或更多个的能力,可能发生分离。由操作员进行的控制的暂停允许成像装置移动,而没有来自于由操作员命令的一个或更多个末端执行器的运动干扰。

在过程1015处,确定是否正在使用运动输入控制装置中的一个或更多个。在一些示例中,在过程1010期间进入成像装置运动模式时,超时(timeout)时间段可以开始。在超时时间段期间,可以监测一个或更多个运动输入控制装置,以确定操作员是否正在尝试使用一个或更多个运动输入控制装置手动地控制成像装置的位置和/或取向。在一些示例中,超时时间段可以具有可配置的长度,诸如0.5秒左右。在一些示例中,可以基于操作员是否使一个或更多个运动输入控制装置移动多于阈值距离,是否使一个或更多个运动输入控制装置旋转通过多于阈值角度,和/或两者的一些集合组合,来确定一个或更多个运动输入控制装置的使用。在一些示例中,阈值距离可以是5-10mm。在一些示例中,阈值角度可以是5度或更大。当在不使用一个或更多个运动输入控制装置的情况下超时时间段结束时,重定中心从过程1020开始。当在超时时间段期间检测一个或更多个输入控制装置的使用时,成像装置的手动控制以过程1040开始。

在过程1020处,执行成像装置的重定中心。在一些示例中,类似于方法500的过程510-580的过程可以用于在过程1020期间执行成像装置的重定中心。在一些示例中,当成像装置正在过程1020期间重定中心时,一个或更多个运动输入控制装置可以被自动地移动,以维持一个或更多个运动输入控制装置和成像装置之间的位置和/或取向和谐。在一些示例中,类似于方法800的过程810-860的过程可以被修改,以维持一个或更多个运动输入控制装置和成像装置之间的位置和/或取向和谐,其中成像装置的位置和/或取向正在被末端执行器的位置和/或取向替代。

在过程1025处,确定是否正在使用运动输入控制装置中的一个或更多个。在一些示例中,当一个或更多个运动输入控制装置和成像装置之间的位置和/或取向和谐正在维持时,一个或更多个运动输入控制装置的使用可以对应于由操作员进行的一个或更多个运动输入控制装置的审慎运动(deliberate motion)和/或由操作员进行的对一个或更多个运动输入控制装置的位置和/或取向的变化的充分抵抗。在一些示例中,可以通过使用与在过程1015期间使用的方法类似的方法来检测审慎运动。在一些示例中,通过确定超过阈值距离和/或阈值角度的运动输入控制装置的命令位置和/或取向与实际位置和/或取向之间的差异,可以检测由操作员进行的抵抗。在一些示例中,阈值距离可以是1cm至3cm左右。在一些示例中,阈值角度可以是5度或更高。当检测到没有使用一个或更多个运动输入控制装置时,重定中心以过程1030继续。当检测到使用一个或更多个输入控制装置时,成像装置的手动控制以过程1040开始。

在过程1030处,确定重定中心是否完成。由过程1020执行的重定中心被监测,以确定被计划作为重定中心的一部分的运动是否利用具有期望的姿势的成像装置完成。当重定中心完成时,成像装置的手动控制以过程1040开始。当重定中心未完成时,重定中心以过程1035开始。

在过程1035处,确定是否检测到成像装置运动模式的停用。在一些示例中,操作员可以通过使用一个或更多个输入控制装置(诸如开关、按钮、踏板、水平仪、声音识别和/或类似物)来指示成像装置运动模式的停用。在一些示例中,当对激活成像装置运动模式的请求通过使用瞬时输入在过程1005期间被激活时,补偿性的瞬时输入可以用于停用使成像装置运动模式。在一些示例中,当对激活成像装置运动模式的请求通过使用连续输入在过程1005期间被激活时,连续输入的移除(诸如从踏板移开脚)可以用于停用成像装置运动模式。在一些示例中,预防措施、安全特征和/或与方法500和/或过程550关联的互锁中的一个或更多个可以用于确定成像装置运动模式的停用应该发生。当未检测到成像装置运动模式的停用时,重定中心通过重复过程1020-1035继续。当检测到成像装置运动模式的停用时,使用过程1050退出成像装置运动模式。

在过程1040处,成像装置基于运动输入控制装置移动。在一些示例中,运动输入控制装置可以用于手动地控制成像装置的位置和/或取向。在一些示例中,成像装置可以被移动,以维持在一个或更多个运动输入控制装置和成像装置之间的位置和/或取向和谐。在一些示例中,运动输入控制装置可以用于通过将运动输入控制装置的位置和/或取向的变化反映至成像装置的位置和/或取向的对应变化,来远程操作成像装置。在一些示例中,运动输入控制装置、成像装置和/或成像装置所附连到的铰接臂的一个或更多个运动学模型可以用于将运动输入控制装置的变化转换为成像装置的对应变化。在一些示例中,一个或更多个运动学模型可以用于确定一个或更多个坐标变换矩阵,该一个或更多个坐标变换矩阵将运动输入控制装置的变化映射到成像装置的对应变化。在一些示例中,坐标变换矩阵可以实现一个或更多个转移变换(shift transformation)和/或比例变换。在一些示例中,成像装置的位置和/或取向的变化可以通过向成像装置所附连的铰接臂中的致动器发送一个或更多个命令而被执行。

在过程1045处,确定是否检测到成像装置运动模式的停用。通过使用类似于过程1035的过程,确定是否要退出成像装置运动模式。当未检测到成像装置运动模式的停用时,成像装置的手动控制通过重复过程1040继续。当检测到成像装置运动模式的停用时,使用过程1050退出成像装置运动模式。

在过程1050处,退出成像装置运动模式。在过程1035和/或1045期间成像装置运动模式停用时,退出成像装置运动模式。在一些示例中,在退出成像装置运动模式时,由于过程1020的重定中心的成像装置的任何运动被结束,并且一个或更多个运动输入控制装置从控制成像装置的位置和/或取向分离。在一些示例中,在退出成像装置运动模式时,成像装置的手动控制和/或重定中心控制结束。在一些示例中,在退出成像装置运动模式时,电子装置可以返回到这样的模式:其中一个或更多个运动输入控制装置变成休眠的(dormant)和/或恢复到电子装置的一个或更多个末端执行器的控制。

诸如控制单元130的控制单元的一些示例可以包括具有可执行代码的非临时性、有形的机器可读介质,可执行代码在由一个或更多个处理器(例如,处理器140)运行时可以使一个或更多个处理器执行方法200、500、600、800、900和/或1000的过程。可以包括方法200、500、600、800、900和/或1000的过程的一些常见形式的机器可读介质是例如软盘、软磁盘、硬盘、磁带、任何其他磁介质、CD-ROM、任何其他光学介质、穿孔卡片、纸卡、具有孔式样的任何其他物理介质、RAM、PROM、EPROM、FLASH-EPROM、任何其他存储器芯片或卡盒和/或处理器或计算机适于从中读取的任何其他介质。

虽然说明性实施例已经被示出并描述,但是在前述公开中预期了宽范围的修改、变化和替代,并且在一些情况下,可以采用实施例的一些特征,而没有其他特征的对应使用。本领域的普通技术人员将认识到许多变型、替换和修改。因此,本发明的范围应该仅由随附权利要求限制,并且适当的是,权利要求应该广泛地且以与本文公开的实施例的范围一致的方式加以理解。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1