用于训练用户以操作遥操作系统的系统和方法与流程

用于训练用户以操作遥操作系统的系统和方法
1.相关申请的交叉引用
2.本技术要求2020年7月29日提交的美国临时申请号63/058,228的优先权和权益，该临时申请的全部内容通过引用并入本文。
技术领域
3.本公开涉及用于训练用户以操作遥操作系统的系统和方法，并且更具体地涉及通过使用模拟器系统来训练用户以操作遥操作系统。


背景技术：

4.微创医疗技术旨在减小在医疗规程期间受损的组织量，由此减小患者恢复时间、不适感和有害副作用。此类微创技术可通过患者解剖结构中的自然孔口或通过一个或多个外科切口来执行。通过这些自然孔口或切口，临床医生可插入微创医疗器械(包括手术外科、诊断、治疗或活检器械)以到达目标组织位置。一种此类微创技术是使用柔性和/或可操纵的细长设备(诸如导管)，其可被插入解剖通路并导航到患者解剖结构内的感兴趣区域。医疗人员对此类细长设备的控制涉及若干自由度的管理，至少包括细长设备的插入和回缩管理以及设备的操纵。此外，还可支持不同的操作模式。
5.因此，有利的是提供一种系统，该系统用于训练用户(诸如外科医生)以使用遥操作系统，该遥操作系统具有支持柔性和/或可操纵的细长设备(诸如可操纵导管)的直觉控制和管理的输入控件，该细长设备适用于在微创医疗技术期间使用。将进一步有利的是训练系统模拟输入控件的移动并且模拟可由外科医生在微创医学规程期间使用的图形用户界面。


技术实现要素：

6.本发明的实施例由随附说明书的权利要求最佳概括。
7.根据一些实施例，提供了一种系统。所述系统包括用户控制系统，所述用户控制系统包括用于控制虚拟医疗器械通过虚拟通路的运动的至少一个输入控制设备。所述系统还包括用于显示图形用户界面和多个训练模块的显示器。所述图形用户界面包括所述虚拟医疗器械的表示和所述虚拟通路的表示。所述系统还包括非暂态计算机可读存储介质，所述非暂态计算机可读存储介质存储可由一个或多个计算机处理器执行的多个指令。用于执行操作的所述指令包括训练用户将医疗器械导航通过所述虚拟通路。用于执行操作的所述指令还包括确定用于跟踪所述虚拟医疗器械通过所述虚拟通路的导航的表现度量。
8.其他实施例包括对应的计算机系统、装置和记录在一个或多个计算机存储设备上的计算机程序，其各自被配置为执行所述方法的动作。
9.应当理解，前面的一般描述和下面的详细描述本质上都是示例性和解释性的，并且旨在提供对本公开的理解而不限制本公开的范围。就此而言，根据以下详细描述，本公开的附加方面、特征和优点对于本领域技术人员来说将是显而易见的。
附图说明
10.图1a示出了根据一些实施例的包括用户控制系统和计算设备的模拟器系统。
11.图1b示出了根据一些实施例的用户控制系统的顶视图。
12.图2a示出了根据一些实施例的可显示在显示设备上的模块图形用户界面。
13.图2b示出了根据一些实施例的可显示在显示设备上的训练练习图形用户界面。
14.图3a至图3e示出了根据一些实施例的使用各种虚拟通路的各种训练练习。
15.图4示出了根据一些实施例的用于执行训练练习的指令集。
16.图5示出了根据一些实施例的用于跟踪训练练习的用户表现的方法。
17.图6示出了根据一些实施例的可显示在显示设备上的训练练习，其包括虚拟通路的全局视图和来自虚拟器械的远侧尖端的视图。
18.图7a至图7g示出了根据一些实施例的使用各种虚拟通路的各种训练练习。
19.图8示出了根据一些实施例的可显示在显示设备上的练习，包括来自虚拟器械和接触指示符的远侧尖端的视图。
20.图9a至图9b示出了根据一些实施例的训练练习，包括关于用户对虚拟器械的控制的表现度量。
21.图10示出了根据一些实施例的包括表现度量的简档概要。
22.图11示出了根据一些实施例的可显示在显示设备上的图形用户界面。
23.图12是根据一些实施例的计算机辅助遥操作系统的简化图。
24.在下面的详细描述中描述了本公开的实施例及其优点。应当理解，出于说明而非限制本公开的实施例的目的，相似的附图标记用于标识一个或多个图所示的相似元件。
具体实施方式
25.在以下描述中，具体细节描述了与本公开一致的一些实施例。为了提供对实施例的透彻理解，阐述了许多具体细节。然而，对于本领域的技术人员来说显而易见的是，可在没有这些特定细节中的一些或全部的情况下实践一些实施例。本文公开的具体实施例旨在说明而非限制。本领域的技术人员可认识到虽然没有具体描述但是在本公开的范围和精神内的其他元件。此外，为了避免不必要的重复，与一个实施例相关联地示出和描述的一个或多个特征可并入到其他实施例中，除非另外具体描述或者如果一个或多个特征会使实施例不起作用。在一些情况下，并未详细描述众所周知的方法、规程、部件和电路以免不必要地混淆实施例的各个方面。
26.模拟器系统可辅助加速用户学习和改进遥操作系统的用户表现。模拟器系统允许用户(例如，外科医生、临床医生、从业者、护士等)熟悉遥操作系统的用户控制系统的控制。模拟器系统还允许用户熟悉遥操作系统的图形用户界面(gui)。因此，在对患者进行医疗规程期间，用户可在操作遥操作系统之前经由模拟器系统来实践操作遥操作系统。模拟器系统可为用户提供训练模块，该训练模块通过将虚拟器械诸如虚拟医疗器械(例如，虚拟内窥镜)导航通过虚拟通路来教导用户有效地导航具有挑战性的患者解剖结构。可跟踪表现度量以评估用户的表现并进一步帮助用户进行训练。
27.图1a示出了包括计算系统110(其以是计算设备)、计算系统120(其可以是计算设备)和用户控制系统130的系统100。图1b是用户控制系统130的顶视图。计算系统110包括可
包括显示屏的显示设备112和任选支架114。计算系统110可包括处理系统116，该处理系统包括一个或多个处理器。计算系统110可包括电源部件、用于接收和/或传输数据的通信部件(例如，发射器、接收器、收发器)、用于存储数据的存储器/存储部件和/或用于支持计算系统110的功能的其他部件(未示出)。在一些实施例中，计算系统110是监视器，但也可以是任何其他合适的计算系统，诸如电视、远程计算设备(例如，膝上型电脑或移动电话)等。计算系统120包括可包括显示屏的显示设备122。计算系统120可包括处理系统126，该处理系统包括一个或多个处理器。计算系统120可包括电源部件、用于接收和/或传输数据的通信部件(例如，发射器、接收器、收发器)、用于存储数据的存储器/存储部件和/或用于支持计算系统120的功能的其他部件(未示出)。在一些实施例中，计算系统120是远程计算设备(例如，膝上型电脑、移动电话等)，但也可以是任何其他合适的计算系统，诸如监视器、电视等。
28.虽然下面的讨论可能是相对于一个显示设备(例如，显示设备122)进行的，但该讨论类似地适用于另一个显示设备(例如，显示设备112)。例如，显示设备122上显示的任何内容都可附加地或另选地显示在显示设备112上。在一些示例中，显示设备112、122可以以相同的方式操作和/或可以包括类似的特征。例如，显示设备112、122中的一者或两者可包括触摸屏。
29.附加地或另选地，计算系统110可包括图像捕获设备118(例如，相机)以在用户操作用户控制系统130时跟踪用户的注视。例如，相机118可跟踪用户的注视，并且处理系统116可确定用户是在看显示屏112还是在看显示屏122。附加地或另选地，计算系统120可包括图像捕获设备128(例如，相机)以在用户操作用户控制系统130时跟踪用户的注视。例如，相机128可跟踪用户的注视，并且处理系统126可确定用户是在看显示屏112还是在看显示屏122。
30.如图1a和图1b所示，用户控制系统130包括外壳132、输入控制设备134、输入控制设备136、状态按钮138和脊140。在一些实施例中，输入控制设备134可以是滚轮，并且输入控制设备136可以是轨迹球。状态按钮138可用于控制虚拟器械的状态(例如，被动状态或主动状态)。在一些实施例中，可包括脊140以在用户操作用户控制系统130时以人体工程学方式支撑用户的手臂/手腕。可在用户控制系统130上附加地或另选地包括任何其他人体工程学特征。在一些示例中，输入控制设备134具有无限长的行程并且可在任一方向上旋转(例如，向前和向后)。在一些情况下，输入控制设备136具有无限长的行程并且可绕任何数量的轴线旋转。在一些示例中，输入控制设备136的最常见移动可以是左右旋转、前向旋转和原地旋转的组合。在另选实施例中，输入控制设备134、136中的一者或两者可以是触摸板、操纵杆、触摸屏等。
31.在一些示例中，用户控制系统130可通过无线和/或有线连接可通信地耦接到计算系统120。在此类示例中，计算系统120还可通过无线和/或有线连接可通信地耦接到计算系统110。在一些情况下，用户控制系统130可经由计算系统120耦接到计算系统110。在其他实施例中，用户控制系统130可通过无线和/或有线连接直接耦接到计算系统110。如以下将进一步详细描述的，用户(例如，外科医生、临床医生、护士等)可与计算系统110、计算系统120和用户控制系统130中的一者或多者交互以控制虚拟器械。在一些示例中，虚拟器械是虚拟医疗器械。
32.图2a示出了动态图形用户界面(gui)200。gui 200可显示在显示设备112、显示设
备122或两者上。gui 200包括多个模块图标210a-e。每个模块图标210a-210e可表示至少一个模块。模块可被实现为可由系统100的一个或多个处理器执行的软件一个或多个模块可包括被设计成使用户(例如，外科医生、临床医生、护士等)熟悉遥操作系统的一个或多个训练练习。这些练习可提供允许用户通过各种虚拟通路和/或朝向各种虚拟目标操纵虚拟器械的模拟。这些练习允许用户在医疗规程中使用遥操作系统之前实践使用遥操作系统。在一些实施例中，系统100可呈现五个训练模块—由模块图标210a表示的介绍模块、由模块图标210b表示的基本驱动1模块、由模块图标210c表示的基本驱动2模块、由模块图标210d表示的气道驱动1模块和由模块图标210e表示的气道驱动2模块。在其他实施例中，系统100可提供多于五个或少于五个训练模块(例如，一个模块、两个模块、三个模块、四个模块、六个模块、七个模块等)。系统100可呈现上面列出的模块中的任何一个或多个或者可包括上面没有列出的任何其他模块。在其他示例中，模块图标210a-210e可表示以上列出的模块中的任何一个或多个和/或未列出的任何其他模块。附加地或另选地，一个或多个模块图标可表示对于一个模块。
33.可基于难度对模块进行排序。在一些示例中，模块的难度可基于通过虚拟通路的驱动路径的复杂性。在其他示例中，模块的难度可基于是否需要多个控制输入，该控制输入可经由输入控制设备134、136输入，同时虚拟器械遍历虚拟通路。例如，需要多个控制输入的模块可能比需要一个控制输入的模块更难。附加地或另选地，模块的难度可能基于控制输入的复杂性。在其他示例中，模块的难度可基于完成模块的目标时间。例如，具有短目标完成时间的模块可能比具有长目标完成时间的模块更难。难度可基于上述因素的任何组合和/或任何其他类似因素或因素的组合。附加地或另选地，模块可基于一个或多个用户学习目标进行排序。在一些示例中，用户学习目标可包括基本概念(例如，操作输入控制设备134、136，驱动虚拟器械通过相对直的虚拟通路等)、复杂概念(例如，驱动虚拟器械通过弯曲的虚拟通路、导航患者的虚拟解剖模型等)、肌肉记忆、认知等。每个模块可包括一个或多个用户学习目标。
34.在一些情况下，与其他模块相比，气道驱动2模块可能是最难完成的模块。因此，气道驱动2模块可比气道驱动1模块更难，该气道驱动1可比基本驱动2模块更难，该基本驱动2模块可比基本驱动1模块更难，该基本驱动1模块可比介绍模块更难。可提示用户按难度顺序完成模块(例如，从最简单到最难)，由此从介绍模块开始并且以气道驱动2模块结束。在其他示例中，用户可按任何顺序完成模块。在一些示例中，每个模块可重复任意数量的期望次数。在另选实施例中，每个模块仅在用户完成先前模块之后变得可用。例如，基本驱动1模块可能仅在用户完成介绍模块后可用。在另外的实施例中，当先前模块子集完成时，模块子集可变得可用。例如，气道驱动1和2模块s可能只有在用户完成基本驱动1和2模块后才可用。
35.如图2a所示，每个模块图标210a-210e包括指示每个相应模块所涵盖的一般主题的标题212a-212e。每个模块图标210a-210e还可包括状态指示符，诸如状态栏214a-214e。如图2a所见，状态栏214a例如被完全填满，这可指示介绍模块内的每个练习已经完成。如在图2a中进一步看到的，状态栏214b被部分填充，这可指示基本驱动1模块内的一些但不是全部练习已经完成。状态栏214c是空的，这可指示基本驱动2模块内的练习都没有开始和/或完成。在一些示例中，模块图标210a-210e中的一个或多个还可包括时间指示符216a-216e。
每个时间指示符216a-216e可示出用户完成模块内的所有练习可能花费的估计总时间。例如，时间指示符216a可指示用户将花费约30秒来完成介绍模块中的所有练习。在另选实施例中，每个时间指示符216a-216e可示出用户完成每个模块中的下一个可用练习可能花费的估计时间。
36.在一些示例中，显示屏122可以是触摸屏。在此类示例中，用户可例如通过触摸显示屏122上的模块图标210a来选择模块图标210a。在其他实施例中，用户可使用触笔、控制显示屏122上的光标的鼠标和/或通过任何其他合适方法(例如，语音激活、眼睛跟踪等)来选择模块图标210a。可使用上述选择方法中的任一者或多者来选择模块图标210a-210e中的任一者。附加地或另选地，显示屏112可以是触摸屏。在此类示例中，模块图标210a-210e可显示在显示屏112上，并且用户可例如通过触摸显示屏112上的模块图标210a来选择模块图标210a。在其他实施例中，用户可使用触笔、控制显示屏112上的光标的鼠标和/或通过任何其他合适方法(例如，语音激活、眼睛跟踪等)来选择模块图标210a。可使用上述选择方法中的任一者或多者来选择模块图标210a-210e中的任一者。
37.在一些实施例中，gui 200还可包括图标220，其可以是快速启动图标。快速启动图标220可指示用户要完成的下一个建议练习集。例如，如果用户已经完成基本驱动1模块的练习1，则用户可完成的下一个练习是基本驱动1模块的练习2。如果用户退出基本驱动1模块并返回到gui 200(例如，“主屏幕”)，则用户可通过选择快速启动图标220直接启动基本驱动1模块的练习2。快速启动图标220可为用户提供更快的访问路径以选择下一个建议练习，而不是导航到特定模块并且然后导航到特定练习。
38.gui 200还可包括用户识别信息230。用户识别信息230可指示哪个用户登录到计算系统110、120中的一者或两者。在一些实施例中，每个用户与他或她自己的个人简档相关联，该个人简档包括与每个简档相关联的唯一登录。计算系统110和/或计算系统120可包括与任意数量的用户相关联的任意数量的登录/用户简档。因此，多于一个用户可登录到计算系统110、120。在一些实施例中，一次只能有一个用户可登录。在其他实施例中，多个用户可同时登录到相同系统。在一些示例中，用户可使用他或她的简档来登录到计算系统120以访问计算系统120内的模块。一旦用户登录，用户识别信息230可指示用户登录(例如，通过在gui 220上包括用户的姓名、用户名、简档id等)。用户可随时登录和登出计算系统120。如果用户在没有完成所有模块/练习的情况下登出，则用户的进度可被保存并当用户再次登录时被调用。这允许用户继续完成模块/练习而不需要重复用户已经完成的模块/练习。在其他示例中，如果用户已经完成所有模块/练习，则用户可再次登录以重复模块/练习中的任一者或多者。
39.由模块图标210a-e表示的模块中的每一者可包括多个训练练习。例如，在选择模块图标210a之后，显示屏122显示动态gui 250，如图2b所示。gui 250包括多个训练练习图标260a-e。每个练习图标260a-e可表示至少一个训练练习。在一些实施例中，练习图标260a-e可形成包括在介绍模块内的练习列表。gui 250可包括模块标识符270以指示用户选择了哪个模块。在图2b中，模块标识符270指示用户已经选择了介绍模块，用户可通过选择模块图标210a来访问该介绍模块。因此，图2b所示的gui 250示出了包括在介绍模块内的练习。在一些实施例中，介绍模块可包括五个练习—练习1、练习2、练习3、练习4和练习5。每个模块内的练习的数量和类型可能会有所不同。例如，介绍模块可包括多于或少于五个练习
(例如，一个练习、两个练习、三个练习、四个练习、六个练习或任何其他数量的练习)。在一些示例中，练习图标260a表示练习1，练习图标260b表示练习2，练习图标260c表示练习3，练习图标260d表示练习4，并且练习图标260e表示练习5。在其他示例中，练习图标260a-e可表示以上列出的练习中的任一者或多者和/或未列出的任何其他练习。附加地或另选地，练习图标260a-e中的一者或多者可表示多于一个练习。
40.每个练习图标260a-e可包括对应的状态指示符262a-262e。状态指示符262a-e可示出特定练习是否已经完成。例如，状态指示符262a可以是复选标志或表示已完成练习的任何其他符号，并且可指示练习1已经完成。附加地，在一些示例中，当练习完成时，重播图标264a可被包括在对应于已完成练习的练习图标(例如，练习图标260a)内。通过选择重播图标264a，用户可重复练习1。状态指示符262b可以是表示未完成练习的符号(例如，相互缠绕的环、“x”等)，并且可指示练习2尚未完成。因为练习2尚未完成，所以练习图标260b可能不包括重播图标。在一些实施例中，用户可以以任何顺序完成练习，并且每个练习可重复任何数量的期望次数。在另选实施例中，每个练习仅在用户完成先前练习后变得可用。例如，练习2可能仅在用户完成练习1后可用。在另外的实施例中，当先前练习子集完成时，练习子集可变得可用。例如，练习4和5可能仅在用户完成练习1-3后可用。
41.图3a至图3e示出了根据一些实施例的各种训练练习的部分。如图3a所示，显示屏112示出了用于插入/回缩练习的动态gui 300。插入/回缩练习可以是由模块图标210a表示的介绍模块中的第一练习。当用户选择介绍模块的第一练习时，可激活插入/回缩练习。介绍模块的目标是使用户熟悉用户控制系统130。例如，介绍模块可教用户如何操作用户控制系统130以控制虚拟器械。如上面相对于图2b所讨论的，用户可通过选择显示屏122上的模块图标210a来激活介绍模块。
42.在一些实施例中，用户可通过选择练习图标260a来选择介绍模块的练习1。在一些实施例中，当用户激活介绍模块的练习1时，插入/回缩练习gui 300可显示在显示屏112上。gui 300可提供针对使用输入控制设备134的训练。如上所讨论，输入控制设备134可向前和向后滚动以控制虚拟器械的插入/回缩。
43.如图3a所示，当插入/回缩练习被激活时，显示屏112显示由表面320定义的虚拟通路315的内腔310。在图3a所示的实施例中，内腔310具有矩形截面，但在其他实施例中，内腔310可具有不同的截面形状，诸如圆形截面。目标340包括在虚拟通路315的远侧部分330内。在一些示例中，例如，当用户向前滚动输入控制设备134(表示虚拟器械的插入运动)时，在虚拟通路315的端部处的开口335可变大。随着开口335变大，目标340然后可变大。这可给用户一种感觉，即随着虚拟器械接近目标340，虚拟器械正朝向目标340移动。在一些实施例中，当虚拟器械到达目标340时，显示屏112可显示用于指示虚拟器械已经到达目标340的效果。例如，显示屏112可改变目标340的显示，诸如通过使目标340向外爆炸、使目标340向内爆炸、改变目标340的不透明度、改变目标340的颜色等。附加地或另选地，当虚拟器械到达目标340时可使用一个或多个其他效果，诸如音频信号、显示屏112上的文本指示符、通过输入控制设备134和/或用户控制系统130向用户提供触觉反馈和/或任何其他类似的效果。在其他示例中，当用户向后滚动输入控制设备134(表示虚拟器械的回缩运动)时，开口335可随着虚拟器械远离目标340后退而变小。随着开口335变小，目标340然后可变小。
44.在一些实施例中，用户可通过选择练习图标260b来选择介绍模块的练习2。介绍模
块的练习2可能是器械弯曲练习。在一些实施例中，当用户激活介绍模块的第二练习时，用于器械弯曲练习的动态gui 350的一部分可显示在显示屏112上。gui 350提供针对输入控制设备136的使用的训练。
45.如图3b所示，当弯曲练习被激活时，显示屏112上的gui 350显示包括远侧部分362的虚拟器械360。在一些示例中，当用户在一个方向上滚动输入控制设备136时，虚拟器械360的远侧部分362在显示屏112上沿对应方向弯曲。可滚动输入控制设备136以在偏航(左和右)和俯仰(上下)中致动虚拟器械。例如，如果用户向左(例如，沿方向d1)滚动输入控制设备136，则虚拟器械360的远侧部分362向左弯曲。gui 350还包括一组方向箭头370，其指示用户应沿哪个方向滚动输入控制设备136。如图3b所示，方向箭头370指向d1方向，从而指示用户应沿d1方向滚动输入控制设备136。进度指示符372示出了用户沿方向d1滚动输入控制设备136的距离。例如，进度指示符372可由方向箭头370的一个或多个箭头中的阴影来示出，如图3a所示。在其他示例中，进度指示符372可被示为图案、颜色或在方向箭头370中的一者或多者上显示的任何其他视觉指示符。在另外的示例中，进度指示符372可以是非视觉指示符，诸如可听指示符、触觉指示符等。随着用户继续沿方向d1滚动输入控制设备136，进度指示符372可沿方向箭头370延伸，最终到达目标380。进度指示符372可以是颜色、图案或可沿着进度指示符372、在该进度指示符中、在该进度指示符上、上方或下方延伸的任何其他类似指示符。除了方向d1之外，进度指示符372也可指向任何其他方向。
46.当用户已将输入控制设备136沿方向d1滚动阈值距离时，虚拟器械360可被视为已“到达”目标380。显示屏112可显示用于指示虚拟器械360已“到达”目标380的效果。例如，目标380可发光/改变颜色。附加地或另选地，当虚拟器械360“到达”目标380时可使用一个或多个其他效果，诸如音频信号、显示屏112上的文本指示符，显示屏112示出效果(例如，目标380向外爆炸、向内爆炸、褪色、消失等)、用户通过输入控制设备136和/或用户控制系统130接收触觉反馈，和/或任何其他类似效果。
47.在一些实施例中，在虚拟器械360“到达”目标380之后，远侧部分362停止弯曲，即使用户继续沿方向d1滚动输入控制设备136。在另选实施例中，当用户沿方向d1滚动输入控制设备136时，虚拟器械360的远侧部分362可继续沿方向d1弯曲超过目标380。
48.在一些实施例中，用户可通过选择练习图标260c来选择介绍模块的练习3。介绍模块的练习3可能是线性导航练习。在一些实施例中，当用户激活介绍模块的练习3时，用于线性导航练习的动态gui 400的一部分可显示在显示屏112上。线性导航练习gui 400提供针对同时使用输入控制设备134和输入控制设备136的训练。
49.如图3c所示，显示屏112显示线性导航练习gui 400，包括第一部分400a和第二部分400b。在一些实施例中，第一部分400a示出了虚拟细长设备410(例如，其可以是虚拟导管)、虚拟器械412和虚拟通路420的全局透视图。如图3c所示，虚拟器械412可从虚拟导管410延伸。虚拟器械412包括远侧部分414。在一些示例中，第二部分400b示出了来自虚拟器械412的远侧尖端的视图。当虚拟器械412遍历虚拟通路420时，第一部分400a和第二部分400b都可实时更新。在一些示例中，第一部分400a可单独显示在显示屏112上，或者第二部分400b可单独显示在显示屏122上。在其他示例中，第一部分400a和第二部分400b可以如图3c所示的分屏形式同时显示在显示屏112上。
50.在使用gui 400的线性导航练习中，gui 400可提供训练以教育用户将虚拟器械
412导航通过虚拟通路420。在一些示例中，虚拟通路420由多个顺序对准的虚拟环420a-420c定义。在一些实施例中，环420a-420c可线性对准。当虚拟器械412的远侧部分414遍历通过环420a-420c中的每一者时，可完成线性导航练习。在一些示例中，当远侧部分414穿过和/或接触每个环420a-420c时，系统120和/或系统110确定远侧部分414成功地遍历虚拟通路420。在一些实施例中，当远侧部分414穿过和/或接触每个环420a-420c时，呈现用于指示远侧部分414穿过和/或接触每个环420a-420c的效果。例如，显示屏112可示出效果(例如，每个环420a-420c向外爆炸、向内爆炸、褪色、消失等)，可播放音频信号，显示屏112可显示文本指示符，环420a-420c可改变颜色，用户可通过输入控制设备134、输入控制设备136和/或用户控制系统130的外壳132接收触觉反馈，和/或可呈现任何其他类似的指示。
51.如上所讨论，输入控制设备134可控制虚拟器械412的插入/回缩。在一些示例中，远离用户向前滚动输入控制设备134会增加虚拟器械412的远侧端部的插入深度(插入)，并且朝向操作者向后滚动输入控制设备134会减小虚拟器械412的远侧端部的插入深度(回缩)。例如，当用户沿方向d2(图1b)滚动输入控制设备134时，虚拟器械412可沿方向d3从虚拟导管410向外延伸得更远。在一些示例中，当用户沿方向d4(图1b)滚动输入控制设备134时，虚拟器械412可沿方向d5在虚拟导管410内回缩。在一些实施例中，虚拟通路420与虚拟器械412的纵向轴线对准。在此类实施例中，用户可能只需要致动输入控制设备134以将虚拟器械412导航通过虚拟通路420。在其他实施例中，虚拟通路420可能不与虚拟器械412的纵向轴线对准。在此类实施例中，用户可致动输入控制设备134、136以将虚拟器械412导航通过虚拟通路420。例如，当同时致动输入控制设备134、136时，输入控制设备136的致动致使虚拟器械412的远侧部分414随着虚拟器械412的插入深度改变而改变取向。这导致虚拟器械412的方向的改变。
52.在一些实施例中，用户可通过选择练习图标260d来选择介绍模块的练习4。介绍模块的练习4可能是非线性导航练习。在一些实施例中，当用户激活介绍模块的练习4时，用于非线性导航练习的动态gui 430的一部分可显示在显示屏112上。gui 430提供针对同时使用输入控制设备134和输入控制设备136的训练。
53.如图3d所见，显示屏112示出了包括第一部分430a和第二部分430b的gui 430。在一些实施例中，第一部分430a示出了虚拟导管410、虚拟器械412和虚拟通路440的全局透视图。在一些示例中，第二部分430b示出了来自虚拟器械412的远侧尖端的视图。当虚拟器械412遍历虚拟通路440时，第一部分430a和第二部分430b都可实时更新。
54.在使用gui 430的非线性导航练习中，gui 430可提供训练以教育用户将虚拟器械412导航通过虚拟通路440。在一些示例中，虚拟通路440由多个顺序对准的虚拟目标440a-440c定义。如图3d所示，目标440a可包括外环442a和内核444a。类似地，目标440b可包括外环442b和内核444b。附加地，目标440c可包括外环442c和内核444c。目标440a-440c可以是任何尺寸和形状。例如，一个或多个内核444a-444c可以是球体、立方体、棱锥体、直角棱柱体等。外环442a-442c可以是圆形、方形、三角形等。外环442a-442c的形状可对应于核444a-444c的形状—例如，如果核444a是球体，则外环442a可以是圆环。另选地，外环442a-442c的形状可不同于核444a-444c的形状—例如，如果核440a是立方体，则外环442a可以是三角形环。在另选示例中，目标440a-440c中的一者或多者可以是具有变化不透明度的球体，其中球体的中心是实心的并且球体的外边缘是半透明的。
55.在一些实施例中，目标440a-440c可非线性对准。当虚拟器械412的远侧部分414遍历通过目标440a-440c中的每一者时，可完成非线性导航练习。在一些示例中，当远侧部分414穿过和/或接触每个目标440a-440c(例如每个虚拟目标440a-440c的外环和/或核)时，系统120和/或系统110确定虚拟器械412的远侧部分414成功遍历虚拟通路440。在一些情况下，当在接触阈值内进行接触时，系统120和/或系统110可确定远侧部分414接触目标440a-440c。下面的讨论是相对于目标440a进行的并且类似地适用于目标440b和440c。在一些示例中，当远侧部分414接触目标440a的核444a时，可在接触阈值内进行接触。在其他示例中，当远侧部分414刚好在外环442a内部接触目标440a时，可在接触阈值内进行接触。在其他示例中，当远侧部分414接触外环442a时，可在接触阈值内进行接触。
56.在一些实施例中，当远侧部分414穿过和/或接触每个目标440a-440c时，可提供用于指示远侧部分414穿过和/或接触每个目标440a-440c的效果。例如，显示屏112可示出效果(例如，每个目标440a-440c向外爆炸、向内爆炸、褪色、消失等)，可播放音频信号，显示屏112可显示文本指示符，目标440a-440c可改变颜色，用户可通过输入控制设备134、输入控制设备136和/或用户控制系统130的外壳132接收触觉反馈，和/或可呈现任何其他类似的指示。在一些示例中，效果可基于远侧部分414和目标440a-440c之间的接触而改变。例如，在远侧部分414接触外环442a之前，目标440a可以第一显示状态示出，诸如纯色、完全不透明等。当远侧部分414首先接触外环442a时，目标440a随后可以以第二显示状态示出，诸如颜色渐变、部分不透明等。随着远侧部分414移动靠近核444a，目标440a的显示状态可继续改变。例如，目标440a的颜色可继续从第一显示状态的颜色(例如，红色)改变到第二颜色(例如，绿色)。附加地或另选地，目标440a的不透明度可继续从第一显示状态的不透明度(例如，完全不透明)改变到第二不透明度(例如，完全半透明)。当系统120和/或系统110确定远侧部分414已经成功到达目标440a时—例如，当远侧部分414和目标440a之间的接触在上面讨论的接触阈值内时—显示屏112可示出效果(例如，目标440a向外爆炸、向内爆炸、褪色、消失等)。上述讨论类似地适用于目标440b和440c。
57.如上所讨论，输入控制设备136可控制虚拟器械412的关节连接。在一些实施例中，当用户沿特定方向滚动输入控制设备136时，虚拟器械412的远侧部分414可在对应方向上弯曲。例如，输入控制设备136可用于同时控制远侧部分414的俯仰和偏航。在一些示例中，输入控制设备136沿向前方向(例如，方向d2)和向后方向(例如，方向d4)的旋转可用于控制远侧部分414的俯仰。输入控制设备136沿左方向(例如，方向d6(图1b))和右方向的旋转可用于控制远侧部分414的偏航。例如，当用户沿方向d6滚动输入控制设备136时，远侧部分414可沿方向d7弯曲。在一些示例中，用户可控制旋转方向相对于远侧部分414移动的方向是正常的和/还是反转的(例如，向前旋转以向下俯仰以及向后旋转以向上俯仰相对于向后旋转以向下俯仰以及向前旋转以向上俯仰)。例如，当用户沿方向d6滚动输入控制设备136时，远侧部分414可沿方向d8弯曲。在一些实施例中，虚拟通路440不与虚拟器械412的纵向轴线对准。在此类实施例中，用户可致动输入控制设备134、136以将虚拟器械412导航通过虚拟通路440。
58.在一些实施例中，用户可通过选择练习图标260e来选择介绍模块的练习5。介绍模块的练习5可能是通路导航练习。在一些实施例中，当用户激活介绍模块的通路导航练习时，可在显示屏112上显示用于通路导航练习的动态gui 450。gui 450提供针对同时使用输
入控制设备134和输入控制设备136的训练。
59.如图3e所见，显示屏112显示了包括第一部分450a和第二部分450b的gui 450。在一些实施例中，第一部分450a示出了虚拟导管410、虚拟器械412和虚拟通路460的全局透视图。在一些示例中，第二部分450b示出了来自虚拟器械412的远侧尖端的视图。当虚拟器械412遍历虚拟通路460时，第一部分450a和第二部分450b都可实时更新。
60.在gui 450的通路导航练习中，gui 450可提供训练以教育用户将虚拟器械412导航通过虚拟通路460。在一些示例中，虚拟通路460由虚拟管470定义。虚拟管470包括远侧端部472并且定义内腔474。用户可通过将虚拟器械412导航通过内腔474以到达远侧端部472来完成通路导航练习。在一些示例中，当远侧部分414穿过和/或接触远侧端部472时，系统120和/或系统110确定虚拟器械412的远侧部分414成功遍历虚拟通路460。用户可以与上面关于图3c讨论的方式基本上类似的方式控制虚拟器械412。例如，当虚拟器械412到达虚拟管的远侧端部472时，显示屏112可示出效果(例如，虚拟管470的远侧端部472和/或任何其他部分向外爆炸、向内爆炸、褪色、消失等)，可播放音频信号，显示屏112可显示文本指示符，虚拟管470可改变颜色，用户可通过输入控制设备134、输入控制设备136和/或用户控制系统130的外壳132接收触觉反馈，和/或可呈现任何其他类似的指示。
61.图4示出了用于使用练习gui 300、350、400、430、450中的任一者来完成一个或多个练习的指令集500。例如，指令集500可在用户选择练习图标之后但在激活练习之前显示在显示屏112、122中的一者或两者上。在其他示例中，指令集500可在练习被激活之前和/或同时显示在显示屏112、122中的一者或两者上。例如，当练习gui 300显示在显示屏112上时，指令集500可重叠在插入/回缩练习gui 300上。在其他示例中，指令集500可在显示屏112上与练习gui 300一起显示为画中画。在另外的示例中，指令集500可例如在显示屏112上邻近练习gui 300显示。在一些实施例中，指令集500内的单独指令可针对用户选择的特定练习进行定制。如图4所示，指令集500可向用户提供关于如何有效地控制虚拟器械的建议。例如，指令集500可建议用户在将虚拟器械412导航通过虚拟通路(例如，虚拟通路420、440、460中的一者或多者)时使用双手。这可通过使用户熟悉同时致动输入控制设备134、136的过程来帮助训练用户。
62.附加地或另选地，指令集500可向用户提供关于如何与gui 200交互的指令。例如，指令集500可指导用户如何选择模块图标210a-210e中的一者并且然后如何选择选定模块内的练习图标中的一者。在一些实施例中，指令集500可为特定模块/练习提供指令和目标的混合。
63.参考图6，在一些实施例中，显示屏112示出了用于基本驱动1模块中的第一练习的动态gui 600。gui 600可包括第一部分600a和第二部分600b。基本驱动1模块可提供针对使用用户控制系统130以将虚拟器械导航通过一种或多种形状的各种虚拟通路的训练。例如，用户可致动输入控制设备134、136以通过各种虚拟通路插入、回缩和/或操纵虚拟器械615。在一些实施例中，用户可通过使用上面讨论的任何一种或多种选择方法选择显示屏122上的模块图标210b来激活基本驱动1模块。在模块图标210b被选择之后，显示屏122然后可显示图形用户界面，该图形用户界面显示包括在基本驱动1模块中的练习。在一些实施例中，基本驱动1模块包括五个练习，但任何其他数量的练习可包括在基本驱动1模块内。
64.在一些实施例中，用户可通过使用上面讨论的任何一种或多种选择方法选择对应
于第一练习的练习图标来激活基本驱动1模块中的第一练习。在一些实施例中，gui 600的第一部分600a示出了虚拟通路610的全局透视图。在一些示例中，第二部分600b示出了来自虚拟器械615的远侧尖端的视图。虚拟器械615可与虚拟器械412基本上类似。当虚拟器械615遍历虚拟通路610时，第一部分600a和第二部分600b都可实时更新。
65.如图6所示，虚拟通路610包括位于虚拟通路610内的多个虚拟目标620。虚拟通路610还包括位于虚拟通路610的远侧部分612内的虚拟最终目标640。当使用gui 600来执行练习时，用户可使用输入控制设备134、136以将虚拟器械615导航通过虚拟通路610，同时击中目标620、640中的每一者。在一些示例中，用户可使用输入控制设备134、136以将虚拟器械615导航通过虚拟通路610并击中目标620、640中的每一者，同时维持虚拟器械615尽可能靠近路径630。路径630可由目标620定义。在一些实施例中，路径630可表示虚拟器械615通过虚拟通路610应采取的最佳遍历路径。路径630可基于诸如虚拟器械615和虚拟通路610的壁之间的接触量或诸如虚拟器械615遍历虚拟通路610的长度所花费的时间量的参数来确定。例如，路径630可通过优化或最小化此类参数来确定。在一些示例中，路径630可基本上与虚拟通路610的纵向轴线对准。在其他示例中，诸如当虚拟通路610是更复杂的形状时，路径630可能不与虚拟通路610的纵向轴线对准。在此类示例中，虚拟器械615可能需要采用比遵循虚拟通路610的纵向轴线的接近角更宽的接近角以减小和/或避免虚拟器械615与虚拟通路的壁之间的接触610。
66.如图6进一步所示，显示屏112可显示指令650。虽然指令650显示在第一部分600a的底部处，但指令650可显示在显示屏112上的任何合适位置处(例如，在显示屏112的顶部处，在显示屏112的侧面，在显示屏112的底部处，或者在可能沿着或不沿着显示屏112的边缘的任何其他位置处)。在一些实施例中，指令650可取决于用户使用gui 600在练习中取得的进展而改变。例如，指令650可引导用户移动输入控制设备134以开始练习。在一些示例中，在开始练习之后，指令650可改变以指示用户控制虚拟器械615以使得虚拟器械615接触每个目标620。附加地或另选地，指令650可指示用户沿路径630维护虚拟器械615。在一些实施例中，当用户完成练习时，指令650可告诉用户返回到gui 250以选择另一个练习和/或返回到gui 200以选择另一个模块。附加地或另选地，上述指令中的任一个或多个或任何附加指令可显示在显示屏122上。
67.在若干实施例中，第一部分600a可示出虚拟器械615实时前进通过虚拟通路610。在一些实施例中，指示符可显示在显示屏112上以指示虚拟器械615的路径与路径630的接近度。例如，如果虚拟器械615的路径基本上与路径630对准，则虚拟器械615可被示为绿色，从而指示虚拟器械615与路径630的令人满意的接近度。如果虚拟器械615的路径偏离路径630，则虚拟器械615可被示为红色，从而指示虚拟器械615与路径630的不令人满意的接近度。虚拟器械615的路径与路径630的接近度可以以任何其他合适的方式(例如，文本指示符、可听指示符、触觉反馈等)来示出。在一些实施例中，在虚拟器械615接触目标620之后，目标620可能不再显示在显示屏112上。附加地或另选地，在虚拟器械615接触目标620之后，可示出效果(例如，目标620向外爆炸、向内爆炸、褪色、消失等)，用户可接收触觉反馈，和/或可呈现任何其他类似的效果。
68.如上所讨论，gui 600的第二部分600b示出了从虚拟器械615的远侧尖端的角度看的视图。在一些示例中，第二部分600b示出了虚拟通路610的内腔660。目标620也可显示在
内腔660内。当虚拟器械615进一步插入虚拟通路610中并接近每个目标620时，随着虚拟器械615的远侧尖端越来越接近每个目标620，每个目标620的尺寸增加。当虚拟器械615接触目标620时，可在显示屏112上显示效果(例如，目标620向外爆炸、向内爆炸、褪色、消失等)，用户可接收触觉反馈和/或可呈现任何其他类似的接触指示效果。
69.在一些实施例中，显示屏112可在第二部分600b上显示多个表现度量670。当虚拟器械615导航通过虚拟通路610时，可实时更新多个表现度量670中的每个表现度量。当用户控制虚拟器械615时，表现度量670可跟踪用户的表现，这将在下面更详细地讨论。
70.在若干示例中，虚拟通路610可以是虚拟解剖通路。在一些实施例中，虚拟解剖通路610可由计算系统110、120中的一者或两者生成。在其他实施例中，虚拟解剖通路610可表示患者解剖结构中的实际解剖通路。例如，虚拟解剖通路610可根据ct数据、mri数据、荧光透视数据等生成，这些数据可能在医学规程之前、期间或之后生成。
71.如上所讨论，基本驱动1模块可能包括五个练习。基本驱动2模块在一些实施例中可包括三个练习，但在其他实施例中可包括任何其他数量的练习。参考图7a-7g，可在显示屏112上显示用于基本驱动1模块和基本驱动2模块的一些练习的动态gui 700a-700g。每个练习gui 700a-700g可向用户介绍其中将实践用户控制系统130的操作的虚拟环境。可显示每个gui700a-700g来代替gui 600的第一部分600a。在一些实施例中，可为基本驱动1模块中包括的练习显示gui 700a-700e，并且可为基本驱动2模块中包括的练习显示gui 700f和700g。可以以任何其他合适的方式在这两个模块之间划分练习。在其他实施例中，练习可全部包括在一个模块中。gui700a-700g分别包括各种虚拟通路710a-710g。在每个练习中，用户可将虚拟器械715a-715g导航通过虚拟通路710a-710g中的对应一者。在一些示例中，虚拟通路710a-710g中的一者或多者可基于患者解剖结构的一个或多个解剖通路。例如，虚拟通路710a的一个或多个中心线点可对应于患者解剖结构的解剖通路的一个或多个中心线点。类似地，虚拟通路710b-710g中的每一者的一个或多个中心线点可对应于患者解剖结构的一个或多个解剖通路的一个或多个中心线点。
72.在一些示例中，可针对基本驱动1模块的练习1显示gui 700a，可针对基本驱动1模块的练习2显示gui 700b，可针对基本驱动1模块的练习3显示gui 700c，可针对基本驱动1模块的练习4显示gui 700d，可针对基本驱动1模块的练习5显示gui 700e，可针对基本驱动2模块的练习1显示gui700f，并且可针对基本驱动2模块的练习2显示gui 700g。在其他示例中，可针对包括在任何其他模块中的练习显示gui 700a-700g。其他练习可包括在上面讨论的一个或多个模块中或者可包括在计算系统110、120内的任何附加模块中。
73.参考图7a，练习gui 700a示出了虚拟通路710a、多个虚拟目标720a、路径730a和虚拟最终目标740a。虚拟目标720a可基本上类似于虚拟目标620，并且虚拟最终目标740a可基本上类似于虚拟最终目标640。在一些实施例中，路径730a可表示虚拟器械(例如，虚拟器械615)可通过虚拟通路710a采取的最佳路径。最佳路径可由处理系统116和/或处理系统126确定，由用户在设置阶段确定，或由处理系统116/126确定并由用户在设置阶段更改。处理器或用户可通过确定通过虚拟通路710a的最短路径，通过确定将最小化虚拟器械715a中的弯曲度的路径以确保弯曲度低于阈值弯曲度，和/或通过确定将虚拟器械715a定位在相对于路径端部处的解剖目标的最佳姿势(例如，位置和取向)的路径来定义最佳路径。在一些示例中，用户可将虚拟器械715a导航通过虚拟通路710a。
74.在一些示例中，每个虚拟通路710a-710g可表示逐渐更复杂的虚拟通路。例如，虚拟通路710b可比虚拟通路710a更复杂，例如通过包括至少一个更尖锐的弯曲/曲线、至少一个具有更窄通路宽度的部分、更多弯曲/曲线等。在一些示例中，虚拟通路710g可以是虚拟通路710a-710g的最复杂形状。在此类示例中，虚拟通路710g可能比虚拟通路710f更复杂，该虚拟通路710f可能比虚拟通路710e更复杂，该虚拟通路710e可能比虚拟通路710d更复杂，该虚拟通路710d可能比虚拟通路710c更复杂，该虚拟通路710c可能比虚拟通路710b更复杂，该虚拟通路710b可能比虚拟通路710a更复杂。在其他示例中，虚拟通路710a-710g中的任一者可以是任何复杂度，并且虚拟通路710a-710g的复杂度可按照随机顺序。
75.在一些示例中，虚拟通路710a可包括至少一个弯曲750a，其可以是s曲线，虚拟器械715a必须导航通过该弯曲以到达目标740a。练习gui 700a可用于训练用户使用用户控制系统130来将虚拟器械导航通过虚拟通路，诸如虚拟通路710a，其包括一个或多个较小弯曲(例如，小于45
°
的弯曲)。因此，练习gui 700a可向用户提供相对于导航非线性虚拟通路的训练。
76.图7b示出了练习gui 700b，其包括虚拟通路710b。虚拟通路710b可包括至少一个大体为45
°
的弯曲750b，虚拟器械715b必须导航通过该弯曲以到达目标740b。练习gui 700b可用于训练用户使用用户控制系统130来将虚拟器械导航通过虚拟通路，诸如虚拟通路710b，其包括至少一个45
°
弯曲。因此，练习gui 700b可向用户提供关于导航与仅具有较小弯曲的虚拟通路相比具有更复杂形状的非线性虚拟通路的训练。
77.图7c示出了练习gui 700c，其包括虚拟通路710c。虚拟通路710c可包括至少一个大体为90
°
的弯曲750c，虚拟器械715c必须导航通过该弯曲以到达目标740c。图7d示出了练习gui 700d，其包括虚拟通路710d。虚拟通路710d可包括至少一个大体为90
°
的弯曲750d，虚拟器械715d必须导航通过该弯曲以到达目标740d。图7e示出了练习gui 700e，其包括虚拟通路710e。虚拟通路710e可包括至少一个大体为90
°
的弯曲750e，虚拟器械715e必须导航通过该弯曲以到达目标740e。练习gui 700c-700e可各自用于训练用户使用用户控制系统130来将虚拟器械导航通过包括至少一个90
°
弯曲的虚拟通路。因此，练习gui 700c-700e可向用户提供关于导航与仅具有45
°
弯曲的虚拟通路相比具有更复杂形状的非线性虚拟通路的训练。附加地，弯曲可能发生在任何方向上，这可能有助于训练用户导航不同取向的虚拟通路。
78.图7f示出了练习gui 700f，其包括虚拟通路710f。虚拟通路710f可包括至少一个大体为180
°
的弯曲750f，虚拟器械715f必须导航通过该弯曲以到达目标740f。图7g示出了练习gui 700g，其包括虚拟通路710g。虚拟通路710g可包括至少一个大体为180
°
的弯曲750g，虚拟器械715g必须导航通过该弯曲以到达目标740g。练习gui 700f和700g可各自用于训练用户使用用户控制系统130来将虚拟器械导航通过包括至少一个180
°
弯曲的虚拟通路。因此，练习gui 700f和700g向用户提供关于导航与仅具有90
°
弯曲的虚拟通路相比具有更复杂形状的非线性虚拟通路的训练。附加地，弯曲可能发生在任何方向上，这有助于训练用户导航不同取向的虚拟通路。此外，练习gui 700f和700g可帮助训练用户将虚拟器械导航通过包括恒定弯曲而没有虚拟通路的任何线性区段的虚拟通路。
79.虚拟通路710a-710g中的任一者或多者可包括上面讨论的任何一个或多个特征和/或可包括上面没有讨论的附加特征(例如，大体直的通路、具有不同弯曲和/或不同弯曲
组合的通路等)。
80.以上关于虚拟通路610的讨论可适用于虚拟通路710a-710g中的每一者。例如，关于虚拟通路710a，路径730a可表示虚拟器械615通过虚拟通路710a应采取的最佳路径。附加地，上面关于图6的讨论可类似地应用于图6和图7a-7g之间的任何其他类似特征。
81.图8示出了可显示在显示屏112上的动态gui(例如，gui 700a、600)的一部分770。在一些实施例中，部分770可代替动态gui 600的第二部分600b显示在显示屏112上。如上所讨论，第二部分600b示出了来自虚拟器械615的远侧尖端的视图。类似地，部分770示出了来自虚拟器械715a的远侧尖端的视图。在一些示例中，部分770示出了虚拟通路710a的内腔780。部分770还包括可显示在内腔780内的目标720a。当虚拟器械715a进一步插入虚拟通路710a并接近每个目标720a时，随着虚拟器械715a的远侧尖端越来越接近每个目标720a，每个目标720a的尺寸增加。当虚拟器械715a接触目标720a时，可在显示屏112上显示效果(例如，目标720a向外爆炸、向内爆炸、褪色、消失等)，用户可接收触觉反馈和/或可呈现任何其他类似的接触指示效果。
82.在一些实施例中，显示屏112可在练习gui 700a的部分770中显示多个表现度量760。当虚拟器械715a导航通过虚拟通路(例如，虚拟通路710a)时，可实时更新多个表现度量760中的每个表现度量760a-760d。当用户控制虚拟器械615时，表现度量760可跟踪用户的表现。在一些实施例中，表现度量跟踪用户导航通过虚拟通路并停留在虚拟通路内并且击中虚拟目标的能力。在其他实施例中，表现度量跟踪用户遵循最佳路径或将虚拟器械定位在最佳最终位置/取向的能力或效率。在其他实施例中，表现度量跟踪用户在导航和驱动期间使用各种输入设备的熟练程度。在一些实施例中，表现度量跟踪对应于在通路内/沿着目标的驱动、沿着最佳路径/位置的驱动以及使用用户输入设备的熟练程度的各类型的度量的任何组合。
83.将参考图7a进行关于表现度量的以下讨论。讨论类似地适用于图3a-3e、图6、图7b-7g、图8、图9a、图9b和图11中的任一者或多者中的虚拟器械、虚拟通路等。
84.在一些示例中，与测量用户导航通过虚拟通路并停留在虚拟通路内以及击中虚拟目标的能力相对应的表现度量可被跟踪和显示或用于提供指示用户在通路内的驱动能力的分数。在一些实施例中，多个表现度量760可包括“目标”度量760a、“同时驱动”度量760b、“碰撞”度量760c和“完成时间”度量760d中的一者或多者。多个表现度量760还可包括一个或多个附加度量，诸如“居中驱动”度量、“错过目标、反转、然后击中目标”度量、“力测量”度量、“倾斜角度”度量、“敲击碰撞”度量、“拖动碰撞”度量、“器械变形”度量、“弯曲半径”度量等。这些度量中的任一者或多个(或任何其他未列出的度量)可显示在显示屏112和/或显示屏122上。附加地或另选地，这些度量中的任一者或多者(或任何其他未列出的度量)可由计算系统110和/或计算系统120跟踪，而不管度量是否显示在显示屏112上和/或显示屏122。在一些示例中，多个表现度量760在用户执行练习时不显示在显示屏112上。在此类示例中，可在用户完成练习时显示表现度量760，这将在下面更详细地讨论。
85.在一些示例中，当虚拟器械715a遍历虚拟通路710a时，“目标”度量760a跟踪在虚拟通路710a内的目标的总数中的由虚拟器械715a击中的目标(例如，目标720a)的数量。击中的目标的数量可实时更新。例如，当虚拟器械715a接触目标720a中的一者时，“目标”度量760a可增加为“一”的增量。在一些情况下，当虚拟器械715a接触第一目标720a时，“目标”度
量760a可从“0/10”变为“1/10”。在若干实施例中，可针对基本驱动1模块和基本驱动2模块中的一者或多者中的一个或多个练习跟踪“目标”度量760a。
86.在一些示例中，“碰撞”度量760c跟踪虚拟器械715a的远侧尖端与虚拟通路710a的壁碰撞的次数。例如，每当远侧尖端接触虚拟通路710a的壁时，“碰撞”度量760c可使其计数器递增一个单位(例如，从1到2)。在一些实施例中，虚拟器械715a和虚拟通路710a的壁之间的接触力(其可以是碰撞力)可能需要达到阈值力(例如，阈值碰撞力)以构成“碰撞”，从而用于使“碰撞”度量760c递增的目的。在其他实施例中，任何接触力的碰撞可导致“碰撞”度量760c使其计数器递增。在一些实施例中，阈值力可以是将虚拟器械715a的远侧尖端移动两(2)毫米超过虚拟通路710a的壁所需的力。阈值力可以是将虚拟器械715a的远侧尖端移动任何其他距离(例如，1mm、3mm、4mm等)超过虚拟通路710a的壁所需的力。
87.在一些实施例中，虚拟尖端(未示出)可围绕虚拟器械715a的远侧尖端。虚拟尖端可以是球体、半球体、立方体、半立方体等。当虚拟尖端接触(例如，触摸、重叠等)虚拟通路710a的壁时，可能会发生“碰撞”。在一些示例中，当虚拟尖端和壁之间的重叠量超过阈值重叠量时，虚拟尖端可接触壁。阈值重叠量可以是0.25mm、0.5mm或任何其他距离。在此类示例中，“碰撞”度量可在重叠量超过阈值重叠量时使其计数器递增。在一些情况下，这可能在虚拟器械715a的远侧尖端接触虚拟通路710a的壁之前发生。用户的目标可能是最小化虚拟器械715a和虚拟通路710a的壁之间发生的碰撞量。在若干实施例中，可针对基本驱动1模块、基本驱动2模块、气道驱动1模块和气道驱动2模块中的一者或多者中的一个或多个练习跟踪“碰撞”度量760c。
88.在一些示例中，“完成时间”度量760d跟踪从虚拟器械715a第一次开始移动到虚拟器械715a接触目标740a所经过的总时间。用户的目标可能是最小化其完成练习(例如，gui 700a所示的练习)所花费的总时间量。在若干实施例中，可针对基本驱动1模块、基本驱动2模块、气道驱动1模块和气道驱动2模块中的一者或多者中的一个或多个练习跟踪“完成时间”度量760d。在另选实施例中，仅在输入控制设备134、136中的一者或两者被致动时才跟踪“完成时间”度量760d。例如，如果用户停止致动输入控制设备134、136中的一者或两者并且在执行练习的中间离开用户控制系统130，则计算“完成时间”的计时器可暂停。当用户返回到用户控制系统130并恢复致动输入控制设备134、136中的一者或两者时，定时器可再次启动。
89.在一些实施例中，“居中驱动”度量跟踪虚拟器械715a的远侧尖端处于虚拟通路710a的中心的时间百分比。例如，“居中驱动”度量将虚拟器械715a的远侧尖端处于虚拟通路710a的中心的时间量与虚拟器械715a移动通过虚拟通路710a的总时间量进行比较。在一些情况下，当虚拟器械715a遍历虚拟通路710a的一个或多个直区段时，“居中驱动”度量跟踪虚拟器械715a的远侧尖端处于虚拟通路710a的中心的时间百分比。在一些实施例中，虚拟通路710a包括多于一个的直区段。在此类实施例中，“居中驱动”度量可单独跟踪虚拟器械715a的远侧尖端处于虚拟通路710a的每个直区段的中心的时间百分比。例如，“居中驱动”度量可确定第一直区段的百分比、第二直区段的百分比、第三直区段的百分比等。附加地或另选地，“居中驱动”度量可跟踪虚拟器械715a的远侧尖端处于组合的虚拟通路710a的所有直区段的中心的总时间百分比。在另外的另选实施例中，“居中驱动”度量可单独跟踪虚拟器械715a的远侧尖端处于虚拟通路710a的一个或一些直区段(但不是所有直区段)的
中心的时间百分比。用户的目标可能是最大化虚拟器械715a的远侧尖端处于虚拟通路710a的中心的时间百分比。
90.在一些实施例中，“错过目标、反转、然后击中目标”度量跟踪虚拟器械715a错过/通过目标(例如，一个或多个目标720a)、回缩超过目标，并且然后再次插入并击中目标的次数。虚拟器械715a错过目标、反转并且然后击中目标的次数可实时更新。例如，当虚拟器械715a错过目标、反转并且然后击中目标时，“错过目标、反转、然后击中目标”度量可增加为“一”的增量。在一些情况下，当虚拟器械715a错过目标、反转并且然后击中目标时，“错过目标、反转、然后击中目标”度量可从“0”变为“1”。在一些示例中，“错过目标、反转、然后击中目标”度量可跟踪当虚拟器械715a反转并再次尝试击中目标时行进的距离和经过的时间。用户的目标可能是最小化错过目标的数量。
91.在一些实施例中，“力测量”度量跟踪当虚拟器械715a的远侧尖端接触虚拟通路710a的壁时由虚拟器械715a的远侧尖端施加到虚拟通路710a的壁的力的量。系统110和/或系统120可基于检测到的虚拟通路710a的壁的变形、虚拟器械715a的远侧尖端相对于虚拟通路710a的壁的接近角以及/或者虚拟器械715a的刚度。目标可以是最小化施加到壁上的力的量，并且如果力被施加到壁上，则最小化将力施加到壁的时间长度。在一些实施例中，虚拟通路710a的变形可基于虚拟器械715a的远侧尖端和虚拟通路710a的壁的相对位置来确定。在一些实施例中，虚拟器械715a的刚度可以是提供给系统110和/或系统120的预定量。可在练习(例如，gui 700a所示的练习)被激活之前和/或在练习被激活时提供刚度。目标可以是最小化虚拟通路710a的变形量，并且如果虚拟通路710a变形，则最小化虚拟通路710a变形的时间长度。
92.附加地或另选地，“力测量”度量可跟踪当虚拟器械715a的远侧尖端接触游戏化练习壁时由虚拟器械715a的远侧尖端施加到游戏化练习壁的力的量。在一些示例中，游戏化练习壁表示虚拟通路710a的壁。系统110和/或系统120可计算该力以提高显示虚拟器械715a和虚拟通路710a的壁之间的交互的准确性(例如，在显示屏112上和/或显示屏122上)。
93.在一些实施例中，“撑起角”度量测量接触角—虚拟器械715a的远侧尖端接触虚拟通路710a的壁的角度。当虚拟器械715a的远侧尖端接触虚拟通路710a的壁时，壁将“撑起”(例如，至少在径向方向上扩展)。接触角可定义撑起量。在一些示例中，接触角很缓(例如，与虚拟通路710a的壁的接触角小于30
°
)。在其他示例中，接触角很陡(例如，与虚拟通路710a的壁的接触角大于或等于30
°
)。当接触角很陡时，壁的撑起量可能比接触角很缓时更大。用户的目标可能是最小化接触角。
94.在一些实施例中，“敲击碰撞”度量跟踪虚拟器械715a的远侧尖端敲击虚拟通路710a的壁的次数。敲击可能是从壁上轻微反弹。例如，每当远侧尖端敲击虚拟通路710a的壁时，“敲击碰撞”度量可使其计数器递增一个单位(例如，从0到1)。在一些实施例中，如果虚拟器械715a和虚拟通路710a的壁之间的接触力(其可以是碰撞力)等于或低于阈值力(例如，上面关于“碰撞”度量760c讨论的阈值碰撞力)，则接触构成“敲击”以用于使“敲击碰撞”度量递增的目的。如果接触力高于阈值力，则接触构成碰撞。用户的目标可能是最小化虚拟器械715a和虚拟通路710a的壁之间发生的敲击的数量。
95.在一些实施例中，“拖动碰撞”度量跟踪虚拟器械715a在接触虚拟通路710a的壁时移动(向前或向后)的时间量。在一些示例中，当虚拟器械715a正在移动并且虚拟器械715a
的远侧尖端与虚拟通路710a的壁接触时，系统110和/或系统120启动“拖动碰撞”度量的计时器。附加地或另选地，当虚拟器械715a正在移动并且虚拟器械715a的任何部分与壁接触时，系统110和/或系统120启动定时器。在一些情况下，“拖动碰撞”度量可跟踪虚拟器械715a在接触虚拟通路710a的壁时移动的距离。用户的目标可能是最小化虚拟器械715a在接触虚拟通路710a的壁时移动的时间量和/或距离。
96.在一些实施例中，“器械变形”度量跟踪虚拟器械715a在穿越虚拟通路710a时是否变形。例如，“器械变形”度量可跟踪虚拟器械715a的远侧尖端和/或虚拟器械715a的轴是否经历楔入。当虚拟器械715a的远侧尖端和/或轴卡住(例如，钉住、挤压等)抵靠虚拟通路710a的壁时，可能会发生楔入。虚拟器械715a的楔入部分可能无法再通过虚拟通路710a在插入方向上移动。显示屏(例如，显示屏112和/或显示屏122)可示出虚拟器械715a是否被楔入抵靠虚拟通路710a的壁。例如，用户可以能够查看显示屏并看到虚拟器械715a被楔入。附加地或另选地，当虚拟器械715a被楔入时，可呈现楔入指示符。楔入指示符可以是文本指示符、可听指示符、触觉指示符、任何其他指示符或其任何组合。附加地或另选地，虚拟器械715a被楔入的次数可实时更新。例如，当虚拟器械715a被楔入时，“器械变形”度量可增加为“一”的增量，诸如从“0”到“1”。
97.在附加的示例中，“器械变形”度量跟踪虚拟器械715a是否经历屈曲。在一些情况下，当虚拟器械715a的一部分变得楔入并且虚拟器械715a继续插入虚拟通路710a时，可能发生屈曲。在这种情况下，虚拟器械715a的一部分可能屈曲。附加地或另选地，虚拟器械715a的楔入部分可能屈曲。显示屏112和/或显示屏122可示出虚拟器械715a是否已经屈曲。例如，用户可以能够查看显示屏并看到虚拟器械715a已经屈曲。附加地或另选地，当虚拟器械715a屈曲时，可呈现屈曲指示符。屈曲指示符可以是文本指示符、可听指示符、触觉指示符、任何其他指示符或其任何组合。附加地或另选地，虚拟器械715a屈曲的次数可实时更新。例如，当虚拟器械715a屈曲时，“器械变形”度量可增加为“一”的增量，诸如从“0”到“1”。
98.在一些实施例中，表现度量跟踪用户遵循最佳路径或将虚拟器械定位在最佳最终位置/取向的能力或效率。最佳路径可由处理系统116和/或处理系统126确定，由用户在设置阶段确定，或由处理系统116/126确定并由用户在设置阶段更改。处理器或用户可通过确定通过虚拟通路710a的最短路径，通过确定将最小化虚拟器械715a中的弯曲度的路径以确保弯曲度低于阈值弯曲度，和/或通过确定将虚拟器械715a定位在相对于路径端部处的解剖目标的最佳姿势(例如，位置和取向)的路径来定义最佳路径。在一些示例中，用户可将虚拟器械715a导航通过虚拟通路710a。
99.多个表现度量760可包括一个或多个度量，诸如“器械定位”度量、“路径偏差”度量、“驱动效率”度量、“停放位置”度量、“弯曲半径”度量等。这些度量中的任一者或多个(或任何其他未列出的度量)可显示在显示屏112和/或显示屏122上。附加地或另选地，这些度量中的任一者或多者(或任何其他未列出的度量)可由计算系统110和/或计算系统120跟踪，而不管度量是否显示在显示屏112上和/或显示屏122。在一些示例中，多个表现度量760在用户执行练习时不显示在显示屏112上。在此类示例中，可在用户完成练习时显示表现度量760，这将在下面更详细地讨论。
100.在一些实施例中，“器械定位”度量跟踪虚拟器械715a被最佳定位以准备转弯通过虚拟通路710a的弯曲区段(例如，弯曲区段750a)的次数。在一些示例中，如果虚拟器械715a
以太缓的角度接近弯曲区段，则虚拟器械715a将无法平滑地穿过弯曲部分(例如，不需要回缩和/或重新定位)。相反，当虚拟器械715a穿过弯曲区段时，虚拟器械715a将需要迭代地重新定位(例如，通过短插入和回缩的序列)。虚拟器械715a被最佳定位以准备转弯通过弯曲区段的次数可实时更新。例如，当虚拟器械715a被最佳定位时，“器械定位”度量可增加为“一”的增量。在一些情况下，虚拟通路710a可包括两个弯曲部分。在此类情况下，当虚拟器械715a被最佳定位时，“器械位置”度量可从“0/2”变为“1/2”。虚拟通路710a可包括任何其他数量的弯曲部分。
101.在一些实施例中，“路径偏差”度量将虚拟器械715a的遍历路径与路径730a进行比较以查看虚拟器械715a遵循路径730a的接近程度。在一些示例中，在练习期间和/或练习完成之后，显示屏112和/或显示屏122可显示包括虚拟器械715a的遍历路径和路径730a的虚拟通路710a。这允许系统110和/或系统120将虚拟器械715a的遍历路径与路径730a进行比较。在一些示例中，在用户执行练习时，显示路径730a。这允许虚拟器械715a的遍历路径与路径730a进行实时比较。在其他示例中，仅在练习完成之后显示路径730a。这允许虚拟器械715a的遍历路径在练习完成后与路径730a进行比较。在一些示例中，当遍历路径与路径730a的差异大于阈值距离(其可以是0.25mm、0.5mm、1mm等)时，系统110和/或系统120可确定虚拟器械715a的遍历路径偏离路径730a。用户的目标可能是最大化虚拟器械715a的遍历路径与路径730a匹配的时间和/或长度。
102.在一些实施例中，“驱动效率”度量跟踪虚拟器械715a的遍历路径的长度以确定虚拟器械715a穿过虚拟通路710a以到达目标740a的效率如何。这允许系统110和/或系统120将虚拟器械715a的遍历路径的长度与路径730a的长度进行比较。在一些示例中，“驱动效率”度量可被呈现为将虚拟器械715a的遍历路径的长度与路径730a的长度进行比较的比率。例如，比率“2:1”可说明虚拟器械715a的遍历路径的长度是路径730a的长度的两倍。附加地或另选地，“驱动效率”度量可说明虚拟器械715a的遍历路径的长度比路径730a的长度长的百分比。
103.在一些情况下，“驱动效率”度量可跟踪虚拟器械715a偏离路径730a的次数。虚拟器械715a偏离路径730a的次数可实时更新。例如，当虚拟器械715a偏离路径730a时，“驱动效率”度量可增加为“一”的增量，诸如从“0”到“1”。
104.附加地或另选地，“驱动效率”度量可跟踪虚拟器械715a在偏离路径730a时移动(向前或向后)的时间量。在一些示例中，当虚拟器械715a正在移动并且虚拟器械715a的远侧尖端偏离路径730a时，系统110和/或系统120启动“驱动效率”度量的计时器。在其他示例中，当虚拟器械715a正在移动并且虚拟器械715a的任何部分偏离路径730a时，系统110和/或系统120启动定时器。
105.在一些实施例中，“停放位置”度量跟踪虚拟器械715a到达目标停放位置的次数。目标停放位置可表示虚拟器械715a的最佳位置和/或取向以允许虚拟器械715a接近病灶或其他目标解剖结构。在一些示例中，目标停放位置可以是目标740a。在其他示例中，目标停放位置可由位于虚拟通路710a内的清晰标记表示。例如，附加地或另选地，目标停放位置在显示屏112上可能是不可见的，但可由系统110和/或系统120已知。在此类情况下，系统110和/或系统120可确定虚拟器械715a的远侧尖端的停放位置是否到达“不可见”目标停放位置。
106.虚拟器械715a到达目标停放位置的次数可实时更新。例如，当虚拟器械715a到达目标停放位置时，“停放位置”度量可增加为“一”的增量。在一些情况下，当虚拟器械715a到达目标停放位置时，“停放位置”度量可从“0/2”变为“1/2”。虚拟通路710a可包括任意数量的最佳停放位置(例如，多于或少于两个最佳停放位置)。在一些实施例中，针对一个目标解剖结构可能有多于一个最佳停放位置。在其他实施例中，对于每个目标解剖结构可能有一个最佳停放位置。在其他实施例中，一个停放位置可以是多个目标的最佳停放位置。
107.目标停放位置可由处理系统116和/或处理系统126通过确定将最小化虚拟器械715a中的弯曲度以确保弯曲度低于阈值弯曲度的位置来确定。附加地或另选地，目标停放位置可由处理系统116和/或处理系统126通过确定将虚拟器械715a放置在相对于解剖目标的最佳位置的位置来确定。附加地或另选地，目标停放位置可由处理系统116和/或处理系统126通过确定将虚拟器械715a放置在相对于解剖目标的最佳姿势(例如，位置和取向)的位置来确定。在一些示例中，目标停放位置可由处理系统116和/或处理系统126通过确定将虚拟器械715a放置在相对于解剖目标的最佳形状的位置来确定。
108.在一些实施例中，“弯曲半径”度量跟踪当远侧尖端被铰接时虚拟器械715a的远侧尖端弯曲了多少度。度数可显示在显示屏112和/或显示屏122上。附加地或另选地，“弯曲半径”度量跟踪虚拟器械715a的一部分(或多于一个部分)是否以过于尖锐的曲率弯曲而不允许设备穿过虚拟器械715a的内腔。在一些示例中，弯曲指示符可显示在显示屏112和/或显示屏122上。当虚拟器械715a的一部分(或多于一个部分)以过于尖锐的曲率弯曲而不允许设备穿过虚拟器械715a的内腔时，弯曲指示符的部分可能会变成不同的颜色，诸如黄色或红色。“弯曲半径”度量可跟踪弯曲指示符中的黄色/红色部分的数量。弯曲指示符中的黄色/红色部分的数量可实时更新。例如，当虚拟器械715a的一部分以过于尖锐的曲率弯曲而不允许设备穿过虚拟器械715a的内腔时，“弯曲半径”度量可增加为“个”的增量，诸如从“0”到“1”。用户的目标可能是最小化弯曲指示符中的黄色/红色部分的数量。附加地或另选地，用户的目标可能是最小化黄色/红色部分的长度。
109.在2016年6月30日提交并且名称为“graphical user interface for displaying guidance information during an image-guided procedure”的美国临时专利申请号62/357,217中描述了弯曲指示符的各种示例，以及用于监测除了弯曲之外的参数的相关指示符，该专利的全部内容通过引用并入本文。可在2018年4月18日提交并且名称为“graphical user interface for monitoring an image-guided procedure”的国际申请号wo 2018/195216中找到关于弯曲指示符的更多信息，该专利的全部内容通过引用并入本文。
110.如上所讨论，输入控制设备136控制虚拟器械715a的远侧部分的弯曲，并且输入控制设备134控制虚拟器械715a的插入。在一些实施例中，多个表现度量跟踪用户在导航和驱动期间使用各种输入设备的熟练程度。多个表现度量760可包括一个或多个附加度量，诸如“用户输入设备的不正确使用”度量、“同时驱动”度量760b、“眼睛跟踪”度量、“控制利用频率”度量，“用户输入设备的自由旋转”度量等。这些度量中的任一者或多个(或任何其他未列出的度量)可显示在显示屏112和/或显示屏122上。附加地或另选地，这些度量中的任一者或多者(或任何其他未列出的度量)可由计算系统110和/或计算系统120跟踪，而不管度量是否显示在显示屏112上和/或显示屏122。在一些示例中，多个表现度量760在用户执行练习时不显示在显示屏112上。在此类示例中，可在用户完成练习时显示表现度量760，这将
在下面更详细地讨论。
111.在一些实施例中，“用户输入设备的不正确使用”度量跟踪例如用户不正确操作输入控制设备136的次数。用户不正确地操作输入控制设备136以尝试插入或回缩虚拟器械715a的次数可实时更新。例如，当用户不正确地操作输入控制设备136以尝试插入或回缩虚拟器械715a时，“用户输入设备的不正确使用”度量可能增加为“一”的增量，诸如从“0”到“1”。附加地或另选地，“用户输入设备的不正确使用”度量可跟踪用户不正确地操作输入控制设备136的时间量。这允许系统110和/或系统120确定用户恢复输入控制设备136的正确操作所花费的总时间量。
112.在一些情况下，“同时驱动”度量760b跟踪输入控制设备134、136同时运动的时间百分比。同时驱动可能更有效，因为虚拟器械715a的同时插入和铰接可导致虚拟器械715a比虚拟器械715a未同时插入和铰接时更快地行进到目标(例如，目标740a)。在一些实施例中，通过将输入控制设备134、136同时运动的时间量与输入控制设备134、136中的仅一者运动的时间量进行比较来确定同时驱动的百分比运动。用户的目标可能是最大化同时驱动的数量并且从而增加同时驱动百分比。在若干实施例中，可针对基本驱动1模块、基本驱动2模块、气道驱动1模块和气道驱动2模块中的一者或多者中的一个或多个练习跟踪“同时驱动”度量760b。在一些示例中，可在不需要同时驱动的一个或多个练习中跟踪“同时驱动”度量760b。在此类示例中，如果用户同时致动输入控制设备134、136，则系统110和/或系统120可指示用户停止他或她的“同时驱动”。
113.在一些实施例中，“用户输入设备的自由旋转”度量跟踪输入控制设备134在不到一秒内旋转至少一整圈的次数。如上所讨论，输入控制设备134控制虚拟器械715a的插入。输入控制设备134在不到一秒内旋转至少一整圈的次数可实时更新。例如，当输入控制设备134在不到一秒内旋转至少一整圈时，“用户输入设备的自由旋转”度量可增加为“一”的增量，诸如从“0”到“1”。当输入控制设备134在不到一秒内旋转至少一整圈时，输入控制设备134可以以大于阈值角速度的角速度旋转。在一些情况下，阈值角速度可以是每分钟60转，但也可以是任何其他合适的角速度。当输入控制设备134以大于阈值角速度的角速度旋转时，“用户输入设备的自由旋转”度量可增加为“一”的增量，诸如从“0”到“1”。用户的目标可能是最小化输入控制设备134以大于阈值角速度的角速度旋转的次数。
114.在一些实施例中，“眼睛跟踪”度量跟踪用户的注视，这允许系统110和/或系统120确定用户在执行练习(例如，gui 700a所示的练习)时正在看哪个显示屏(例如，显示屏112、122中的一者)。系统110和/或系统120还可确定用户是否正在看输入控制设备134、136中的一者或两者。例如，系统110的相机118和/或系统120的相机128可跟踪用户的注视。基于所跟踪的注视，系统110和/或系统120可确定：(1)当虚拟器械715a穿过虚拟通路710a时的用户注视显示屏112的时间百分比；(2)当虚拟器械715a穿过虚拟通路710a时的用户注视显示屏122的时间百分比；和/或(3)当虚拟器械715a穿过虚拟通路710a时的用户注视输入控制设备134、136中的一者或两者的时间百分比。系统110和/或系统120可比较这些百分比以确定当虚拟器械715a穿过虚拟通路710a时的用户看显示屏112的频率。
115.在一些情况下，可在虚拟器械715a穿过虚拟通路710a时向用户呈现一个或多个指示符(例如，消息、提示等)。指示符可向用户提供关于用户应将他或她的注视投向何处的建议。指示符可以是文本指示符、可听指示符、触觉指示符、任何其他指示符或其任何组合。在
指示符是文本指示符的示例中，文本指示符可显示在显示屏112、122中的一者或两者上。在此类示例中，“眼睛跟踪”度量可跟踪用户是否查看了文本指示符。例如，相机118和/或相机128可跟踪用户的注视。系统110和/或系统120然后可确定用户是否查看文本指示符。“眼睛跟踪”度量还可追踪用户是否遵守文本指示符所提供的建议。
116.在一些实施例中，系统110和/或系统120可使用“眼睛跟踪”度量来将用户的注意力吸引到一个或多个次优事件(例如，出血、穿孔、阻塞等)，这些事件可能当虚拟器械715a穿过虚拟通路710a时发生。例如，系统110和/或系统120可确定用户的注视聚焦在显示屏112和/或显示屏122上的位置。系统110和/或系统120然后可在用户的注视所聚焦的位置处向用户呈现消息。消息可指示用户将他或她的注意力转向次优事件—例如，显示屏112和/或显示屏122上的显示次优事件的位置。
117.在一些示例中，当在虚拟器械715a的远侧尖端和虚拟通路710a的壁之间发生接触时，可呈现指示符。如图8所见，显示屏112可沿着显示屏112的边缘显示指示符790。指示符790可指示虚拟器械715a的远侧尖端和虚拟通路710a的壁之间发生接触的一般区域。例如，基于图8所示的指示符790的位置，虚拟器械715a的远侧端部在图像参考系i中的虚拟通路710a的左下象限(例如，-x,-y象限)的一般区域中接触虚拟通路710a的壁。在若干示例中，指示符790可重叠在部分770上。在一些情况下，指示符790可以是与部分770不同的颜色(例如，红色、橙色、黄色等)。附加地或另选地，指示符790可包括图案，诸如交叉影线。在一些实施例中，指示符790可以以任何其他合适的格式呈现(例如，显示屏112上的文本通知、可听通知、触觉反馈等)。
118.附加地或另选地，指示符790可因效果而改变，诸如使指示符790向外爆炸、使指示符790向内爆炸、改变指示符790的不透明度、改变指示符790的颜色、指示符790褪色、指示符790消失等。指示符790可通过上述效果中的任何一种或多种来显示。在一些情况下，显示屏112和/或显示屏122可显示指示符790以指示用户关于以上讨论的任一个或多个表现度量的表现状态。
119.在一些实施例中，系统110和/或系统120可针对上述度量的任何组合来评估用户的表现以提供用户表现的总分数。在一些情况下，可对一个或多个度量进行加权以强调某些度量相对于其他度量的重要性。在其他情况下，每个度量可能具有相同的权重。总分数可包括一个或多个子分数。例如，总分数可包括驱动子分数以评估虚拟器械715a被驱动通过虚拟通路710a的成功程度。系统110和/或系统120可通过评估与虚拟器械715a和虚拟通路710a的壁之间的碰撞、由虚拟器械715a施加到虚拟通路710a的壁上的力、击中目标(例如，目标720a)有关的一个或多个度量和/或任何其他相关度量或度量组合来确定驱动子分数。在一些示例中，总分数可包括路径导航子分数以评估虚拟器械715a的遍历路径与计划路径(例如，路径730a)匹配的成功程度。系统110和/或系统120可通过评估与虚拟器械715a的最佳遍历路径、最佳停放位置、最佳位置、取向、姿势和/或形状相关的一个或多个度量和/或任何其他相关度量或度量组合来确定路径导航子分数。附加地或另选地，总分数可包括输入控制设备子分数以评估用户操作输入控制设备134、136的成功程度。系统110和/或系统120可通过评估与输入控制设备134、136的操作相关的一个或多个度量和/或任何其他相关度量或度量的组合来确定驱动子分数。
120.图5示出了根据一些实施例的用于控制系统100中的虚拟器械的方法550。方法550
被示为一组操作或过程552至558并且继续参考至少图1a、图1b、图3a-3e和图6-10来描述。如图5所示，在过程552处，响应于至少从输入控制设备134接收的用户输入，将虚拟器械(例如，虚拟器械615)插入到虚拟通路(例如，虚拟通路610)中。在将虚拟器械插入虚拟通路期间或之后，在过程554处，响应于至少从输入控制设备136接收的用户输入，引导虚拟器械通过虚拟通路。在过程556处，计算系统110和/或计算系统120基于虚拟器械的操纵来确定至少一个表现度量(例如，“目标”度量760a、“同时驱动”度量760b、“碰撞”度量760c、“完成时间”度量760d等)。在过程558处，计算系统110和/或计算系统120确定是否同时致动输入控制设备134、136。在一些示例中，这有助于系统110和/或系统120跟踪“同时驱动”度量760b。
121.图9a示出了可显示在显示屏112上的动态gui(例如，gui 700a、600)的一部分800。在一些实施例中，部分800可代替动态gui 600的第二部分600b显示在显示屏112上。如上所讨论，第二部分600b示出了来自虚拟器械615的远侧尖端的视图。类似地，部分800示出了来自虚拟器械715a的远侧尖端的视图。部分800可包括多个表现度量810，其可包括任何一个或多个表现度量760。部分800还可包括对应于每个表现度量的进度条820。在一些实施例中，每个进度条820可指示每个表现度量的完成进度。例如，对应于“目标”度量760a的进度条820可指示虚拟器械715a在练习期间接触了多少目标(例如，目标720a)。当每个目标被接触时，进度条820的进度指示符822可实时递增地填满进度条820。进度指示符822可以是颜色(例如，绿色、蓝色、红色等)、图案或用于说明进度的任何其他视觉指示符。在一些示例中，可在练习完成之后示出进度条820以说明用户相对于特定练习的每个表现度量的表现。
122.图9b示出了可包括用户对特定练习的表现的统计概要的概要报告850。报告850可显示在显示屏112和/或显示屏122上。在一些实施例中，报告850在用户完成练习后显示。在其他实施例中，可在用户执行练习时显示报告850，并且可实时更新度量810。如图9b所示，报告850还可包括指令图标860，其可提供指令和/或提示以帮助用户提高他或她的表现。例如，指令图标860可建议用户同时致动输入控制设备134、136以改进“同时驱动”分数。指令图标860可根据需要提供任何其他建议/提示以帮助改进用户相对于任何一个或多个其他度量810和/或上文关于图8讨论的任何附加度量的表现。
123.图10示出了根据一些实施例的可显示在显示屏112和/或显示屏122上的简档概要900。在一些示例中，简档概要900包括简档信息910，该简档信息可包括登录到计算系统110和/或计算系统120的当前用户的识别信息(例如，用户名、真实姓名、密码、电子邮件等)。简档概要900还可包括模块类别920、940。简档概要900中示出的模块类别可包括在用户登录到系统110/120时被激活的模块。在一些实施例中，表现概要930a-930d、950可包括在模块类别中。表现概要930a-930d、950可对应于由用户执行的相应练习，并且表现概要930a-930d可说明在用户登录到系统时用户执行的每个练习的度量。
124.如图10所示，模块类别920表示基本驱动1模块。在一些实施例中，每个表现概要930a-930d对应于用户在基本驱动1模块内执行的练习。例如，表现概要930a对应于基本驱动1模块中的练习1。表现概要930a可包括说明用户关于练习1的表现的表现度量。表现概要930b可对应于基本驱动1模块中的练习2，表现概要930c可对应于基本驱动1模块中的练习3，并且表现概要930d可对应于基本驱动1模块中的练习4。在一些实施例中，表现概要950对应于用户在基本驱动2模块内执行的练习。例如，表现概要950可对应于基本驱动2模块中的练习1。
125.在练习被重复一次或多次的示例中，练习的每次重复的表现概要可包括在对应于包括重复练习的模块的模块类别内。附加地或另选地，当重复练习时，运行的每个练习的度量可一起平均，并且该练习的表现概要可列出该练习的平均度量。附加地或另选地，当重复练习时，可显示运行的用户最成功练习的度量和运行的用户最不成功的练习的度量。
126.在一些示例中，用户的一位或多位主管可登录到系统110和/或系统120以查看用户的表现。例如，当主管登录时，可显示摘要图表，其说明用户已完成的一个或多个练习的表现度量。系统还可显示在主管监督下的其他用户的表现度量。以此方式，系统可说明多于一个用户的表现的比较。
127.图11示出了根据一些实施例的可显示在显示屏112、122中的一者或两者上的图形用户界面(gui)1000。在一些实施例中，gui 1000可包括全局气道视图1010、减小解剖模型1020、导航视图1030和内窥镜视图1040。在一些示例中，全局气道视图1010包括3d虚拟患者解剖模型1012，其可包括从全局视角显示的多个虚拟通路1014。减小解剖模型1020包括以简化2d格式的到目标位置的计划路线的细长表示。导航视图1030包括来自3d虚拟患者解剖模型1012的目标的放大视图。内窥镜视图1040包括来自虚拟器械1016的远侧尖端的视图。
128.当致动气道驱动1模块和/或气道驱动2模块时，可显示gui 1000。这些模块的目标可能是在使用gui 1000时向用户提供关于将医疗器械导航通过各种解剖通路的训练。例如，gui 1000可在医疗器械的引导方面帮助用户。在一些实施例中，用户可通过选择显示屏122上的模块图标210d来激活气道驱动1模块。在选择模块图标210d之后，显示屏122然后可显示gui，其显示包括在气道驱动1模块中的练习。在一些实施例中，气道驱动1模块包括五个练习，但可包括任何其他数量的练习。用户可通过选择显示屏122上的第一练习图标来激活气道驱动1模块的第一练习，其可以是第一气道导航练习。第一练习可以是第一气道导航练习。
129.在若干示例中，全局气道视图1010包括虚拟患者解剖模型1012，其可包括多个虚拟通路1014。在一些情况下，多个虚拟通路1014中的虚拟通路是虚拟解剖通路。患者解剖模型1012可以是通用的(例如，存储在诸如计算系统120的计算系统内的预定模型，或由计算系统110和/或计算系统120随机生成的)。在其他实施例中，患者解剖模型1012可根据患者数据库生成。在其他实施例中，患者解剖模型1012可根据特定患者的ct数据生成。例如，为特定患者规程做准备的用户可加载来自从要对其执行规程的患者身上获取的ct扫描的数据。在一些示例中，患者解剖模型1012在气道驱动1模块的练习中可以是静态的。
130.在一些实施例中，可与虚拟器械615或715a-e基本上类似的虚拟器械1016在气道驱动1模块中的不同练习中遍历患者解剖模型1012。例如，患者解剖模型1012可包括若干目标1018a-1018c。每个目标可对应于气道驱动1或气道驱动2模块内的不同练习。因此，在一些示例中，当用户在气道驱动1模块中的练习之间切换时，用户可基于哪个练习被激活将虚拟器械1016导航到不同目标。例如，当气道驱动1模块中的第一练习被激活时，用户可将虚拟器械1016通过虚拟解剖学通路1014导航到目标1018a。当气道驱动1模块中的第二练习被激活时，用户可将虚拟器械1016通过虚拟解剖学通路导航到目标1018b。第二练习可以是第二气道导航练习。当气道驱动1模块中的第三练习被激活时，用户可将虚拟器械1016通过虚拟解剖学通路导航到目标1018c。第三练习可以是第三气道导航练习。
131.在一些实施例中，当系统100在气道驱动1模块内从一个练习切换到另一个练习
时，系统100可自动将虚拟器械1016的远侧尖端重置到患者解剖模型1012中的近侧位置。例如，虚拟器械1016的远侧尖端可被置为主隆突。因此，在此类实施例中，每个练习开始于位于患者解剖模型1012内的相同或类似的近侧位置处的虚拟器械1016。在其他实施例中，当系统100在气道驱动1模块内的练习之间切换时，后续练习开始于处于与先前练习结束时相同的当前位置的虚拟器械1016。系统可指示用户将虚拟器械1016从用户在先前练习中达到的目标(例如，目标1018a)回缩到主隆突或患者解剖模型1012内的某个其他近侧位置(例如，最接近后续目标的最近分叉，例如目标1018b或目标1018c)，并且然后将虚拟器械1016导航到后续练习中的目标(例如，目标1018b或目标1018c)。在此类实施例中，虚拟通路1014中的一个或多个中间目标(未示出)例如可呈现在gui 1000中以帮助将用户引导至回缩点。
132.在一些示例中，随着虚拟器械1016朝向目标(例如，目标1018a)前进，减小解剖模型视图、导航视图1030和内窥镜视图1040可各自实时更新以显示虚拟器械1016向目标1018a前进。在若干实施例中，内窥镜视图1040示出了来自虚拟器械1016的远侧尖端的视图。
133.内窥镜视图1040可基本上类似于gui 600(图6)的第二部分600b所示的视图。在此类实施例中，导航视图1030可表示内窥镜视图1040的虚拟视图。在一些实施例中，计算系统100和/或计算系统120可使导航视图1030从内窥镜视图1040偏移预定量以模拟实际医疗规程中使用的系统gui中的导航视图和内窥镜视图之间发生的偏移。可在x方向、y方向和/或对角线方向上应用偏移。可在2018年4月18日提交并且名称为“graphical user interface for monitoring an image-guided procedure”的国际申请号wo 2018/195216中找到关于系统gui的附加信息，该专利的全部内容通过引用并入本文。
134.在若干实施例中，气道驱动2模块中的练习可包括与气道驱动1模块中使用的那些相同的患者解剖结构和相同的目标。如上所讨论，患者解剖模型1012在气道驱动1模块的练习中可以是静态的。在一些实施例中，计算系统110和/或计算系统120在气道驱动2模块的练习中将模拟患者运动应用于患者解剖模型1012。可应用模拟患者运动来模拟呼吸、循环和/或呼吸和循环两者的组合。模拟患者运动可模拟呼吸和/或循环如何影响(例如，变形)患者解剖模型1012。为了模拟患者运动，系统110和/或系统120可在插入方向(例如，轴向方向)、径向方向和/或插入方向和径向方向两者上将正弦波模式应用于患者解剖模型1012。在一些示例中，模拟运动可存在于全球气道视图1010、减小解剖模型1020、导航视图1030和内窥镜视图1040中的一者或多者中。
135.在一些实施例中，可基于虚拟器械1016的远侧部分在患者解剖模型1012内的位置来缩放模拟运动。例如，如果虚拟器械1016在靠近心脏的患者解剖模型1012的一部分中，则模拟运动可表示循环而不是呼吸。在其他示例中，随着虚拟器械1016朝向患者解剖模型1012的更外围的虚拟通路移动，模拟运动可表示呼吸而不是循环。在一些情况下，当虚拟器械1016处于远侧虚拟通路时的模拟运动的程度可低于当虚拟器械1016处于更近侧的虚拟通路(例如，更靠近主隆突)时的模拟运动的程度。
136.在一些示例中，循环周期以比呼吸周期更短的频率发生。例如，对于每一个呼吸周期可发生四个循环周期。也可模拟其他频率，诸如对于每个呼吸周期三个循环周期、对于每个呼吸周期五个循环周期等。模拟运动可按比例缩放以说明周期频率的差异。例如，与模拟运动表示呼吸相比，模拟运动可更频繁地表示循环。
137.在一些实施例中，gui 1000可显示上面讨论的任何一个或多个表现度量，诸如“同时驱动”度量、“碰撞”度量、“总时间”度量等。度量可在每个练习期间和/或在用户执行每个练习之后显示。
138.在一些实施例中，上面讨论的部件可用于训练用户在用遥操作系统执行的规程中控制遥操作系统，如下文进一步详细描述的。遥操作系统可适用于例如外科、遥操作外科、诊断、治疗或活检规程。虽然本文中提供了关于此类规程的一些实施例，但对医疗或外科器械和医疗或外科方法的任何提及都是非限制性的。本文所述的系统、器械和方法可用于动物、人类尸体、动物尸体、人类或动物解剖结构的一部分、非外科诊断，以及用于工业系统和通用机器人、通用遥操作或机器人医疗系统。
139.如图12所示，医疗系统1100通常包括操纵器组件1102，其用于操作医疗器械1104从而对定位在台t上的患者p执行各种规程。操纵器组件102可以是遥操作、非遥操作，或混合遥操作和非遥操作组件，其具有可为机动和/或遥操作的选定运动自由度以及可为非机动和/或非遥操作的选定运动自由度。医疗系统1100还可包括主组件1106，其通常包括用于控制操纵器组件1102的一个或多个控制设备。操纵器组件1102支撑医疗器械1104并且可任选地包括响应于来自控制系统1112的命令而驱动医疗器械1104上的输入的多个致动器或马达。致动器可任选地包括驱动系统，当耦接到医疗器械1104时，该驱动系统可将医疗器械1104推进到自然或外科产生的解剖孔口中。
140.医疗系统1100还包括显示系统1110，该显示系统用于显示由传感器系统1108的子系统生成的外科部位和医疗器械1104的图像或表示。显示系统1110和主组件1106可被取向成使得操作员o可通过远程呈现的感知来控制医疗器械1104和主组件1106。可在2018年4月18日提交并且名称为“graphical user interface for monitoring an image-guided procedure”的国际申请号wo2018/195216中找到关于医疗系统1100和医疗器械1104的的附加信息，该专利的全部内容通过引用并入本文。
141.上面讨论的系统100可用于训练用户操作医疗器械1104。例如，系统100可向用户提供训练以帮助用户学习如何操作主组件1106以控制操纵器组件1102和医疗器械1104。附加地或另选地，系统100可教导用户如何在医疗规程之前和/或期间使用显示系统1110来控制医疗器械1104。
142.单数形式“一”、“一个”和“该”旨在也包括复数形式，除非上下文另有说明。并且术语“包含”、“包括”、“含有”、“具有”等指定了所陈述的特征、步骤、操作、元素和/或部件的存在，但不排除存在或添加一个或更多其他特征、步骤、操作、元素、部件和/或组。被描述为耦接的部件可被电气或机械直接耦接，或者它们可经由一个或多个中间部件间接耦接。助动词“可能”同样意味着特征、步骤、操作、元素或部件是任选的。
143.参考一个实施例、具体实施或应用详细描述的元件可任选地包括在未具体示出或描述它们的其他实施例、具体实施或应用程序中(只要可行)。例如，如果参考一个实施例详细描述了元件而未参考第二实施例描述元件，则元件仍然可被要求包括在第二实施例中。因此，为了避免在以下描述中不必要的重复，与一个实施例、具体实施或应用相关联地示出和描述的一个或多个元件可并入其他实施例、具体实施或方面中，除非另有具体描述，除非该一个或多个元件使实施例或具体实施不起作用，或者除非两个或更多个元件提供相互冲突的功能。
144.计算机是一种机器，该机器遵循程序指令以对输入信息执行数学或逻辑函数以便产生经处理的输出信息。计算机包括执行数学或逻辑功能的逻辑单元，以及存储编程指令、输入信息和输出信息的存储器。术语“计算机”和类似术语(诸如“处理器”或“控制器”或“控制系统”)是类似的。
145.尽管本文描述的一些示例涉及外科规程或器械，或医疗规程和医疗器械，但所公开的技术适用于非医疗规程和非医疗器械。例如，本文所述的器械、系统和方法可用于非医疗目的，包括工业用途、一般机器人用途以及感测或操纵非组织工件。其他示例性应用程序涉及美容改进、人体或动物解剖学成像、从人体或动物解剖学收集数据，以及训练医疗或非医疗人员。附加示例应用包括在从人体或动物解剖结构中移除的组织上使用规程(无需返回人体或动物解剖结构)，以及在人类或动物尸体上执行规程。此外，这些技术还可用于外科和非外科医学治疗或诊断规程。
146.此外，尽管本公开中呈现的一些示例讨论了遥操作机器人系统或可远程操作系统，但所公开的技术也适用于部分或全部由操作员直接和手动移动的计算机辅助系统。
147.附加地，本公开的实施例中的一个或多个元素可在软件中实现以在诸如控制处理系统的计算机系统的处理器上执行。当以软件实现时，本公开的实施例的元件在本质上是执行必要任务的代码段。程序或代码段可存储在处理器可读存储介质(例如，非暂态存储介质)或设备中，其可能已经通过传输介质或通信链路经由载波中体现的计算机数据信号下载。处理器可读存储器设备可包括可存储信息的任何介质，包括光学介质、半导体介质和磁介质。处理器可读存储设备示例包括电子电路、半导体设备、半导体存储器设备、只读存储器(rom)、闪存存储器、可擦除可编程只读存储器(eprom)；软盘、cd-rom、光盘、硬盘或其他存储设备。代码段可经由计算机网络(诸如互联网、内联网等)下载。
148.应当注意，所呈现的过程和显示可能并不固有地与任何特定计算机或其他装置相关，并且根据本文的教导，各种系统可与程序一起使用。上面讨论的各种系统的所需结构将作为元素出现在权利要求中。此外，本公开的实施例并未参照任何特定编程语言进行描述。应当理解，可使用多种编程语言来实现如本文所述的本公开的教导。
149.尽管已经在附图中描述和示出了本公开的某些示例性实施例，但应当理解，此类实施例仅是说明性的而不是对广泛公开的概念的限制，并且本公开的实施例不限于所示出和描述的具体构造和布置，因为本领域的普通技术人员可能会想到各种其他修改。