相关申请的交叉引用
本申请要求2017年8月1日提交的美国临时申请62/539,849的权益，其全部内容通过引用合并于此。
本公开涉及用于经由可视化工具的触摸屏用户界面浏览虚拟三维(3d)模型并与3d模型的部件进行交互的系统和方法。
背景技术：
虚拟3d模型可用于研究复杂系统。可以使用包括计算机辅助设计(cad)软件的各种软件应用程序来产生各种复杂系统的虚拟3d模型，这些复杂系统包括车辆组装件/子组装件、建筑结构、机器人系统和解剖系统/子系统。可以从由包括例如计算机断层摄影(ct)系统或磁共振成像(mri)系统的成像系统获得的图像产生对象或系统(诸如人体解剖结构和/或人体解剖结构的一些部分)的解剖3d模型。3d模型可以包含有部件，这些部件包括模型的层、子组装件、系统、零件、部分或其他细分。例如，堆叠在一起的对象的多个层可以用于构造整个3d模型。
用户可以经由显示设备与3d模型进行交互以执行各种任务，诸如在模型的部件与3d模型中的其他部件在空间上相关时询问模型的部件的尺度，评估部件彼此之间的互连，放大或缩小图像以更改显示细节的级别，评估异常(尤其是在对象是人体时)，评定路线，以及接近间隙。通常，这种类型的交互是通过计算机鼠标输入、跟踪球输入等经由(一个或多个)输入设备与多个嵌套下拉菜单或弹出菜单的交互围绕3d模型浏览来执行的。该交互通常需要与从显示设备分开的用户输入设备进行交互。可以看出，持续需要对与3d模型的多个部件进行交互的技术进行改进。
技术实现要素：
本发明的实施例由随附于说明书的权利要求书概括。
在一个实施例中，提供了一种方法，该方法可以包括：利用包括触摸屏的可视化工具访问对象的三维(3d)模型；经由触摸屏显示3d模型的图像；在触摸屏处检测基于压力的输入和/或基于接触的输入；以及由于输入而改变3d模型的第一部件的显示参数。选择部件和/或改变显示可以通过视觉信号和/或触觉信号来指示。
在另一个实施例中，提供了一种方法，该方法可以包括：利用具有触摸屏的可视化工具访问对象的三维(3d)模型，该3d模型包括第一部件和第二部件；经由触摸屏显示第一部件和第二部件的图像；在触摸屏处检测第一基于接触的输入；响应于第一基于接触的输入来选择第一部件；在触摸屏上显示第一图标，第一图标表示第一基于接触的输入在触摸屏上的方位；响应于第一基于接触的输入，在触摸屏上显示第二图标和第三图标；检测第一基于接触的输入沿触摸屏的移动；跟踪第一图标随第一基于接触的输入的移动的移动；从跟踪的移动确定第一图标与第二图标和第三图标中的一个至少部分地重叠；响应于重叠确定来选择第一部件的显示参数；在触摸屏处检测第二基于接触的输入；以及响应于检测到的第二基于接触的输入沿触摸屏的移动，调整选择的显示参数。
在另一个实施例中，提供了一种方法，该方法可以包括：利用包括触摸屏的可视化工具访问对象的三维(3d)模型，该3d模型包括多个部件；经由触摸屏显示部件的子集的图像，其中在部件的子集中包括具有小于100％的透明度的3d模型的每个部件；在触摸屏处检测第一基于接触的输入；在触摸屏上显示第一图标，该第一图标表示第一基于接触的输入在触摸屏上的方位；通过第一图标跟踪第一基于接触的输入的移动来检测第一基于接触的输入沿触摸屏的移动；以及响应于检测到的移动，围绕旋转中心旋转部件的子集。
在另一个实施例中，提供了一种方法，该方法可以包括：利用包括触摸屏的可视化工具访问对象的三维(3d)模型，该3d模型包括第一部件和第二部件；经由触摸屏显示第一部件和第二部件的图像；在触摸屏处检测第一基于接触的输入；在触摸屏上显示第一图标，第一图标表示第一基于接触的输入在触摸屏上的方位；在触摸屏处检测第二基于接触的输入；在触摸屏上显示第二图标，第二图标表示第二基于接触的输入在触摸屏上的方位；以及响应于第一基于接触的输入和第二基于接触的输入在触摸屏上的移动，调整图像的显示参数。
在另一个实施例中，提供了一种方法，该方法可以包括：利用包括触摸屏和立体相机的可视化工具访问对象的三维(3d)模型，该3d模型包括第一部件和第二部件；经由触摸屏显示第一部件和第二部件的图像；经由立体相机检测第一姿势输入；响应于第一姿势选择第一部件；经由立体相机检测第二姿势输入；以及响应于检测到第二姿势，调整图像的显示参数。
在另一个实施例中，提供了一种用于与3d模型进行交互的系统，该系统可以包括具有触摸屏的可视化工具以及包括一个或多个处理器的控制系统，该控制系统被配置为：利用可视化工具访问对象的三维(3d)模型，经由触摸屏显示3d模型的图像，在触摸屏处检测第一基于压力的输入，以及由于第一基于压力的输入而改变3d模型的第一部件的显示参数。
在另一个实施例中，提供了一种用于与3d模型进行交互的系统，该系统可以包括具有触摸屏的可视化工具以及包括一个或多个处理器的控制系统，该控制系统被配置为：利用可视化工具访问对象的三维(3d)模型，该3d模型包括第一部件和第二部件；经由触摸屏显示第一部件和第二部件的图像；在触摸屏处检测第一基于接触的输入；响应于第一基于接触的输入选择第一部件；在触摸屏上显示第一图标，第一图标表示第一基于接触的输入在触摸屏上的方位；响应于第一基于接触的输入，在触摸屏上显示第二图标和第三图标；检测第一基于接触的输入沿触摸屏的移动；跟踪第一图标随第一基于接触的输入的移动的移动；从跟踪的移动确定第一图标与第二图标和第三图标中的一个至少部分地重叠；响应于该重叠而选择第一部件的显示参数；在触摸屏处检测第二基于接触的输入；以及响应于检测到第二基于接触的输入沿触摸屏的移动，调整选择的显示参数。
应当理解，前面的概述和下面的详细描述本质上都是示例性和说明性的，并且旨在提供对本公开的理解，而不限制本公开的范围。就此而言，根据以下详细描述，本公开的其他方面、特征和优点对于本领域技术人员将是显而易见的。
附图说明
当结合附图阅读时，根据以下详细描述可以最好地理解本公开的各方面。要强调的是，根据行业中的标准实践，各种特征未按比例绘制。实际上，为了讨论的清楚性，各种特征的尺寸可以任意增加或减小。另外，本公开可以在各个示例中重复附图标记和/或字母。该重复是出于简化和清楚的目的，并且其本身并不指示所讨论的各种实施例和/或配置之间的关系。
图1a是根据本公开的实施例的远程操作医疗系统的示意图。
图1b是根据本文描述的原理的一个示例的患者侧推车的代表性透视图。
图1c是根据本公开的实施例的用于远程操作医疗系统的外科医生的控制台的代表性透视图。
图1d是根据本公开的实施例的可视化设备的代表性透视图，该可视化设备包括触摸屏，该可视化设备可以与用于远程操作医疗系统的控制台一起使用。
图2-图6是根据一些实施例的用户与可视化设备的触摸屏进行交互以选择性地查看对象的一个或多个部件的代表性框图。
图7-图8是根据一些实施例的用户与具有立体相机的可视化设备的触摸屏进行交互以选择性地查看对象的一个或多个层和/或部件的代表性框图。
图9是根据一些实施例的显示在触摸屏上的3d模型的图像的代表性透视图。
图10是根据一些实施例的在触摸屏用户界面上看到的3d模型的部件的代表性视图(在该示例中，是从ct扫描构建的3d模型的横截面视图)。
图11a-图11b是根据一些实施例的与图10的部件进行交互以调整部件之一的透明度的触摸屏用户界面的代表性视图。
图12a-图13b是根据一些实施例的与图10的部件进行交互以调整部件之一的开窗(windowing)的触摸屏用户界面的代表性视图。
图14a-图14b是根据一些实施例的在触摸屏用户界面上看到的3d模型的部件(在此示例中是人体器官的3d渲染)以及用于旋转3d模型的交互的代表性透视图。
图15a-图15b是根据一些实施例的在触摸屏用户界面上看到的3d模型的部件(在此示例中是人体器官的3d渲染)以及用于横向移动3d模型的交互的代表性透视图。
图16a-图17b是根据一些实施例的在触摸屏用户界面上看到的3d模型的部件(在此示例中是人体器官的3d渲染)以及用于放大和缩小3d模型的图像的交互的代表性透视图。
图18a-图18f是根据一些实施例的通过改变3d模型的部件的透明度来改变图像的旋转中心的在触摸屏用户界面上看到的3d模型的部件(在此示例中是人体器官的3d渲染)的代表性透视图。
图19是根据一些实施例的随着从3d模型中移除条目而褪色的3d模型条目的代表性渐进视图。
具体实施方式
为了促进对本公开原理的理解，现在将参考附图中示出的实施例，并且将使用特定语言来描述它们。然而，应理解并不意欲限制本公开的范围。在本发明的各方面的以下详细描述中，阐述了许多具体细节以便提供对所公开实施例的透彻理解。然而，对于本领域技术人员将显而易见的是，可以在没有这些具体细节的情况下实践本公开的实施例。在其他情况下，没有详细描述众所周知的方法、程序、部件和电路，以免不必要地使本发明的实施例的各方面模糊。
如本公开所属领域的技术人员通常会想到的，对所描述的设备、器械、方法的任何改变和进一步修改以及本公开的原理的任何进一步应用都是可以预期的。特别地，完全预期的是，关于一个实施例描述的特征、部件和/或步骤可以与关于本公开的其他实施例描述的特征、部件和/或步骤组合。另外，本文提供的尺度用于特定示例，并且可以预期的是，可以利用不同的尺寸、尺度和/或比率来实现本公开的概念。为了避免不必要的描述性重复，可以根据其他说明性实施例的适用来使用或省略根据一个说明性实施例描述的一个或多个部件或动作。为了简洁起见，将不单独描述这些组合的许多迭代。为了简单起见，在某些情况下，在所有附图中使用相同的附图标记指代相同或相似的部分。
下面的实施例可以根据对象在三维空间(无论是真实空间还是虚拟空间)中的状态来描述对象。如本文所用，术语“位置”是指对象或对象的一部分在三维空间(例如，沿笛卡尔x、y、z坐标的三个平移自由度)中的方位。如本文所用，术语“取向”是指对象或对象的一部分的旋转放置(三个旋转自由度，例如，滚动、俯仰和偏转)。如本文所用，术语“姿态”是指对象或对象的一部分在至少一个平移自由度中的位置以及该对象或对象的一部分在至少一个旋转自由度中的取向(最多六个总自由度)。如本文所用，术语“形状”是指沿对象测量的一组姿态、位置或取向。
如本文所用，这些术语“位置”、“取向”、“姿态”和“形状”也可以类似地指代经由可视化工具查看的虚拟三维(3d)模型，该可视化工具可以显示对象和/或组装件(例如人体、人体系统、车辆组装件、飞机组装件、制造的组装件以及可以从物理实体的可视3d虚拟模型中受益的任何其他对象或组装件)的虚拟3d模型。如本文所用，“部件”是指对象的3d模型的一部分或细分，其可以包括层、子组装件、子系统以及层、子组装件和子系统的任何组合。
如更详细描述的，解剖3d模型可以与远程操作医疗系统一起使用，以协助进行程序规划、部位调查和组织交互。参考附图的图1a，用于例如包括诊断、治疗或外科手术程序的医疗程序的远程操作医疗系统通常由附图标记210指示。如将描述的，本公开的远程操作医疗系统由外科医生的远程操作控制。在替代实施例中，远程操作医疗系统可以由被编程为执行程序或子程序的计算机的部分控制。在其他替代实施例中，由被编程为执行程序或子程序的计算机完全控制的全自动医疗系统可以用于执行程序或子程序。如图1a所示，远程操作医疗系统210通常包括安装到手术台o或其附近的远程操作组装件212，患者p位于手术台o上。远程操作组装件212可以被称为患者侧推车。医疗器械系统214和内窥镜成像系统215可操作地耦合到远程操作组装件212。操作者输入系统216允许外科医生或其他类型的临床医生s查看外科手术部位的图像或表示外科手术部位的图像并控制医疗器械系统214和/或内窥镜成像系统215的操作。
操作者输入系统216可以位于外科医生的控制台，该控制台通常与手术台o位于同一房间。但是，应该理解，外科医生s可以位于与患者p不同的房间或完全不同的建筑物。在各种实施例中，远程操作医疗系统可以包括一个以上的操作者输入系统216和外科医生的控制台。在各种实施例中，操作者输入系统可以在包括平板电脑或膝上型计算机的移动通信设备上可用。具有触摸屏的可视化工具10可以用于与对象的3d模型(在该示例中，该对象可以是患者p的解剖结构)进行交互，以查看患者p的解剖系统和器官的3d呈现。操作者输入系统216通常包括一个或多个控制设备，以用于控制医疗器械系统214。(一个或多个)控制设备可以包括任意数量的各种输入设备中的一种或多种，例如手柄、操纵杆、轨迹球、数据手套、扳机枪、脚踏板、手动操作控制器、语音识别设备、触摸屏、人体运动或存在传感器等。
在一些实施例中，将向(一个或多个)控制设备提供与远程操作部件的医疗器械相同的自由度，以为外科医生提供远程呈现，即，(一个或多个)控制设备与器械是一体的感知，使外科医生具有直接控制器械的强烈感觉，就像在外科手术部位一样。在其他实施例中，(一个或多个)控制设备可以具有比相关联的医疗器械更多或更少的自由度，并且仍然为外科医生提供远程呈现。在一些实施例中，(一个或多个)控制设备是手动输入设备，其以六个自由度移动，并且还可以包括用于致动器械的可致动手柄(例如，用于闭合抓紧的夹爪末端执行器，将电位施加到电极，递送药物治疗等)。
当外科医生s通过控制台216查看外科手术部位时，远程操作组装件212支撑并操纵医疗器械系统214。可以通过内窥镜成像系统215(诸如，立体内窥镜)获得外科手术部位的图像，可以通过远程操作组装件212操纵内窥镜成像系统215以定位内窥镜215。控制系统220可以用于处理外科手术部位的图像，以便随后通过外科医生的控制台216显示给外科医生s。一次使用的医疗器械系统214的数量通常取决于诊断或外科手术程序以及手术室内的空间限制等因素。远程操作组装件212可以包括一个或多个非伺服控制的链路的运动学结构(例如，可以手动定位并锁定在适当位置的一个或多个链路，通常称为安装结构)和远程操作操纵器。
远程操作组装件212包括驱动医疗器械系统214上的输入的多个马达。这些马达响应于来自控制系统(例如，控制系统220)的命令而移动。马达包括驱动系统，该驱动系统在耦合到医疗器械系统214时可以使医疗器械前进到自然孔口或通过手术产生的解剖孔口中。其他电动驱动系统可以使医疗器械的远端以多个自由度移动，该多个自由度可以包括三个线性运动自由度(例如，沿x、y、z笛卡尔轴的线性运动)和三个旋转运动自由度(例如，绕x、y、z笛卡尔轴的旋转)。另外，马达可以用于致动器械的可铰接末端执行器，以将组织抓紧在活检设备的夹爪中等。器械214可以包括具有单个工作构件的末端执行器，诸如手术刀、钝刀、光纤或电极。其他末端执行器可以包括，例如，钳子、抓紧器、剪刀或施夹器。
远程操作医疗系统210还包括控制系统220。控制系统220包括至少一个存储器224和至少一个处理器222，并且通常包括多个处理器，以实现医疗器械系统214、操作者输入系统216和其他辅助系统226之间的控制，其他辅助系统226可以包括，例如，成像系统、音频系统(包括对讲系统)、流体递送系统、显示系统、移动视觉推车、照明系统、转向控制系统、冲洗系统，和/或抽吸系统。可选地，可视化工具10还可以通信地耦合到控制系统220，以用于获取存储的图像或模型和/或用于将可视化工具10的功能与医疗系统210的其他部件(包括外科医生的控制台216)集成。控制系统220还包括编程的指令(例如，存储指令的计算机可读介质)以实现根据本文公开的方面描述的一些或全部方法。虽然在图1a的简化示意图中将控制系统220示为单个框，但是该系统可以包括两个或更多个数据处理电路，其中处理的一部分可选地在远程操作组装件212上或其附近执行，处理的另一部分在操作者输入系统216处执行，等等。可以采用各种各样的集中式或分布式数据处理架构中的任何一种。类似地，编程的指令可以被实现为多个单独的程序或子例程，或者它们可以被集成到本文所述的远程操作系统的许多其他方面。在一个实施例中，控制系统220支持无线通信协议，诸如蓝牙、irda、homerf、ieee802.11、dect和无线遥测。
在一些实施例中，控制系统220可以包括一个或多个伺服控制器，该伺服控制器从医疗器械系统214接收力和/或扭矩反馈。响应于该反馈，伺服控制器将信号传输到操作者输入系统216。(一个或多个)伺服控制器还可以传输信号，以指示远程操作组装件212移动(一个或多个)医疗器械系统214和/或内窥镜成像系统215，该医疗器械系统214和/或内窥镜成像系统215经由体内的开口延伸到患者体内的内部外科手术部位。可以使用任何合适的常规或专用伺服控制器。伺服控制器可以与远程操作组装件212分开或集成。在一些实施例中，伺服控制器和远程操作组装件被提供为定位在患者身体附近的远程操作臂推车的一部分。
控制系统220可以与内窥镜215耦合，并且可以包括处理器，以处理捕获的图像以用于随后的显示，诸如显示给位于外科医生的控制台上的外科医生或显示在位于本地和/或远程的另一个合适的显示器上。例如，在使用立体内窥镜的情况下，控制系统220可以处理捕获的图像以向外科医生呈现外科手术部位的协调的立体图像。这样的协调可以包括相对图像之间的对准，并且可以包括调整立体内窥镜的立体工作距离。
在替代实施例中，远程操作系统可以包括一个以上的远程操作组装件和/或一个以上的操作者输入系统。操纵器组装件的确切数量将取决于外科手术程序和手术室内的空间限制等。可以将操作者输入系统并置，或者也可以将它们放置在分开的方位中。多个操作者输入系统允许一个以上的操作者以各种组合方式控制一个或多个操纵器组装件。
图1b是远程操作组装件212的一个实施例的透视图，该远程操作组装件212可以称为患者侧推车。患者侧推车212提供对三个外科手术工具230a、230b、230c(例如，器械系统214)和成像设备228(例如，内窥镜成像系统215)(诸如用于捕获程序的部位的图像的立体内窥镜)的操纵。成像设备可以通过缆线256将信号传输到控制系统220。通过具有多个关节的远程操作机构来提供操纵。成像设备228和外科手术工具230a-230c可以穿过患者身体中的切口被定位和操纵，从而将运动学远程中心保持在切口处以最小化切口的尺寸。外科手术部位的图像可以包括当外科手术工具230a-230c的远端位于成像设备228的视场内时外科手术工具230a-230c的远端的图像。
患者侧推车212包括可驱动基座258。可驱动基座258连接到伸缩柱257，伸缩柱257允许调整臂254的高度。臂254可以包括旋转和上下移动的旋转接头255。每个臂254可以连接到定向平台253。定向平台253可以能够旋转360度。患者侧推车212还可以包括伸缩水平悬臂252，以用于在水平方向上移动定向平台253。
在本示例中，每个臂254连接到操纵器臂251。操纵器臂251可以直接连接到医疗器械230a。操纵器臂251可以是可远程操作的。在一些示例中，连接到定向平台的臂254不是可远程操作的。相反，这些臂254在外科医生18开始用远程操作部件进行操作之前根据期望来定位。
可以以包括刚性或柔性内窥镜的各种配置来提供内窥镜成像系统(例如，系统215、228)。刚性内窥镜包括容纳中继透镜系统的刚性管，该中继透镜系统用于将图像从内窥镜的远端传输到近端。柔性内窥镜使用一个或多个柔性光纤传输图像。基于数字图像的内窥镜具有“尖端上的芯片(chiponthetip)”设计，其中远侧数字传感器(诸如一个或多个电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)器件)存储图像数据。内窥镜成像系统可以向观看者提供二维或三维图像。二维图像可以提供有限的深度感知。三维立体内窥镜图像可以为观看者提供更准确的深度感知。立体内窥镜器械采用立体相机来捕获患者解剖结构的立体图像。内窥镜器械可以是完全可消毒的组装件，其内窥镜缆线、手柄和轴都被牢固地耦合并且被气密密封。
图1c是外科医生的控制台216的透视图。外科医生的控制台216包括左眼显示器232和右眼显示器234，用于向外科医生s提供能够进行深度感知的外科手术环境的协调立体视图。控制台216还包括一个或多个输入控制设备236，输入控制设备236进而促使远程操作组装件212操纵一个或多个器械或内窥镜成像系统。输入控制设备236可以提供与其相关联的器械214相同的自由度，以便为外科医生s提供远程呈现，或者输入控制设备236与器械214是一体的感知，从而使外科医生具有直接控制器械214的强烈感觉。为此，可以采用位置、力和触觉反馈传感器(未示出)，以通过输入控制设备236将位置、力和触觉从器械214传回到外科医生的手部。输入控制设备237是从用户的脚接收输入的脚踏板。
在远程操作期间，外科医生可能需要附加信息，可能需要装备或器械的协助，或者可能寻求解决问题的指导。当前的故障排除或信息收集技术要求外科医生中止外科手术活动以寻求信息或解决问题。例如，如果外科医生在与操作者控制台216接合的同时在医疗器械中遇到限制或阻力，则外科医生可能需要中断外科手术程序，远离操作者控制台，释放控制设备236以在线访问故障排除菜单或手册，否则会延迟该程序并引入相关风险。
可视化工具10可以在外科医生s或临床医生附近的位置安装到工作站216，以便于与显示在工具10上的3d模型进行交互。图1c示出了安装到控制台216一侧的工具10。然而，工具10可以安装到控制台216的另一侧，可以安装到单独的地板支架上，可以安装到手术室的附近墙壁上，可以安装到附接到控制台216的合适部分的铰接臂上，等等。应该理解，工具10可以以任何合适的配置安装，该合适的配置将工具10支撑在便于外科医生s访问工具10而无需从控制台上移开他的头即可到达并操纵工具10的位置。可以将工具10上的3d模型的图像复制为图像内的单独窗口中的图像(诸如画中画pip)，该图形通过眼显示器232、234呈现给外科医生s。可视化工具10允许外科医生经由触摸屏与3d模型进行交互，而不必将目光从外科医生的控制台216移开以查看可视化工具10上的图像。
图1d示出了具有触摸屏20的计算设备16的形式的代表性可视化工具10。计算设备16可以是平板电脑、膝上型计算机或其他移动设备，并且可以经由无线或有线通信与医疗系统210的部件通信。设备16还可以包括各种传感器，包括基于触摸的传感器、应变传感器、移动传感器(例如，陀螺仪)、电容传感器以及用于检测设备周围的运动的立体相机。在一些实施例中，设备16还可以包括马达，例如用以产生振动信号。在一些实施例中，设备16还可以包括陀螺仪，用以生成和/或跟踪设备16的方位、角度等。图像22可以被显示在触摸屏20上。用户可以通过使用他的手指14与触摸屏20进行交互以与显示的图像22进行交互。通过由触摸屏20(并且可能还有立体相机)向计算设备提供基于压力的输入、基于接触的输入和/或基于姿势的输入，用户可以与正在由可视化工具10显示的3d模型40进行交互，以旋转图像22，扩展和收缩图像22，在0％和100％之间调整3d模型的各个部件的透明度，调整图像22的开窗，选择/取消选择部件，注释部件，和/或使部件包含在3d模型40中/从3d模型40中移除部件。在下面的描述中将更详细地描述这些交互。
图2-图8示出了可以在用户与3d模型40的各个部件之间提供交互的用户界面的代表性框图。图2示出了选择工具14(例如，用户的手指或拇指，但是也可以是触笔、指针等)，用户使用该选择工具14将交互命令传送到计算设备16，从而与3d模型40的图像22进行交互。可视化工具10可以包括触摸屏20以用于向用户显示图像22。触摸屏20可以包括支撑传感器层120的诸如玻璃板的屏幕支撑件122。传感器层120可以检测用户输入(诸如基于压力的输入和/或基于接触的输入)，并且将这些输入传输到计算设备16进行处理。可选地，立体相机24(见图7和图8)可以用于检测来自保持在触摸屏20上方的选择工具14的基于姿势的输入，并且将这些输入传输到计算设备16进行处理。
为了说明用户与3d模型40之间的各种交互，如在触摸屏20处从用户的视点看到的，在各个虚拟位置处并且以各个取向示出了3d模型40的四个部件131-134(表示为层131-134)。应当理解，3d模型中可以包括比这些图中所示的四个部件131-134更少或更多的部件。通过固定尺寸的视口(viewport)12示出了用户的视点。该视口12可以通过上述用户输入进行操作，以选择、查看、突出显示、缩放、定位3d模型40或以其他方式与3d模型40进行交互。在图2中，选择工具14已经使用触摸屏20进行了初始输入。该初始输入可以是基于接触的，其中传感器层120检测到对可视化工具10的基于电的(例如，电容性、电阻性和/或电感性)输入。该初始输入可以是基于压力的，其中传感器层120检测施加到传感器层120的压力。该初始输入可以选择部件(或层)131。可视化工具10可以经由视觉响应13b(诸如突出显示，临时移动部件131等)和/或触觉响应13a(例如产生振动以指示选择)指示对部件131的选择。这些部件131-134可以是部分透明的(即小于100％透明)。
用户可以通过各种手段浏览3d模型40。例如，如果检测到初始输入，则用户可以保持第一输入达延长的时间段，这可以使可视化工具10在初始选择部件131之后开始浏览附加部件132-134。因此，选择工具14与触摸屏20的延长时段的电接触可以启动浏览。附加地或替代地，选择工具14抵靠触摸屏20的延长时段的基于压力的接触也可以启动浏览，而无需增加压力以浏览3d模型40的附加部件。可以通过应变计或其他合适的压力传感器检测基于压力的接触。可以通过电容传感器、电阻传感器、电感传感器等来检测基于电的接触，这些传感器可以检测在选择工具14的接触点处的触摸屏10的电特性的变化。在用户浏览3d模型40时，可以单独调整这些部件131-134的透明度，以允许用户更好地更详细地查看各个部件。可替代地，可以在选择部件之后调整部件的其他方面。例如，选择的部件可以被注释，改变颜色或以其他方式在视觉上变化。
用户可能希望更深入地探究3d模型40并选择其他部件，诸如部件132-134。为了选择部件132，用户可以使选择工具14保持与传感器层120接触达延长的时间段。如果期望选择其他部件之一，则延长的时间段可以命令可视化工具10浏览到更深的部件132-134。在一个实施例中，当移除基于接触的输入时(即，移除选择工具14以不与传感器层120接触)，可以选择期望的部件132-134。
选择除初始选择的部件(在此示例中为部件131)之外的其他部件的另一种方法是将接触压力124施加到触摸屏20的传感器层120。可以增加用于选择第一部件131的初始基于压力的输入，以指示期望浏览另一部件。只要施加了增加的接触压力，增加接触压力124就可以命令可视化工具10取消选择第一部件131并浏览越来越深的部件(例如，部件132-134)。为了选择更深的部件132-134，当可视化工具10浏览期望的更深的部件132-134时，用户可以降低接触压力124，由此指示已经达到期望的部件132-134。可视化工具10可以响应于降低的接触压力124来选择期望的部件132-134，并且向用户提供指示已经选择了部件的视觉信号13b和/或触觉信号13a。
如果用户期望选择更深的部件，则用户可以再次增加接触压力124，这将使可视化工具10浏览其他部件。如本文所用，“更深的”是指虚拟3d模型中距触摸屏20的表面的更远的距离。如图3所示，已经将增加的接触压力124施加到传感器层120，从而导致可视化工具10取消选择部件131，然后由于到达部件132时接触压力124的降低而选择部件132。在各种其他实施例中，从部件131到部件132的前进可以基于将基于接触的输入施加到传感器层120所经过的持续时间。在基于接触的输入施加到传感器层120达预定持续时间之后，可视化工具10从部件131浏览到部件132。当到达部件132时移除基于接触的输入指示已经到达期望的部件。可视化工具10可以向用户提供指示已经选择了部件132的视觉信号13b和/或触觉信号13a。
如果期望部件在当前固定尺寸的视口12外部，则用户可以与触摸屏20(例如传感器层120)进行交互以浏览该期望部件。如图2和图3所示，部件134被示出为在当前固定尺寸的视口12外部。这指示部件134在3d模型40的图像22中对用户尚不可见。图4示出了使部件134对用户可见的技术的示例。可以例如使用滑动移动92跨触摸屏20移动选择工具14。可视化工具10可以通过固定尺寸的视口12的对应匹配移动来跟踪选择工具14的移动92。将固定尺寸的视口12移动到部件134上方的触摸屏20上的位置可以允许选择工具14以上述通过基于接触的输入和/或基于压力的输入来选择部件的各种方式来选择部件134。
图5示出了使部件134对用户可见的技术的另一示例。可以在使用或不使用如图4中描述的跨触摸屏20滑动选择工具14的情况下使用该示例。在该示例中，选择工具14的旋转运动96可以导致固定尺寸的视口12的旋转运动94。固定尺寸的视口12的运动类似于在触摸屏20的表面处具有从选择工具14延伸的锥形取景框。当选择工具14在传感器层120上旋转时，固定尺寸的视口12跟踪选择工具14的旋转，就好像它被旋转锁定到选择工具14一样。应该理解，图4中的滑动移动92可以与图5中的旋转移动96相结合，以帮助用户浏览3d模型40中的各个部件。图6指示在旋转固定尺寸的视口12之后已选择部件134。如先前所述，可以通过基于接触的输入和/或基于压力的输入来执行部件134的选择。同样，可以通过由可视化工具10产生的视觉信号13b和/或触觉信号13a指示部件134的选择。
图7示出了具有计算设备16、触摸屏20和立体相机24的可视化工具10，以便与3d模型40的图像22进行交互。立体相机24可以检测选择工具14和26的姿势。选择工具14和26分别示出为人的手指和人的手。然而，其他选择工具(例如，棒、手套)可以用于经由立体相机24或其他视觉或运动传感器将预定姿势传送到可视化工具10。如图7所示，已经选择了部件132并且已经由可视化工具10产生了视觉信号13b和/或触觉信号13a以指示该选择(类似于图3)。选择工具14和/或26的预定姿势可以使可视化工具10行进通过3d模型40中的部件131-134，其中选择工具14和/或26的第二预定姿势用于指示已经达到期望的部件(在该示例中为部件132)并且用户期望选择该期望的部件132。可视化工具10可以产生视觉信号13b和/或触觉信号13a，以指示部件132的选择。
图8示出了可以旋转选择工具(移动96)以使固定尺寸的视口12旋转(移动94)并允许查看在初始固定尺寸的视口12中可见的部件(类似于图5和6)的实施例。尽管旋转姿势(移动96)可以使固定尺寸的视口12旋转(移动94)，但其他预定姿势(例如，将选择工具14和/或26朝向和/或远离触摸屏移动(移动98)也可以用于浏览更深和更浅的部件(移动99)。可以定义许多其他预定姿势(未示出)来缩放图像22、聚焦图像22、调整图像22的亮度、调整各个部件131-134的透明度，等等。姿势也可以用于测量对象的尺寸。例如，用户的拇指和食指可以在设备16上方预定的距离范围处悬停。检测拇指和食指(和/或手的其他部分)的姿态可以启动测量工具，该测量工具比例缩放拇指和食指之间的距离，以便可以使用该距离来测量以拇指和食指距离为界的对象的尺寸。其他手姿态可以映射到不同的功能和尺度。
再次参考图2-图8，一旦已经选择了期望的部件131-134，就可以检测其他用户输入以调整部件131-134的显示参数。可调整的显示参数可以是透明度、开窗、放大图像、缩小图像、亮度、与其他部件的对比度、对多个部件进行分组/取消分组、图像位置以及可适当地进行调整的其他合适的显示参数。
图9示出了3d模型40的部件30、32a、32b、34、36的代表性透视图，可以经由可视化工具10将3d模型40显示为图像22。在此示例中，部件是解剖对象或系统(包括肿瘤30、左肾30a、右肾30b、静脉34和动脉36)的虚拟3d渲染。应该理解，图像22中可以包含更多或更少的部件。此处仅出于说明的目的提供模型40的部件的数量以及特定部件。这些部件30、32a、32b、34、36可以表示对象的部件的子集，其中对象中的其他部件在图像22中是透明的。因此，仅患者解剖结构的部件的子集可以在图像22中是可见的。
参照图10-图13b，这些图可以表示在图9中以视角10-10指示的3d模型40的横截面视图。该横截面视图可以是例如已渲染为3d模型40的一层ct或mr图像扫描。除了在3d模型40的对应方位处的每个部件30、32a、32b、34、36的横截面部分之外，图10所示的横截面视图10-10还包括3d模型40的该方位处的图像数据。部件30、32a、32b、34、36的一些部分与对应方位处的皮肤18、其他周围组织38和脊柱37的横截面视图一起被示出。
还应理解，图10-图13b被示出为实际用户界面图像22的负视图，以实现更好的清晰度，因为图像22的背景颜色实际上是黑色的，并且具有黑色背景的图像使图片不能如所期望的那样清晰。因此，应当理解，当在可视化工具10的实际触摸屏20上查看图像22时，图像中的较暗项目实际上是较亮的项目，图像22中的较亮项目实际上是较暗的项目。
图11a-图11b示出了可视化工具10可以如何经由可视化工具10的用户界面用于调整部件30、32a、32b、34、36的显示参数。如果期望改变透明显示参数，则可以在待选择的期望部件上方的方位50处将第一输入(例如，基于接触的输入、基于压力的输入或基于姿势的输入)施加到触摸屏。该输入由触摸屏检测，并且第一输入的方位50由在方位50处显示的图标44在触摸屏20上指示。在该示例中，图标44是环形图标。然而，图标44可以是与本公开的原理保持一致的任何数量的其他形状和尺寸，例如三角形、椭圆形、星形、正方形、多边形等。检测输入的方位50可以导致计算设备16选择部件30并向用户提供视觉信号13b和/或触觉信号13a以指示已经选择了部件30。一旦计算设备16检测到该输入并选择了部件30，计算设备16就可以显示两个可选图标62、64。这些图标62、64在视觉上可以彼此不同，以帮助用户选择期望的图标62、64。这些可选图标62、64可以用于选择用户期望利用可视化工具10调整的可调整参数(例如，透明度、开窗)。如果期望，则可以提供两个以上的可选图标。
第一输入可以用于跨触摸屏20将图标44从方位50移动到方位50’(移动70)以选择图标62。当图标44与可选图标62至少部分重叠时，计算设备16可以通过当发生选择时向用户提供视觉和/或触觉信号来指示图标62被选择。在选择图标62的情况下，计算设备16可以在触摸屏上显示文本60(诸如“透明度”)以指示已经选择了哪个显示参数。
现在参考图11b，在选择了透明度显示参数并且选择了期望部件(例如部件30)的情况下，用户随后可以通过在触摸屏20处在方位50处提供第二输入来调整透明度显示参数，其中计算设备通过在方位50处显示图标44来指示已检测到该输入。将第二输入沿触摸屏20移动到方位50’(即移动72)可以通过在0％(含)到100％(含)范围内增加或降低透明度百分比来调整所选择的部件(例如部件30)的透明度。图11b指示该输入跨触摸屏20的移动72增加了所选择的部件的透明度。在与移动72相反的方向上的移动可以导致所选择的部件的透明度降低。然而，应当理解，可以对计算设备16进行编程，使得输入沿触摸屏的移动72可以降低所选择的部件的透明度，而在与移动72相反的方向上的移动可以增加所选择的部件的透明度。如果该输入移动距离li，则所选择的部件的透明度可以分别设置为最大值(100％)或最小值(0％)，这取决于移动72是导致透明度显示参数增加还是降低。
参照图12a-图12d和图13a-图13b，这些附图示出了用户与触摸屏20的交互以调整被称为“开窗(windowing)”的显示参数。至少在放射成像领域中，开窗是众所周知的术语，其通常是指在ct扫描或mr扫描模型中调整周围组织的对比度和/或亮度。
现在参考图12a，如果期望改变开窗显示参数，则可以将第一输入(基于接触的输入或基于压力的输入)在待选择的期望部件上方的方位50处施加到触摸屏。该输入被触摸屏检测到，并且第一输入的方位50由在方位50处显示的图标44在触摸屏20上指示。检测该输入的方位50可以使计算设备16选择部件(在该示例中，周围的组织层38被选择)，并向用户提供视觉信号13b和/或触觉信号13a以指示已经选择了部件。一旦计算设备16检测到该输入并选择了部件38，计算设备16就可以显示两个可选图标62、64。这些图标62、64可以在视觉上彼此不同，以帮助用户选择期望的图标62、64。这些可选图标62、64可以用于选择用户期望利用可视化工具10调整的可调整参数。如果期望，则可以提供两个以上的可选图标。
第一输入可以跨触摸屏20从方位50移动到方位50’(移动70)以选择图标64。当图标44与可选图标64至少部分重叠时，计算设备16可以通过当发生选择时向用户提供视觉和/或触觉信号来指示选择了图标64。在选择了图标64的情况下，计算设备16可以在触摸屏上显示文本60(例如“开窗”)以指示已选择了哪个显示参数。
现在参考图12b-图12c，在选择了开窗显示参数并且选择了期望部件(例如部件38)的情况下，用户随后可以通过在触摸屏20处在方位50处提供第二输入来调整显示参数，其中计算设备通过在方位50处显示图标44来指示已检测到该输入。将第二输入沿触摸屏20移动到方位50’(即移动72)可以分别通过降低或增加开窗以增强部件的特征或减轻部件的特征来调整所选择的部件(例如部件38)的开窗。图12c指示该输入跨触摸屏20到方位50’的移动72已经增加了开窗并且减轻了所选择的部件38，使得部件的几乎所有特征(例如，周围组织、皮肤18)都主要显示为白色，除了骨头部分(例如，脊柱37)仍然主要显示为黑色。在相对于移动72的相反方向上的移动可以通过将部件返回到图像来增强所选择的部件38的开窗，其中部件38的限定特征从图12中的增加的开窗的“冲洗”视图中更容易可见。增加的开窗通过降低不同组织之间以及组织与骨骼之间的色差来减轻部件38的各个部分。然而，应当理解，可以对计算设备16进行编程以响应于移动72而降低所选择的部件的开窗，并且在相对于移动72的相反方向上的移动可以被编程为增加所选择的部件的开窗。
参照图12d，在将第二输入从方位50移动到方位50’之后，第二输入可以沿触摸屏20移动到方位50”(移动74)。计算设备16可以通过在第二输入与触摸屏20接触时在触摸屏20上的第二输入的方位处显示图标44来指示第二输入的移动。在该示例中，第二输入的移动74降低了开窗，从而通过增加不同组织之间以及组织和显示为部件38的骨骼之间的色差来增强部件38的各部分的清晰度。第二输入从方位50到方位50’的行进距离l2小于第二输入从方位50’到方位50”的行进距离l3。因此，可以看出，部件38在方位50”处的初始开窗值低于第二输入处于方位50时的调整开始时的开窗值。第二输入在触摸屏20上的移动可以继续，直到达到开窗的最大值或最小值。
开窗具有调整的第二方面，其中上面参考图12a-图12d描述了第一方面。第二方面是一种对比度调整。参照图13a-图13b，在第一输入已经选择了期望部件(在该示例中为部件38)并且选择了开窗作为待调整的显示参数之后，第二输入可以用于调整开窗显示参数的第二方面。如同移动72、74是在上下方向(相对于附图)一样，用于调整开窗参数的第二方面的移动76是在左右方向。
当在方位50处在触摸屏20处施加第二输入时，计算设备可以通过在方位50处显示图标44来指示已经检测到该输入。将第二输入沿触摸屏20移动到方位50’(即移动76)可以通过降低或增加第二方面以增加或降低部件的特征之间的对比度来调整所选择的部件(例如部件38)的开窗的第二方面。图13b指示该输入跨触摸屏20到方位50’的移动76已经增加了第二方面，并且已经减小了部件38的图像中的可用颜色水平(诸如减小了灰度图像中的可用灰色水平)。所选择的部件38在图13b中示出为增加了开窗显示参数的第二方面，使得部件38的几乎所有特征几乎都是黑色或白色，因为颜色水平仅限于几个水平。在与移动76相反的方向上的移动可以通过将部件返回到图像来降低开窗的第二方面，其中部件38的限定特征从图13b中的增加的开窗的高对比度视图中更容易可见。然而，应当理解，计算设备16可以被编程为响应于移动76而降低所选择的部件的开窗的第二方面，并且在与移动76相反的方向上的移动可以被编程为增加所选择的部件的开窗的第二方面。
参照图14a-图14b，其示出了3d模型40的部件的图像22，其中部件30、32a、32b、34、36具有旋转中心58。图14a与图9中示出的图像22相似。旋转中心58由虚拟矩形棱柱确定，其边界由3d模型的具有小于100％的透明度的部件(在该示例中为部件30、32a、32b、34、36)的最外面的边缘确定，以使所有部件均位于虚拟矩形棱柱内。旋转中心58是虚拟矩形棱柱的体积的中心。部件30、32a、32b、34、36的组可以经由用户与触摸屏20的交互来旋转。3d模型40具有在旋转中心58处相交的三个笛卡尔轴x、y、z。通过用户与触摸屏20的交互，3d模型40可以以三个旋转运动自由度旋转(例如，绕x、y、z笛卡尔轴旋转)。
例如，图14a示出了与触摸屏20的交互，以使图像22绕y轴旋转(旋转ry)。用户可以在触摸屏20的方位50处提供第一输入，并由计算设备16检测该第一输入。计算设备16可以通过在方位50处在触摸屏20上显示图标44来指示该检测。当输入从右向左移动到位置50’(移动78)时，计算设备16通过在该输入的当前方位处显示图标44来跨触摸屏20跟踪该输入。图像22可以响应于该输入的移动78而绕y轴旋转。图14b示出了在该输入已经被移动到方位50’之后的最终图像22。如果随后该输入在方向80a-80d(以及未示出的任何其他方向)中的任一方向上从方位50’移动，则图像22将通过以期望的旋转绕旋转中心58旋转而做出响应。因此，如果用户希望从各个视点查看肿瘤30，则用户可以简单地与触摸屏20进行交互以根据期望绕旋转中心58旋转图像22。
另外，如果用户希望将3d模型40的部件30、32a、32b、34、36重新放置在图像22中，则用户可以同时将第一输入和第二输入施加到触摸屏20，如图15a所示。在方位50处施加的第一输入可以由计算设备16检测到，计算设备16可以在方位50处显示图标44。在方位52处施加的第二输入可以由计算设备16检测到，计算设备16可以在方位52处显示图标46。这些图标44、46可以是不同的，从而用户可以容易地将它们彼此区分开，然而，并不要求它们是不同的。图标44再次被示出为环形图标，但是它也可以是任何其他合适的形状。图标46被示出为双同心环图标，但是它也可以是任何其他合适的形状。第一输入和第二输入跨触摸屏20的移动82可以使计算设备16将部件30、32a、32b、34、36线性平移到图像22中的新位置，如图15b所示。
参照图15b，第一输入和第二输入已经跨触摸屏20同时移动距离l5分别到达新方位50’和52’(移动82)，而每个输入均未显著地朝向彼此移动。该移动82可以由计算设备16检测到，并且使计算设备16将图像中的部件30、32a、32b、34、36线性移动相应的距离l5。计算设备16可以利用第一输入和第二输入在触摸屏20上的移动来反映部件30、32a、32b、34、36在图像22中的移动。因此，如果第一输入和第二输入以圆周运动移动，则计算设备16可以使部件30、32a、32b、34、36在图像22中以相应的圆周运动移动。如果保持输入之间的间距，则部件30、32a、32b、34、36将只在图像22中平移。然而，如果两个输入之间的距离增大或减小，则部件30、32a、32b、34、36将不仅在图像22中平移，图像还将放大或缩小，这分别取决于距离是增大还是减小。
图16a-图17b示出了用户与触摸屏20的交互，以使部件30、32a、32b、34、36的图像22缩小或放大，其中缩小将减小图像22中的部件30、32a、32b、34、36的尺寸，并且放大将增大图像22中的部件30、32a、32b、34、36的尺寸。图16a示出了在响应于用户与触摸屏20的交互而被缩小之前的图像22中的部件30、32a、32b、34、36。用户可以分别在方位50和52处将第一输入和第二输入同时施加到触摸屏20。计算设备16可以检测第一输入和第二输入，并且分别在方位50和52处显示图标44和46以指示该检测。可以通过计算设备16检测第一输入沿触摸屏20朝向第二输入移动84距离l6到达方位50’以及第二输入沿触摸屏20朝向第一输入移动86距离l7到达位置52’，这将响应于第一输入和第二输入的移动84、86使图像22中的部件30、32a、32b、34、36的尺寸变得减小相应的量。可以通过将输入移动得更靠近在一起来执行部件30、32a、32b、34、36的进一步减小。在图16b中示出了部件30、32a、32b、34、36由于第一输入和第二输入的移动84、86而减小尺寸。
类似地，逆转图16a所示的交互可以导致增大图像22中的部件30、32a、32b、34、36，如图17a-图17b所示。图17a示出了在响应于用户与触摸屏20的交互而被放大之前的图像22中的部件30、32a、32b、34、36。用户可以分别在方位50和52处将第一输入和第二输入同时施加到触摸屏20。计算设备16可以检测第一输入和第二输入，并且分别在方位50’和52’处显示图标44和46以指示该检测。可以通过计算设备16检测第一输入沿触摸屏20远离第二输入移动88距离l8到达方位50”以及第二输入沿触摸屏20远离第一输入移动90距离l7到达位置52”，这将响应于第一输入和第二输入的移动88、90使图像22中的部件30、32a、32b、34、36的尺寸变得增大相应的量。可以通过将输入移动得更远离彼此来执行部件30、32a、32b、34、36的进一步增大。在图17b中示出了部件30、32a、32b、34、36由于第一输入和第二输入的移动88、90而增大尺寸。
图18a-图18f示出了自动调整具有小于100％的透明度的部件(即可见的部件)的旋转中心58。图18a示出了部件30、32a、32b、34、36，在该示例中，它们是3d模型40中仅有的透明度小于100％的部件。如上所述，通过在部件周围形成虚拟矩形棱柱42来确定部件30、32a、32b、34、36的旋转中心58，其中部件30、32a、32b、34、36的外边缘确定矩形棱镜42的边界，从而确定旋转中心58。当部件的透明度从小于100％变为等于100％时，即如果矩形棱镜42通过透明度改变而改变，则旋转中心58可以改变。
参照图18b，部件36的透明度已改变为等于100％(即，使其不可见)，而图像22仅显示部件30、32a、32b、34。由于仅稍微改变矩形棱柱42(在该图中未示出)，因此旋转中心58保持非常接近图18a所示的先前的旋转中心58。参考图18c，部件34的透明度已经改变为等于100％(即，使其不可见)，而图像22仅显示部件30、32a、32b。由于再次仅稍微改变矩形棱柱42(在该图中未示出)，因此旋转中心58保持相当接近图18a和图18b所示的先前的旋转中心58。然而，参考图18d，部件32b的透明度已改变为等于100％(即，使其不可见)，而图像22仅显示部件30、32a。由于边界矩形棱柱42与图18a、图18b和图18c明显不同(例如，更小、偏移)，因此图18d的旋转中心58也从图18a、图18b和图18c中的旋转中心明显改变。在图18d中，旋转中心可以对应于由部件30、32a形成的质量的中心。因此，通过绕新的旋转中心58旋转部件30、32a，将如参考图14a-图14b所述的用户与触摸屏20的交互应用于图18d中的部件。
参照图18e-图18f，图像22中显示的部件30、32a可以绕新的旋转中心58旋转。如以上参照图14a所述，用户可以在触摸屏20的方位50处提供第一输入，并且由计算设备16检测该第一输入。计算设备16可以通过在方位50处在触摸屏20上显示图标44来指示该检测。当该输入从右向左移动到位置50’(移动78)时，计算设备16通过在该输入的当前方位处显示图标44来跨触摸屏20跟踪该输入。图像22可以响应于该输入的移动78而绕y轴旋转。在图18e-图18f所示的示例中，与图14a的区别在于图像22中的部件比图14a中的图像22中包括的部件少。
当用户期望将部件添加回图像22时，可以将输入施加到触摸屏上的远离任何部件的方位，从而使包含3d模型40的部件甚至透明度设置为等于100％的那些部件的部件列表被显示。通过在列表中选择部件，用户可以选择是否将部件的透明度从100％改变为小于100％，从而使图像22包括新可见部件，这也可以导致旋转中心58基于由一组新部件界定的新矩形棱柱而改变。
如果用户想要删除3d模型40，则可以在删除完成之前应用预定的延迟时段，以允许用户中止删除过程。延迟时段可以伴随着视觉或听觉倒计时、褪色序列或计时器。删除过程可以例如通过预定义的中止运动(诸如经由设备16的陀螺仪可检测到的摇动)来中止。
图19示出了从可视化工具10删除3d模型40的序列。操作100示出了3d模型的列表(由可显示文本106标识的3d模型40)中的条目。在操作100中仅示出了一个条目，但是可以在可视化工具10中存储的3d模型的列表中提供多个列表项目。为了选择在操作100中示出的条目，在由显示在触摸屏20上的列表项目所界定的屏幕区域内提供并检测第一触摸屏输入。响应于第一触摸屏输入来选择3d模型，并且工具10通过改变图标和可显示文本来指示检测，以向用户指示该项目被选择。在此示例中，图标从轮廓框改变为填充有不同颜色的框，但是图标的任何改变都可以用于指示该选择。在此示例中，显示可显示文本“您确定吗？”，以表明已检测到第一触摸屏输入，并且列表项目已准备好接收确认以删除条目。然后可以在由显示在触摸屏20上的列表项目所界定的屏幕区域内提供并检测第二触摸屏输入。应当理解，用于接收第一触摸屏输入和第二触摸屏输入的触摸屏20的接收部分可以是由显示的列表项目界定的区域的子集，或者为此类输入指定的触摸屏20的单独区域。
第二触摸屏输入使列表项目图标改变为“撤消”图标(例如，框内具有圆圈箭头的框)，其中与该图标相关联的可显示文本显示倒计时器的值和文字“撤销”。在操作102中，可显示文本示出“撤销”，并且倒计时器值示出“4s”以指示在删除完成之前剩余4秒。该倒计时器可以具有任何时间单位，但是秒是优选时间单位。如在操作102中可以看出的，可显示文本106仍然非常可读。随着删除过程的继续，要删除的项目的亮度和颜色与倒计时器同步地褪色。在操作104中，自操作102以来已经过去了三秒，其中计时器指示在完成3d模型40的删除之前还剩一秒。可显示文本106已经显著褪色以向用户提供3d模型40将要被删除的视觉指示。在过去最后一秒之后，然后从列表中删除3d模型40并从可视化工具10中删除该3d模型40。例如，可以通过预定义的中止过程来中止删除过程，诸如，在过去最后一秒之前，在由触摸屏20上显示的列表项目所界定的屏幕区域内提供第三触摸屏输入。
在替代实施例中，可以例如通过预定义的中止运动(诸如经由可视化工具10的陀螺仪可检测到的摇动)来中止删除过程。例如，外科医生s可以摇动可视化工具10超过一秒的时间段，或者外科医生s可以使用两个快速移动来沿相反方向移动可视化工具10以摇动可视化工具10。应当理解，外科医生s可以摇动可视化工具10达任何其他持续时间。
本发明的实施例中的一个或多个元件可以在用于在诸如控制处理系统的计算机系统的处理器上执行的软件中实现。当以软件实现时，本发明的实施例的元件本质上是用以执行必要任务的代码段。程序或代码段可以被存储在处理器可读存储介质或设备中，该处理器可读存储介质或设备可以通过在传输介质或通信链路上以载波形式体现的计算机数据信号来进行下载。处理器可读存储设备可以包括可存储信息的任何介质，包括光学介质、半导体介质和磁介质。处理器可读存储设备的示例包括：电子电路；半导体设备、半导体存储器设备、只读存储器(rom)、闪存、可擦可编程只读存储器(eprom)；软盘、cd-rom、光盘、硬盘或其他存储设备。可以经由计算机网络(诸如互联网、内联网等)下载代码段。
注意，所呈现的过程和显示可以不是固有地与任何特定计算机或其他装置有关。各种通用系统可以与根据本文的教导的程序一起使用，或者可以证明构造更专用的装置来执行所描述的操作是方便的。各种此类系统所需的结构将作为权利要求中的元素出现。另外，没有参考任何特定的编程语言来描述本发明的实施例。应当理解，可以使用各种编程语言来实现如本文所述的本发明的教导。
尽管已经描述并且在附图中示出了本发明的某些示例性实施例，但是应当理解，这样的实施例仅是示例性的，而不是限制本发明，并且本发明的实施例不限于示出和描述的特定构造和布置，因为本领域普通技术人员可以进行各种其他修改。