专利名称：图像浏览和导航用户界面的制作方法
图像浏览和导航用户界面
背景技术：
许多医院已经使用PACS (图片存档和通信系统)或类似图像存档系统多年。结果，所使用的系统可包括多个病人，每一病人与多个图像相关联，这些图像可能是在若干年间的不同时间拍摄的。另外，所拍摄的图像可能是用一种以上的技术(形态)来创建的，如计算机断层扫描(CT扫描)、X光图像(XA)、以及磁性共振成像(MRI )。医护人员通常有理由获得存储在该系统中的一个或多个图像。不幸的是，医护人员难以快速了解病人的可用图像的范围，标识当前更相关的图像，以及获得并查看这些图像。因此，图像浏览和导航的进步将帮助医护人员并帮助确保更好的病人护理。
发明内容
本文描述了用于图像浏览、导航和用户界面操作的技术。可在视觉显示器上显示图像立方体，其具有三条轴，表示医学病人身体部分、形态(成像技术)和图像日期。根据沿着三条轴的适当坐标，可将表示病人图像的图标或缩略图像堆定位在该图像立方体内。可从该图像立方体中选择一图像平面，这通常通过将“身体部分轴”固定在所需身体部分(例如，胃)上来进行。所选图像平面替换了视觉显示器中的图像立方体，其仅包括所选身体部分的根据指示形态和图像日期的轴来组织的图像堆。可从该图像平面中选择图像堆，以替换视觉显示器上的图像平面。图像堆操作允许用户从图像堆中选择所需图像以供显示。提供本概述是为了以简化的形式介绍将在以下详细描述中进一步描述的一些概念。该概述不旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。例如，术语“技术”可以指上述上下文和通篇文档所准许的设备、系统、方法、和/或计算机可读指令。
参考附图来描述详细描述。在附图中，参考标号中最左边的数字标识该参考标号首次出现的附图。在各附图中，使用相同的标号来指示相同的特征和组件。此外，附图旨在图示一般概念，并且不旨在指示必需和/或必要元素。图1是被配置成支持图像浏览、导航和用户界面操作的图像立方体的示例。示出了该立方体内的图像堆，每一图像堆根据指示身体部分、形态和图像日期的三条轴上的坐标来定位。图2是图像平面的示例。在某些情况下，图像平面通过固定图1的图像立方体的身体部分轴来选择。图3A、3B和3C分别示出了所选图像堆、从图像堆中对一个或多个缩略图像的选择、以及与所选缩略图像之一相关联的图像的显示的示例。图4-7示出了具有替换构造的图像立方体的第二示例，并共同示出了轴平移和缩放以及图像平面透明度的示例。图8是示出支持图像浏览、导航和用户界面操作的示例配置的框图。
图9是示出提供图像浏览、导航和用户界面操作的示例过程的框图。图10是示出支持显示图像立方体的用户界面的各部分的图像立方体操作的示例的流程图。图11是示出适用于图像堆或多个图像平面，如形成图4-7的图像立方体的图像平面的操作的示例的流程图。图12是示出支持显示如图2的图像平面的用户界面的各部分的图像平面体操作的示例的流程图。图13是示出支持显示图像堆的用户界面的各部分的图像堆操作的示例的流程图。图14-23示出了允许对图像堆和图像平面，如图3的图像堆以及形成图4-7的图像立方体的图像平面的操纵的操作的示例。
具体实施例方式本发明描述了用于提供图像浏览和导航用户界面的技术。该图像浏览和导航用户界面允许用户连续地显示图像立方体、图像平面以及图像堆。可使用图像堆操作来选择并查看与图像堆内的缩略图像相关联的高分辨率图像。示出此处讨论的某些技术的示例(不被认为是完整的或全面的讨论)可帮助读者。图像立方体可被显示在视觉显示器上。该图像立方体可以是透明或半透明的，并且可在该图像立方体中查看图像堆(例如，缩略图像的图标或堆)。这些图像堆表示为病人拍摄的图像，并且可根据该图像立方体的三条轴定位在图像立方体内。沿着第一条轴的位置指示可被显示在图像内的身体部分(例如头或肺)。沿着第二条轴的位置指示图像的形态(例如，图像的技术，如X射线或CT扫描)。沿着第三条轴的位置指示图像日期。图像立方体操作提供了包括放大或缩小以及旋转图像立方体在内的功能。诸如轴缩放和平移等其他操作允许用户查看病人图像的不同子集。例如，用户可以改变图像立方体所显示的一定范围的图像日期。图像立方体操作还允许选择图像平面，这通常通过固定或设置图像立方体的一个轴来进行。例如，可根据一个特定身体部分来固定身体部分轴，以获得与病人身体的该特定部分的图像相关联的图像平面。在选择了可能与病人身体的特定部分相关联的图像平面之后，可从视觉屏幕中清除其他图像平面。图像平面操作允许用户平移和缩放图像平面的轴，以便于选择具有所需图像技术和图像日期的图像堆。图像立方体的显示和单个图像的显示都向用户提供了选择与所需身体部分、形体(图像技术)和/或图像日期相关联的一个或多个所需图像堆的机会。在选择了一个或多个图像堆之后，图像堆操作允许用户操纵所选图像堆内的缩略图像，并选择一个或多个图像
来查看。 此处的讨论包括若干节。每一节都旨在是非限制性的，更具体的，这种整体描述旨在示出可在图像浏览和导航用户界面中利用的组件，而非必然所需的组件。该讨论以题为“示例图像浏览和导航用户界面体系结构”的节开始，该节描述了可实现此处所描述的技术的一个环境。该节描绘并描述了图像浏览和导航用户界面的高级体系结构，并提出了可被包括在某些配置中的组件的某些细节。接着，题为“替换的图像浏览和导航用户界面体系结构”的节示出并描述了提供替换图像立方体设计的各方面。题为“示例系统设计”的节示出并描述了被配置成支持图像浏览和导航用户界面的示例软件体系结构。题为“示例流程图”的节示出并描述了可用于支持图像浏览和导航用户界面的技术。最后，以简要结论结束该讨论。该简要介绍，包括这些节标题和相应的概述，是出于方便读者的目的而提供的，而非旨在限制权利要求或之前各节的范围。示例图像浏览和导航用户界面体系结构图1是示出图像立方体100的一个示例的图示，该图像立方体可作为用户界面的一部分来显示以便于浏览和导航从病人获得的图像。尽管在图1中示出了单个立方体100，但通过扩展，可同时显示两个或更多图像立方体。由此，例如，可操纵并显示两个家庭成员的图像。图1是作为具体实例来提供的，以示出更一般的概念，而非指示必需和/或必要元素。图像立方体100帮助用户选择感兴趣的图像平面和/或图像堆。对图像平面的选择允许用户前进到图2中所见的浏览和导航阶段，其中显示单个图像平面。对图像堆的选择允许用户前进到图3中所见的浏览和导航阶段，其中显示单个图像堆。使用图像堆，用户能够选择并查看所需图像。参考图1，图像立方体100根据三条轴，即身体部分轴102、形态轴104以及时间或日期轴106来配置。在图1的示例中，轴102与身体部分相关联，包括头、肺和胃。如有所需，则轴102可被平移以显示其他身体部分，如臀、膝和足。通过选择图像平面标志符头108、肺110或胃112之一，用户能够分别选择与病人的头、肺和胃相关联的图像平面。更详细地查阅与图像平面标志符头108相关联的图像平面，该平面与病人的头的图像相关联，并包括与形态轴104相关联的垂直维度和与时间轴106相关联的水平维度。图像立方体100的轴104与形态，即用于创建图像的技术相关联。在图1的示例中，示出了三种技术(即，形态)。具体地，示出了 X射线图像(XA)114、计算的层析X射线照相术(CT扫描)116以及磁共振成像(MRI)118。然而，如果存在其他技术，则沿着形态轴104的平移可替换和/或补充形态XAl 14、CT 116和MRI 118。轴106与时间或日期，即创建图像的日期相关联。在图1的示例中，示出了五个日期，其范围从1998年末到2003年末。尽管日期是以年和月的格式示出的，但它们可视需要替换地以年、月和日的格式或其他格式来示出。如果病人在该系统中具有与其他日期相关联的图像，则沿着时间轴106的平移或缩放可将这些图像带入图像立方体100的视图内。图像立方体100包含多个图像堆120-134。取决于在其中利用图像立方体100的系统的要求和/或配置，图像堆可以是堆叠的缩略图像，或者仅仅是图标。如有所需，用户可选择图像堆120-134中的一个或多个。视其中显示图像立方体100的系统所需或所建议，选择可通过使用鼠标、触摸屏或其他用户界面设备来作出。每一图像堆120-134根据其各自的坐标位于图像立方体100内。例如，图像堆120在“头”图像平面108中沿着“身体部分”轴102定位，指示图像堆120与病人的头的图像相关联。另外，图像堆120沿着“形态”轴104定位，指示图像堆120与CT图像相关联。另外，图像堆120沿着“时间”轴106定位，指示图像堆120与在1999年6月获得的图像相关联。由此，图像立方体100包括与身体部分相关联的图像平面，其中每一图像平面根据形态轴和时间轴来组织。沿着三条轴的任一条的平移和缩放可调整图像立方体100在视觉屏幕136中显示的身体部分、成像技术和图像日期。图像立方体100允许选择图像平面(例如，与头、肺、胃或其他身体部分相关联的图像平面)或指导对图像堆120-134的选择。图2是在视觉屏幕136内显示的图像平面200的示例。由此，图2表示对图1所呈现的图像的较宽选择的缩小。具体地，图2仅包括病人的肺的图像。图像平面200可通过将图1的“身体部分”轴102固定在肺110标志符处来获得。由于轴102被固定在肺110处，因此其他身体部分的图像在图像平面200中不可获得，并且图像平面200包括仅与病人的肺相关联的图像堆。时间轴106的范围已被调整(例如，通过用户与用户界面的交互)来从2004. 08 (2004年8月)延长到2007. 11 (2007年11月)。形态轴104的范围包括XA、CT和MRI。在该日期和成像技术范围内，有五个图像堆202-210。由此，图2所呈现的细化图像选择表示图1所呈现的更宽泛图像选择的缩减。该细化对于期望肺的图像的用户可能是非常有帮助的。类似地，如果用户期望不同身体部分的图像，则身体部分轴102可替换地固定在不同位置处，从而得到与不同身体部分的图像相关联的图像平面。图像平面200允许用户选择图像堆来进一步操纵和/或检查与所选图像堆相关联的图像。通过使用212处的选择或突出显示工具，用户能够选择所需图像堆，例如图像堆210。图3A是在视觉屏幕136内显示的图像平面200的示例。在图3A的示例中，选择并显示了图像堆210。图像堆210可包括表示实际图像、但具有缩减得多的分辨率和/或信息的缩略图像。或者，图像堆210可包括简单的图标或通用图像。由此，图3A表示对图2所呈现的图像的较宽选择的缩减。具体地，图3A仅包括在2007年11月拍摄的MRI图像。图像堆210可由用户通过从图2中的图像平面200选择图像堆210来获得。或者，如果用户操纵了图1的图像立方体100以得到图像堆210的外观，则用户可直接从图像立方体100中选择图像堆210。图3B示出了视觉屏幕136内的图像堆210。具体地，图3B示出用户从图像堆210中选择了缩略图像302和304。图3C示出了全分辨率图像302A的显示，其与缩略图像302
相关联。图1-3C共同表示图像浏览和导航的一个示例。在图1中，图像立方体100允许用户选择与用户可能感兴趣的身体部分，如肺的图像相关联的图像平面200。在图2中，用户选择与在2007年11月为肺拍摄的MRI图像相关联的图像堆208。在图3A-C中，用户查阅图像堆208，选择两个图像，并显示所选图像之一的全分辨率图像。替换的图像浏览和导航用户界面体系结构图4-7示出了图像立方体的第二示例，并共同示出了轴平移和缩放以及图像平面透明度的示例。参考图4，图像立方体400与对于图1的图像立方体100所公开的一般概念以及相关联的文字讨论相一致。然而，图像立方体400以“分解”配置出现，其中该图像立方体的多个图像平面被单独配置并显示，并且按照三条互相垂直的轴来组织。图像立方体400根据三条互相垂直的轴，即身体部分轴102、形态(图像技术)轴104和时间(图像日期)轴106来定向。示出了三个图像平面108-112，每一图像平面位于沿身体部分轴的不同位置处。由于图像平面是“分解的”，因此未示出身体部分轴。图像平面108与头的图像相关联，图像平面110与肺的图像相关联，而图像平面112与胃的图像相关联。沿着形态轴104示出了三种形态，包括XA (X射线)、CT和MRI。时间轴106示出了范围从2004到2006的日期。在图像立方体400内，示出了多个图像堆。具体地，图像堆402与在2004年11月使用CT技术拍摄的胃的图像相关联。类似地，图像堆404包括与2004年2月使用X射线技术拍摄的与肺相关联的图像。图5示出了在某些用户启动的图像立方体操纵之后的图像立方体400。具体地，用户沿着身体部分轴102平移。身体部分轴102仍显示三个身体部分；然而，所显示的身体部分从头、肺和胃(图4)变为肺、胃和膝(如图5所见)。由此，沿着轴102的平移改变了在身体部分轴上显示的身体部分。平移可由用户使用任何所需用户界面技术来启动，如通过允许用户使用鼠标或触摸屏来将词语“肺”502拖到左边，由此使得标志符“头”(如图4中所见)滚动到视图之外，并且标识符“膝” 504和相关联的膝图像平面506滚动到视图之内。另外，用户沿着时间轴106平移，由此将日期从2004-2006年(如图4中所显示的)改为2006-2009年(如图5中所显示的)。由于该平移，图像堆402和404 (图4中所见)现在在视图之外，并且图像堆508和其他堆当前在视图中。图6示出了在进一步的用户启动的图像立方体操作之后的图像立方体400。具体地，用户将胃图像平面112变为部分透明。由此，框架602和图像堆604-610变得部分透明，从而允许用户更好地看见部分地位于胃图像平面112后面的肺图像平面110。使胃图像平面112变得透明的程度可被控制和调整，从部分透明到完全不可见。注意，在用户选择完全不可见的情况下，图像平面“肺” 110和“膝”506可被重新对齐，以更好地利用可用空间。例如，如果使得图像平面112完全不可见，且如果得到图像平面110和506之间的过多空间，则图像平面110、506的重新对齐可导致一个或两个图像平面的移动以及对该空间的更好使用。可使用任何所需用户界面技术来向用户提供图像平面透明度功能，如通过右击指示符“胃”612并选择使得图像平面112变透明的程度。图7示出了在进一步的用户启动的图像立方体操作之后的图像立方体400。具体地，用户缩放了身体部分轴102，由此调整了沿着身体部分轴显示的身体部分平面的数量。在图7的示例中，该缩放导致轴的收缩或压缩，且因此允许添加第四个身体部分图像平面。因此，图像平面108-112以及506被显示。注意，该缩放可以在两个方向上执行，即，轴缩放可用于在图像立方体400内显示更多或更少图像平面。可使用任何所需用户界面技术来向用户提供轴缩放功能，如通过允许用户将身体部分轴上的箭头推向或拉离图7的左上角的坐标系统的原点。或者，在触摸屏环境中可使用直观的触摸运动。示例系统设计图8是示出被配置成支持图像浏览、导航和用户界面操作的示例系统或计算设备的框图。处理器802和一个或多个存储器设备804、806通过总线808来通信。诸如视觉显示器136、鼠标和/或键盘810和触摸屏812等用户界面输入设备可任选地与处理器802通信。存储器设备804可包含操作系统816和一个或多个程序818。程序可包括图像查看应用程序、数据库应用程序以及其他，如系统800的配置所指示的。图像数据库或图像数据结构820可组织关于一个或多个病人的数据和图像。因此，图像数据820可包括数据库、数据、元数据和/或指向数据的指针，包括存储器设备804和/或存储器设备806内的数据。另外或替换地，图像数据820可包括定义供在图像显示屏幕上显示的图像立方体的数据结构和/或对象，该数据结构或对象包括图像平面、图像堆、缩略图像和高分辨率图像的各方面。
图像立方体管理器822被配置成操作用户界面，包括作为用户界面的一部分的图像立方体的呈现。图像立方体可以是图1的图像立方体100、图4-7的图像立方体400、或具有图像立方体100和400的各元素所显出的类似结构和操作的图像立方体。图像立方体管理器可提供并支持图像立方体操作，以及对图形和用户输入/输出的支持。例如，图像立方体管理器822可用视觉显示器136、鼠标和/或键盘810以及触摸屏812来管理输入和/或输出。另外，图像立方体管理器822可被配置成执行多个图像立方体操作和/或功能。图像立方体操作和/或功能可在图像立方体管理器822内执行，或者可单独位于如图像立方体操作828的软件(硬件和/或固件)工具箱中。828处包含的功能在图10中更详细描述。图像平面管理器824被配置成操作用户界面，包括作为用户界面的一部分的图像平面的呈现。图像平面可以是图2的图像平面200，或具有图像平面200的各元素所显出的类似结构和操作的图像平面。图像平面管理器可提供并支持图形和用户输入/输出。例如，图像平面管理器824可用视觉显示器136、鼠标和/或键盘810以及触摸屏812来提供输入和/或输出。另外，图像平面管理器824可被配置成执行多个图像平面操作和/或功能。图像平面操作和/或功能可以在图像平面管理器824内，或者单独位于如图像平面和图像堆操作830和/或图像平面操作832的软件(硬件和/或固件)工具箱中。830处包含的功能在图11中更详细描述，而832处所包含的功能在图12中更详细描述。图像堆管理器826被配置成操作用户界面，包括作为用户界面的一部分的图像堆的呈现。图像堆可以是图3A-C的图像堆210，或具有图像堆210的各元素所建议的类似结构和操作的图像堆。图像堆管理器可提供并支持图像堆操作，以及对图形和用户输入/输出的支持。例如，图像堆管理器826可用视觉显示器136、鼠标和/或键盘810以及触摸屏812来提供输入和/或输出。另外，图像堆管理器826可被配置成执行多个图像堆操作和/或功能。图像堆操作和/或功能可以在图像堆管理器826内，或者单独位于如图像平面和图像堆操作830和/或图像堆操作834的软件(硬件和/或固件)工具箱中。830处包含的功能在图11中更详细描述，而834处所包含的功能在图13中更详细描述。总体上，图像立方体管理器822、图像平面管理器824和图像堆管理器826是被配置成管理与一个或多个病人相关联的、关于与每一病人相关联的一个或多个身体部分的图像的图像管理器，这些图像使用一个或多个形态并在一个或多个日期拍摄。存储器设备806可被配置成使用任何技术，如固态、磁和/或大容量盘或盘阵列。在存储器设备806内，存储XA (X射线)图像库836、CT图像库838和MRI图像库840。或者，这些库可被配置成单个库。库836-840内与一个或多个病人相关联的图像可使用图像数据库820和相关联的数据结构来存储、检索和组织。示例流程9是示出用于提供图像浏览、导航和用户界面操作的示例过程900的框图。在一个示例中，过程900描述了图8的系统或计算设备800的操作。因此，图9的示例过程可部分地通过参考图1-8的配置来理解。然而，图9包含了一般的适用性，并且不受其他附图和/或之前讨论的限制。此处所描述的每一个过程都被示为逻辑流程图中一组框的集合，这表示可用硬件、软件或其组合实现的一系列操作。在软件的上下文中，这些框表示存储在一个或多个计算机可读存储介质上的计算机可执行指令，这些指令在由一个或多个处理器执行时执行既定操作。一般而言，计算机可执行指令包括执行特定功能或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等。描述操作的次序并不旨在解释为限制，并且任何数量的所描述的框可以按任何次序和/或并行组合以实现该过程。在操作902，显示图像立方体以供观察和与用户交互，作为用户界面的一部分。该图像立方体可被显示在视觉显示器、视频显示器或监视器上。所显示的图像立方体的两个示例包括图1或4-7的图像立方体100、400。图像立方体的显示向用户提供了关于对特定病人有什么图像可用的信息。然而，用户可能希望获得关于病人的当前未被图像立方体所显示的图像的信息。因此，用户可能希望执行一个或多个图像立方体操作。在操作904，用户可任选地执行一个或多个图像立方体操作。例如，用户可任选地操作一个或多个用户界面工具，如鼠标或触摸屏，以调用或激活增强用户界面的显示或操作的功能或过程。可任选地执行的图像立方体操作的示例在图10中讨论。在操作906，显示图像平面以供观察和与用户交互，作为用户界面的一部分。图像平面的一个示例是图2中的图像平面200。图像平面的显示向用户提供了关于对特定病人在该图像平面内有什么图像可用的信息。图像平面可以与病人的身体的身体部分或区域相关联。然而，用户可能希望获得关于病人的当前未被图像平面所显示的图像的信息。因此，用户可能希望执行一个或多个图像平面操作。在操作908，用户可任选地执行一个或多个图像平面操作。例如，用户可任选地操作一个或多个用户界面工具，如鼠标或触摸屏，以调用或激活增强用户界面的显示或操作的功能或过程。可任选地执行的图像立方体操作的示例在图11中讨论。图像平面操作向用户提供了关于图像平面的性质以及图像平面内可用的图像堆的信息。因此，图像平面操作帮助用户做出对图像平面内的图像堆的理想的选择。在操作910，显示图像堆以供观察和与用户交互，作为用户界面的一部分。图像堆的一个示例是图3A中所见的图像堆210。图像堆的显示向用户提供了关于对特定病人、与该病人的身体的一部分或区域相关联、与特定成像形态相关联、以及与特定图像创建日期相关联有什么图像可用的信息。然而，用户可能希望确定在与图像堆相关联的图像中哪些图像是特别感兴趣的。因此，用户可能希望执行一个或多个图像堆操作。在操作912，用户可任选地执行一个或多个图像堆操作。例如，用户可任选地操作一个或多个用户界面工具，如鼠标或触摸屏，以调用或激活增强用户界面的显示或操作的功能或过程。可任选地执行的图像立方体操作的示例在图11和13中讨论。图像堆操作向用户提供了关于图像堆的性质以及图像堆所表示的图像的信息。因此，图像堆操作帮助用户做出对图像堆内的缩略图像的理想的选择。在操作914，从图像堆中选择缩略图像。所选缩略图像可以是表示用户希望看见的图像的低分辨率图像。在操作916，显示与所选缩略图像相关联的图像。图10是示出支持显示图像立方体的用户界面的各部分的图像立方体操作的示例1000的流程图。因此，图10描述了对图9的图像立方体操作框904的一个可能的实现。操作1000旨在具有一般化的性质，适用于与此处的讨论相一致的各种图像立方体。例如，操作1000可支持图1的图像立方体100或图4的图像立方体400或两者。另外，操作1000中的某一些，如缩放1006和平移1008，可在诸如图2的图像平面200等图像平面上执行。在任何特定实现中，可实现操作1000中的某一些、全部或没有一个。此外，操作不必以任何特定次序执行，并且一个或多个操作并不必须由系统来执行和/或实现。然而，图像立方体操作1000提供了当在视觉屏幕上显示图像立方体时可便于用户的图像浏览和导航体验的功能。这样的功能帮助用户(1)调整图像立方体以确定哪些图像平面和/或图像堆可用；和/或⑵选择一个图像平面以供进一步浏览和导航；和/或⑶直接选择图像堆而不选择图像平面。例如，图像立方体操作1000中的某一些或全部可帮助用户确定什么图像平面可用、移除不合需要的图像平面或使其透明、以及选择所需图像平面或所需图像堆。在操作1002，缩放功能(例如，放大和缩小)允许用户放大或缩小以调整视觉屏幕内的图像立方体的用户视图的分辨率。因此，用户可使用缩放功能来更完整地或不太完整地分别用全部或部分图像立方体100来填充视觉屏幕136的全部或部分。此外，放大功能可用于“过填充”视觉屏幕，即，放大功能可使得图像立方体100、400过大以致于仅图像立方体的一部分是可见的。这可向用户提供看见图像立方体100、400的某一部分及其内容(例如，图1的图像堆120-132)所需的细节和/或分辨率。放大和缩小功能可通过鼠标、键盘、触摸屏或其他用户界面设备来控制，如特定安装所指示的。在操作1004，旋转功能将图像立方体100围绕任何所需轴或线转动或旋转(其中该线不必平行于任何轴)。因此，用户能够对图像立方体100、400确定方向来看见该立方体的任何所需区域。旋转功能可通过鼠标、键盘、触摸屏或其他用户界面设备来控制，如特定安装所指示的。例如，使用鼠标或手指在触摸屏上的画圈运动可控制和/或帮助旋转功能。在操作1006，轴缩放功能收缩或扩展三条轴中的任一条。在缩放轴的一个示例中，用户可能希望看见较大日期范围中的图像堆。因此，轴缩放功能可“扩展”时间轴106以由此沿着图像立方体100的时间轴来符合另外的日期。尽管在缩放之前显示了三个不同的日期，但在缩放之后可显示四个不同的日期。这可允许例如用户检查在较大日期范围上是否存在图像堆。类似地，轴缩放功能可“收缩”时间轴106以减小所显示的范围，并由此从图像立方体的时间轴移除一个或多个日期。此外，轴缩放也可应用于身体部分轴和形态轴，以控制这些轴所显示的身体部分的数量和技术的数量。例如，图6的图像立方体400被缩放以包括额外的身体部分图像平面，如图7中所见。轴缩放功能——收缩和扩展——可通过鼠标、键盘、触摸屏或其他用户界面设备的操作来控制，如特定安装所指示的。例如，为收缩轴，用户可点击鼠标同时从箭头处移动到轴的中间。或者，为扩展轴，用户可点击鼠标同时从轴中间移向箭头处。在触摸屏上类似的运动也可控制缩放。在操作1008，轴平移功能改变在轴的范围内显示的内容。例如，在平移之前，可在身体部分轴102上显示三个身体部分。在平移之后，可显示不同的三个身体部分。例如，在平移之前，图4示出与“头”、“肺”和“胃”图像平面相关联的图像平面。在平移一个位置后，图5示出与“肺”、“胃”和“膝”相关联的图像平面。由此，平移将使得“头”图像平面“滚动到视图之外”，并使“膝”图像平面“滚动到视图之内”。类似地，平移可通过不止一个步骤来执行。例如，显示与“头、胃、肺”相关联的图像平面的图像立方体可被变换为包括与“臀、膝、足”相关联的图像平面。此外，平移可以在任一方向上执行，并在任何轴上执行。例如，时间轴可从2002和2004年之间的初始图像平面显示平移到2004和2006年之间的后续图像平面显示。平移功能可由用户通过任何所需用户界面工具来操作。例如，用户可使用鼠标或触摸屏来点击和/或拖动身体部分(例如，“肺110”)或日期(例如，1999. 06)来平移相应的轴(轴102或轴106)。
由此，平移可与轴缩放区分开来。如果平移了身体部分轴，则其可在平移之前和之后显示三个身体部分，但是这些部分将不会完全相同。如果缩放了身体部分轴，则轴所显示的范围将增加或减小，从而改变可显示的身体部分图像平面的数量。如有需要，平移和缩放可被统一，以得到具有缩放和平移两者的特性的功能。在操作1010，突出显示和/或选择功能允许用户突出显示或选择重要图像平面。鉴于用户决定哪一图像平面是最理想的，突出显示优先于选择。突出显示图像平面可通过使得图像平面的名称，例如图5的“肺502”，变粗体来指示。对图像平面的选择可将用户界面从图像立方体的显示(例如，图1或4)转换成所选图像平面的显示(例如，图2)。图像平面可通过使用鼠标或触摸屏来突出显示或选择。在一个示例中，图像平面可通过对图像平面的名称，如图5的“肺502”的动作来突出显示或选择。由此，图像平面可通过在身体部分指示符(例如，图5的词“肺502”、“膝504”)上点击或右击来突出显示或选择。在操作1012，透明度功能允许用户穿过看似不太感兴趣的图像平面观看。具体地，可以是使图像堆变为有一些透明、基本透明或甚至完全透明(即，不可见)。在图6的示例中，图像平面112被变为有一些透明以允许更好地查看图像平面110。透明度包括框架602和图像堆604-610。图像平面可通过任何用户界面按钮的操作、应用程序所指示或显出的控制或操作来变得透明。例如，图6的个别图像平面112可通过右击图像平面名称(胃612)并选择透明程度来变得透明。类似地，可使图像立方体的任何部分变得透明。例如，可使图1的图像堆134变得透明以导致图像堆132的出现或导致图像堆132的更好查看。可通过鼠标右击以及对透明度选项的适当选择来使图像堆134变得透明。在操作1014，重新对齐功能“重新对齐”和/或移动所选和/或所突出显示的平面，并移除完全或部分透明和/或未选中的平面。如果图像平面被变得部分或完全透明，则这指示用户可能不对该图像平面感兴趣。如果一图像平面被突出显示，则这指示用户可能对该图像平面感兴趣。用户可完全移除不感兴趣的图像平面，并且通过重新对齐功能的操作来重新定位感兴趣的图像平面。基本上，透明图像平面消失，并且突出显示的图像平面移动和/或其大小扩展，以占据先前被透明图像平面占据的空间。作为重新对齐功能的一个示例，如果“胃”图像平面112 (图6)被变得透明，则重新对齐功能的操作可移动“肺”和“膝”图像平面110、506来更好地使用可用空间。图11是示出图像平面和图像堆操作的示例的流程图。由此，图11的操作支持显示图像平面或图像堆(例如，图4的图像平面108-112)或图像堆(例如，图3A的图像堆210)的用户界面的各部分。因此，图11描述了对图9的图像立方体操作框908和/或图像堆操作框912的一个可能的实现。操作1100旨在具有一般化的性质，适用于与此处的讨论相一致的图像平面和/或图像堆。在任何特定实现中，可实现操作1100中的某一些、全部或没有一个。此外，操作不必以任何特定次序执行，并且一个或多个操作并不必须由系统来执行和/或实现。然而，图像平面和图像堆操作1100提供了在图像平面或图像堆的缩略图像被显示在视觉屏幕上时可便于用户的图像浏览和导航体验的功能。这些功能帮助用户(1)选择所需图像平面以供进一步浏览和导航；或(2)从图像堆中选择缩略图像以查看相关联的放大的或高分辨率图像。图11示出了图像平面和图像堆平铺和重叠的各方面。图像平铺和重叠的各方面可从图14A-C所示的示例来理解。在图14A中，以平铺配置阵列或显示了五个缩略图像。该平铺配置有利于不重叠任何图像的任何部分。在图14B中，以重叠配置阵列或显示了五个缩略图像。该重叠配置有利于以较大的尺寸显示第一平铺块Al，其可能具有较大的分辨率。缺点是平铺块2到5仅被部分显示，即，它们被其他图像部分重叠。在图14C中，以垂直重叠配置显示平铺块。注意，尽管图14A-C示出了图像堆的五个缩略图像，但可利用不同数量的缩略图像。另外，尽管图14A-C中示出了形成图像块的缩略图像，但同样的概念适用于形成图像立方体的图像平面。例如，图4的图像平面108-112以重叠配置示出，但可替换地以平铺配置来显示。在操作1102，可使用收缩或扩展缩放功能来调整图像堆的缩略图像或图像立方体的图像平面(例如，图4的图像平面108-112)彼此重叠的程度。例如，图15A的图像堆展示了一种程度的重叠。该重叠可通过收缩功能来增大或强调，如图15B中所见。收缩功能可增大顶部图像(图像A)的大小和分辨率，但由于重叠的增加，减小显示其他图像的程度。相反，如果向图15A的图像堆应用扩展功能，则顶部图像被较不显著地显示，但显示每一底下图像的较大百分比。由此，图15B的堆更“收缩”，而图15C的堆更“扩展”。在操作1104，折叠或平铺功能是收缩和扩展功能的扩展。在图16A中，看见重叠的缩略图像堆。类似地，图4的图像立方体400的图像平面108-112被重叠。图16A的缩略图像的重叠堆可被折叠，如图16B中所见，以强调缩略图像的重叠。或者，重叠的缩略图像堆可被平铺，如图16C中所见，以完全消除图像的重叠。类似的结果可使用图像立方体400的图像平面来获得。在操作1106，放大和缩小功能允许用户如所需地调整观察域的大小和中心，并增大或减小观察域的大小以及观察域的分辨率。例如，用户可以在较低分辨率下查看较大区域(例如，更多缩略图像)，或在较高分辨率下查看较小区域(例如，单个缩略图像的一部分)。在操作1108，显现功能允许用户方便地查看图像堆的缩略图像或图像立方体的图像平面，它们是分别地部分被重叠的缩略图像或重叠的图像平面遮挡。例如，图像平面或缩略图像可通过用户界面的操作带到前层或顶层，然后返回到其原始位置。通过将图像平面或缩略图像带到前部或顶部，使其完全对用户可见。顺序地参考图17A-C，将光标1700在图像B、然后图像C、然后图像D上移动。当光标在每一图像上时，该图像被移至前部或顶部平面，即，底下的图像不被其他图像重叠，由此允许用户查看没有被相邻图像重叠的图像。当光标移开所显现的图像时，该图像返回到其原始的、被相邻图像重叠的位置。在操作1110，选择功能允许用户选择图像平面或缩略图像，以便可执行其他操作，或可查看相关联的图像(例如，较高分辨率图像)。或者，删除功能允许用户删除所选图像平面或缩略图像。参考图3A和B，未在图3A中选择的缩略图像302、304在图3B中被选中。所选图像可被进一步处理、检查和/或删除。在操作1112，逆序功能允许用户逆转图像平面的次序或图像堆中的缩略图像的次序。参考图18A和B，逆序功能的执行逆转缩略图像的次序。逆转功能可帮助用户获得所需图像堆或缩略图像的更好的视图。在操作1114，混洗命令允许用户改变图像堆中的缩略图像的次序，或改变图像立方体(例如，图4的图像立方体400)中的图像平面的次序。应用于图像堆的混洗命令的示例结果可通过比较图18A和18C来看见。
在操作1116，切换功能允许用户改变缩略图像的图像堆或图像立方体(例如，图4的图像立方体400)中的多个图像平面的覆盖顺序。由此，尽管缩略图像或图像平面的次序没有被切换功能的执行改变，但重叠次序被逆转。例如，在图18A中，第一个图像重叠在第二个图像上，而第二个图像重叠在第三个图像上，依此类推。相反，在执行了切换功能之后，逆转了该覆盖，如图18D中所见。在执行了切换功能之后，最后一个图像重叠在倒数第二个图像上，而倒数第二个图像重叠在倒数第三个图像上。在每一情况下，第一个图像(图像I)在左侧，而最后一个图像(图像6)在右侧。在操作1118，可对图像立方体的图像平面(例如，图4的图像立方体400的图像平面108-112)或对图像堆的缩略图像执行平面内旋转。参考图19，可看见应用于图像堆的缩略图像的平面内旋转的示例。通过执行平面内旋转，缩略图像在视觉屏幕136处在同一平面内旋转，并且在旋转之后可如图19所见地出现。在操作1120，可对图像立方体的图像平面(例如，图4的图像立方体400的图像平面108-112)或对图像堆的缩略图像执行按深度旋转。参考图20，可看见应用于图像堆的缩略图像的按深度旋转的示例。通过执行图像堆的缩略图像的按深度旋转，缩略图像各自围绕一垂直线旋转，从而垂直地将每一缩略图像二等分，该垂直线位于视觉屏幕136上的同一平面内。在按深度旋转之后，图像堆的缩略图像如图20中所见地出现。另外，按深度旋转可在两个方向上执行。例如，选自图4的图像平面108-112的图像平面可被按深度旋转成图2的图像平面200的平面图(正视图)。图12是示出支持显示图像平面(如图2的图像平面200)的用户界面的各部分的图像平面操作的示例的流程图。因此，图12描述了图9的框908的可能实现的各方面。操作1200旨在具有一般化的性质，适用于与此处的讨论相一致的各种图像平面构造。例如，操作1200可支持图2的图像平面或不同构造的图像平面的操作。在任何特定实现中，可实现操作1200中的某一些、全部或没有一个。此外，操作不必以任何特定次序执行，并且一个或多个操作并不必须由系统来执行和/或实现。然而，图像平面操作1200提供了当在视觉屏幕上显示图像平面(例如，图2的图像平面200)时可便于用户的图像浏览和导航体验的功能。这些功能帮助用户管理图像堆。在操作1202，在图像平面中创建一个或多个图像堆。在图2的示例中，可将新图像堆拖放到由该新图像堆中的图像的形态并由创建图像的日期所指示的位置。在操作1204，可选择一个或多个图像堆。参考图2的示例，可诸如通过鼠标点击或触摸屏来选择图像堆210。该选择由绘制在图像堆210周围的突出显示框212来指示。在操作1206，可删除一个或多个图像堆。在图2的示例中，所选图像堆210可由用户通过操作用户界面来删除。例如，通过选择图像堆并右击它，可选择删除选项。在操作1208，可合并两个或更多图像堆。在图21A中，存在两个图像堆。它们可被合并成单个图像堆，如图21B所见。为便于合并操作，用户界面可加工具以帮助用户。例如，当两个缩略图像和/或图像堆足够接近时，它们可彼此吸引，如同通过“磁力” 一样，从而允许两个堆联合成单个堆。合并图像堆可根据“设置”来形成。例如，合并图像堆可假设“主”缩略图像和/或图像堆的大小、重叠部分、缩放因子、顺序、按深度旋转角等等。对“主”图像堆的确定可基于用户选择或约定。例如，另一图像堆向该图像堆移动并放置，该图像堆是“主图像堆”。
图13是示出支持显示图像堆的用户界面的各部分的图像堆操作1300的示例的流程图。因此，图13描述了对图9的图像立方体操作框912的一个可能实现。操作1300旨在具有一般化的性质，适用于与此处的讨论相一致的各种图像堆或缩略图像。例如，操作1300可支持图3A-C的缩略图像和图像堆，或不同构造的图像堆。在任何特定实现中，可实现操作1300中的某一些、全部或没有一个。此外，操作不必以任何特定次序执行，并且一个或多个操作并不必须由系统来执行和/或实现。然而，图像堆操作1300提供了当在视觉屏幕上显示图像堆时可便于用户图像浏览和导航体验的功能。这些功能帮助用户确定有什么图像可用并选择所需图像。在操作1302，可移动图像堆。移动可用所需方式来进行。例如，可移动整个图像堆。例如，图2的图像堆210可从一个位置移至另一位置，例如根据日期来正确地定位图像堆。或者，通过移动图像堆的一个缩略图像，其他缩略图像可按自动化方式逐个移动，并可能在移动过程中短暂地停止以允许用户查看每一缩略图像。在操作1304，可将图像堆从一堆划分成两个不同的堆。例如，用户可能希望将图像堆划分为要打印的和不要打印的图像。该操作的一个示例由图22A和22B示出，其中图22A中的图像堆被划分成三个堆，如图22B所见。在操作1306，可更改图像堆的对齐。参考图23A到D，可更改图23A的水平对齐的图像堆，且由此如图23B到D中所见地显示。例如，在图23B中，使用鼠标或触摸屏的用户输入，沿着线2302可导致如图23B所见的图像堆的显示。执行图23B的改变对齐模式一其在查看区域内对角地扩展图像堆——作为按深度旋转的前奏是有用的，以便高效地使用屏幕区域来进行图像堆显示。类似地，根据图23C和23D的曲线2304和2306的用户输入可导致这些图中所见的曲线图像堆显示。在操作1308，可呈现图像堆的图像的幻灯片演示。为支持对图像立方体、图像平面、图像堆、个别图像或其他元素的不同操纵，可增强、细化或重新定义输入设备(例如，鼠标、触摸屏或3D输入设备)的功能。例如，鼠标操作可任选地被更改以允许同时按下右键和左键，可任选地与鼠标向右或左的移动相组合。这些鼠标操作可以与诸如收缩或扩展所选图像堆等功能相关联。作为进一步的示例，同时按下鼠标左键和右键，并可任选地与鼠标向上或向下移动相组合可用于对所选图像堆中的缩略图进行按深度旋转。如果触摸屏可用，则用两个或更多手指触摸该屏幕并向左或向右移动可收缩或扩展所选图像堆。使用两个或更多手指触摸屏幕并向上或向下移动可对所选堆中的缩略图进行按深度旋转。由此，对于此处所描述的功能可通过鼠标、触摸屏或其他用户界面设备的操作来调用。对鼠标或触摸屏命令的某些增强或重新定义可能是有用的，以便调用此处所描述的不同的功能。结论尽管已经用对结构特征和/或方法动作专用的语言描述了本主题，但可以理解，所附权利要求书中定义的本主题不必受公开的这些具体特征或动作的限制。相反，这些具体特征和动作是作为实现权利要求的示例性形式而公开的。
权利要求
1.一种或多种存储计算机可执行指令的计算机可读介质，所述计算机可执行指令在被执行时使得一个或多个处理器执行以下动作，包括 显示图像立方体； 显示图像平面，所述图像平面是从所述图像立方体中选择的；以及 显示图像堆，所述图像堆是从所述图像平面选择的。
2.如权利要求1所述的一个或多个计算机可读介质，其特征在于，显示所述图像立方体包括根据第一轴、第二轴以及第三轴来显示所述图像立方体，其中沿所述第一轴的距离与不同的身体部分相关联，沿所述第二轴的距离与形态相关联，沿所述第三轴的距离与时间相关联。
3.如权利要求1所述的一个或多个计算机可读介质，其特征在于，显示所述图像立方体包括显示用于以下操作的用户界面工具 旋转所述图像立方体； 放大和缩小所述图像立方体； 使得所述图像立方体的图像平面半透明；以及 从所述图像立方体选择图像平面。
4.如权利要求1所述的一个或多个计算机可读介质，其特征在于，显示所述图像立方体包括显示用于以下操作的用户界面工具 沿所述图像立方体的一条轴平移以获得沿经平移的轴的所需日期范围； 缩放所述图像立方体的一条轴以改变在查看区域内可见的图像平面的数量； 调整所述图像立方体内的至少一个图像平面的透明度，所述调整造成其他图像平面中的图像堆的出现； 重新对齐各图像平面以针对一个或多个图像平面的完成透明度进行调整；以及 从所述图像立方体中的各图像平面中选择图像平面。
5.一种方法，包括 在通信耦合到处理器的存储器中存储用于执行所述方法的计算机可执行指令； 在所述处理器上执行所述指令； 根据被执行的所述指令 在查看区域中显示图像立方体，使其显得是通过三个互相垂直的轴来组织的多个图像平面； 选择图像平面； 沿所选图像平面的一条轴平移； 缩放所选图像平面的一条轴； 从所选图像平面选择至少一个图像堆； 对所述至少一个图像堆执行图像堆操作；以及 显示与来自所述至少一个图像堆的缩略图像相关联的图像。
6.如权利要求5所述的方法，其特征在于，执行图像堆操作包括 执行收缩/扩展功能以调整图像堆内的缩略图的覆盖； 从所述图像堆中显现图像； 选择所显现的图像；以及显示与所选图像相关联的高分辨率图像。
7.如权利要求5所述的方法，其特征在于，执行图像堆操作包括 将两个图像堆合并成合并图像堆； 执行改变对齐模式以在查看区域内对角地扩展所述合并图像堆； 按深度旋转所述合并图像堆； 从所述合并图像堆中显现图像； 选择所显现的图像；以及 显示与所选图像相关联的高分辨率图像。
8.一种系统,包括 在通信上耦合到处理器的存储器； 在所述存储器上定义并由所述处理器执行的通信管理器，所述通信管理器包括定义图像立方体的数据结构，处于分解配置的所述图像立方体包括绕三条互相垂直的轴来组织的图像平面，所述轴包括沿它的距离与医学病人的不同身体部分相关联的第一轴、沿它的距离与形态相关联的第二轴、以及沿它的距离与时间相关联的第三轴，所述数据结构还定义位于所述图像立方体内的多个相应位置的多个图像堆； 用于显示所述图像立方体并允许选择图像平面的图像立方体管理器； 用于显示所选图像平面并允许选择图像堆的图像平面管理器；以及 用于显示所选图像堆并在查看区域内操纵所选图像堆的图像堆管理器。
9.如权利要求8所述的系统，其特征在于，所述图像立方体管理器响应于用户界面工具来进行以下操作 执行轴缩放功能来调整一条轴所显示的身体部分的数量； 从所述图像立方体显现图像平面；以及 选择所显现的图像。
10.如权利要求8所述的系统，其特征在于，所述图像平面管理器响应于用户界面工具来进行以下操作 缩放所述图像平面的一条轴来改变所选图像平面所显示的图像日期的数量；以及 平移所述图像平面的该轴以改变所显示的图像日期。
全文摘要
本文描述了用于图像浏览、导航和用户界面操作的技术。可在视觉显示器上显示图像立方体，其具有三条轴，表示医学病人身体部分、成像技术和图像日期。图标或缩略图像的图像堆可根据这三条轴定位在图像立方体内。通过将身体部分轴固定在特定身体部分，可以从图像立方体中选择图像平面。所选图像平面替换了视觉显示器中的图像立方体，其仅包括所选身体部分的根据指示成像技术和图像日期的轴来组织的图像堆。可从该图像平面中选择图像堆，以替换视觉显示器上的图像平面。图像堆操作允许用户从图像堆中选择所需图像以供显示。
文档编号G06F3/14GK103052939SQ201180025577
公开日2013年4月17日 申请日期2011年5月17日 优先权日2010年5月24日
发明者曹波, 彭伟, 谭缝 申请人:微软公司