使得用户能够研究图像数据的制作方法

使得用户能够研究图像数据的制作方法
【专利摘要】一种用于使得能够实现对图像数据的研究的系统(100)，包括：?用户接口子系统(120)，其用于i)接收来自用户的导航命令(022)，以及ii)响应于所述导航命令而显示所述图像数据(042)的不同视图(400)，以使得所述用户能够在所述图像数据中进行导航；?功能执行子系统(160)，其用于执行多个系统功能(500)中的单个，以在所述图像数据的所述研究中支持所述用户；以及?模式分析子系统(140)，其用于：j)在所述图像数据中进行所述导航期间，从所述用户接口子系统，获得指示所述不同视图的显示序列的数据(022)，jj)分析所述数据以确定所述用户的导航模式(631)，以及jjj)基于所述导航模式来选择所述多个系统功能中的一个，以用于由所述功能执行子系统执行。
【专利说明】
使得用户能够研究图像数据
技术领域
[0001]本发明涉及一种用于使得能够实现对图像数据的研究的系统和方法。本发明还涉及一种包括所述系统的工作站和成像装置，并且涉及一种用于执行所述方法的计算机程序广品。【背景技术】
[0002]在图像分析和显示领域中，显示图像数据的不同视图以使得用户能够研究图像数据是常见的。例如，在医学成像中，计算机断层摄影(CT)、磁共振成像(MRI)或其他模态可以提供解剖结构的三维(3D)图像数据。为了使得放射科医师能够研究解剖结构，可以向放射科医师显示3D图像数据作为解剖结构的不同二维(2D)横截面视图的序列。通过提供恰当的导航命令，放射科医师可以确定显示哪个2D横截面视图。
[0003]提供以上功能的系统也可以提供在对图像数据的研究中进一步支持用户(诸如放射科医师)的系统功能。例如，系统可以提供系统功能，诸如图像注释功能、图像测量功能、 图像分析功能、图像处理功能和报告功能。这样的功能可以由用户，例如通过在屏幕上点击对应的图标来选择。作为响应，系统可以执行选择的系统功能，从而，例如将注释添加到图像数据中的感兴趣区域。
[0004]已知捕获在图像显示设备上执行的用户动作。WO 2007/050962A2描述了电子图像流程方法和系统，其包括具有高分辨率图像显示设备的客户工作站和捕获在图像显示设备上执行的动作的输入设备。也就是说，使用定义多媒体显示的各个参数和被呈现给用户的动作序列可以创建流程模板。然后这样的流程模板向终端用户提供跟随预先设计的流程序列的能力。进一步地，计算机化智能媒介也可以询问、检索额外的数据，和/或将额外的数据添加到流程模板，以便补充由终端用户输入到电子医学记录(EMR)的数据。这些计算机化智能媒介也可以学习执行用户动作，包括基于解剖、临床指示、患者资料和/或其他准则的重复性动作或其他类型的动作。
[0005]以上电子图像流程方法和系统的问题是其不够适用于使用户能够以方便的方式研究图像数据。
【发明内容】

[0006]具有用于使得用户能够以更加方便的方式研究图像数据的系统或方法将是有利的。
[0007]为了更好地解决该问题，本发明的第一方面提供一种用于使得能够实现对图像数据的研究的系统，所述系统包括:
[0008]-用户接口子系统，其用于i)接收来自用户的导航命令，以及ii)响应于导航命令而显示图像数据的不同视图，以使得用户能够在所述图像数据中进行导航；
[0009]-功能执行子系统，其用于执行多个系统功能中的单个，以在对所述图像数据的所述研究中支持用户；以及
[0010]-模式分析子系统，其用于:
[0011]j)在所述图像数据中进行所述导航期间，从所述用户接口子系统，获得指示所述不同视图的显示序列的数据，[0012 ] j j)分析所述数据以确定所述用户的导航模式，以及
[0013]jjj)基于所述导航模式来选择所述多个系统功能中的一个，以用于由所述功能执行子系统执行。
[0014]在本发明的又一方面，提供一种包括上述系统的工作站和成像装置。
[0015]在本发明的又一方面，提供一种用于使得能够实现对图像数据的研究的方法，包括:
[0016]-接收来自用户的导航命令；
[0017]-响应于所述导航命令而显示所述图像数据的不同视图，以使得用户能够在所述图像数据中进行导航;并且
[0018]-执行多个系统功能中的单个，以在对所述图像数据的所述研究中支持所述用户；
[0019]所述方法还包括:
[0020]-在所述图像数据中进行所述导航期间，获得指示所述不同视图的显示序列的数据；
[0021]-分析数据以确定所述用户的导航模式；
[0022]-基于所述导航模式，选择所述多个系统功能中的一个用于所述执行。
[0023]在本发明的又一方面，提供一种计算机程序产品，所述计算机程序产品包括用于令处理器系统执行上述方法的指令。
[0024]以上系统和方法使得用户能够以如下方式研究图像数据。用户接口子系统被提供用于响应于从用户接收到的导航命令而显示图像数据的不同视图。不同视图示出图像数据的不同部分和/或透视。通过将恰当的导航命令提供给系统，用户能够在图像数据中进行导航，即，获得对图像数据的所述不同部分和/或透视的显示。例如，在图像数据是体积图像数据的情况下，所述系统可以使用诸如多平面重组(MPR)的技术来计算体积图像数据的不同视图，以使得用户能够自由地在体积图像数据中进行导航。另一范例是，当图像数据由图像切片的堆叠组成时，所述系统可以响应于向前和/或向后导航命令而显示不同的图像切片， 从而使得用户能够在图像切片的堆叠中向前和/或向后滚动。[〇〇25]提供功能执行子系统，其能够执行多个系统功能以在对图像数据的研究中支持用户。所述系统功能支持用户在于，基于通过对功能执行子系统的执行，其调用在对图像数据的研究中帮助用户的系统的一个或多个动作。由此，所述系统执行一个或多个动作作为执行这样的系统功能的部分。
[0026]而且，模式分析子系统被提供用于获得来自用户接口子系统的数据，所述数据指示在由用户在图像数据中进行导航期间不同视图的显示序列。因此，所述数据使得模式分析子系统能够确定显示哪些视图并按哪个顺序。例如，模式分析子系统可以获得以导航命令形式的数据，其允许确定显示哪些视图并按哪个顺序。另一非限制性范例是模式分析子系统可以从用户接口子系统直接获得所显示的视图的时间顺序列表。模式分析子系统分析数据来确定，当用户在图像数据中进行导航时，导航模式是否存在，以及如果是，哪个导航模式存在。此处，术语导航模式指的是在用户的导航行为中的结构。已经确定了导航模式，模式分析子系统基于导航模式选择多个系统功能中的一个。因此，导航模式确定选择多个系统功能中的哪一个。为了这个目的，模式分析子系统可以利用预定义规则、推理引擎或将具体导航模式链接到具体系统功能的任何其他适当的技术。作为响应，功能执行子系统可以直接执行所述选择的系统功能，向用户建议选择的系统功能用于执行等。例如，用户接口子系统可以向用户在视觉上指示选择的系统功能，在来自用户的请求之后，功能执行子系统仅仅执行选择的系统功能。
[0027]本发明部分基于这样的认识:用户的导航行为中的结构指示在研究图像数据中用户的下一个步骤，以及具体地，指示用户打算请求哪个系统功能或哪个类型的系统功能。例如，当用户(例如，以Z字形方式)视图的小子集中重复地滚动时，这可以指示用户打算进一步分析包括在视图的小子集中的对象。因此，用户可以打算请求与图像分析有关的系统功能。本发明具有系统基于用户的导航模式来自动选择用于执行的系统功能的效果。由于数据可用于使得系统能够确定在导航期间显示哪个视图并且以哪个顺序显示的系统，所述系统能够确定用户的导航模式。正因如此，所述系统能够确定在用户的导航行为中(即，导航模式中)是否存在结构。基于该导航行为，所述系统选择恰当的系统功能用于执行。
[0028]因此，由于用户不需要手动选择系统功能，在对图像数据的研究中自动支持用户。有利地，更方便用户来研究图像数据。有利地，用户不受必须手动选择系统功能从对图像数据的研究中分心。
[0029]任选地，模式分析子系统被布置用于，在选择多个系统功能中的一个之后，i)命令功能执行子系统来执行所述系统功能，或ii)命令用户接口子系统向用户在视觉上指示系统功能，以使得用户能够请求对系统功能的执行。由此，所述系统可以直接执行选择的系统功能，更确切地说首先在执行关于用户请求的系统功能之前，向用户建议系统功能。例如，在后一种情况下，用户接口子系统可以例如，在工具栏或菜单中建立选择的系统功能作为默认选择，将所述系统功能的图形表示定位靠近容易选择的光标等。
[0030]任选地，模式分析子系统被布置用于基于导航模式来使用映射数据以选择多个系统功能中的一个，所述映射数据指示在导航模式与多个系统功能中的一个之间的关联性。由此，模式分析子系统利用建议在导航模式和多个系统功能中的一个之间的链接的映射数据，从而使得模式分析子系统能够选择所述系统功能。例如，映射数据可以由查找表组成，所述查找表将特定导航模式链接到特定系统功能。有利地，可以预先计算映射数据，从而允许信息被考虑，否则其可以不可用在选择的时间。
[0031]任选地，用户接口子系统被布置用于使得用户能够请求对多个系统功能中的单个系统功能的执行，并且映射数据由用户的请求和相关联的导航模式的历史组成。由此，用户能够手动选择，即，请求多个系统功能中的单个系统功能用于执行。在选择多个系统功能中的一个中，模式分析子系统使用这些请求和相关联的导航模式的历史，即，在进行所述请求的时间上的导航模式。请求和相关联的导航模式的历史使得模式分析子系统能够将用户的过去请求与用户的过去导航模式关联，其继而使得模式分析子系统能够基于用户的当前导航模式估计用户的意向请求。有利地，系统功能的自动选择更好地匹配用户的意向。
[0032]任选地，模式分析子系统被布置用于将机器学习应用到用户的请求和相关联的导航模式的历史，用于使得能够实现基于用户的假定请求来选择多个系统功能中的一个。机器学习很适合于将用户的过去请求与用户的过去导航模式关联，以便能够基于用户的当前导航模式来更好地估计用户的意向请求。
[0033]任选地，模式分析子系统被布置用于:通过基于数据而确定针对不同视图中的每个的显示参数来确定导航模式，所述显示参数中的每个表征在导航期间对不同视图中的相应一幅视图的显示；以及分析所述显示参数以确定导航模式。由此模式分析子系统通过首先确定在导航期间针对每个显示视图的显示参数，以及然后分析显示参数，确定用户的导航行为。每个显示参数表征在导航期间对不同视图中的相应一幅视图的显示，这是因为其描述了在导航期间显示相应视图的具体方面，诸如，例如，显示每个视图多长时间或多长时间一次。已经发现这样的显示参数很适合于在图像数据中进行导航期间表征用户的导航行为。
[0034]任选地，显示参数是以下组中的一个:显示持续时间、显示频率、在显示时的导航速度和在显示时的导航方向。此处，术语“显示持续时间”指的是例如在相对或绝对方面在导航期间显示相应视图的多长时间的量度;术语“显示频率”指的是在导航期间多长时间一次地显示相应视图的量度;术语“导航速度”指的是在显示相应视图时导航的速度；以及术语“导航方向”指的是在显示相应视图时导航的方向。已经发现以上显示参数很适合于在图像数据中进行导航期间表征用户的导航行为。
[0035]任选地，导航模式是以下组中的一个:静止导航模式、具有在速度阈值以下的导航速度的连续导航模式、具有在速度阈值以上的导航速度的连续导航模式和z字形导航模式。此处，术语“静止导航模式”指的是其中用户主要地或排外地查看一个或少量视图的模式，术语“连续导航模式”指的是其中用户以在速度阈值以上或以下的导航速度在不同视图中进行连续导航的模式，以及术语“z字形导航模式”指的是其中用户在少量至中等数量的视图中来回导航的模式。已经发现以上导航模式具体地指示在研究图像数据中的用户下一个步骤，以及由此指示用户的意向请求。
[0036]任选地，模式分析子系统被布置用于i)获得对图像数据的研究的背景信息，以及ii)进一步基于所述背景信息来选择多个系统功能中的一个。因此，导航模式和背景信息一起确定选择多个系统功能中的哪一个。本发明的这方面基于对图像数据的研究的背景信息可以被用于进一步改善选择的洞悉。例如，如果若干不同系统功能被认为适合于基于当前导航模式的执行，则背景信息可以被用于在所述系统功能之间进行选择。有利地，系统功能的自动选择更好地匹配用户的意向请求。
[0037]任选地，模式分析子系统被布置用于，从以下组中的至少一个获得背景信息:图像数据的元数据、指示研究的当前阶段的流程信息和指示研究的原因的研究信息。已经发现以上背景信息很适合于改善系统功能的选择。例如，医学图像数据的元数据，诸如DICOM属性可以被用于选择与医学图像数据的类型相关的系统功能。另一范例是流程信息可以指示研究是否处在阅读前阶段、解释阶段或报告阶段，从而使得能够实现选择与研究的当前阶段相关的系统功能。另一范例是对于研究的原因可以指示系统功能的哪个类型与图像数据的研究相关。
[0038]任选地，所述系统还包括图像分析子系统，其用于分析图像数据的内容，以建立对图像数据的研究的背景信息。由于内容通常是研究的对象，图像数据的内容很适合于提供用于对图像数据的研究的背景。通过提供图像分析子系统，所述系统能够分析图像数据的内容并且使用结果来更好地选择系统功能。
[0039]任选地，图像数据是医学图像数据，并且图像分析子系统被布置用于，基于对医学图像数据中的解剖结构和/或损伤进行分割来分析医学图像数据的内容。
[0040]任选地，多个系统功能包括以下组中的至少一个:图像注释功能、图像测量功能、图像分析功能、图像处理功能和报告功能。
[0041]任选地，用户接口子系统被布置用于，基于显示参数来显示导航辅助，以使得用户能够导航到频繁查看的视图。由此，用户接口子系统使用多个显示参数向用户显示导航辅助，其向用户指示如何导航到频繁查看的视图。例如，用户接口子系统可以以在图像数据中关于频繁查看的视图的位置的当前视图的位置的图形表示的形式显示导航辅助。有利地，用户能够容易地导航回到频繁查看的视图，从而当研究图像数据时，进一步为用户增加便利。
[0042]本领域技术人员将认识到，可以以认为有用的任何方式对本发明的上述实施例、实施方式和/或方面中的两个或更多个进行组合。
[0043]基于本说明书，能够由本领域技术人员实现对应于描述的系统的修改和变型的成像装置、工作站、方法和/或计算机程序产品的修改和变型。
[0044]本领域技术人员将认识到所述方法可以被应用于多维图像数据，例如二维(2D)、三维(3D)或四维(4D)图像，其通过以下各种采集模态采集，诸如，但不限于:标准X-射线成像、计算机断层摄影(CT)、磁共振成像(MRI )、超声(US)、正电子发射断层摄影(PET)、单光子发射计算机断层摄影(SPECT)和核医学(匪)。
[0045]在独立权利要求中定义本发明。在从属权利要求中定义有利实施例。
【附图说明】
[0046]参考下文描述的实施例，本发明的这些和其他方面将显而易见并得以阐述。在附图中，
[0047]图1示出了用于使得用户能够研究图像数据的系统；
[0048]图2示出了用于使得用户能够研究图像数据的方法；
[0049]图3示出了用于执行所述方法的计算机程序产品；
[0050]图4图示性地示出了图像数据的不同视图；
[0051]图5示出了用户手动选择系统功能用于执行，以及系统功能的输出被显示在图像数据的当前视图中；
[0052]图6a示意性地示出了，基于导航命令通过系统确定的，由用户查看不同视图中的哪个以及以哪个顺序；
[0053]图6b示出了不同视图中的每个的显示频率；
[0054]图6(:不出了不同视图中的每个的累积显不时间；以及
[0055]图6d示出了由系统确定的z字形导航模式。
【具体实施方式】
[0056]图1示出了用于使得用户能够研究图像数据的系统100。所述系统100包括用户接口子系统120，其用于接收来自用户的导航命令022 ο为了这个目的，用户接口子系统120被示为包括用户接口输入部115，所述用户接口输入部被连接到用户输入设备020(诸如计算机鼠标)。用户接口子系统120还被示为包括显示输出处理器110，所述显示输出处理器用于响应于导航命令022而显示图像数据042的不同视图400，以便使得用户能够在图像数据042中进行导航。为了这个目的，显示输出处理器110被示为接收来自用户接口输入部115的导航命令022和来自内部存储设备040的图像数据042。注意，代替从内部存储设备040接收，图像数据042也可以从在系统100之外的外部存储设备接收。此外，显示输出处理器110被示为将不同视图400提供到显示器O1。
[0057]所述系统100还包括功能执行子系统160，其用于执行多个系统功能500中的单个，以在对图像数据的研究中支持用户。为了使得能够实现对系统功能的输出162的显示，功能执行子系统160被示为被连接到显示输出处理器110。
[0058]所述系统100还包括模式分析子系统140，其用于获得来自用户接口子系统120的数据，所述数据指示在图像数据中进行导航期间的不同视图的显示序列。在图1示出的系统100中，获得以导航命令022的形式的数据，其指示显示哪个视图并且以哪个顺序。然而，将认识到，所述数据也可以采用任何其他适当的形式。例如，模式分析子系统140也可以从用户接口子系统120获得显示视图的时序列表。因此，对导航命令的分析的任何未来参考将要被理解为对早前提到的数据的分析的非限制性范例。模式分析子系统140被布置用于分析数据，即，导航命令022，以确定当在图像数据042中进行导航时的用户的导航模式。模式分析子系统140还被布置用于，基于所述导航模式来选择多个系统功能中的一个，以用于由功能执行子系统160执行。为了这个目的，模式分析子系统140被示为将选择数据142提供到功能执行子系统160，其可以令功能执行子系统160执行系统功能。
[0059]所述系统100的操作可以被简单地解释如下。用户接口子系统120接收来自用户的导航命令022。作为响应，用户接口子系统120显示图像数据042的不同视图400。正因如此，使得用户能够在图像数据042中进行导航。同时地或随后地，模式分析子系统140分析数据，例如，导航命令022，以确定当在图像数据042中进行导航时的用户的导航模式。基于导航模式，模式分析子系统140选择多个系统功能500中的一个用于执行。作为响应，功能执行子系统160可以直接执行多个系统功能500中的所选择的一个。备选地，功能执行子系统160首先可以，例如，经由屏幕上的消息、系统功能的屏幕上表示的增加的突出等，向用户建议对系统功能的执行，并且仅仅在接收来自用户的确认之后执行所述系统功能。
[0060]图2示出了用于使得用户能够研究图像数据的方法200。方法200可以对应于系统100的操作。然而，也可以独立于所述系统100执行方法200，例如，使用不同系统或设备。方法200包括，在标题为“接收导航命令”的步骤中，接收210来自用户的导航命令。方法200还包括，在标题为“显示图像数据的视图”的步骤中，响应于导航命令而显示220图像数据的不同视图，以使得用户能够在图像数据中进行导航。方法200还包括，在标题为“执行系统功能”的步骤中，执行230多个系统功能中的单个，以在对图像数据的研究中支持用户。方法200还包括，在标题为“获得指示显示序列的数据”的步骤中，获得240在图像数据中进行导航期间指示不同视图的显示序列的数据。方法200还包括，在标题为“分析数据以确定导航模式”的步骤中，分析250所述数据以确定用户的导航模式。方法200还包括，在标题为“选择系统功能用于执行”的步骤中，基于导航模式，选择260多个系统功能中的一个用于执行230。
[0061 ] 将认识到，获得240、分析250和选择260的步骤可以与接收210和显示220的步骤同时执行。备选地，获得240、分析250和选择260的步骤可以在执行接收210和显示220的步骤之后执行。应当注意，一般地，也可以以任何其他适当的顺序执行以上步骤。
[0062]图3示出了计算机程序产品270，所述计算机程序产品270包括用于令处理器系统执行上述方法200的指令。计算机程序产品270可以被包括在计算机可读介质280上，例如，以作为一系列机器可读物理标记和/或作为具有不同电学(例如，磁性)或光学的属性或值的一系列元件的形式。
[0063]系统100和方法200可以被更详细地解释如下。此处，持续参考图1，以及图4-图6d。
[0064]图4图示性地示出了，当用户在图像数据042中进行导航时，显示的不同视图400。此处，不同视图400的第一个410，即第一视图410，被示为在图像堆叠顶部的图像，其形成图像数据042的部分的表示。图4也部分地示出了不同视图400的第二220和第三230视图，即在第一视图410之后的第二视图420和第三视图430。系统100实际上可以不显示以前述堆叠形式的不同视图400。例如，可以期望一次仅仅示出单一视图，S卩，当前视图410。这可以允许用户聚焦于具体视图。此外，其他形式的显示同样是可能的。另外，不同视图400的数量可以变化。例如，如果图像数据042由图像切片的堆叠组成，图像数据042的不同视图400的数量可以对应于在堆叠中图像切片的数量。然而，这不是限制性的，这是因为例如，如果多平面重构被用于生成图像切片的堆叠的斜视图，不同视图400的数量也可以大于图像切片的数量。
[0065]图4示出了在显示器010上向用户显示的第一视图410。第一视图410，下文也称为当前视图410，被示为包括对象412。对用户而言对象412可以是感兴趣的，S卩，组成感兴趣的对象或区域。因此，在对图像数据042的研究中，对象412可以是相关的。图5示出了包括图标的工具栏，所述图标表示由系统100提供用于执行的多个系统功能500。多个系统功能500被示为包括若干图像测量功能和图像注释功能。然而，这不是限制性的，这是因为多个系统功能500可以同样包括一个或多个图像分析功能、图像处理功能、报告功能或适合于在对图像数据042的研究中支持用户的其他系统功能。在图5的范例中，用户接口子系统120被布置用于使得用户能够，例如，通过用光标012在工具栏的图标中的相应一个图标上点击，请求对多个系统功能500中的单个系统功能的执行。图5还示出了用户选择图像测量功能的结果，以及尤其用户选择如由包括标尺的图标表示的距离测量功能的结果。作为结果，用户可以被提供具有屏幕上的测量工具，用于测量距离，例如，对象412的高度。系统100可以一起显示距离测量功能的输出，或显示作为第一视图410的部分，例如，以“0.2cm”测量距离的形式。
[0066]本发明使得系统功能，诸如以上类型的那些，即由用户手动选择的那些，能够被自动选择以用于由系统100执行。然而，应当注意，本发明不限于也可由用户手动选择的系统功能的选择。然而，一个或多个系统功能可以不可用于手动选择。
[0067]为了能够实现自动选择多个系统功能500中的一个，以用于由功能执行子系统160执行，模式分析子系统140分析导航命令022以确定当在图像数据042中进行导航时用户的导航模式。图6a示意性地示出了分析的第一步骤的范例，这是因为模式分析子系统140可以确定用户查看不同视图400中的哪些，并且以哪个顺序。因此，模式分析子系统140可以确定用户如何在图像数据042中进行导航，S卩，显示哪些视图并且以哪个顺序。在图6a中，横轴605对应于时间，以及纵轴600对应于视图索引。由此，线601指示哪些视图被查看作为时间的函数。能够看到，用户最初在不同视图400间连续滚动，并且随后重复来回滚动不同视图400中的若干。在这方面，应当注意，术语‘滚动’应当被理解为指的是通常，但不必然使用计算机鼠标的滚轮执行的导航的形式。
[0068]为了确定导航模式，模式分析子系统140可以首先确定不同视图400中的每个的显示参数，所述显示参数中的每个表征在导航期间的不同视图的相应一个的显示。图6b示出了以不同视图中的每个的显示频率611的形式的显示参数的范例。此处，纵轴610对应于视图索引，而横轴615对应于不同视图中的每个的显示频率，S卩，指示每个视图多长时间显示一次。应当注意，在与图6a相比使用的更长导航时间段内确定图6b的范例中的显示频率611，S卩，两个图示出了导航的不同部分。从图6b，能够看到，在导航期间频繁地显示选择数量的视图，而不频繁地或根本不显示其他视图。
[0069]图6c示出了以不同视图中的每个的累积显示时间621的形式的显示参数的另一范例。此处，纵轴620对应于视图索引，而横轴625对应于不同视图中的每个的累积显示时间621，S卩，在导航期间总共显示不同视图中的每个多长时间。以灰度编码条的形式显示累积显示时间621，较暗灰度指示更长的显示时间，以及较亮灰度指示更短的显示时间。从图6c，能够看到，在导航期间在延长的时间内显示选择数量的视图，而短时间仅仅显示或根本不显示其他视图。
[0070]尽管在先前的附图中未显示，模式分析子系统140可以额外地或备选地确定显示参数，诸如在显示时间处的导航速度、在显示时间处的导航方向等。
[0071]模式分析子系统140可以被布置用于分析显示参数611、621以确定导航模式。这样的导航模式的范例包括静止导航模式、具有在速度阈值以下的导航速度的连续导航模式、具有在速度阈值以上的导航速度的连续导航模式和z字形导航模式。在图6d中示出了通过系统100检测的后者的范例。此处，横轴635对应于时间，以及纵轴对应于视图索引630。图6d还示出了被确定的z字形导航模式631，z字形导航模式631中的每个由垂直线指示，所述垂直线以指示导航方向的反转的短横线(即，z字形)为边界。能够看到，当从右往左读取图6d时，如由长垂直线指示的，用户首先在不同视图的宽范围中进行导航。随后地，在延长的时期用户暂停导航。仅仅在那之后，如由靠近纵轴630的紧密相邻垂直线在图6d中指示的，用户重复来回在更窄的范围中进行导航。
[0072]一般地，基于具有长显示时间的一个或少量相邻视图可以确定静止导航模式。基于用户大体线性在图像序列中进行导航可以确定连续导航模式，即，没有导航方向上的实质改变，并且视图中的每个具有相似的显示时间。基于用户来回在小至中等数量的视图中进行导航，可以确定z字形导航模式。后者的范例如下。此处，如同来自用户接口子系统120的数据，获得显示视图的时序列表，每条线示出〈时间，视图#>:
[0073]〈1，0>
[0074]〈2，0>
[0075]〈3，0>
[0076]〈4，1>
[0077]〈5，2>
[0078]〈6，4>
[0079]〈7，6>
[0080]〈8，9>
[0081]〈9，9>
[0082] 〈10，9>
[0083]〈11，10>
[0084]〈12，11>
[0085]〈13，14>
[0086]<14,14>
[0087]〈15，9>
[0088]<16,14>
[0089]给定以上导航命令022，模式分析子系统140可以确定视图O的总查看时间是3，以及视图9的总查看时间是4。此外，视图O的相对显示持续时间是3/16，以及视图9的相对显示持续时间是4/16。在显示频率方面，在两个单独访问期间显示视图9，而在一个访问期间仅仅显示其余的视图。为了确定z字形导航模式的存在，模式分析子系统140可以计算在时间戳处的每个的导航速度。例如，在时间戳13处，导航速度是每时间戳3个视图；在时间戳14处，速度为O;在时间戳15处，速度是每时间戳-5个视图。模式分析子系统15可以检测导航的方向在时间戳15并再一次在时间戳16改变。导航方向的改变的连续序列可以被认为是z字形导航模式。因此，模式分析子系统140可以检测在时间戳15和16处发生的z字形导航模式。
[0090]已经确定了导航模式，模式分析子系统140选择多个系统功能中的一个系统功能，以用于由功能执行子系统160执行。为了这个目的，模式分析子系统140可以利用映射数据024，其指示在导航模式与多个系统功能中的一个之间的关联性。正因如此，模式分析子系统140可以被布置用于使用映射数据024来基于导航模式选择多个系统功能500中的一个。映射数据024可以由查找表、预定义规则或将具体导航模式链接到具体系统功能的其他类型的数据组成。可以手动生成映射数据024。因此，模式分析140可以选择系统功能用于执行。此处，术语‘选择用于执行’指的是为了被执行的目的由系统进行选择。因此，功能执行子系统160可以直接执行选择的系统功能，S卩，没有与用户进一步交互，或在首先向用户建议对系统功能的执行之后仅仅由用户确认。
[0091]基于导航模式的系统功能的选择的范例如下。应当注意，尽管这个和其他范例来自医学情境，本发明同样可以应用在其他情境中，即，不限于这样的医学情境。在范例中，模式分析子系统140被布置用于区分连续以高导航速度导航的用户和连续以低导航速度导航的用户。前述行为下文也称为快速滚动，而后者下文也称为缓慢滚动。快速滚动，其涉及用户在短时期内查看大量视图，通常发生在放射科医师调查图像堆叠时。这样的调查通常发生在图像解释流程的开始，即，在图像解释流程的调查阶段期间，其通常发生在阅读前阶段和解释阶段之间。通过检测这样的快速滚动，使系统100能够向用户建议与图像的调查有关的系统功能，诸如图像注释功能。当放射科医师检查脊髓结构时，快速滚动也可以发生。例如，在CT胸腹部和骨盆研究的情况下，放射科医师可以切换到窗口水平/宽度设置至骨骼窗口，并且在视图间快速滚动。当检测这样的快速滚动时，结合窗口水平/宽度设置，系统100能够建议与骨骼分析相关的系统功能。
[0092]前述缓慢滚动(S卩，以低导航速度进行连续导航)主要发生在放射科医师正在执行具体发现分析:查看、测量和比较时。通过检测这样的缓慢滚动，系统100能够建议针对具体发现分析(诸如距离测量工具)的系统功能。此外，结合在图像中的器官的解剖信息和窗口水平/宽度设置，通过系统100能够促进、可视化、优先化或自动执行某些成像处理功能。
[0093]快速滚动和缓慢滚动的确定可以以各种方式执行。例如，模式分析子系统140可以根据时间戳导航命令022确定在导航期间的导航速度。因此，通过将导航速度与一个或多个速度阈值进行比较，模式分析子系统140可以区分快速滚动和缓慢滚动。例如，在学习阶段期间，这样的速度阈值可以由系统预设或学习。
[0094]除了导航命令022之外，模式分析子系统140可以使用又一输入来确定导航模式。例如，在快速滚动和缓慢滚动的情况下，已经发现，当用户使用用户输入设备020的滚轮来在图像数据020中进行缓慢导航时，一旦用户的手指到达滚轮的前面位置，用户的手指可以需要返回到滚轮的前面位置以继续滚动。当用户缓慢滚动时，用户手指的移动可以是快速移动。此外，当用户快速滚动时，用户手指的移动可以是缓慢移动。该信息可以由系统100测量和使用以避免快速或缓慢滚动的错误检测。
[0095]应当注意，一般地，映射数据024可以由用户的请求和相关联的导航模式的历史组成。因此，映射数据024可以包括或指示用户的一个或多个过去的请求和如在过去请求的时间处确定的导航模式。例如，映射数据024可以指示，在请求图像测量功能的时间处，用户被认为使用静态导航模式。类似地，映射数据024可以指示，在请求图像分析功能的时间处，用户被认为使用z字形导航模式。映射数据024也可以指示，在当用户被认为使用连续滚动模式的时间处，不请求系统功能。因此，在当前导航模式被认为是z字形导航模式时，模式分析子系统140可以使用映射数据024以确定用户旨在请求图像分析功能，并且由此选择所述功能用于执行。
[0096]模式分析子系统140可以被布置用于将机器学习应用到用户的请求和相关联的导航模式的历史，以能够实现基于用户的假定请求来选择多个系统功能500中的一个。因此，映射数据可以由查找表、预定义规则或使用机器学习自动生成的其他类型的数据组成。
[0097]模式分析子系统140也可以利用其他类型的技术来基于导航模式选择多个系统功能500中的一个用于执行。例如，模式分析140可以利用如从推理引擎和推论引擎的领域先前已知的推理技术。
[0098]可以由模式分析子系统140选择用于执行的系统功能的范例包括如下。例如，通过确定静止导航模式，模式分析子系统140可以确定用户聚焦于选择数量的视图。作为响应，模式分析子系统140可以自动选择图像处理功能，例如器官分割功能或损伤检测功能。另夕卜，模式分析子系统140可以选择系统功能，其执行以下动作中的一个或多个:
[0099]1、用于图像处理的工具箱可以被移动更靠近光标。因此，用户需要光标的更少的移动来访问工具箱。
[0100]2、光标模型可以从选择模型转换到测量模型。测量模型可以与多个不同图像测量功能(诸如，例如，距离测量、角度测量、感兴趣表面的区域测量、徒手表面测量等)相关联。模式分析子系统140可以选择图像测量功能、列表中第一个、使用的最后一个、最频繁使用的一个等中的一个的预设。
[0101]3、光标模型可以转变到注释模型。
[0102]4、图像处理功能可以被用于改变窗口水平和宽度、放大感兴趣的区域等。
[0103]5、可以生成消息，其提示用户他/她是否期望将图像数据与当前研究或先前研究的其他图像数据配准、应用损伤检测/分割算法、应用解剖分割算法、生成备选视图、配准/链接多个图像序列、保存当前图像作为主图像等。
[0104]6、可以生成另一消息，其提示用户系统是否应当在数据库中搜索类似的研究或例如，在医学百科全书或指南数据库中寻找其他信息。
[0105]7、可以生成另一消息，其提示用户他/她是否期望包括报告中的报告片段。报告片段的范例可以如下系列I肺，切片4-6:具有…”，其中“…”组成占位符，其中用户，诸如放射科医师可以提供他/她自己的观察。
[0106]8、可以显示像滚动条导航辅助，其指示图像数据的更频繁的访问视图。用户可以点击导航辅助以直接导航到更频繁的访问视图。用户也可以保存视图作为主视图。
[0107]模式分析子系统140也可以被布置用于获得对图像数据的研究的背景信息，以及进一步基于背景信息选择多个系统功能500中的一个。返回参考图1，模式分析子系统140被示为接收图像数据042的元数据182。元数据182可以使得模式分析子系统140能够确定图像数据042包括哪个内容、图像模态、切片厚度、切片数量等。图1还示出了系统100包括图像分析子系统180，其用于分析图像数据042的内容。图像分析子系统180被示为将所述分析的结果184提供到模式分析子系统140以提供对图像数据042的研究的背景信息。图像分析子系统180可以被布置用于对医学图像数据042中的解剖结构和/或损伤进行分割。尽管在图1中未示出，模式分析子系统140可以被布置用于获得其他类型的背景信息，诸如，例如，指示研究的当前阶段的流程信息和指示研究的原因的研究信息。
[0108]这样的背景信息的使用的范例如下。研究可以是CT胸部和骨盆研究。系统100可以根据图像数据042的DICOM标头来确定当前模态是CT，以及当前身体部分是患者的腹部。图像分析子系统180可以对图像数据042中的解剖结构进行分割，以便在图像数据042中检测肺部。当用户正在查看肺部，并且当导航模式已经被确定是z字形或静止导航模式时，系统100可以自动改变当前视图的窗口水平和宽度，并且检测在图像数据042中的肺结节。
[0109]应当注意，一般地，术语视图指的是图像数据042的至少部分的表示。图像数据042可以是3D图像数据。图像数据042的部分的表示可以是以2D图像或3D图像的形式。后者可以在3D显示器上显示。每个视图可以通过来自图像数据可视化的技术领域的任何适当的技术(诸如，多平面重构(MPR)技术或最大强度投影(MIP)技术)来建立。
[0110]用户接口子系统120可以使得用户能够在图像数据的不同视图中，例如，在轴、矢状和冠状视角中同时导航。模式分析子系统140可以被布置用于单独地确定每个视角的导航模式，并且随后将它们组合成组合的导航模式。备选地，模式分析子系统140可以直接确定组合的导航模式。组合的导航模式可以被用于选择多个系统功能中的一个，以用于由功能执行子系统160执行。
[0111]显示输出处理器110本身可以生成不同视图400。备选地，显示输出处理器110可以从另一子系统或系统请求不同视图400。此外，用户接口子系统120可以，代替包括用户接口输入部115和显示输出处理器110，采取任何其他适当的形式。例如，用户接口子系统120可以被布置用于指令外部显示输出处理器来显示不同视图400。
[0112]将认识到，本发明也应用于计算机程序，具体地在载体上或内的计算机程序，其适于将本发明付诸实践。所述程序可以是源代码、目标代码、源代码和目标代码中间的代码的形式，诸如，部分编译的形式，或适合于在根据本发明的方法的实施中使用的任何其他形式。也将认识到，这样的程序可以具有许多不同的架构设计。例如，实施根据本发明的方法或系统的功能的程序代码可以被细分为一个或多个子例程。将功能分布在这些子例程之间的许多不同方式对技术人员来说将是显而易见的。子例程可以一起被存储在一个可执行文件中，以形成自含程序。这样的可执行文件可以包括计算机可执行指令，例如，处理器指令和/或解读器指令(例如，Java解读器指令)。备选地，一个或多个或所有子例程可以被存储在至少一个外部库文件中，并且例如在运行时，静态地或动态地与主程序链接。主程序包含对子例程中的至少一个的至少一个调用。子例程也可以包括对彼此的函数调用。与计算机程序产品有关的实施例包括对应于本文提出的方法中的至少一个的每个处理步骤的计算机可执行指令。这些指令可以被细分为子例程，和/或被存储在可以静态地或动态地被链接的一个或多个文件中。与计算机程序产品有关的另一实施例包括对应于本文提出的系统和/或产品中的至少一个的每个器件的计算机可执行指令。这些指令可以被细分为子例程，和/或被存储在可以静态地或动态地被链接的一个或多个文件中。
[0113]计算机程序的载体可以是能够承载程序的任何实体或设备。例如，载体可以包括存储介质，诸如，ROM(例如，⑶ROM或半导体ROM)或磁记录介质(例如，硬盘)。此外，载体可以是可传送载体，诸如电信号或光信号，其可以经由电缆或光缆或通过无线电设备或其他器件进行输送。当程序被体现在这样的信号中时，载体可以由这样的缆线或其他设备或器件构成。备选地，载体可以是程序被嵌入其中的集成电路，所述集成电路适于执行相关方法，或用于相关方法的执行。
[0114]应当注意，上述实施例图示而非限制本发明，并且本领域的技术人员将能够设计许多备选实施例，而不脱离权利要求书的范围。在权利要求中，被放置在括号之间的任何附图标记不应被解释为限制权利要求。动词“包括”及其词形变化的使用不排除权利要求中列出的元件或步骤之外的元件或步骤的存在。元件前的冠词“一”或“一个”不排除存在多个这样的元件。本发明可以借助包括若干不同元件的硬件，以及借助适当编程的计算机来实施。在设备权利要求中枚举了若干器件，这些器件中的若干可以被体现在一个和同一项硬件中。在互不相同的从属权利要求中列举的某些措施的事实不表明不能够使用这些措施的组合以获益。
【主权项】
1.一种用于使得能够实现对图像数据的研究的系统(100)，包括:-用户接口子系统(120)，其用于i)接收来自用户的导航命令(022)，以及ii)响应于所 述导航命令而显示所述图像数据(042)的不同视图(400)，以使得所述用户能够在所述图像 数据中进行导航；-功能执行子系统(160)，其用于执行多个系统功能(500)中的单个系统功能，以在对所 述图像数据的所述研究中支持所述用户；以及-模式分析子系统(140)，其用于:j)在所述图像数据中进行所述导航期间，从所述用户接口子系统获得指示所述不同视 图的显示序列的数据(022)，j j)分析所述数据以确定所述用户的导航模式(631 )，并且jjj)基于所述导航模式来选择所述多个系统功能中的一个，以用于由所述功能执行子 系统执行。2.根据权利要求1所述的系统(100)，其中，所述模式分析子系统被布置用于，在选择所 述多个系统功能中的所述一个之后，i)指令所述功能执行子系统(160)来执行所述系统功 能，或者ii)指令所述用户接口子系统(120)向所述用户在视觉上指示所述系统功能，以使 得所述用户能够请求对所述系统功能的所述执行。3.根据权利要求1所述的系统(100)，其中，所述模式分析子系统(140)被布置用于使用 映射数据(024)基于所述导航模式来选择所述多个系统功能(500)中的所述一个，所述映射 数据指示在所述导航模式与所述多个系统功能中的所述一个之间的关联性。4.根据权利要求3所述的系统(100)，其中，所述用户接口子系统(120)被布置用于使得 所述用户能够请求对所述多个系统功能(500)中的所述单个系统功能的执行，并且其中，所 述映射数据(024)包括所述用户的请求和相关联的导航模式的历史。5.根据权利要求4所述的系统(100)，其中，所述模式分析子系统(140)被布置用于将机 器学习应用到所述用户的请求和相关联的导航模式的历史，以使得能够实现基于所述用户 的假定请求来选择所述多个系统功能(500)中的所述一个。6.根据权利要求1所述的系统(100)，其中，所述模式分析子系统(140)被布置用于通过 以下方式来确定所述导航模式:-基于所述数据(022)来确定针对所述不同视图(400)中的每个的显示参数(611、621)， 所述显示参数中的每个表征在所述导航期间对所述不同视图中的相应一幅视图的所述显 示;并且-分析所述显示参数以确定所述导航模式(631)。7.根据权利要求6所述的系统(100)，其中，所述显示参数是以下组中的一个:显示持续 时间(621 )、显示频率(611 )、在显示时间处的导航速度以及在显示时间处的导航方向。8.根据权利要求1所述的系统(100)，其中，所述导航模式是以下组中的一个:静止导航 模式、具有在速度阈值以下的导航速度的连续导航模式、具有在所述速度阈值以上的导航 速度的连续导航模式以及z字形导航模式(631)。9.根据权利要求1所述的系统(100)，其中，所述模式分析子系统(140)被布置用于i)获 得对所述图像数据的所述研究的背景信息(182、184)，以及ii)进一步基于所述背景信息来 选择所述多个系统功能(500)中的所述一个。10.根据权利要求9所述的系统(100)，其中，所述模式分析子系统(140)被布置用于从 以下组中的至少一个获得所述背景信息:所述图像数据的元数据(182)、指示所述研究的当 前阶段的流程信息和指示所述研究的原因的研究信息。11.根据权利要求9所述的系统(100)，还包括图像分析子系统(180)，所述图像分析子 系统用于分析所述图像数据(042)的内容，以建立对所述图像数据的所述研究的所述背景 信息(184)。12.根据权利要求11所述的系统(100)，其中，所述图像数据(042)是医学图像数据，并 且其中，所述图像分析子系统(180)被布置用于基于对所述医学图像数据中的解剖结构和/ 或损伤进行分割来分析所述医学图像数据(042)的所述内容。13.—种工作站或成像装置，其包括根据权利要求1所述的系统(100)。14.一种用于使得能够实现对图像数据的研究的方法(200)，包括:-接收(210)来自用户的导航命令；-响应于所述导航命令而显示(220)所述图像数据的不同视图，以使得所述用户能够在 所述图像数据中进行导航;并且-执行(230)多个系统功能中的单个系统功能，以在对所述图像数据的所述研究中支持 所述用户；所述方法还包括:-在所述图像数据中进行所述导航期间，获得(240)指示所述不同视图的显示序列的数 据；-分析(250)所述数据以确定所述用户的导航模式；-基于所述导航模式来选择(260)所述多个系统功能中的一个以用于所述执行。15.—种计算机程序产品(270)，其包括用于令处理器系统执行根据权利要求14所述的 方法的指令。
【文档编号】G06F19/00GK106062753SQ201480020440
【公开日】2016年10月26日
【申请日】2014年4月11日
【发明人】钱悦晨, E·鲁宾斯
【申请人】飞利浦医疗系统技术有限公司