专利名称：单屏幕多模态成像显示的制作方法
技术领域：
一般而言，本发明布置(arrangement)涉及用于在单屏幕上显示来自多个成 像源的图像的方法和系统，具体而言，涉及用于在单屏幕上显示第一患者图像扫描模 态(modality)结果的方法和系统，其还能显示与来自患者检查的特定患者感兴趣部位 (region)或感兴趣体积对应的来自不同患者图像扫描模态的信息。
背景技术：
当检查和诊断医疗患者时，先进的成像工作流程能够对患者执行第一成像模态检 查，继之以那个同一患者的额外成像模态检查。如果两个检查均描述患者的共同解剖体 (anatomy)，则第二检查能够增加所获图像的灵敏度和特异性，和/或促进尤其通过多个成 像信息提供的更好患者管理决策。然而，在获得多个模态图像集时的一个缺点在于其能够 增加需要包括通过人类操作者进行分析和相关的数据量。一种对以多个模态采集的多个图像进行分析的方法包括在并排屏幕上显示图 像。然而，这要求多个屏幕，使用者必须针对所述多个屏幕将来自单独模态图像的发现 (finding)间接相关。此外，相关上下文信息(contextual information)能在放射科医师 从回顾(review) —种模态切换到回顾另一种模态时丢失，尤其是如果主要仅对单个感兴 趣部位或体积有兴趣的话。因此，提供能够提供对接收自多个成像模态的数据和/或影像(imagery)的单屏 幕观看的改进方法和系统会是有利的。
发明内容
本发明布置的一个实施例包括显示被成像受检者(subject)的图像数据的方法， 包括提供第一模态图像，在第一模态图像中选择感兴趣区域(area)，提供第二模态图像， 以及将来自第一模态图像的感兴趣区域显示在第二模态图像上。本发明布置的另一实施例包括用于显示被成像受检者的图像数据的系统，包括 屏幕；第一成像模态，提供第一模态图像；第二成像模态，提供第二模态图像；以及，选择 器，在第一模态图像中选择感兴趣区域，其中所述屏幕将来自第一模态图像的感兴趣区域 显示在第二模态图像上。因此，在单个使用者显示器上，来自第一模态图像的感兴趣区域被显示在第二模 态图像中。优选地，来自第一模态图像的感兴趣区域与在第二模态图像上的同一感兴趣区域 对应。优选地，将图像进行相关。优选地，感兴趣区域能够是感兴趣部位或感兴趣体积。优选地，第一模态图像和第二模态图像是二维(2D)、三维图像(3D)和/或4维 (4D)图像。
优选地，第一模态图像和第二模态图像源自共同模态系统。可选地，第一模态图像和第二模态图像源自不同模态系统。由此，本发明布置允许使用者在单屏幕或观看端口上观看感兴趣区域的不同图 像。还能够单独显示组合的感兴趣区域。通过尤其结合本文的附图和权利要求书进行的以下详细描述，本发明布置的这些 和其它特征及优点将变得更显而易见。
图1描述在第二模态图像上显示来自第一模态图像的感兴趣区域的方法；图2描述来自第一模态图像的感兴趣区域在第二模态图像上的单屏幕显示；图3描述实现图1-2中本发明布置的系统；图4A-4C描述具有典型双能量对比度增强数字化乳腺造影术(CEDM)的多模态屏 幕显不；图5A描述屏蔽图像(mask image)；图5B描述在第一时间、的不透明(opacified)图像；图5C描述在第一时间t2的不透明图像；图5D描述在第一时间t3的不透明图像；图5E描述在第一时间t4的不透明图像；图5F描述在第一时间、的消减(subtracted)图像；图5G描述在第一时间t2的消减图像；图5H描述在第一时间t3的消减图像；图51描述在第一时间t4的消减图像；图5J描述在屏蔽图像上选择的感兴趣区域；图涨描述裁剪到对应感兴趣区域的消减图像序列的电影环(cine-loop)显示；图6A描述低能量辐射图像；图6B描述高能量辐射图像；图6C描述组合的软组织图像；图6D描述组合的骨图像；图6E描述低能量图像感兴趣区域内部的软组织图像；图6F描述低能量图像感兴趣区域内部的骨图像；图7A描述在病变(lesion)周围以方形感兴趣区域的χ射线层析照相组合 (tomosynthesis)切片显不；图7B描述在图7A切片上的感兴趣体积的质心(centroid)，其中超声采集中对应 感兴趣体积的切片被显示在感兴趣区域内部。
具体实施例方式本发明布置将针对把某些模态用作其操作和功能的示例来进行描述。然而，显而 易见，本发明布置还能与其它模态及其组合一起使用，尤其是在不脱离其精神和范围的情 况下。例如，虽然示范实施例根据两种成像模态描述本发明布置，但是任何数量的模态可被类似使用并且落入其精神和范围内。现参考图1，示出在第二模态图像上显示来自第一模态图像的感兴趣区域的方法 10。具体而言，方法10包括提供第一模态图像12，在第一模态图像上选择感兴趣区域14， 提供第二模态图像16，以及将来自第一模态图像的感兴趣区域显示在第二模态图像上18， 此后方法10结束。现参考图2，在第二模态图像上显示来自第一模态图像的感兴趣区域的单屏幕显 示。具体而言，获得第一模态图像20和第二模态图像22。第一模态图像20和第二模态图 像M可被单独或者联合获得。任何情况下，在第一模态图像20中或上标识感兴趣区域M， 其可以是感兴趣部位或感兴趣体积，然后将其投射在第二模态图像22上，使得投射在第二 模态图像22上的感兴趣区域M与第一模态图像20中标识的感兴趣区域M对应。现参考图3，系统沈包括用于显示第一模态图像20、第二模态图像22和/或感兴 趣区域M的屏幕观。具体而言，系统沈包括用于显示图像的屏幕观，以及用于获得受检者 32的第一模态图像20的第一模态成像系统30和用于获得受检者32的第二模态图像22的 第二模态成像系统34。在该上下文中，第一模态成像系统30和第二模态成像系统34可为单 独的成像模态系统，例如χ射线、超声、核医学成像(NM)、正电子发射断层照相成像(PET)、 计算机断层扫描成像(CT)和/或核磁共振成像(MRI)系统等，以及提供来自共同模态(例 如，来自共同模态起源的时移图像或在不同能量级别的图像)的多模态图像00，22)，在该 情况下，仅为简单起见将第一模态成像系统30和第二模态成像系统34概念性地图解为单 独系统(30，34)，使得由此在任一情况下提供关于受检者32的多模态图像00，22)。在任 何情况下，在第二图像22上显示描绘(delineate)第一图像20中感兴趣区域M的窗口。 具体而言，系统26包括在第一模态图像20中标识感兴趣区域M的部件36以及系统38，系 统38用于在屏幕28上将由第一模态成像系统30提供的感兴趣区域M的图像同时显示在 由第二模态成像系统34提供的第二模态图像22上。现将提供更详细的示例。现参考图4A-4C，不同屏幕显示描述使用者可以利用具有2D成像能力的发明布置 在单个显示器上观看的图像，其中2D成像能力具有多个能量级别(例如放射科医师以不同 能量级别执行多次采集)。例如，在双能量对比度增强数字乳腺造影术(CEDM)中，放射科医 师能够以不同能量级别执行患者的两次不同采集。当回顾来自它们的此类影像时，放射科 医师可首先检查双能量重组图像以搜索示出增强对比度的任何可能区域，然后从低能量图 像寻找组织结构信息。因此，例如在图4A中，描述来自低能量扫描的典型低能量图像50。 另一方面，在图4B中，描述双能量CEDM重组图像52，其包括来自低能量扫描和高能量扫描 的影像。可见，放射科医师能够在重组图像52中放置窗口以标识其中的感兴趣部位54。然 后，能够在图4A的低能量图像50中标识此同一感兴趣部位54，因此低能量图像50中与重 组图像52中感兴趣部位M对应的部分能够被显示在重组图像52上标识的同一感兴趣部 位56中，由此将组合图像55显示在图4C中。相应地，来自低能量图像50的同一感兴趣部 位M被显示在重组图像52中，如图4C所示。并且，如果放射科医师在图4B的重组图像52 中反复移动感兴趣部位M，则来自图4A的低能量图像50的对应感兴趣部位被持续更新并 且显示在图4C中。这样，在单个显示器上提供多模态显示。现参考图5A-5I，图5A-5I描述能够使用时间CEDM获得的各种图像。具体而言，在
5图5A中描述表示向其引入任何对比度染料材料之前的胸部组织的屏蔽图像58。此后，图 5B-5E分别描述在后续时间间隔、、t2、t3和t4的不透明图像，它们是在染料进入组织时在 连续时间间隔进行的图像采集。图5F-5I又分别描述从在、、t2、t3和t4的时间图像中每 一个消减的图5A中屏蔽图像58。相应地，图5J描述使用者在其中放置窗口以在图5F中在 、的第一消减图像上标识感兴趣部位60的屏幕图像。例如，使用者可能对评估那个特定感 兴趣部位60的碘吸收进展有兴趣。相应地，在图5B-5E的每个不透明图像中标识对应感兴 趣部位60，可对它们执行每个不透明感兴趣部位60与屏蔽感兴趣部位的组合(例如，log 减法)。例如，在图涨中，在窗口内将消减感兴趣部位60连续显示在始于图5F中在、的 第一消减图像的电影环62内部。现参考图6A-6F，图6A-6F描述本发明布置与辐射应用的典型使用。具体而言，例 如在双能量辐射应用中，能够分别从低能量和高能量图像得到软组织图像和骨图像。例如， 图6A描述低能量χ射线图像64，而图6B描述高能量χ射线图像66。图6C描述组合的软 组织图像68，而图6D描述组合的骨图像70。在图6E中，使用者已经交互地放置指示感兴 趣部位72的窗口，并且在图6F中，图6D的对应骨图像被显示在该窗口中以便对感兴趣部 位74进行交叉模态描述。在这个示例中，背景图像是图6C的软组织图像68，而仅在窗口内 部显示与感兴趣部位74有关的骨信息。相反的组成(reverse composition)也是可能的， 尤其是在需要和/或期望时。相应地，图6C的软组织图像68和图6D的组合骨图像70的 组合能够被同时显示在单屏幕上。如果需要和/或期望，则还能够通过本领域公知的技术 应用透明度限制(transparency constraints)以进一步增强影像。同样，在第二模态图像 中标识对应感兴趣部位72的位置可需要刚性或弹性配准(registration)算法。也可需要 附加的手动配准(例如，像素位移)以进一步调整任何自动配准。最后，也可以使用自动化 系统来在不同模态的发现上放置窗口。如前所述，来自图3的第一和第二成像模态(30，34)能够为单模态应用，例如在单 模态中的双能量采集，或者它们能够为单独成像模态系统。它们还能够为二维OD)、三维图 像(3D)和/或4维GD)成像模态，包括其任何各种组合。现参考使用具有两个单独3D模态的发明布置，例如，图像可能需要被空间相关， 其中可采取以下步骤显示从第一模态体积获得的切片或切层(slab)；在第一模态图像中 交互地放置描绘感兴趣部位的窗口 ；计算对应于所选感兴趣部位的初始感兴趣体积；在第 二模态体积中标识对应感兴趣体积；并且，然后将以下事物中之一或多个显示到第一模态 图像上选择的感兴趣部位中a)对于对应感兴趣体积的切片图像，切片集(或其子集)能够被同时显示在屏幕 28的另一部位上从而显示感兴趣体积中包括的信息。b)能够通过组合相应感兴趣体积的切片获得切层。切层能够通过沿ζ轴线应用最 大强度投影(MIP maximum intensity projection)算子(或者平均或任何其它合适变换) 来计算。切层还能够通过考虑沿从源到检测器的射线路径的体元强度来计算。由此，对应感 兴趣体积的切层或3D显示取决于位于沿与从虚拟源延伸到虚拟检测器的射线路径平行的 方向的多个像素或体积元素的强度级别的最大值、最小值、平均值或任何数学组合中之一。c)对于若干照相机位置的对应感兴趣体积的3D显示能够通过使用MIP算子(或 者平均或任何其它合适变换)来获得。例如，在层析照相组合的具体情况中，3D视图能够被限制到有限角度范围(例如翻滚视图(tumble view))从而避免显示太多重建伪像。如果 需要或期望，则角度范围能够与采集系统的孔径角度相关联(link)。那么，例如，如果多个体积的图像没有被直接空间相关，则能够使用刚性或弹性配 准算法来在第二模态体积中标识对应感兴趣体积。第一模态感兴趣体积还能够手动或使用CAD系统自动定义。例如，当使用CAD系 统时，感兴趣体积的位置、宽度、高度和深度能够被自动定义。另一方面，在被手动定义时， 感兴趣体积的宽度和高度能够从显示第一模态切片或切层、例如通过移动2D窗口的拐角 (corner)来确定。至少几种例如如下的确定感兴趣体积的深度的方法是可能的a)能够在垂直于切片平面的视图上确定深度。然而，使用这些视图，由于有限的采 集角度，重建伪像能够使信息内容降级。b)能够在指示病变的开始切片和结束切片中设置ζ-最小值和ζ-最大值。例如， 放射科医师可仔细检查来自第一病变切片的感兴趣体积，然后激活选项以便将其存储。随 后，放射科医师也可以指出病变的最后一个切片，并且在通过空间相关图像平面安排顺序 之后将其存储。c)还能够将深度设置为对应于病变平均尺寸的默认值。d)还能够将深度定义为与第一模态切层的厚度相等。e)还能够将深度定义为窗口的宽度和/或高度的函数。在此情况下，例如，能够利 用感兴趣病变的准各向同性(quasi isotropy)。例如，在例如使用方形窗口的特定实施方 式中，在认为深度等于宽度和高度时能够定义对应感兴趣立方体积。则当前感兴趣切片可 以对应于感兴趣体积的中心切片。现参照图7A-7B，图7A-7B描述本发明布置与层析照相组合应用的典型使用。具体 而言，在回顾χ射线重建体积时，使用者可交互地放置例如图7A所示的方形窗口，以便在当 前切片或切层上描绘感兴趣部位76。则能够从感兴趣部位的位置推断感兴趣体积。感兴趣 体积的厚度能够被使用者进行调整(例如，将默认深度的值设置成等于切层厚度或平均病 变厚度)。此后，能够计算超声体积中的对应感兴趣体积。因此，使用者能够检查对应感兴 趣体积的切片或请求在2D窗口 78内部的感兴趣体积的3D显示，如图7B所示。那么，在实践中，例如能够用可选分割(segmentation)算法来显示感兴趣体积， 以便加亮病变或显示被分割病变的表面和/或体积透视图(rendering)。感兴趣体积还能 够通过使用高分辨率飞行中(on-the-fly)重建算法来可选地增强，从而计算初始和对应 感兴趣体积的组合。也能够按体积同时定义若干感兴趣体积。应用在感兴趣体积上的任何处理以及显 示在2D窗口的结果(例如，具有MIP/平均的切层、电影环、增强的重建标准或高分辨率3D 视图和/或分割的体积)也能够被输出，以供编辑、打印和/或包括在使用标准图像或视频 格式的展示中，全部通过本领域公知的技术进行。经处理的感兴趣体积也能够被个别地输 出，如同能够在按体积指示相对位置的单个图像(例如，在重投影(re-projecting)感兴趣 体积帧)中输出一样。用于检索(retrieve)经处理感兴趣体积的信息(例如，感兴趣体积的位置，应用 的处理技术等)也能够作为保存状态输出，用于在回顾工作站或PACS系统上的回顾。可由放射科医师和/或CAD系统提供的与感兴趣体积有关的附加信息(例如，发现类型(大量 微钙化或微钙化(microcalcification)簇)，BI-RAD码，病变尺寸，等)也可以随其它感兴 趣体积信息输出。作为附加示例，在将层析照相组合与2D采集(2D采集可以来自在层析照相组合扫 描期间采集的特定投影的在前采集)进行比较时，使用者能够在层析照相组合体积的当前 切片或切层中交互地放置描绘感兴趣部位的窗口。2D采集中的对应感兴趣部位能够通过依 照0°源位置(即垂直于检测器)重投影感兴趣部位边界来自动计算。此类重投影操作能 够说明由于系统几何结构引起的扩大。还可以执行附加的手动和/或自动配准，并且对应 感兴趣部位的内容能够被显示在当前切片或切层上的窗口内部。在此示例中，显示在屏幕 上的背景图像可以是层析照相组合切片或切层。2D在前信息能够被显示在窗口内部，如同 相反应用一样。并且最后，能够使用CAD系统来沿Z轴线标识病变的位置。本领域技术人员将轻松领会到能够对本发明布置进行许多适配或修改，包括在共 同屏幕或显示器上显示多模态信息，这将产生落入其如随附权利要求书定义的精神和范围 的附加布置。相应地，本发明布置仅由随附权利要求书及其等效限定。附图标记10 方法12提供第一模态图像14在第一模态图像上选择感兴趣区域16提供第二模态图像18将来自第一模态图像的感兴趣区域显示在第二模态图像上20第一模态图像22第二模态图像24感兴趣区域26 系统28 屏幕30第一模态成像系统32受检者34第二模态成像系统36 部件38 系统50低能量图像52重组的图像54感兴趣部位(ROI)55组合的图像56感兴趣部位(ROI)58屏蔽图像60感兴趣部位(ROI)62电影环64低能量χ射线图像
66高能量χ射线图像
68软组织图像
70组合的骨图像
72感兴趣部位(ROI)
74感兴趣部位(ROI)
76感兴趣部位(ROI)
78窗口
权利要求
1.一种显示被成像受检者的图像数据的方法(10)，包括提供第一模态图像(12)；在所述第一模态图像中选择感兴趣区域(14)；提供第二模态图像(16)；以及将来自所述第一模态图像的所述感兴趣区域显示在所述第二模态图像上(18)。
2.权利要求1所述的方法(10)，其中来自所述第一模态图像的所述感兴趣区域(14) 被叠加在所述第二模态图像(16)的同一感兴趣区域(14)上。
3.权利要求1所述的方法(10)，其中所述第一模态图像(12)选自由二维QD)图像、 三维(3D)图像和四维GD)图像组成的组。
4.权利要求1所述的方法(10)，其中所述第二模态图像(16)选自由二维QD)图像、 三维(3D)图像和四维GD)图像组成的组。
5.权利要求1所述的方法(10)，其中所述第一模态图像(1 和所述第二模态图像 (16)源自共同模态系统。
6.权利要求1所述的方法(10)，其中所述第一模态图像(1 和所述第二模态图像 (16)源自不同模态系统。
7.一种用于显示被成像受检者(3 的图像数据的系统(沈)，包括屏幕(28)；第一成像模态(30)，提供第一模态图像00)；第二成像模态(34)，提供第二模态图像02)；选择器(36)，在所述第一模态图像OO)中选择感兴趣区域(M)，其中所述屏幕08) 将来自所述第一模态图像OO)的所述感兴趣区域04)显示在所述第二模态图像0 上。
8.权利要求11所述的系统(沈)，其中所述屏幕08)显示在所述第二模态图像02) 的同一感兴趣区域04)上叠加的来自所述第一模态图像OO)的所述感兴趣区域04)。
9.权利要求11所述的系统( )，其中所述第一成像模态(30)选自由二维QD)成像 模态、三维(3D)成像模态和四维GD)成像模态组成的组。
10.权利要求11所述的系统( )，其中所述第二成像模态(34)选自由二维QD)成像 模态、三维(3D)成像模态和四维GD)成像模态组成的组。
全文摘要
方法(10)和系统(26)在单屏幕(28)上提供从屏显受检者(32)时使用的多个模态(30，34)获得的图像(20，22)的集成显示。该方法和系统可与2D、3D和4D成像一起使用，由此单屏幕(28)显示来自第一模态(30)的屏幕图像(20)。描绘感兴趣区域(24)的窗口被放置在来自第一模态(30)的第一模态图像(20)上，并且然后将这个感兴趣区域(24)放置在来自第二模态(34)的第二模态图像(22)上，因此通过两种模态提供代表感兴趣区域(24)的组合图像。优选地，第一模态图像(20)与第二模态图像(22)对应和/或相关。
文档编号G06F3/048GK102117180SQ20101062514
公开日2011年7月6日 申请日期2010年12月30日 优先权日2009年12月30日
发明者S·L·W·穆勒, S·贝尔纳, V·S·波尔库斯, X·布舍夫罗 申请人:通用电气公司