用于3D医学体积的加速读取的方法和系统与流程

本发明涉及3d医学图像数据的视觉化，并且更具体地，涉及3d医学图像数据的自动化视觉化以提供3d医学图像数据的加速读取。

背景技术：

读取存储在诸如计算机断层摄影（ct）体积、磁共振（mr）体积、dynact体积等之类的3d体积中的医学图像数据是具有挑战性和耗时的任务。这部分地是由于人类习惯于读取2d图像的事实而产生的。因此，3d体积通常必须被切片或切割成2d图像以供用户读取。此外，3d体积的高信息密度导致进一步的挑战。随着3d医学成像扫描仪变得更高级，可以获取大量切片（例如，1000+个切片），从而对尝试读取和解释3d医学体积的用户产生紧迫的信息负担。另外，3d医学图像体积可以包含不必要的信息。对于特定的临床应用而言，不是3d医学体积的所有切片都是有用的，并且在有用切片内，并不是所有体素都是有用的。然而，图像读取系统通常将呈现包含在3d医学图像中的所有信息，留下用户从不必要的信息中手动地分类有用信息。

技术实现要素：

本发明提供用于3d医学图像数据的自动化视觉化以提供3d医学图像数据的加速读取的方法和系统。本发明的实施例针对特定临床任务检测3d医学体积中的重要信息，并且自动地重新格式化3d医学体积以便以紧凑的方式视觉化包括在3d医学体积中的重要信息。

在本发明的一个实施例中，接收3d医学体积。在3d医学图像体积中分段多个目标解剖结构。自动生成概要（synopsis）体积，所述概要体积是包括分段的多个目标解剖结构的空间紧凑体积。显示概要体积。

在本发明的另一实施例中，接收3d医学体积。检测3d医学体积中的至少一个目标解剖对象的多个相关2d视图。自动生成2d织锦（tapestry）图像，所述2d织锦图像视觉化至少一个目标解剖对象的多个相关2d视图的组合。显示2d织锦图像。

通过参考以下详细描述和附图，本发明的这些和其他优点对于本领域普通技术人员将是显而易见的。

附图说明

图1图示出3d医学体积的分层显示的示例；

图2图示出肋骨展开、人类骨骼展开和血管树展开的示例；

图3图示出根据本发明的实施例的自动视觉化3d医学图像数据以提供3d医学图像数据的加速读取的方法；

图4图示出根据本发明的示例性实施例生成包含肝脏和肾脏的概要体积；

图5图示出根据本发明的另一实施例的自动视觉化3d医学图像数据以提供3d医学图像数据的加速读取的方法；

图6图示出从3d医学体积生成的示例性织锦图像；以及

图7是能够实现本发明的计算机的高级框图。

具体实施方式

本发明涉及用于3d医学图像数据的自动化视觉化以提供3d医学图像数据的加速读取的方法和系统。本文描述本发明的实施例以给出对用于3d医学图像数据的自动化视觉化的方法的可视理解。数字图像通常包括一个或多个对象（或形状）的数字表示。对象的数字表示在本文中通常在识别和操纵对象方面进行描述。这样的操纵是在计算机系统的存储器或其他电路/硬件中实现的虚拟操纵。因此，应当理解，本发明的实施例可以在计算机系统内使用存储在计算机系统内的数据来执行。

读取在3d体积中存储的医学图像通常是具有挑战性和耗时的任务。可以使用各种技术来克服在读取3d医学图像数据中的挑战和加速读取工作流程。一些技术将3d读取转换为2d读取，以便适应用户对读取2d图像而不是3d图像的偏好。关于这样的技术的挑战是如何创建3d医学图像数据的2d视觉化，使得信息被最大化地显示。用于将3d体积转换成2d视觉化的技术的示例包括多平面重建（mpr）、弯曲mpr、最大强度投影（mip）、数字重建射线照相（drr）或虚拟x射线以及体积渲染（vr）。其他技术利用3d体积中的信息密度来尝试以使得用户不被淹没并且可以容易地执行3d医学图像数据的导航的方式来向用户呈现3d医学图像数据。例如，可以使用允许用户控制他或她想要查看的分辨率的分层视觉化。在可能的实现中，可以在显示设备上同时或顺序地显示医学体积的各种分辨率。用户可以浏览低分辨率视觉化以寻找感兴趣的潜在发现。一旦识别出潜在发现，用户可以进一步浏览高分辨率视觉化，以更详细地观察潜在发现的位置。图1图示出3d医学体积的分层显示的示例。如图1中所示，以各种分辨率102、104和106显示3d医学体积。其他技术集中于呈现3d医学体积中的必要信息。例如，可以使用结构读取来执行3d医学体积的读取，其中工作流程导航平面被显示以允许用户在不同解剖结构当中进行选择以供查看和读取。

解剖结构展开是用于3d医学体积的高效视觉化和读取的最近提出的混合方法。展开图像是3d体积的2d概览。例如，在肋骨展开中，生成2d图像以通过将3d肋骨展开成2d来呈现所有肋骨，从而将3d读取任务转换成2d。对于肋骨读取不必要的3d体积中的其他信息被忽略。类似的展开技术可以应用于人类骨骼和血管。图2图示出肋骨展开、人类骨骼展开和血管树展开的示例。如图2中所示，图像202是使用肋骨展开从3d医学体积生成的2d图像，图像204是使用骨骼展开从3d医学体积生成的2d图像，并且图像206和208是使用血管树展开从3d医学体积生成的2d图像。

本发明的实施例提供了用于视觉化3d医学体积中的图像数据的全自动化混合方法。在一个实施例中，针对3d医学图像体积生成特定于某个临床任务的概要体积。概要体积是从3d医学图像体积创建并且包含与特定临床任务相关的目标解剖结构的空间紧凑体积。在另一实施例中，针对3d医学体积生成特定于某个临床任务的织锦图像。织锦图像是视觉化与特定临床任务相关的一个或多个目标解剖对象的多个2d视图的组合的单个2d图像。

图3图示出根据本发明的实施例的自动视觉化3d医学图像数据以提供3d医学图像数据的加速读取的方法。图3的方法变换所接收的3d医学体积以生成和显示概要体积，该概要体积是包含与特定临床任务相关的目标解剖结构的空间紧凑体积。在步骤302处，接收3d医学体积。可以使用任何类型的3d医学成像模态来获取3d医学体积。例如，3d医学体积可以是计算机断层摄影（ct）体积、磁共振成像（mri）体积、dynact体积、正电子发射断层摄影（pet）体积、3d超声体积等。可以从用于获取3d医学体积的图像获取设备（诸如ct扫描仪、mri扫描仪、c臂图像获取设备等）直接接收3d医学体积。替代地，可以通过从计算机的储存器或存储器系统加载所存储的3d医学图像体积，或者通过接收从远程计算机系统或数据库传送的3d医学图像体积，来接收3d医学图像体积。

在步骤304处，在3d医学体积中分段目标解剖结构。目标解剖结构是与特定临床任务相关的预定解剖结构。例如，在某个临床任务中，诸如读取3d医学体积以找到或观察病变，用户可能对查看3d医学体积中的肝脏和肾脏感兴趣。因此，在示例性实施例中，肝脏和肾脏可以是在3d医学图像体积中分段的目标解剖结构。然而，本发明不限于此，并且可以根据要执行的临床任务来分段其他解剖结构。在有利的实现中，在3d医学体积中分段两个或更多个目标解剖结构。可以使用任何自动化或半自动化分段技术来分段目标解剖结构（例如，肝脏、肾脏等）。例如，可以使用基于机器学习的分段技术、图切割分段、区域生长分段、随机游走分段和/或任何其他类型的分段技术来分段目标解剖结构。用于3d医学体积中的器官分段的各种方法在美国专利号9,042,620、美国专利号8,073,220、美国专利号8,557,130、美国专利号8,837,771、美国专利号8,090,180、美国专利号8,131,038、美国专利号7,916,919和美国公开号2010/0080434中详细描述，其公开内容通过引用以其整体并入本文。

在示例性实现中，边缘空间学习（msl）可以用于自动分段目标解剖结构（例如，肝脏、肾脏等）中的每一个。基于msl的3d对象检测利用使用注释的训练数据所训练的一系列检测器来估计3d医学图像数据中的目标解剖结构的位置、定向和尺度。为了使用msl高效地定位对象，在具有增加的维数的一系列边缘空间中执行参数估计。因此，msl的原理不是直接在完全相似性变换空间中学习分类器，而是在一系列边缘空间中逐渐学习分类器。随着维数增加，有效空间区域变得更加受先前的边缘空间分类器限制。3d对象检测被分成三个步骤：对象位置估计，位置-定向估计以及位置-定向-尺度估计。基于针对这些步骤中的每一个的注释的训练数据来训练单独的机器学习分类器。例如，可以针对位置估计、位置定向估计和位置-定向-尺度估计而训练单独的概率推进树（pbt）分类器。该对象定位阶段导致对象的估计的变换（位置、定向和尺度），并且使用估计的变换来将对象的平均形状（即，注释的训练图像的目标解剖对象的平均形状）与3d体积对准。在对象姿势估计之后，使用基于学习的边界检测器来细化对象的边界。在标题为“systemandmethodforsegmentingchambersofaheartinathreedimensionalimage”的美国专利号7,916,919中详细描述了基于msl的3d对象检测，其通过引用并入本文。

在步骤306处，基于分段的目标解剖结构从3d医学体积生成概要体积。与初始3d医学图像体积相比，概要体积是包含分段的目标解剖结构的空间紧凑体积。在概要体积中，目标解剖结构相对于彼此移位以使目标解剖结构适应于减少量的3d空间中。概要体积可以仅包括分段的目标解剖结构或围绕3d医学图像中的目标解剖结构的分段的解剖结构和一些附加图像数据。

在其中肝脏和肾脏是用于某个临床任务的目标解剖结构的示例性实施例中，用户对从3d医学体积查看肝脏和肾脏感兴趣。图4图示出根据本发明的示例性实施例生成包含肝脏和肾脏的概要体积。如图4中所示，图像400图示出原始3d体积，其是具有大小（x*y*z）的大体积，在图像410中示出概要体积，所述概要体积是具有大小（a*b*c）的空间紧凑体积。因为肝脏402在原始3d体积400中位于比肾脏404更高的水平，所以查看原始3d体积400中的肝脏402和肾脏404将必须以顺序方式进行。然而，在所生成的概要体积410中，肝脏402和肾脏404被人工地并排定位。在概要体积410中仅使用对应于分段的肝脏402和肾脏404的图像信息以及分段的肝脏402和肾脏404附近的可能的图像信息。根据有利实现，在概要体积410中从原始3d体积400精确地保留肝脏402和肾脏404内及其附近的图像信息，使得在所生成的概要体积410中提供所有必要的信息。与原始3d体积400相比，概要体积410是空间紧凑的。概要体积410的大小（a*b*c）远小于原始体积大小（x*y*z），因为很可能的是a<x、b<y并且c<<z。

如下描述根据示例性实施例的用于生成概要体积的方法。在图3的步骤304中，在3d医学体积中分段多个目标解剖结构。针对3d医学体积中的分段的解剖结构中的每一个确定相应的边界框。如果使用基于msl的对象检测来分段目标解剖结构，则将从分段步骤知道针对每个目标解剖结构的边界框。否则，可以基于分段的目标解剖结构来定义边界框。在可能的实现中，针对每个目标解剖结构的边界框可以被定义为以分段的结构的质心为中心并且具有使得整个分段的结构被包围在最小可能的边界框中的定向和尺度的边界框。在可能的实现中，每个边界框定义针对对应目标结构的感兴趣的区域。在另一可能的实现中，每个边界框在每个方向上按预定量扩展，并且针对每个目标解剖结构的感兴趣的区域由扩展的边界框来定义，使得针对每个目标解剖结构的感兴趣的区域包括分段的目标解剖结构的预定邻域中的体素。然后，将针对分段的目标解剖结构的感兴趣的区域对准，以生成空间紧凑的概要体积。例如，感兴趣的区域可以水平地（如图4所示）、垂直地、对角地或以预定模式（诸如正方形模式）被对准。在可能的实现中，感兴趣的区域可以以对应于要执行的特定临床任务的预定模式而被对准。在另一可能的实现中，可以使用优化技术来对准感兴趣的区域，以确定导致最紧凑的概要体积（即，具有最小总大小的概要体积）的最佳对准。在该情况下，感兴趣的区域基本上被视为自动拼接在一起以形成概要体积的拼图片。在生成概要体积中，从原始3d医学体积保留每个感兴趣的区域内的原始图像数据（即，体素强度），但是感兴趣的区域相对于彼此被重新定位以生成更密集和更紧凑的体积。一旦感兴趣的区域被重新定位以生成概要体积，概要体积就可以被处理以平滑在对应于不同目标解剖结构的感兴趣的区域之间的边界。例如，体素强度可以沿着在拼接在一起的感兴趣的区域之间的边界内插，使得在感兴趣的区域之间的过渡在概要体积中是平滑的。

返回到图3，在步骤308处，在显示设备上显示概要体积。例如，可以在显示设备上显示概要体积的3d视觉化和/或概要体积的各种2d切片。然后，用户可以使用诸如鼠标、触摸屏等之类的用户输入设备来导航所显示的概要体积。在可能的实现中，还可以显示原始接收的3d医学体积，并且当用户选择概要体积中的特定体素时，还可以突出显示或标记原始3d医学体积中的对应位置。

图5图示出根据本发明的另一实施例的自动视觉化3d医学图像数据以提供3d医学图像数据的加速读取的方法。图5的方法变换接收的3d医学体积以生成和显示织锦图像，该织锦图像是视觉化与特定临床任务相关的一个或多个目标解剖对象的多个2d视图的组合的2d图像。在步骤502处，接收3d医学体积。可以使用任何类型的3d医学成像模态来获取3d医学体积。例如，3d医学体积可以是计算机断层摄影（ct）体积、磁共振成像（mri）体积、dynact体积、正电子发射断层摄影（pet）体积、3d超声体积等。可以从用于获取3d医学体积的图像获取设备（诸如ct扫描仪、mri扫描仪、c臂图像获取设备等）来直接接收3d医学体积。替代地，可以通过从计算机的储存器或存储器系统加载所存储的3d医学图像体积或者通过接收从远程计算机系统或数据库传送的3d医学图像体积来接收3d医学体积图像。

在步骤504处，在3d医学体积中检测一个或多个目标解剖对象的多个相关2d视图。在3d医学体积中检测感兴趣的一个或多个目标解剖对象。例如，可以在3d医学体积中检测目标解剖结构，诸如器官（例如，肝脏、肺、心脏、脑、前列腺等）、血管或骨结构。还可以检测其他解剖对象（诸如病变、结节或解剖标志（landmark））作为感兴趣的解剖对象。一旦检测到一个或多个感兴趣的解剖对象，在3d医学体积中自动检测（一个或多个）感兴趣的解剖对象的多个相关2d视图。

在示例性实施例中，器官是感兴趣的解剖对象。例如，肝脏可以是针对肝脏病变检测和/或观察的临床任务的感兴趣的解剖对象。虽然这里描述的示例使用肝脏作为感兴趣的解剖对象，但是本发明不限于此，并且该描述可以类似地应用于其他器官或解剖结构。在3d医学体积中分段肝脏。在美国专利号9,042,620、美国专利号8,073,220、美国专利号8,557,130、美国专利号8,837,771、美国专利号8,090,180、美国专利号8,131,038、美国专利号7,916,919和美国公开号2010/0080434中详细描述了在3d医学体积中分段肝脏和/或其他器官的各种方法，其公开通过引用以其整体并入本文。在示例性实现中，可以使用基于msl的3d对象检测来分段肝脏。基于肝脏分段结果，然后可以在3d医学体积的所有2d切片中裁剪感兴趣的肝脏区域。这提供了从其生成织锦图像的肝脏的2d视图的整体集合。然后，可以从2d视图的整体集合中选择相关2d视图的集合。在可能的实现中，可以使用预定的采样模式从2d视图的整体集合中选择相关2d视图。例如，针对从每个类型的2d切片（即，轴向、冠状和矢状）裁剪的2d视图，可以在每个选择的2d视图之间跳过预定数目的切片。在另一可能的实现中，可以在2d视图的每一个中检测子结构，并且可以基于在2d视图中检测到的子结构来选择相关2d视图的集合。例如，肝脏的每个2d视图内的血管可以用于选择最相关的2d视图。在可能的实现中，可以基于注释的训练数据来训练血管性分类器。例如，可以使用概率推进树（pbt）分类器来训练血管性分类器。经训练的血管性分类器被约束到肝脏（即，每个感兴趣的肝脏区域）的每个2d视图中的像素，并且针对每个像素来计算该像素属于血管的概率。可以基于该2d视图内的像素的血管性概率来针对每个2d视图确定整体血管性得分。然后，可以选择具有最高血管性得分的来自每个类型的切片的预定数目的2d视图作为相关2d视图的集合。可以注意，在其中肺是感兴趣的解剖对象的实施例中，气道可以类似地用作提供用于选择肺的相关2d视图的集合的基础的子结构。

在另一示例性实施例中，其他解剖对象或标志（诸如肝脏病变、肺结节、肋骨异常或其他类型的病变、肿瘤或异常）可以用作感兴趣的解剖对象。例如，多个肝脏病变可以用作感兴趣的解剖对象，以生成提供肝脏病变的加速视觉化的织锦图像。尽管本文描述的示例使用肝脏病变作为感兴趣的解剖对象，但是本发明不限于此，并且该描述可以类似地应用于其他类型的病变、肿瘤、异常或解剖标志。在3d医学体积中检测肝脏病变。例如，经训练的基于机器学习的分类器（例如，pbt分类器）可以用于在3d医学体积中检测肝脏病变。在美国公开号2012/0070055中更详细地描述用于检测肝脏病变的方法，其公开通过引用以其整体并入本文。然后，可以选择所有检测到的肝脏病变的预定2d视图作为相关视图。在有利的实现中，所有检测到的肝脏病变的轴向视图用作相关2d视图。

在步骤506处，使用相关2d视图自动生成一个或多个目标解剖对象的织锦图像。织锦图像是视觉化一个或多个目标解剖对象的多个2d视图的组合的单个2d图像。通过将相关2d视图集合组合成单个2d图像来自动生成织锦图像。以对特定临床任务有意义的次序组合相关2d视图，以生成一个或多个目标解剖对象的相关2d视图的视觉上令人愉悦的视觉化。与将3d图像重新格式化成2d图像的其他视觉化技术不同，织锦图像使用从3d医学体积的切片中提取的实际2d视图，并且将多个相关2d视图自动组合成单个织锦图像。例如，可以基于原始3d医学体积中2d视图的相对位置来组织相关2d视图。相关2d视图可以基于视图的类型（即，从其裁剪每个视图的切片的类型）来组织，并且针对2d视图的每个类型以预定的次序来组织。例如，根据2d视图的类型，可以按从左到右的次序、从上到下的次序或从前到后的次序来显示相关2d视图。在其中子结构用作用于选择相关2d视图的基础的情况下，可以基于每个相关2d视图内的子结构的量来组织相关2d视图。例如，在其中针对肝脏的每个相关2d视图计算血管性得分的实施例中，肝脏的相关2d视图可以从最高血管性得分到最低血管性得分进行排序。在其中基于机器学习的检测用于在3d医学体积中检测病变或解剖标志的情况下，可以基于机器学习分类器得分来组织对应于各种病变或标志的2d视图。例如，在其中针对在3d医学体积中检测到的多个肝脏病变生成织锦图像的实施例中，可以针对每个检测到的病变以由经训练的肝脏病变分类器计算的概率得分的次序来组织每个检测到的病变的轴向视图。替代地，可以基于3d体积中的肝脏病变的相对位置来组织检测到的肝脏病变的轴向视图。还可以使用特定于特定临床任务的其他预定模式来组织目标解剖对象的相关2d视图。

图6图示出从3d医学体积生成的示例性织锦图像。如图6中所示，图像600示出原始3d体积。图像610示出肝脏病变织锦图像。肝脏病变织锦图像610包括在原始3d体积600中检测到的三个肝脏病变的轴向视图612、614和616。图像620示出肝脏织锦图像。肝脏织锦图像620包括相关肝脏切片622、624、626、628、630、632、634和636的集合。

返回到图5，在步骤508处，在显示设备上显示织锦图像。然后，用户可以使用诸如鼠标、触摸屏等之类的用户输入设备来导航所显示的织锦图像。织锦图像的每个像素和在原始3d医学体积中的其对应的始发体素之间的几何关系是完全已知的，并且被存储在与显示设备相关联的计算机系统的存储器或储存器中。这允许用户在3d织锦图像和3d医学体积之间来回链接，并且使用2d织锦图像高效地导航3d体积。例如，在可能的实现中，还可以显示原始接收的3d医学体积，并且当用户选择织锦图像中的特定像素时，可以突出显示或标记原始3d医学体积中的对应位置，并且可以调整3d医学体积的视觉化以提供对应位置的视图。

用于自动视觉化3d医学图像数据以提供3d医学图像数据的加速读取的上述方法可以在使用公知的计算机处理器、存储器单元、存储设备、计算机软件和其他组件的计算机上实现。图7中图示出这样的计算机的高级框图。计算机702包含处理器704，其通过执行定义这样的操作的计算机程序指令来控制计算机702的整体操作。计算机程序指令可以被存储在存储设备712（例如，磁盘）中并且在期望执行计算机程序指令时被加载到存储器710中。因此，图3和图5的方法的步骤可以由存储在存储器710和/或储存器712中的计算机程序指令来定义并且由执行该计算机程序指令的处理器704来控制。诸如mr扫描设备或ct扫描设备之类的图像获取设备720可以被连接到计算机702以将图像数据输入到计算机702。将图像获取设备720和计算机702实现为一个设备是可能的。还可能的是，图像获取设备720和计算机702通过网络无线地通信。在可能的实施例中，计算机702可以相对于图像获取设备720远程地定位，并且本文描述的方法步骤中的一些或全部可以作为服务器或基于云的服务的一部分来执行。在该情况下，方法步骤可以在单个计算机上执行或分布在多个联网和/或本地计算机之间。计算机702还包括用于经由网络与其他设备通信的一个或多个网络接口706。计算机702还包括使得能够实现与计算机702的用户交互的其他输入/输出设备708（例如，显示器、键盘、鼠标、扬声器、按钮等）。本领域技术人员将认识到，实际计算机的实现还可以包含其他组件，并且图7是用于说明性目的的这样的计算机的一些组件的高级表示。

前述具体实施方式应被理解为在每一方面都是说明性和示例性的而不是限制性的，并且本文公开的本发明的范围不根据具体实施方式确定，而是根据如根据专利法允许的全部宽度来解释的权利要求来确定。应当理解，本文所示出和描述的实施例仅仅说明本发明原理，并且在不脱离本发明的范围和精神的情况下，可以由本领域技术人员实现各种修改。本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种其他特征组合。