使用深度学习估计的扫描方案遮罩来生成三维解剖结构扫描的重新格式化视图的制作方法

1.本技术涉及医学图像处理，并且更具体地涉及使用深度学习估计的扫描方案遮罩来生成三维(3d)解剖结构扫描的重新格式化视图。


背景技术：

2.在临床成像中，通常需要获得显示若干所需解剖结构的连续视图的图像。例如，在阿尔茨海默病患者的脑部检查中，可能需要大脑皮质的若干视图来评估患者的症状，诸如海马体的连续视图，以及额叶的与中矢面、前连合和后连合对准的连续视图。类似地，一般来讲视神经炎患者需要若干解剖标志的连续视图，包括视神经、视神经束、视神经交叉、视辐射、丘脑和视觉皮质。
3.用于获得解剖标志的连续视图的最常见临床成像技术中的两种临床成像技术包括磁共振成像(mri)和计算机断层摄影(ct)。这些成像程序要求采集若干高分辨率二维(2d)图像，其中每个2d图像与同一解剖标志对准并且在沿同一采集平面的不同点处被捕获。此方法要求从不同采集平面重复扫描同一器官，以采集相对于不同标志分别提供连续视图的不同扫描，该过程显著增加了扫描时间。此外，在mri的上下文中，采集多个对比图像以用于临床预后，并且单独采集每个图像，进一步增加了扫描时间。另选地，技术人员可采集更高分辨率的3d数据栈，然后在单独的成像控制台上手动地针对所需标志进行重新格式化。
4.在两种场景中，解剖结构的连续视图的质量对所用图形方案或重新格式化程序以及技术人员执行任务的技能敏感。例如，图形方案中的小误差(例如，3至5度)可导致错误的诊断或重复的扫描。在重新格式化用于所需标志的3d栈数据的情况下，不熟悉标志对于技术人员而言可能是耗时或令人沮丧的，并且可能无法在连续扫描中重复。因此，非常需要更有效的临床成像技术来获得提供不同感兴趣解剖标志的连续视图的高质量图像。


技术实现要素：

5.以下呈现了发明内容以提供对本发明的一个或多个实施方案的基本理解。本发明内容不旨在标识关键或重要元素，也不旨在描绘不同实施方案的任何范围或权利要求的任何范围。其唯一目的是以简化形式呈现概念，作为稍后呈现的更详细描述的序言。在本文所述的一个或多个实施方案中，提供了有利于采集解剖结构特定3d成像数据和/或使用深度学习估计的扫描方案遮罩来生成3d解剖结构扫描的重新格式化视图的系统、计算机实现的方法、装置和/或计算机程序产品。
6.根据一个实施方案，提供了一种系统，该系统包括存储器和处理器，该存储器存储计算机可执行部件，该处理器执行存储在该存储器中的该计算机可执行部件。该计算机可执行部件包括遮罩生成部件，该遮罩生成部件采用预先训练的神经网络模型来生成在患者解剖区域的所捕获的一个或多个校准图像中描绘的不同解剖标志的遮罩。该计算机可执行
部件还包括重新格式化部件，该重新格式化部件使用该遮罩来重新格式化该患者解剖区域的所捕获的3d图像数据，以生成该3d图像数据的对应于该不同解剖标志的不同表示。在这方面，遮罩分别提供如3d图像数据中所描绘的不同解剖标志的解剖参照系。一个或多个校准图像可包括相对于3d图像数据具有较低分辨率的图像，诸如2d三平面定位器或侦察图像或mri上下文中的低分辨率2d或3d线圈灵敏度图像。
7.在一些具体实施中，不同表示包括利用3d图像数据生成的合成2d图像。在其他具体实施中，不同表示包括利用3d图像数据生成的合成3d图像。在各种实施方案中，3d图像数据与解剖结构特定区域和/或第一扫描平面一起捕获，其中不同解剖标志包括不同于第一扫描平面的一个或多个第二扫描平面，并且其中不同表示提供3d图像数据的由一个或多个第二扫描平面生成的视角。另外地或另选地，不同解剖标志包括一个或多个解剖结构，并且其中不同表示提供三维图像数据的相对于一个或多个解剖结构的视角。利用这些实施方案，不同解剖标志包括平面解剖结构和非平面解剖结构。
8.计算机可执行部件还可包括量化部件，该量化部件使用遮罩和三维图像数据对与不同解剖标志中的一个或多个解剖标志相关联的一个或多个几何特性或视觉特性进行量化。计算机可执行部件还可包括异常检测部件，该异常检测部件使用机器学习和人工智能技术基于一个或多个几何特性和视觉特性来评估与不同解剖标志中的一个或多个解剖标志相关联的一个或多个异常的存在。
9.在一些实施方案中，本文所公开的系统中描述的元件可以不同形式体现，诸如计算机实现的方法、计算机程序产品或另一种形式。
附图说明
10.本专利或专利申请文件包含至少一个彩色绘制的附图。带有彩色附图的本专利或专利申请公布的副本将在提出请求并支付必要费用后由专利局提供。
11.图1示出了根据本文所公开主题的一个或多个实施方案的示例性非限制性系统的框图，该系统使用深度学习估计的扫描方案遮罩来有利于生成3d解剖结构扫描的重新格式化视图。
12.图2呈现了根据本文所公开主题的一个或多个实施方案的示例性脑部扫描校准数据(2d三平面定位器)和对应的遮蔽校准数据。
13.图3呈现了根据本文所公开主题的一个或多个实施方案的另一个示例性脑部扫描校准数据(2d三平面定位器图像)和对应的遮蔽校准数据。
14.图4呈现了根据本文所公开主题的一个或多个实施方案的示例性膝部扫描校准数据(3d体线圈灵敏度扫描图像)和对应的遮蔽校准数据。
15.图5呈现了根据本文所公开主题的一个或多个实施方案的脑部的示例性高分辨率3d图像和对应的重新格式化3d图像。
16.图6呈现了根据本文所公开主题的一个或多个实施方案的膝部的示例性高分辨率3d图像和对应的重新格式化3d图像。
17.图7a和图7b提供了根据本文所公开主题的一个或多个实施方案的具有采用不同扫描平面遮罩的重新格式化脑部扫描图像数据的示例性仪表板。
18.图8示出了根据本文所公开主题的一个或多个实施方案的另一个示例性非限制性
系统的框图，该系统使用深度学习估计的扫描方案遮罩来有利于采集和/或生成3d解剖结构扫描的重新格式化视图。
19.图9呈现了根据本文所公开主题的一个或多个实施方案的示例性计算机实现的方法的高级流程图，该方法使用扫描方案遮罩来生成3d解剖结构扫描的重新格式化视图。
20.图10呈现了根据本文所公开主题的一个或多个实施方案的示例性计算机实现的方法的高级流程图，该方法使用扫描方案遮罩来生成3d解剖结构扫描的重新格式化视图。
21.图11呈现了根据本文所公开主题的一个或多个实施方案的另一个示例性计算机实现的方法的高级流程图，该方法使用扫描方案遮罩来生成3d解剖结构扫描的重新格式化视图。
22.图12呈现了根据本文所公开主题的一个或多个实施方案的另一个示例性计算机实现的方法的高级流程图，该方法使用扫描方案遮罩来生成3d解剖结构扫描的重新格式化视图。
23.图13呈现了根据本文所公开主题的一个或多个实施方案的另一个示例性计算机实现的方法的高级流程图，该方法使用扫描方案遮罩来生成3d解剖结构扫描的重新格式化视图。
24.图14示出了其中可促成本文描述的一个或多个实施方案的示例性非限制性操作环境的框图。
具体实施方式
25.以下具体实施方式仅仅是示例性，并非旨在限制实施方案和/或实施方案的应用或使用。此外，并不意图受前述“背景技术”部分或“发明内容”部分或“具体实施方式”部分中提出的任何明示或暗示信息的约束。
26.本文所公开的主题涉及有利于使用深度学习估计的解剖结构覆盖范围和扫描方案遮罩来生成3d解剖结构扫描的重新格式化视图的系统、计算机实现的方法、装置和/或计算机程序产品。例如，3d解剖结构扫描可包括在沿单个扫描平面或以各向同性分辨率方式对患者使用覆盖遮罩所捕获的感兴趣解剖区域的mri扫描、ct扫描等，并且重新格式化视图可提供来自不同扫描平面的mri或ct体积图像的不同视角。
27.在这方面，一般根据受过专门训练的技术人员的手动方案来执行传统mri和ct扫描。例如，扫描体积的位置、大小和取向的确定需要由技术人员详细地输入和调整。典型的扫描会话首先采集定位器或试行扫描，这提供了要扫描的患者器官或感兴趣区域的主要解剖特征的概览。技术人员随后使用试行扫描以目视且手动地确定扫描平面的位置和取向，以用于后续一系列高分辨率扫描。
28.本文所公开的技术利用已开发的经过预先训练的神经网络模型来自动化该扫描过程以进行例行挑战性设置。此神经网络模型使用深度学习自动识别解剖结构、其覆盖范围和其取向以指定切片位置和那些切片的角度。模型自动地将扫描方案对准解剖参考。在各种实施方案中，可针对不同器官和/或感兴趣的解剖部分定制不同模型。
29.本文所公开的技术利用这些神经网络模型，以仅使用深度学习和定位器或侦察图像或线圈灵敏度数据自动地确定器官描述性和指定遮罩。在一个或多个实施方案中，神经网络模型用于使用深度学习，从粗略低分辨率校准图像(例如，三平面定位器图像、侦察图
像等)来估计任意形状的扫描方案遮罩，而不需要任何另外的高分辨率图像。例如，扫描方案遮罩可涉及不同的扫描平面、器官表面、解剖标志、替代物等。在这方面，扫描方案遮罩提供对软组织和其他解剖结构的解剖参照系。
30.本文所公开的技术进一步采用这些扫描方案遮罩相对于对应的遮罩扫描平面和/或解剖标志重新格式化单个高分辨率3d扫描图像。这允许利用单个3d扫描回顾性地生成任何期望的复杂标志可视化，而无需再次重新采集单个标志或软组织。此标准化显著减少扫描时间，尤其是在针对单个标志取向的2d/3d成像仍然模糊不清的mr中。
31.另外，本文所公开的技术可用于利用定位器数据估计任何任意形状的遮罩，包括弯曲或非平面遮罩。可进一步使用这些弯曲/非平面遮罩来执行解剖3d图像数据的弯曲平面或曲线重新格式化，以引导导航、器官形状标准化和外科手术决策。还可量化弯曲平面遮罩的各种特性以引导治疗设备选择和诊断决策。
32.例如，在具有曲率的器官(例如，脊柱、气道、心脏结构、血管等)的情况下，在许多临床场景中(例如，动脉瘤评估、脑部肿瘤病灶诊断、神经外科手术计划等)，执行弯曲平面重新格式化以提供结构的连续可视化是有帮助的。这有助于更好地理解病灶和结构之间的形貌关系，并且有助于检测微小的异常或标准化(例如，脊柱在3d空间中的导航)。这些弯曲平面遮罩的量化还可帮助指导介入治疗装置的选择，诸如基于扭曲选择适当的导管/导丝。实际上，这不需要目前针对此类结构进行复杂数学建模的方法，并且有利于准确估计诸如扭曲程度和大小的特性。这些可量化特性可继而用于使用纵向扫描跟踪疾病进展。
33.此外，使用自动化方法提供的标准化确保使用此类数据的后处理任务(例如，器官分段、病灶分段、分类等)可能更稳健，因为多个部位之间或甚至单个部位的数据形式的较大变化来自解剖数据的形貌变化。
34.使用本文所描述的技术处理/分析的医学图像的类型可包括使用各种类型的图像捕获模态捕获的图像。例如，医学图像可包括(但不限于)：放射治疗(rt)图像、x射线(xr)图像、数字放射摄影(dx)x射线图像、x射线血管造影(xa)图像、全景x射线(px)图像、计算机断层摄影(ct)图像、乳房x线摄影(mg)图像(包括断层合成设备)、磁共振成像(mr)图像、超声(us)图像、彩色流多普勒(cd)图像、正电子发射断层摄影(pet)图像、单光子发射计算机断层摄影(spect)图像、核医学(nm)图像等。医学图像还可包括原生医学图像的合成版本，诸如合成的x射线(sxr)图像、原生医学图像的修改的或增强版本、原生医学图像的扩展版本，以及使用一种或多种图像处理技术生成的类似版本。
35.如本文所用的“捕获模式”是指使用一个或多个机器或设备捕获图像或图像数据的特定技术模态。在这方面，如应用于医学成像，不同捕获模态可包括但不限于：2d捕获模态、3d捕获模态、rt捕获模态、xr捕获模态、dx捕获模态、xa捕获模态、px捕获模态、ct、mg捕获模态、mr捕获模态、us捕获模态、cd捕获模态、pet捕获模态、spect捕获模态、nm捕获模态等。
36.如本文所用，“3d图像”是指表示三个维度上的对象、空间、场景等的数字图像数据，其可以或可以不显示在界面上。本文所述的3d图像可包括表示位置、几何形状、弯曲表面等的数据。在一个方面，诸如图形处理单元(gpu)的计算设备可基于三个维度中的数据、可执行/可视内容来生成3d图像。例如，3d图像可包括由3d坐标系表示的点集合，诸如3d欧几里得空间(例如，点云)中的点。点的集合可通过几何实体彼此相关联(例如，连接)。例如，
包括一系列三角形、线、弯曲表面(例如，非均匀有理b样条(“nurbs”))、四边形、n-gram或其他几何形状的网片可连接点的集合。在一个方面，网片的部分可包括描述纹理、颜色、强度等的图像数据。
37.在各种实施方案中，所捕获的2d图像(或其部分)可与网片的部分相关联。因此，可基于2d图像数据、2d感官数据、结合原始2d数据的感官数据、3d空间数据(例如，空间深度和距离信息)、计算机生成的位置数据等来生成3d图像。在一个方面，用于生成3d图像的数据可从真实世界场景、空间(例如，房屋、办公室、室外空间等)、物体(例如，家具、装饰物、物品等)、身体的解剖区域等的扫描(例如，利用传感器)收集。还可基于计算机实现的3d建模系统来生成数据。
38.在一些实施方案中，3d图像可以是或可以包括提供由沿同一采集扫描平面的不同点处捕获的多个2d图像生成的对象或环境的3d表示或模型的3d体积图像。例如，ct体积图像可以是或可以对应于由沿同一采集扫描平面的不同点处捕获的一系列ct扫描切片生成/计算的患者解剖区域的3d表示。类似地，mri体积图像可以是或可以对应于由沿同一采集平面的不同点处捕获的一系列mri扫描切片生成/计算的患者解剖区域的3d表示。在这方面，如应用于医学成像，3d图像可以是或可以包括患者解剖区域的3d体积图像。
39.在这方面，3d医学图像是指患者解剖区域的3d表示。在一些具体实施中，可通过采集设备和协议直接以3d形式捕获3d医学图像。在其他具体实施中，3d医学图像可包括由所捕获的患者解剖区域的2d和/或3d图像数据生成的生成图像。一些示例性3d医学图像包括由ct图像数据和mri图像数据生成的3d体积图像。
40.应当注意，术语“3d图像”、“3d体积图像”、“体积图像”、“3d模型”、“3d对象”、“3d重建”、“3d表示”、“3d渲染”等在全文中可互换采用，除非上下文有必要对这些术语进行具体区分。应当理解，此类术语可指表示三个维度上的对象、身体解剖区域、空间、场景等的数据，其可以或可以不显示在界面上。术语“3d数据”和“3d图像数据”可指3d图像本身、用于生成3d图像的数据、描述3d图像的数据、描述3d图像的视角或视点的数据、捕获数据(例如，感官数据、图像等)、与3d图像相关联的元数据等。应当注意，如本文所用的术语“2d图像”可指表示两个维度上的对象、身体解剖区域、空间、场景等的数据，其可以或可以不显示在界面上。
41.本文使用术语“原生”图像指处于由本文所公开的系统处理之前的原始捕获形式和/或其接收形式的图像。在这方面，原生3d图像是指在使用一个或多个估计的扫描方案遮罩重新格式化之前处于其接收状态的3d图像。例如，原生3d图像可包括所接收的3d体积图像，诸如ct体积图像或mri体积图像。本文使用术语“合成”图像来区分原生图像，并且是指使用本文所公开的一种或多种重新格式化处理技术由原生图像生成或导出的图像。在各种实施方案中，合成图像是指使用本文所公开的重新格式化技术由原生3d体积图像生成的重新格式化2d或3d图像。
42.现在参考附图描述一个或多个实施方案，其中相同的附图标号始终用于表示相同的元件。在以下描述中，出于解释的目的，阐述了许多具体细节以便提供对一个或多个实施方案的更透彻理解。然而，很明显，在各种情况下，可以在没有这些具体细节的情况下实践一个或多个实施方案。
43.现在转到附图，图1示出了根据本文所公开主题的一个或多个实施方案的示例性
非限制性系统的框图，该系统使用深度学习估计的覆盖范围和扫描方案遮罩来有利于采集解剖结构特定3d并随后生成3d解剖结构扫描的重新格式化视图。本文描述的系统的实施方案可以包括体现在一个或多个机器内(例如，体现在与一个或多个机器相关联的一个或多个计算机可读存储介质中)的一个或多个机器可执行部件。当由一个或多个机器(例如，处理器、计算机、计算设备、虚拟机等)执行时，这类部件可以使一个或多个机器执行所述操作。
44.例如，系统100包括计算设备101，该计算设备包括可以是和/或可以包括各种计算机可执行部件的重新格式化模块104。在所示的实施方案中，这些计算机可执行部件包括遮罩生成部件106、重新格式化部件114、量化部件116和异常检测部件118。这些计算机/机器可执行部件(和本文所述的其他部件)可存储在与一个或多个机器相关联的存储器中。存储器还可操作地联接到至少一个处理器，使得部件可由该至少一个处理器执行以执行所述的操作。例如，在一些实施方案中，这些计算机/机器可执行部件可存储在计算设备101的存储器122中，该计算设备可联接到处理单元120以用于其执行。所述存储器和处理器以及其他合适的计算机或基于计算的元件的示例可参考图14找到，并且可结合实施结合图1或本文所公开的其他附图所示和所述的系统或部件中的一者或多者来使用。
45.系统100还包括校准数据102、3d图像数据112和重新格式化3d图像数据128。在各种实施方案中，3d图像数据112可对应于从单个采集扫描平面捕获的患者解剖结构的3d解剖结构扫描数据。例如，3d图像数据112可对应于从一个扫描方案平面捕获的特定器官或感兴趣的解剖身体部位的mr扫描、ct扫描等。可使用也由深度学习遮罩生成部件106提供的覆盖遮罩来选择感兴趣的解剖区域。利用这些实施方案，3d图像数据112可包括对应于沿采集轴线的不同点处捕获的不同扫描切片的多个高分辨率(例如，各向同性)2d图像。例如，如应用于mri，在一些具体实施中，3d图像数据112可通常包括以约0.5
×
0.5
×
0.5mm3的体素/分辨率大小捕获的各向同性图像。组合的2d图像分别形成所捕获的解剖结构的3d体积图像。
46.校准数据102可包括与3d图像数据112的捕获相关联地捕获的同一患者解剖结构的一个或多个校准图像。这些校准图像可包括在捕获感兴趣区域的后续高分辨率(例如，各向同性)3d图像数据112之前待扫描的所捕获的患者感兴趣区域的一个或多个低分辨率图像，校准图像一般用于相对于捕获3d图像数据112的期望扫描方案平面定位/对准扫描仪。在这方面，相对于3d图像数据112，校准图像可具有较低分辨率/图像质量，但描绘了相同或更宽的感兴趣区域。
47.例如，在3d图像数据112对应于mri扫描或ct扫描的一些具体实施中，校准图像可包括定位器图像，诸如提供患者解剖结构/器官在三扫描仪参照系轴线中的视图的三轴(或三平面)定位器图像。定位器图像是用于向操作员提供初始引导的2d或3d低分辨率图像。这些对于ct和mri都是常见的。三条轴线可取决于待扫描的解剖结构/器官和/或感兴趣的标志解剖结构而变化。例如，如应用于脑部扫描，三条轴线可包括轴向轴线、矢状轴线和冠状轴线。在其他具体实施中，三条轴线可包括用于限定捕获的后续高分辨率扫描的3d成像覆盖体积的3d边界框的相对x轴、y轴和z轴。在mr和ct研究中使用定位器图像(也称为ct中的侦察图像)以识别横截面图像集合的相对解剖位置。定位器图像可作为单独的图像采集，如通常针对ct进行的，或者可动态地生成，如针对mri进行的。一些示例性定位器图像呈现于图2至图3中并且在下文中更详细地讨论。校准图像还可包括特定于mri的线圈灵敏度图像。
这些通常未示出或由技术人员用于计划。一些示例性线圈灵敏度图像示于图4中并且在下文中更详细地讨论。术语“定位器图像”、“侦察图像”、“校准图像”、“试行图像”、“参考图像”等在本文中可互换使用，除非上下文有必要对这些术语进行具体区分。
48.另外地或另选地，校准数据102可包括关于用于捕获3d图像数据112的扫描仪定位的扫描参数。例如，此类另外的扫描参数可包括但不限于视野(fov)、3d边界框的相对位置和大小、用于捕获3d图像数据112的方案扫描平面的相对位置和取向(例如，相对于3d边界框和/或一个或多个解剖标志)，以及用于捕获3d图像数据112的扫描仪捕获位置和取向。
49.重新格式化模块104可提供使用校准数据102回顾性地处理3d图像数据112，以相对于不同扫描平面和/或不同的感兴趣解剖标志生成3d图像数据112的重新格式化视图。重新格式化视图可基本上对应于3d图像数据112沿除捕获扫描平面之外的任何期望平面的切片。在这方面，重新格式化视图可提供相对于不同的感兴趣解剖特征对准的3d图像数据112的连续视图(例如，一系列高分辨率2d图像/扫描切片)。在所示的实施方案中，这些重新格式化视图表示为重新格式化3d图像数据128。为了促进此结果，重新格式化模块104可包括遮罩生成部件106和重新格式化部件114。
50.遮罩生成部件106可使用一个或多个预先训练的深度学习网络108来处理校准数据102，以估计一个或多个校准图像中描绘的限定解剖标志和/或扫描平面的相对位置和/或形状。遮罩生成部件106可进一步在一个或多个校准图像上生成解剖标志和/或扫描平面的遮罩，从而导致校准图像转换为遮蔽校准数据110。解剖标志可包括平面和非平面结构解剖结构(例如，器官、软组织结构、骨、韧带、血管等)、两个或更多个解剖结构之间的位置/点/平面、解剖结构的表面等。例如，在一些具体实施中，遮罩可包括限定感兴趣的器官或解剖标志结构的分段遮罩。这些分段遮罩可包括平面遮罩以及用于弯曲解剖结构(例如，弯曲血管、脊柱等)的非平面遮罩。遮罩还可包括标记与一个或多个解剖标志对准的不同扫描平面的扫描平面线。
51.在这方面，在一些具体实施中，遮蔽校准数据110可对应于其上提供有图形遮罩叠层的一个或多个校准图像，其中图形遮罩叠层限定解剖标志的形状和位置和/或相对于解剖标志的扫描平面。另外地或另选地，遮罩生成部件106可生成定位参数，定位参数限定解剖标志和/或扫描平面在一个或多个校准图像中和/或在3d图像数据112内的相对位置和/或几何形状。例如，定位参数可限定与3d图像数据112中的不同解剖标志对准的不同扫描平面的相对位置，限定不同解剖标志在3d图像数据112中的相对中心点/位置，限定不同解剖标志在3d图像数据112中的相对2d和/或3d形状和位置等。
52.在一些实施方案中，遮蔽校准数据110还可包括限定3d图像数据112被捕获的感兴趣解剖区域的3d体积的解剖覆盖遮罩。例如，解剖覆盖遮罩可限定用于捕获3d图像数据112的覆盖区域的3d边界框。在这方面，遮罩生成部件106可采用一个或多个预先训练的神经网络模型108，以基于校准数据102生成解剖覆盖遮罩。该解剖覆盖遮罩可在捕获3d图像数据112之前生成并用于控制3d图像数据112的捕获，使得仅在高分辨率3d图像数据中捕获感兴趣的所需解剖区域。这有助于改善3d采集的时间效率。
53.图2呈现了根据本文所公开主题的一个或多个实施方案的示例性脑部扫描校准数据和对应的遮蔽校准数据。在此示例中，校准数据包括与脑部的mri扫描的性能相关联的脑部的所捕获2d三平面(例如，轴向平面、冠状平面和矢状平面)定位器图像202。示例性遮蔽
校准数据包括用对应于不同的感兴趣解剖标志的投影平面的不同扫描平面遮罩标记的遮蔽图像204。在此示例中，扫描平面遮罩被投影到轴向定位器图像上并为前连合(ac)-后连合(pc)平面(例如，ac的上边缘和pc的下边缘，被称为acpc平面/线)、海马体平面和垂体平面提供相对参考平面。参考图1和图2，在各种实施方案中，定位器图像202可对应于校准数据102，并且遮蔽图像204可对应于遮蔽校准数据。
54.图3呈现了根据本文所公开主题的一个或多个实施方案的另一个示例性脑部扫描校准数据和对应的遮蔽校准数据。在此示例中，校准数据也包括与脑部的mri扫描的性能相关联的脑部的所捕获2d三平面定位器图像202。示例性遮蔽校准数据包括遮蔽定位器图像的不同集，其中扫描平面遮罩对应于不同的感兴趣解剖标志。在此示例中，扫描平面遮罩限定所限定的解剖结构的相对位置和几何形状。具体地，遮蔽图像304为不同的感兴趣解剖标志提供扫描平面遮罩，其中每种颜色对应于不同的感兴趣解剖结构。遮蔽图像306为视神经提供平面扫描平面遮罩，并且遮蔽图像308为视神经提供非平面扫描平面遮罩。参考图1和图3，在各种实施方案中，定位器图像302可对应于校准数据102，并且遮蔽图像302、遮蔽图像306和遮蔽图像308可对应于遮蔽校准数据110。
55.图4呈现了根据本文所公开主题的一个或多个实施方案的示例性膝部扫描校准数据和对应的遮蔽校准数据。在此示例中，校准数据包括与患者膝部的mri扫描的性能相关联的膝部的所捕获低分辨率3d线圈灵敏度图像的三个集。示例性遮蔽校准数据包括遮蔽图像的标记校准图像中的每个校准图像中的半月板平面的对应集。例如，遮蔽图像404标记校准图像402上的半月板平面，遮蔽图像408标记校准图像406上的半月板平面，并且遮蔽图像412标记校准图像410上的半月板平面。参考图1和图4，在各种实施方案中，校准图像402、406和410可对应于校准数据102，并且遮蔽图像404、408和412可对应于遮蔽校准数据110。
56.再次参考图1，如上所述，遮罩生成部件106可采用一个或多个深度学习网络108以由校准数据102生成遮蔽校准数据110。这些一个或多个深度学习网络108可被配置成针对特定解剖器官或感兴趣区域(诸如脑部、膝部、脊柱、胸部和各种其他解剖器官/感兴趣区域)的限定解剖标志，估计扫描平面遮罩和/或定位参数(例如，相对于校准图像和/或3d图像数据112)。在这方面，在一些实施方案中，一个或多个深度学习网络108可包括针对每个解剖器官/感兴趣区域训练的单独神经网络模型。
57.训练神经网络模型以识别和限定特定器官/解剖结构和定义的特定扫描平面遮罩可变化。例如，如应用于脑部，神经网络模型可被配置成识别和限定各种不同解剖标志和参考平面的扫描平面遮罩和/或定位参数，解剖标志和参考平面包括但不限于中矢面(msp)、acpc平面、海马体、视神经、眼眶、内听道(iac)、脑干垂直平面、眶耳平面、reid基线、胼胝体下线、眶上-外耳道线、鞍结节和枕外隆突线。在一些实施方案中，一个或多个深度学习网络108可包括被训练为识别/限定每个具体解剖标志/扫描平面的单独网络/模型。另外地或另选地，一个或多个深度学习网络108可使用单个网络提供多平面估计。
58.一个或多个深度学习网络108的架构可变化。在一些实施方案中，一个或多个深度学习网络可采用结合了形状自动编码器的u-net卷积网络分段模型，以生成扫描平面遮罩。例如，在一个具体实施中，不是预测二进制遮罩，而是网络预测其签署的距离变换，并且这被阈值化并通过形状编码器运行以提供二进制遮罩。
59.重新格式化部件114可使用遮蔽校准数据110来重新格式化3d图像数据112以生成
重新格式化3d图像数据128。具体地，重新格式化部件114可将限定校准图像中的扫描平面遮罩的相对位置/几何形状的扫描平面遮罩和/或定位参数映射到3d图像数据112中的其相对位置/几何形状。因为不同的扫描平面遮罩对应于不同的感兴趣解剖标志，所以重新格式化3d图像数据128可分别提供3d图像数据112相对于不同解剖标志的重建视图。在这方面，重新格式化部件114可采用遮蔽校准数据110来确定与不同解剖标志对准的不同扫描平面的相对位置和几何形状和/或3d图像数据112内的解剖结构的相对位置和大小。重新格式化部件114可相对于在遮蔽校准数据110中限定的不同扫描平面遮罩/解剖标志中的一者或多者对3d图像数据112进一步“切片”，以从相应扫描平面遮罩/解剖标志的视角生成3d图像数据112的连续视图。
60.例如，对于平面遮罩，由重新格式化部件114执行的重新格式化处理可包括使用通过其拟合的扫描平面对3d图像数据112(例如，感兴趣解剖区域的3d体积图像)切片。类似地，对于器官遮罩，重新格式化部件可在3d图像数据中相对于器官/器官遮罩拟合平面，并且沿拟合平面进行切片或沿骨骼轴线在3d图像数据中执行器官的“展开或解折叠”，并且生成器官沿骨骼轴线的展开/平面视图，以呈现给观察者。对于非平面遮罩，重新格式化部件114可通过将成像平面的骨骼轴线与对应于非平面遮罩的特定解剖结构(例如，血管)对准来执行3d图像数据112的重新格式化，从而将非平面遮罩的弯曲点投影到平坦的2d表面上。在这方面，可将非平面重新格式化解释为沿解剖结构的选定参考轴线(例如，是主要骨骼轴线)的展开或拉直弯曲结构。
61.重新格式化的结果可包括一个或多个高分辨率合成2d图像，其对应于3d图像数据112的再生切片，如同其原生地被捕获并且捕获位置和取向及视场与在遮蔽校准数据110中限定的对应扫描平面遮罩对准。在这方面，合成2d图像可单个地、连续地(作为相对于新扫描平面的连续视图)和/或组合成新的合成3d体积图像来进行查看。
62.重新格式化部件114还可使用针对包括在3d图像数据128中的弯曲/非平面解剖结构生成的弯曲/非平面遮罩来执行解剖3d图像数据112的弯曲平面或曲线重新格式化。例如，在具有曲率的器官(例如，脊柱、气道、心脏结构、血管等)的情况下，在许多临床场景中(例如，动脉瘤评估、脑部肿瘤病灶诊断、神经外科手术计划等)，执行弯曲平面重新格式化以提供结构的连续可视化是有帮助的。这有助于更好地理解病灶和结构之间的形貌关系，并且有助于检测微小的异常或标准化(例如，脊柱在3d空间中的导航)。在这方面，重新格式化部件114可使用其对应的非平面遮罩来生成包括在3d图像数据中的非平面解剖结构的平面视图。
63.图5呈现了根据本文所公开主题的一个或多个实施方案的脑部的示例性高分辨率3d图像和对应的重新格式化3d图像。在此示例中，图像501对应于与沿三个不同扫描方案平面的三个单独单个采集相关联的脑部的所捕获高分辨率mri图像。
64.例如，图像5021对应于与从轴向方向对脑部进行第一各向同性采集期间捕获的第一3d体积图像相关联的一个高分辨率图像。轴向采集在从下巴开始并移动到头顶的一系列高分辨率2d图像中从下方看脑部。图像5021提供来自此3d轴向脑部扫描的一个示例性原生图像。图像5041对应于与从矢状方向对脑部进行第二各向同性采集期间捕获的第二3d体积图像相关联的一个高分辨率图像。矢状采集在从一只耳开始并移动到另一只耳的一系列高分辨率2d图像中从侧面看脑部。图像5041提供来自此3d矢状脑部扫描的一个示例性原生图
像。图像5061对应于与从冠状方向对脑部进行第三各向同性采集期间捕获的第三3d体积图像相关联的一个高分辨率图像。冠状采集在从头部的背面开始并移动到面部的一系列高分辨率2d图像中从背面看脑部。图像5061提供来自此3d冠状脑部扫描的一个示例性原生图像。
65.图像505和507提供可使用对应的扫描平面遮罩503由3d体积图像中的一个或多个3d体积图像(图像501从其采样)生成的示例性重新格式化高分辨率图像。这些扫描平面遮罩503仅仅是示例性的，并且在此示例中旨在为中矢面(内听道)提供遮罩。在这方面，图像5042提供图像5041相对于中矢面的重新格式化版本。图像5062和图像5063提供图像5061如相对于内听道重新格式化的重新格式化版本。图像5022提供图像5021如相对于视神经重新格式化的重新格式化版本。图像5042提供图像5041如相对于右侧的视神经重新格式化的另一个重新格式化版本，并且图像5044提供图像5041如相对于左侧的视神经重新格式化的另一个重新格式化版本。
66.在此示例中，提供了脑部的三个单独的高分辨率采集以仅用于示例性目的。然而，应当注意，需要这些采集中的仅一个来生成一个3d体积，重新格式化部件114可由此3d体积生成图像505和507的不同重新格式化视图。然而，在一些具体实施中，某些原生采集平面可更适合相对于某些解剖标志生成重新格式化视图。
67.图6呈现了根据本文所公开主题的一个或多个实施方案的膝部的示例性高分辨率3d图像和对应的重新格式化3d图像。在此示例中，图像601对应于与沿同一扫描方案平面的三个单独的单个采集相关联的膝部的所捕获高分辨率mri图像，但具有不同的采集加权协议。
68.在这方面，与使用其中对比度取决于被成像结构的不同衰减的辐射的成像不同，mri图像中的对比度取决于被成像区域中的磁性特性和氢核数量。通过运行具有不同加权的不同序列，可选择被成像区域中的不同对比度。主要的三个序列是：t1加权(显示最大t1对比度)、t2加权(显示最大t2对比度)和质子密度(pd)加权(显示氢质子密度)。
69.图像6021对应于与在膝部的t1采集期间捕获的第一3d体积图像相关联的一个高分辨率图像。图像6041对应于与在膝部的t2采集期间捕获的第二3d体积图像相关联的一个高分辨率图像，并且图像60621对应于与在膝部的pd采集期间捕获的第三3d体积图像相关联的一个高分辨率图像。
70.图像605和607提供可使用对应的扫描平面遮罩603由3d体积图像中的一个或多个3d体积图像(图像601从其采样)生成的示例性重新格式化高分辨率图像。这些扫描平面遮罩603仅仅是示例性的，并且在此示例中旨在提供用于前交叉韧带(acl)和后交叉韧带(pcl)的扫描平面遮罩。在这方面，图像6022提供图像6021相对于acl的重新格式化版本，图像6042提供图像6041相对于acl的重新格式化版本，并且图像6062提供图像6061相对于acl的重新格式化版本。类似地，图像6023提供图像6021相对于pcl的重新格式化版本，图像6043提供图像6041相对于pcl的重新格式化版本，并且图像6063提供图像6061相对于pcl的重新格式化版本。
71.图7a和图7b提供了根据本文所公开主题的一个或多个实施方案的具有采用不同扫描平面遮罩的重新格式化脑部扫描图像数据的示例性仪表板700。仪表板700为不同患者提供脑部的若干高分辨率2d图像。在各种实施方案中，由针对每个患者执行的单个3d mri
采集生成不同视图中的每个视图。不同视图使用针对不同解剖标志生成的对应扫描平面遮罩，使用针对每个患者捕获的一个或多个校准图像、遮罩生成部件106和一个或多个深度学习神经网络108来提供相对于不同解剖标志的重新格式化/再生视图。
72.再次参考图1，量化部件116可进一步确定由遮罩生成部件106生成的遮罩的可量化特性。例如，量化部件116可使用其对应的遮罩来确定解剖结构在3d图像数据中的相对位置和几何形状。量化部件116还可确定与如映射到高分辨率3d图像数据112的遮罩和/或遮蔽区域相关联的各种可量化视觉特性。例如，此类视觉特性可涉及扭曲、着色、像素化、着色变化等的程度/量。在一些具体实施中，量化部件114还可执行图案识别以表征与遮罩和/或其对应解剖结构相关联的不同视觉图案。
73.在这方面，用于弯曲/非平面解剖结构的弯曲/非平面遮罩的量化还可帮助指导介入治疗装置的选择，诸如基于扭曲选择适当的导管/导丝。实际上，这不需要目前针对此类结构进行复杂数学建模的方法，并且有利于准确估计此类特性。这些可量化特性还可用于基于视觉特性随时间推移的变化使用纵向扫描来跟踪疾病进展。这些可量化特性也可由与生成解剖结构的重新格式化视图(包括一维1d重新格式化视图)相关联的重新格式化部件114使用。例如，重新格式化部件114可使用通过其对应的遮罩来限定血管的厚度和/或长度的信息，以沿循其曲线结构并绘制其厚度和长度。
74.量化部件116还可确定关于结构之间的相对位置的测量数据。例如，量化部件116可确定两个或更多个遮罩/结构之间的相对角度、距离和相对位置(例如，膝部的acl与pcl之间的角度，ac、pc与垂体结构之间的相互距离等)。量化部件116还可量化遮罩/结构中的每个(或组合)的几何特征和形态特征(例如，视神经弯曲程度如何？iac的长度和厚度是多少？半月板(膝部)或海马体(脑部)是什么形状？等)。这些量化可具有若干用途。例如，它们可由异常检测部件118用来帮助计划任何介入以及用于自动检测异常(例如，关于一般群体和患者的状况)。通过这些实施方案，异常检测部件118可采用各种机器学习和/或人工智能技术基于各种可量化度量来检测患者成像数据中存在的异常，可量化度量基于一个或多个解剖结构的扫描平面遮罩针对一个或多个解剖结构确定。
75.可量化/测量数据也可用于限定每个重新格式化视图的相对“重要性”，其可用于标记问题/提高问题等级。例如，异常检测部件118可采用机器学习和/或人工智能技术基于视神经量化大小来确定/推断/推断具体受试者的视神经不寻常地厚(例如，指示肿胀)。量化部件116可进一步建议特定重新格式化视图，以基于检测到的异常进行生成。例如，继续视神经肿胀示例，异常检测部件118可指示重新格式化部件生成不同的视神经重新格式化视图，用于呈现给临床医生(例如，放射科医师、技术人员等)。另外地或另选地，异常检测部件118可引导系统在渲染用户界面的优先级查看区段/区域中(例如，在用于查看重新格式化视图的可视化仪表板的顶部处)渲染和/或放置视神经重新格式化视图。
76.系统100的部署架构可变化。在所示的实施方案中，遮罩生成部件106、重新格式化部件114、量化部件116和异常检测部件118中的每一者包括在部署在计算设备101上的重新格式化模块104内。在一些具体实施中，计算设备101可包括或操作地联接到捕获校准数据102和3d图像数据112的医学图像扫描设备(例如，ct机器、mri机器等)。另外地或另选地，计算设备101可包括单独的设备/机器(例如，真实的或虚拟的/基于云的)，该设备/机器通信地联接到其中存储校准数据102和3d图像数据112的成像扫描设备或外部图像数据存储系
统，诸如影像归档和通信系统(pacs)和/或供应商中立归档(vna)。例如，计算设备101可经由一个或多个有线或无线通信网络(例如，广域网(wan)、局域网(lan)等)通信地联接到医学图像扫描设备和/或医学图像存储系统。在这些实施方案中的任一个实施方案中，重新格式化3d图像数据128可由计算设备101存储，导出到另一个存储系统和/或导出到可在其中查看/显示它的可视化系统。仍在其他实施方案中，重新格式化模块104的一个或多个部件可部署在分布式计算环境中的不同计算设备/机器处并且经由一个或多个网络通信地联接。也可使用各种另选的部署架构变型。
77.图8示出了根据本文所公开主题的一个或多个实施方案的另一个示例性非限制性系统800的框图，该系统使用深度学习估计的扫描方案遮罩来有利于生成3d解剖结构扫描的重新格式化视图。系统800为遮罩生成部件106和重新格式化部件114提供另一个示例性部署架构。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。
78.系统800包括具有遮罩生成部件106的图像采集系统801和具有重新格式化部件114和渲染部件814的计算设备812。尽管未示出，但图像采集系统801和/或计算设备812可包括量化部件116和异常检测部件118。图像采集系统801包括捕获校准数据102和3d图像数据112的医学图像扫描设备808。图像采集系统801可进一步包括有利于处理所捕获图像数据(例如，校准数据102和3d图像数据112)和通过医学图像扫描设备808控制图像采集过程的计算机可执行部件。这些计算机可执行部件包括遮罩生成部件106和采集控制单元802。这些计算机/机器可执行部件(和本文所述的其他部件)可存储在与一个或多个机器相关联的存储器中。存储器还可操作地联接到至少一个处理器，使得部件可由该至少一个处理器执行以执行所述的操作。例如，在一些实施方案中，这些计算机/机器可执行部件可存储在图像采集系统801的存储器806中，该图像采集系统可联接到处理单元804以进行其执行。图像采集系统801还可包括系统总线810，其通信且操作地将系统801的各种机器/计算机可执行部件(例如，遮罩生成部件106、医学图像扫描设备808、采集控制单元802、处理单元804和存储器806)联接到彼此。
79.在一个或多个实施方案中，当患者定位在扫描设备808上/内时，采集过程可包括在捕获3d图像数据112之前捕获校准数据102。遮罩生成部件108可使用遮罩生成部件106来处理校准数据102，以在捕获3d图像数据112之前生成遮蔽校准数据110中的至少一些。具体地，遮罩生成部件106可生成限定感兴趣解剖区域的3d边界框的解剖覆盖遮罩，将针对该感兴趣解剖区域捕获患者的后续高分辨率3d图像数据112。例如，采集控制单元802可基于解剖覆盖遮罩来控制扫描设备808对3d图像数据112的采集，具体方式是定位和/或有利于患者相对于扫描设备808的定位，使得仅捕获由解剖覆盖遮罩限定的感兴趣区域。如前所述，这有助于改善3d采集过程的时间效率。遮罩生成部件106可使用校准数据102在捕获3d图像数据112的捕获之前、期间和/或之后进一步生成附加扫描平面遮罩(例如，限定平面状扫描平面、限定解剖结构的几何形状等)。
80.图像采集系统801可进一步向计算设备812提供3d图像数据112和遮蔽校准数据110，用于供重新格式化部件114处理以生成重新格式化3d图像数据128。例如，计算设备812和图像采集系统801可经由一个或多个有线或无线通信网络通信地联接。在此示例性实施方案中，重新格式化部件114可使用3d图像数据112和由图像采集系统801提供的遮蔽校准数据110生成重新格式化3d图像数据128。这可实时(例如，在生成3d图像数据112时立即)执
行和/或回顾性地执行(例如，在此之后的任何点处)。计算设备812还可包括渲染部件814和显示器816，提供这两者用于经由显示器816在计算设备812处渲染重新格式化3d图像数据128。
81.图9呈现了根据本文所公开主题的一个或多个实施方案的示例性计算机实现的方法900的高级流程图，该方法使用扫描方案遮罩来生成3d解剖结构扫描的重新格式化视图。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。
82.根据过程900，在902处，操作地联接到处理器的系统(例如，系统100、系统800等)可采用预先训练的神经网络模型(例如，一个或多个深度学习网络108)，以为在患者解剖区域的(例如，使用遮罩生成部件106)所捕获的一个或多个校准图像(例如，由校准数据102提供)中描绘的不同解剖标志生成遮罩。在904处，系统可使用遮罩重新格式化患者解剖区域的所捕获的3d图像数据(例如，3d图像数据112)，以(例如，使用重新格式化部件114)生成3d图像数据的对应于不同解剖标志(或以其他方式与不同解剖标志对准)的不同表示。
83.图10呈现了根据本文所公开主题的一个或多个实施方案的示例性计算机实现的方法1000的高级流程图，该方法使用扫描方案遮罩来生成3d解剖结构扫描的重新格式化视图。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。
84.根据过程1000，在1002处，操作地联接到处理器的系统(例如，系统100、系统800等)可采用预先训练的神经网络模型(例如，一个或多个深度学习网络108)，以为在患者解剖区域的(例如，使用遮罩生成部件106)所捕获的一个或多个校准图像(例如，由校准数据102提供)中描绘的不同解剖标志生成遮罩，解剖区域的解剖覆盖遮罩。在1004处，系统可采用解剖覆盖遮罩来控制解剖区域的3d图像数据的捕获(例如，经由采集控制单元802)。在1006处，系统可使用遮罩重新格式化3d图像数据(例如，3d图像数据112)，以(例如，使用重新格式化部件114)生成3d图像数据的对应于不同解剖标志(或以其他方式与不同解剖标志对准)的不同表示。
85.图11呈现了根据本文所公开主题的一个或多个实施方案的另一个示例性计算机实现的方法1100的高级流程图，该方法使用扫描方案遮罩来生成3d解剖结构扫描的重新格式化视图。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。
86.根据过程1100，在1102处，操作地联接到处理器(例如，系统100、系统800等)的系统可接收在患者解剖区域的(例如，使用遮罩生成部件106)所捕获的一个或多个校准图像(例如，由校准数据102提供)中描绘的不同解剖标志的遮罩，其中一个或多个校准图像与解剖区域的3d图像数据(例如，3d图像数据112)相关联地被捕获，并且其中遮罩使用预先训练的遮罩生成神经网络模型(例如，一个或多个深度学习网络108)生成。在1104处，系统可使用遮罩重新格式化3d图像数据，以(例如，使用重新格式化部件114)生成3d图像数据的相对于不同解剖标志(或以其他方式与不同解剖标志对准)的不同表示。
87.图12呈现了根据本文所公开主题的一个或多个实施方案的另一个示例性计算机实现的方法1200的高级流程图，该方法使用扫描方案遮罩来生成3d解剖结构扫描的重新格式化视图。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。
88.根据过程1200，在1202处，操作地联接到处理器的系统(例如，系统800等)可捕获沿第一扫描平面(例如，经由医学图像扫描设备804)捕获的患者解剖区域的3d图像数据。在1204处，系统可接收相对于第二扫描平面(例如，经由渲染部件808)查看解剖区域的请求。
在1206处，响应于请求，系统可使用第二扫描平面的扫描平面遮罩(例如，包括在遮蔽校准数据110中)(例如，使用重新格式化部件114)生成3d图像数据相对于第二扫描平面的重新格式化表示，第二扫描平面的扫描平面遮罩使用患者解剖区域的所捕获的一个或多个校准图像和预先训练的遮罩生成神经网络模型(例如，一个或多个深度学习网络108)生成。在1208处，系统可经由显示器(例如，使用渲染部件814的显示器816)渲染3d图像数据的重新格式化的表示。
89.图13呈现了根据本文所公开主题的一个或多个实施方案的另一个示例性计算机实现的方法1300的高级流程图，该方法使用扫描方案遮罩来生成3d解剖结构扫描的重新格式化视图。为简洁起见，省略了对各个实施方案中采用的类似元素的重复描述。
90.根据过程1300，在1302处，操作地联接到处理器的系统(例如，系统100、系统800等)可采用预先训练的神经网络模型(例如，一个或多个预先训练的深度学习网络108)，以(例如，经由遮罩生成部件106)生成在患者解剖区域的所捕获的一个或多个校准图像中描绘的不同解剖标志的遮罩。在1304处，系统可(例如，经由量化部件116)量化与使用遮罩捕获的患者解剖区域的3d图像数据中的一个或多个解剖结构相关联的视觉特性和几何特性。例如，量化部件116可确定一个或多个解剖结构的相对几何尺寸、形状和位置以及由遮罩限定的3d图像数据的视觉特性(例如，扭曲、着色、图案识别等)。在1306处，系统可基于视觉特性和几何特性(例如，使用异常检测部件118)评估异常的存在。例如，异常检测部件118可采用一个或多个异常检测模型(例如，机器学习模型)，该模型被配置成检测指示医学症状或疾病的定义异常以及指示不寻常的几何特性和/或视觉特性的未定义异常(例如，相对于对该患者的先前成像研究和/或其他患者的成像研究)。
91.在1308处，系统可确定是否(例如，经由异常检测部件118)检测到任何异常。如果在1308处，未检测到异常，则在1310处，系统可使用遮罩生成3d图像数据的默认重新格式化视图。例如，默认重新格式化视图可包括感兴趣解剖区域的不同相关视图的限定集。在1316处，系统可(例如，经由渲染部件814和显示器816)进一步渲染重新格式化视图，以呈现给与医学成像可视化应用等的使用相关联的观察者(例如，放射科医师、技术人员等)。然而，如果在1308处，检测到一个或多个异常，则在1312处，系统可使用合适的电子报告机制来报告异常及其相关联的特性(例如，用于表征异常的几何特性和/或视觉特性)(例如，经由所显示的/与患者成像研究相关联的通知消息，如经由医学成像可视化应用所渲染的那样)。在1314处，系统可使用遮罩(例如，通过重新格式化部件114)进一步生成3d图像数据中的异常的重新格式化视图。例如，除了默认重新格式化视图之外和/或作为替代，重新格式化部件可生成与所检测到的异常相关联的一个或多个解剖结构的专用重新格式化视图。在1316处，系统可进一步渲染重新格式化视图(例如，专用和/或默认重新格式化视图)。
92.示例性操作环境
93.一个或多个实施方案可以是处于集成的任何可能技术细节水平的系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令以用于致使处理器执行本发明的方面的计算机可读存储介质(或多个介质)。
94.计算机可读存储介质可以是有形设备，该有形设备可以保持和存储供指令执行设备使用的指令。计算机可读存储介质可以是例如但不限于电子存储设备、磁性存储设备、光学存储设备、电磁存储设备、半导体存储设备、或前述的任何适当组合。计算机可读存储介
质的更具体示例的非穷举列表包括以下项：便携式计算机软盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存存储器)、静态随机存取存储器(sram)、便携式光盘只读存储器(cd-rom)、数字多功能光盘(dvd)、记忆棒、软盘、机械编码设备(诸如打孔卡或其上记录有指令的凹槽中的凸起结构)以及上述项的任何适当组合。如本文所用，计算机可读存储介质不应被理解为是暂态信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，穿过光纤电缆的光脉冲)或通过电线发送的电信号。
95.本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络(例如，互联网、局域网、广域网和/或无线网络)下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配器卡或网络接口从网络接收计算机可读程序指令，并且转发计算机可读程序指令以用于存储在相应计算/处理设备内的计算机可读存储介质中。
96.用于执行本发明的操作的计算机可读程序指令可以是汇编器指令、指令集架构(isa)指令、机器指令、机器相关指令、微码、固件指令、状态设置数据、集成电路的配置数据或以一种或多种编程语言(包括面向对象的编程语言，诸如smalltalk、c++等)和过程编程语言(诸如“c”编程语言或类似编程语言)的任何组合编写的源代码或目标代码。计算机可读程序指令可以完全在用户计算机上执行，部分在用户计算机上执行，作为独立软件包执行，部分在用户计算机上并且部分在远程计算机上执行，或完全在远程计算机或服务器上执行。在后一种场景中，远程计算机可以通过任何类型的网络(包括局域网(lan)或广域网(wan))连接到用户的计算机，或者可以与外部计算机建立连接(例如，通过使用互联网服务提供商的互联网)。在一些实施方案中，包括例如可编程逻辑电路、现场可编程门阵列(fpga)、或可编程逻辑阵列(pla)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以个性化电子电路，以便执行本发明的方面。
97.本文参考根据本发明实施方案的方法、装置(系统)和计算机程序产品的流程图图示和/或框图来描述本发明的各方面。可以理解，流程图图示和/或框图的每个框、以及流程图图示和/或框图中的框组合可以由计算机可读程序指令来实现。
98.可以将这些计算机可读程序指令提供给通用计算机、专用计算机、或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令也可以存储在计算机可读存储介质中，其可以引导计算机、可编程数据处理装置、和/或其他设备以特定方式起作用，使得具有存储在其中的指令的计算机可读存储介质包括制品，该制品包括实现在流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。
99.也可以将计算机可读程序指令加载到计算机、其他可编程数据处理装置、或其他设备上，以致使一系列操作步骤在计算机、其他可编程装置、或其他设备上执行以产生计算机实现过程，使得在计算机、其他可编程装置、或其他设备上执行的指令实现流程图和/或框图的一个或多个框中指定的功能/动作。
100.附图中的流程图和框图示出了根据本发明的各种实施方案的系统、方法和计算机
程序产品的可能具体实施的架构、功能和操作。在这方面，流程图或框图中的每个框可以表示指令的模块、片段或部分，其包括用于实现指定逻辑功能的一个或多个可执行指令。在一些另选具体实施中，框中所指出的功能可不按图中所指出的顺序发生。例如，取决于所涉及的功能，实际上可以基本上同时执行连续示出的两个框，或者有时可能以相反顺序执行这些框。还需要说明的是，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可由执行特定功能或动作或者执行专用硬件和计算机指令的组合的基于专用硬件的系统来实现。
101.结合图14，下文所述的系统和过程可以体现在硬件内，诸如单个集成电路(ic)芯片、多个ic、专用集成电路(asic)等。此外，一些或所有过程框在每个过程中出现的顺序不应视为限制性的。相反，应当理解，一些过程框能够以各种顺序执行，并非所有这些顺序都可以在本文中明确示出。
102.参考图14，用于实现要求保护的主题的各个方面的示例性环境1400包括计算机1402。计算机1402包括处理单元1404、系统存储器1406、编解码器1435和系统总线1408。系统总线1408将包括但不限于系统存储器1406的系统部件联接到处理单元1404。处理单元1404可以是各种可用的处理器中的任一种。双微处理器和其他多处理器架构也可用作处理单元1404。
103.系统总线1408可以是多种类型的总线结构中的任一种，包括存储器总线或存储器控制器、外围总线或外部总线或者使用任何种类的可用总线架构的本地总线，包括但不限于工业标准架构(isa)、微通道架构(msa)、扩展isa(eisa)、智能驱动电子设备(ide)、vesa本地总线(vlb)、外围部件互连件(pci)、卡总线、通用串行总线(usb)、高级图形端口(agp)、个人计算机存储器卡国际协会总线(pcmcia)、火线(ieee 1394)和小型计算机系统接口(scsi)。
104.在各种实施方案中，系统存储器1406包括易失性存储器1410和非易失性存储器1412，其可以采用所公开的存储器架构中的一个或多个。基本输入/输出系统(bios)(包括在计算机1402内的元件之间传输信息的基本例程，诸如在启动期间)存储在非易失性存储器1412中。此外，根据本发明的创新，编解码器1435可包括编码器或解码器中的至少一者，其中编码器或解码器中的至少一者可由硬件、软件或硬件和软件的组合组成。尽管编解码器1435被示为单独的部件，但编解码器1435可包括在非易失性存储器1412中。以举例说明而非限制的方式，非易失性存储器1412可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)、闪存存储器、3d闪存存储器、或电阻性存储器，诸如电阻性随机存取存储器(rram)。在至少一些实施方案中，非易失性存储器1412可采用所公开存储器设备中的一种或多种存储器设备。此外，非易失性存储器1412可以是计算机存储器(例如，与计算机1402或其主板物理集成)或可移除存储器。可以用来实现所公开的实施方案的合适的可移除存储器的示例可以包括安全数字(sd)卡、紧凑型闪存(cf)卡、通用串行总线(usb)记忆棒等。易失性存储器1410包括充当外部高速缓存存储器的随机存取存储器(ram)，并且在各种实施方案中还可采用一种或多种公开的存储器设备。以举例说明而非限制的方式，ram能以多种形式提供，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双倍数据速率sdram(ddr sdram)和增强型sdram(esdram)等。
105.计算机1402还可包括可移除/不可移除、易失性/非易失性计算机存储介质。图14
示出了例如磁盘存储装置1414。磁盘存储装置1414包括但不限于如磁盘驱动器、固态盘(ssd)、闪存存储器卡或记忆棒的设备。此外，磁盘存储装置1414可以单独或与其他存储介质组合包括存储介质，包括但不限于光盘驱动器，诸如光盘rom设备(cd-rom)、cd可记录驱动器(cd-r驱动器)、cd可重写驱动器(cd-rw驱动器)或数字通用光盘rom驱动器(dvd-rom)。为了便于将磁盘存储装置1414连接到系统总线1408，通常使用可移除或不可移除接口，诸如接口1416。应当理解，磁盘存储装置1414可以存储与用户相关的信息。此类信息可以存储在服务器处或者提供给服务器或用户设备上运行的应用程序。在一个实施方案中，可以向用户通知(例如，通过输出设备1436)存储到磁盘存储装置1414或传输到服务器或应用程序的信息的类型。可以向用户提供选择加入或选择退出通过服务器或应用程序来收集或共享此类信息的机会(例如，通过来自输入设备1428的输入)。
106.应当理解，图14描述了充当用户与合适的操作环境1400中所述的基本计算机资源之间的中介的软件。此类软件包括操作系统1418。可存储在磁盘存储装置1414上的操作系统1418用于控制和分配计算机1402的资源。应用程序1420利用操作系统1418通过程序模块1424来管理资源，以及存储在系统存储器1406中或磁盘存储装置1414上的程序数据1426，诸如引导/关机事务表等。应当理解，要求保护的主题可以用各种操作系统或操作系统的组合来实现。
107.用户通过输入设备1428将命令或信息输入到计算机1402中。输入设备1428包括但不限于指向设备诸如鼠标、轨迹球、触笔、触摸板、键盘、麦克风、操纵杆、游戏板、卫星天线、扫描仪、电视调谐卡、数码相机、数码摄像机、网络摄像头等。这些和其他输入设备经由接口端口1430通过系统总线1408连接到处理单元1404。接口端口1430包括例如串行端口、并行端口、游戏端口和通用串行总线(usb)。输出设备1436使用与输入设备1428相同类型的端口中的一些端口。因此，例如，usb端口可以用于向计算机1402提供输入，并将信息从计算机1402输出到输出设备1436。提供输出适配器1434以示出存在如监视器、扬声器和打印机的一些输出设备1436，以及需要特殊适配器的其他输出设备1436。通过举例说明而非限制的方式，输出适配器1434包括在输出设备1436和系统总线1408之间提供连接方式的视频和声卡。应当指出的是，其他设备或设备的系统提供输入和输出能力，诸如远程计算机1438。
108.计算机1402可使用到一个或多个远程计算机(诸如，远程计算机1438)的逻辑连接而在联网环境中操作。远程计算机1438可以是个人计算机、服务器、路由器、网络pc、工作站、基于微处理器的设备、对等设备、智能电话、平板电脑或其他网络节点，并且通常包括许多相对于计算机1402描述的元素。出于简洁的目的，对于远程计算机1438仅示出了存储器存储设备1440。远程计算机1438通过网络接口1442逻辑连接到计算机1402，然后经由通信连接1444连接。网络接口1442包括有线或无线通信网络诸如局域网(lan)和广域网(wan)以及蜂窝网络。lan技术包括光纤分布式数据接口(fddi)、铜分布式数据接口(cddi)、以太网、令牌环等。wan技术包括但不限于点到点链路、如综合业务数字网络(isdn)及其上的变体的电路交换网络、分组交换网络和数字用户线(dsl)。
109.通信连接1444是指用于将网络接口1442连接到总线1408的硬件/软件。虽然为了清楚地例示而在计算机1402内示出了通信连接1444，但是该通信连接也可在计算机1402外部。仅出于举例的目的，连接到网络接口1442所需的硬件/软件包括内部和外部技术，诸如调制解调器，包括常规电话级调制解调器、电缆调制解调器和dsl调制解调器、isdn适配器，
以及有线和无线以太网卡、集线器和路由器。
110.尽管上面已经在一个和/或多个计算机上运行的计算机程序产品的计算机可执行指令的一般上下文中描述了本主题，但本领域技术人员将认识到，本公开内容也可以或可以与其他程序模块结合来实现。通常，程序模块包括执行特定任务和/或实现特定抽象数据类型的例程、程序、部件、数据结构等。此外，本领域技术人员将理解，可以用其他计算机系统配置来实践本发明的计算机实现方法，这些计算机系统配置包括单处理器或多处理器计算机系统、小型计算设备、大型计算机、以及计算机、手持式计算设备(例如，pda、电话)、基于微处理器或可编程的消费或工业电子器件等。所例示的方面还可以在分布式计算环境中实践，在该环境中，由通过通信网络链接的远程处理设备执行任务。然而，本公开的一些(如果不是全部)方面可以在独立计算机上实践。在分布式计算环境中，程序模块可以位于本地和远程存储器存储设备中。
111.如本技术中所用，术语“部件”、“系统”、“平台”、“接口”等可以指代和/或可以包括计算机相关实体或与具有一个或多个特定功能的操作机相关的实体。本文公开的实体可以是硬件、硬件和软件的组合、软件、或执行中的软件。例如，部件可以是但不限于是在处理器上运行的进程、处理器、对象、可执行文件、执行的线程、程序和/或计算机。通过举例说明的方式，在服务器上运行的应用程序和服务器都可以是部件。一个或多个部件可以驻留在进程和/或执行的线程内，并且部件可以位于一台计算机上和/或分布在两台或更多台计算机之间。在另一个示例中，相应部件可以根据其上存储有各种数据结构的各种计算机可读介质执行。部件可以经由本地和/或远程进程进行通信，诸如根据具有一个或多个数据分组的信号(例如，来自一个部件的数据，该部件在本地系统、分布式系统和/或网络(诸如，经由信号与其他系统的互联网)中与另一个部件交互)。作为另一个示例，部件可以是具有由电气或电子电路操作的机械零件提供的特定功能的装置，该电气或电子电路由处理器所执行的软件或固件应用程序操作。在这种情况下，处理器可以在装置的内部或外部，并且可以执行软件或固件应用程序的至少一部分。作为又一个示例，部件可以是通过电子部件而非机械零件提供特定功能的装置，其中电子部件可以包括处理器或用于执行至少部分地赋予电子部件功能性的软件或固件的其他装置。在一个方面，部件可以例如在云计算系统内经由虚拟机来仿真电子部件。
112.此外，术语“或”旨在表示包含性的“或”而不是排他性的“或”。也就是说，除非另有指明或从上下文中清楚，否则“x采用a或b”旨在表示任何自然的包含性置换。也就是说，如果x采用a；x采用b；或者x采用a和b两者，则在任何前述情况下都满足“x采用a或b”。此外，本说明书和附图中使用的冠词“一”和“一个”通常应解释为是指“一个或多个”，除非另有指明或从上下文中清楚是指单数形式。如本文所用，术语“示例”和/或“示例性”用于表示用作示例、实例或说明，并且旨在是非限制性的。为了避免疑问，本文所公开的主题不受此类示例的限制。此外，本文中描述为“示例”和/或“示例性”的任何方面或设计不必被解释为比其他方面或设计更优选或有利，也不意味着排除本领域普通技术人员已知的等效示例性结构和技术。
113.如在本说明书中采用的，术语“处理器”可以基本上指任何计算处理单元或设备，包括但不限于单核处理器；具有软件多线程执行能力的单处理器；多核处理器；具有软件多线程执行能力的多核处理器；具有硬件多线程技术的多核处理器；并行平台；以及具有分布
式共享存储器的并行平台。另外，处理器可以指集成电路、专用集成电路(asic)、数字信号处理器(dsp)、现场可编程门阵列(fpga)、可编程逻辑控制器(plc)、复杂可编程逻辑设备(cpld)、分立栅极或晶体管逻辑部件、分立硬件部件、或被设计为执行本文所述的功能的其任意组合。另外，处理器可以利用纳米级架构(诸如但不限于基于分子和量子点的晶体管、开关和门)以便优化空间使用或增强用户设备的性能。处理器也可以被实现为计算处理单元的组合。在本公开中，术语诸如“存储”、“存储装置”、“数据存储”、“数据存储装置”、“数据库”、以及与部件的操作和功能相关的基本上任何其他信息存储部件用于指代“存储器部件”、体现在“存储器”中的实体、或包括存储器的部件。应当认识到，本文所述的存储器和/或存储器部件可以是易失性存储器或非易失性存储器，或者可以包括易失性和非易失性存储器两者。以举例说明而非限制的方式，非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除rom(eeprom)、闪存存储器、或非易失性随机存取存储器(ram)(例如，铁电ram(feram))。例如，易失性存储器可以包括ram，其可以充当外部高速缓存存储器。以举例说明而非限制的方式，ram能以多种形式提供，诸如同步ram(sram)、动态ram(dram)、同步dram(sdram)、双倍数据速率sdram(ddr sdram)、增强型sdram(esdram)、synchlink dram(sldram)、直接rambus ram(drram)、直接rambus动态ram(drdram)和rambus动态ram(rdram)。另外，本文所公开的系统或计算机实现的方法的存储器部件旨在包括但不限于包括这些和任何其他合适类型的存储器。
114.上面已经描述的内容仅包括系统和计算机实现方法的示例。当然，无法为了描述本公开的目的而描述部件或计算机实现方法的每种可想到的组合，但本领域的普通技术人员可以认识到，本公开的许多进一步组合和置换是可能的。此外，关于在具体实施方式、权利要求书、附录和附图中使用术语“包括”、“具有”、“拥有”等的程度，此类术语旨在以类似于术语“包括”的方式为包括性的，如“包括”在权利要求中被用作过渡词时那样解释。已经出于说明的目的给出了各种实施方案的描述，但这些描述并不旨在是穷举的或限于所公开的实施方案。在不脱离所描述的实施方案的范围和精神的情况下，许多修改和变型对于本领域普通技术人员而言是显而易见的。选择本文使用的术语是以最好地解释实施方案的原理、优于市场上发现的技术的实际应用或技术改进，或者使得本领域的其他普通技术人员能够理解本文公开的实施方案。