用于将磁共振图像转换成伪计算机断层摄影术图像的方法和系统与流程

1.本文所公开的主题的实施方案涉及磁共振成像，并且更具体地讲，涉及将磁共振图像转换成类计算机断层摄影术图像。


背景技术：

2.体内的电子密度信息对于放射治疗计划中的准确剂量计算以及对于在正电子发射断层摄影术(pet)成像中计算衰减校正图是必不可少的。在传统放射治疗计划和pet成像中，计算机断层摄影术(ct)图像提供组织的电子密度和衰减特征的必要信息。具体地，ct成像使得能够同时准确描绘内部解剖结构，诸如骨、软组织和血管。


技术实现要素：

3.在一个实施方案中，一种方法包括：获取磁共振(mr)图像；使用多任务神经网络生成对应于mr图像的伪ct图像；以及输出mr图像和伪ct图像。以这种方式，ct成像相对于准确密度信息(尤其是在表现出高动态范围的骨的稀疏区域中)的益处可以在仅mr工作流中获得，从而实现mr图像中增强的软组织对比度的益处，同时消除患者的ct剂量暴露。
4.应当理解，提供上面的简要描述来以简化的形式介绍在具体实施方式中进一步描述的精选概念。这并不意味着识别所要求保护的主题的关键或必要特征，该主题的范围由具体实施方式后的权利要求书唯一地限定。此外，所要求保护的主题不限于解决上文或本公开的任何部分中提到的任何缺点的实施方式。
附图说明
5.通过参考附图阅读以下对非限制性实施方案的描述将更好地理解本公开，其中以下：
6.图1是根据本公开的实施方案的mri系统的框图；
7.图2是示出根据本公开的实施方案的用于使用深度多任务神经网络将mr图像转换成伪ct图像的图像处理系统的示意图；
8.图3是示出根据本公开的实施方案的用于将mr图像转换成伪ct图像的多任务神经网络的实施方案的布局的示意图；
9.图4是示出根据本公开的实施方案的可在图2的图像处理系统中使用的深度多任务神经网络的布局的示意图；
10.图5是示出根据本公开的实施方案的用于训练深度多任务神经网络以从具有聚焦感兴趣区域准确性的mr图像生成伪ct图像的示例性方法的高级流程图；
11.图6是示出根据本公开的实施方案的用于使用深度多任务神经网络从mr图像生成伪ct图像的示例性方法的高级流程图；
12.图7示出了示出与输入mr图像和地面实况ct图像相比根据不同技术生成的示例性
伪ct图像的一组图像；
13.图8示出了示出针对多个病例的伪ct和ct图像的软组织和骨区域的归一化柱状图的一组曲线图；并且
14.图9示出了示出多个情况下不同骨密度阈值处的伪ct骨区域的dice系数的曲线图的一组曲线图。
具体实施方式
15.以下描述涉及用于将mr图像转换成伪ct或类ct图像的各种实施方案。体内的电子密度信息对于放射治疗(rt)计划中的准确剂量计算以及对于在正电子发射断层摄影术(pet)成像中计算衰减校正图是必不可少的。在传统rt治疗计划和pet/ct成像中，ct图像提供组织的电子密度和衰减特征的必要信息。然而，使用仅mr临床工作流来利用mr图像中增强的软组织对比度的益处的趋势不断增加。为了替换ct图像，需要从mri推断用于rt剂量计算和pet/mr衰减校正的密度图。使用mri替换ct的一种方法可以包括将mr图像映射到对应的ct图像，以提供类ct hounsfield单位(hu)值作为伪ct(pct)图像。以这种方式，可以仅使用mri系统(诸如图1所描绘的mr装置)来获得ct成像的某些益处。然而，在ct图像中，骨值可在250hu至超过2000hu的范围内，同时仅占据身体区域的一部分。因此，先前基于机器学习模型生成pct图像的方法例如由于骨区域的大动态范围和空间稀疏度而趋于偏向训练来自软组织和背景区域的空间主值，从而导致骨区域内的准确性降低。此外，骨区域在更高的密度下变得更稀疏，并且对网络优化的贡献甚至更小。伪ct图像中的不准确骨值分配可导致例如rt治疗计划的剂量计算中的一系列误差。为了更好地利用mri进行rt治疗计划，图像处理系统(诸如图2所描绘的图像处理系统)可包括被配置为生成具有准确骨值分配的pct图像的深度多任务神经网络模块。具体地，深度多任务神经网络模块将mr图像作为输入，并且输出具有跨不同密度和组织类别的准确hu值分配的pct图像。在一个示例中，为了增加合成ct的骨估计的准确性，向多任务神经网络分配整个图像转换、感兴趣区域的准确分割和感兴趣区域内的图像值估计的任务。例如，如图3所描绘，多任务神经网络因此输出用于三个相应任务的伪ct图像、骨掩模和骨hu图像或骨密度图。多任务神经网络可被实现为具有多个输出层的二维u-net卷积神经网络，例如如图4所描绘。多任务神经网络可例如根据训练方法(诸如图5所描绘的方法)进行训练，以同时执行多个任务，使得相关任务改善网络的归一化。一种用于在训练之后实现此类多任务神经网络的方法(诸如图6所描绘的方法)可以包括从mr图像生成伪ct图像，并且用也由多任务神经网络生成的骨hu图像更新伪ct图像。通过构建如本文所述的神经网络并训练神经网络以执行多个相关任务，相对于其他方法甚至其他基于深度神经网络的方法，pct生成的准确性得到改善，如图7至图9中的定性比较和定量比较所描绘。
16.现在转到图片，图1示出了磁共振成像(mri)装置10，该磁共振成像装置包括静磁场磁体单元12、梯度线圈单元13、rf线圈单元14、rf体或体积线圈单元15、传输/接收(t/r)开关20、rf驱动器单元22、梯度线圈驱动器单元23、数据获取单元24、控制器单元25、患者检查床或床26、数据处理单元31、操作控制台单元32和显示单元33。在一些实施方案中，该rf线圈单元14是表面线圈，其是通常被放置在受检者16的感兴趣的解剖结构附近的局部线圈。此处，rf体线圈单元15是传输rf信号的传输线圈，并且局部表面rf线圈单元14接收mr信
号。因此，传输体线圈(例如，rf体线圈单元15)和表面接收线圈(例如，rf线圈单元14)是独立但电磁耦接的部件。mri装置10将电磁脉冲信号传输到放置在成像空间18中的受检者16，其中形成静态磁场以执行扫描来从受检者16获得磁共振信号。可基于由此通过扫描获得的磁共振信号来重建受检者16的一个或多个图像。
17.静磁场磁体单元12包括例如安装在环形真空容器内的环形超导磁体。磁体限定了围绕受检者16的圆柱形空间，并且生成恒定的主静磁场b0。
18.mri装置10还包括梯度线圈单元13，该梯度线圈单元在成像空间18中形成梯度磁场，以便为由rf线圈阵列(例如，rf线圈单元14和/或rf体线圈单元15)接收的磁共振信号提供三维位置信息。梯度线圈单元13包括三个梯度线圈系统，每个梯度线圈系统生成沿彼此垂直的三个空间轴线中的一者的梯度磁场，并且根据成像条件在频率编码方向、相位编码方向和切片选择方向中的每一方向上生成梯度场。更具体地，梯度线圈单元13在受检者16的切片选择方向(或扫描方向)上施加梯度场，以选择切片；并且rf体线圈单元15或局部rf线圈阵列可以将rf脉冲传输到受检者16的所选择的切片。梯度线圈单元13还在受检者16的相位编码方向上施加梯度场，以对来自由rf脉冲激发的切片的磁共振信号进行相位编码。然后梯度线圈单元13在受检者16的频率编码方向上施加梯度场，以对来自由rf脉冲激发的切片的磁共振信号进行频率编码。
19.rf线圈单元14被设置为例如包围受检者16的待成像区域。在一些示例中，rf线圈单元14可被称为表面线圈或接收线圈。在由静磁场磁体单元12形成静磁场b0的静磁场空间或成像空间18中，rf线圈单元15基于来自控制器单元25的控制信号将作为电磁波的rf脉冲传输到受检者16，并且从而生成高频磁场b1。这激发了受检者16的待成像的切片中的质子自旋。rf线圈单元14接收当在受检者16的待成像的切片中由此激发的质子自旋返回到与初始磁化矢量对准时生成的电磁波作为磁共振信号。在一些实施方案中，rf线圈单元14可传输rf脉冲并接收mr信号。在其他实施方案中，rf线圈单元14可仅用于接收mr信号，而不用于传输rf脉冲。
20.rf体线圈单元15被设置为例如包围成像空间18，并且在成像空间18内产生与由静磁场磁体单元12产生的主磁场b0正交的rf磁场脉冲以激发核。与rf线圈单元14相比，其可以与mri装置10断开并且用另一个rf线圈单元替换，rf体线圈单元15固定地附接并连接到mri装置10。此外，尽管局部线圈诸如rf线圈单元14可以仅从受检者16的局部区域传输或接收信号，但是rf体线圈单元15通常具有更大的覆盖区。例如，rf体线圈单元15可用于向受检者16的全身传输或接收信号。使用仅接收的局部线圈和传输体线圈提供均匀的rf激发和良好的图像均匀性，代价是沉积在受检者中的rf功率较高。对于传输-接收局部线圈，局部线圈向感兴趣区域提供rf激发并接收mr信号，从而减少沉积在受检者中的rf功率。应当理解，rf线圈单元14和/或rf体线圈单元15的特定用途取决于成像应用。
21.当以接收模式操作时，t/r开关20可以选择性地将rf体线圈单元15电连接到数据获取单元24，并且当以传输模式操作时，t/r开关20可以选择性地将rf体线圈单元15电连接到rf驱动器单元22。类似地，当rf线圈单元14以接收模式操作时，t/r开关20可以选择性地将rf线圈单元14电连接到数据获取单元24，并且当以传输模式操作时，t/r开关20可以选择性地将rf线圈单元14电连接到rf驱动器单元22。当rf线圈单元14和rf体线圈单元15都用于单次扫描时，例如，如果rf线圈单元14被配置为接收mr信号并且rf体线圈单元15被配置为
传输rf信号，则t/r开关20可以将来自rf驱动器单元22的控制信号引导到rf体线圈单元15，同时将接收的mr信号从rf线圈单元14引导到数据获取单元24。rf体线圈单元15的线圈可以被配置为以仅传输模式或传输-接收模式操作。局部rf线圈单元14的线圈可以被配置为以传输-接收模式或仅接收模式操作。
22.rf驱动器单元22包括栅极调制器(未示出)、rf功率放大器(未示出)和rf振荡器(未示出)，它们用于驱动rf线圈(例如，rf线圈单元15)并在成像空间18中形成高频磁场。rf驱动器单元22基于来自控制器单元25的控制信号并且使用栅极调制器，将从rf振荡器接收的rf信号调制成具有预定包络的预定定时的信号。由栅极调制器调制的rf信号由rf功率放大器放大，然后输出到rf线圈单元15。
23.梯度线圈驱动器单元23基于来自控制器单元25的控制信号驱动梯度线圈单元13，从而在成像空间18中生成梯度磁场。梯度线圈驱动器单元23包括与梯度线圈单元13中包括的三个梯度线圈系统对应的三个驱动器电路系统(未示出)。
24.数据获取单元24包括前置放大器(未示出)、相位检测器(未示出)和用于获取由rf线圈单元14接收的磁共振信号的模拟/数字转换器(未示出)。在数据获取单元24中，相位检测器相位将来自rf驱动器单元22的rf振荡器的输出用作参考信号来检测从rf线圈单元14接收并由前置放大器放大的磁共振信号，并将相位检测的模拟磁共振信号输出到模拟/数字转换器，以转换成数字信号。由此获得的数字信号被输出到数据处理单元31。
25.mri装置10包括用于在其上放置受检者16的检查床26。通过基于来自控制器单元25的控制信号移动检查床26，可以使受检者16在成像空间18的内部和外部移动。
26.控制器单元25包括计算机和其上记录有要由计算机执行的程序的记录介质。程序在被计算机执行时使装置的各个部分执行与预定扫描对应的操作。记录介质可包括例如rom、软盘、硬盘、光盘、磁光盘、cd-rom或非易失性存储卡。控制器单元25连接到操作控制台单元32并且处理输入到操作控制台单元32的操作信号，并且还通过向它们输出控制信号来控制检查床26、rf驱动器单元22、梯度线圈驱动器单元23和数据获取单元24。控制器单元25还基于从操作控制台单元32接收的操作信号来控制数据处理单元31和显示单元33以获得期望的图像。
27.操作控制台单元32包括用户输入设备，诸如触摸屏、键盘和鼠标。操作者使用操作控制台单元32，例如，输入此类数据作为成像协议，并且设置要执行成像序列的区域。关于成像协议和成像序列执行区域的数据被输出到控制器单元25。
28.数据处理单元31包括计算机和记录介质，在该记录介质上记录由计算机执行以执行预定数据处理的程序。数据处理单元31连接到控制器单元25，并且基于从控制器单元25接收的控制信号执行数据处理。数据处理单元31还连接到数据获取单元24，并且通过对从数据获取单元24输出的磁共振信号施加各种图像处理操作来生成光谱数据。
29.显示单元33包括显示设备，并且基于从控制器单元25接收的控制信号在显示设备的显示屏幕上显示图像。显示单元33显示例如关于操作者从操作控制台单元32输入操作数据的输入项目的图像。显示单元33还显示由数据处理单元31生成的受检者16的二维(2d)切片图像或三维(3d)图像。
30.参考图2，示出了根据示例性实施方案的医学图像处理系统200。在一些实施方案中，医学图像处理系统200结合到医学成像系统中，例如mri系统、ct系统、x射线系统、pet系
统、超声系统等。在一些实施方案中，医学图像处理系统200设置在经由有线连接和/或无线连接可通信地耦接到医学成像系统的设备(例如，边缘设备、服务器等)处。在一些实施方案中，医学图像处理系统200设置在单独的设备(例如，工作站)处，该设备可从医学成像系统或者从存储由医学成像系统生成的图像的存储设备接收图像。医学图像处理系统200可包括图像处理系统202、用户输入设备216和显示设备214。
31.图像处理系统202包括处理器204，该处理器被配置为执行存储在非暂态存储器206中的机器可读指令。处理器204可以是单核或多核的，并且在其上执行的程序可以被配置用于进行并行或分布式处理。在一些实施方案中，处理器204可以任选地包括分布在两个或更多个设备中的单独组件，其可以被远程定位和/或配置用于协调处理。在一些实施方案中，处理器204的一个或多个方面可被虚拟化并由以云计算配置进行配置的能够远程访问的联网计算设备执行。
32.非暂态存储器206可存储深度多任务神经网络模块208、训练模块210和医学图像数据212，诸如磁共振图像数据。深度多任务神经网络模块208可包括一个或多个深度多任务神经网络，该一个或多个深度多任务神经网络包括多个参数(包括权重、偏差、激活函数)，以及用于实现一个或多个深度多任务神经网络以接收mr图像并且将mr图像映射到输出的指令，其中可从输出中产生对应于mr图像的伪ct图像。例如，深度多任务神经网络模块208可存储用于实现多任务神经网络(诸如图4所示的cnn架构400的多任务卷积神经网络(cnn))的指令。深度神经网络模块208可包括经训练和/或未经训练的多任务神经网络，并且还可包括与存储在其中的一个或多个多任务神经网络有关的各种数据或元数据。
33.非暂态存储器206还可存储训练模块210，该训练模块包括用于训练存储在深度多任务神经网络模块208中的深度神经网络中的一个或多个深度神经网络的指令。训练模块210可包括指令，该指令在由处理器204执行时使图像处理系统202进行在下面详细讨论的方法500的步骤中的一个或多个步骤。在一些实施方案中，训练模块210包括用于以下操作的指令：实现一个或多个梯度下降算法；应用用于每个任务的一个或多个损失函数以及基于用于每个任务的一个或多个损失函数的复合损失函数；和/或训练例程以用于调整深度多任务神经网络模块208的一个或多个深度多任务神经网络的参数。在一些实施方案中，训练模块210包括用于从医学图像数据212智能地选择训练数据集的指令。在一些实施方案中，训练数据集包括同一患者的同一解剖区域的对应的mr和ct医学图像对。此外，在一些实施方案中，训练模块210包括用于通过基于医学图像数据212中的ct图像生成骨掩模和骨hu图像来生成训练数据集的指令。在一些实施方案中，训练模块210不设置在图像处理系统202处。深度多任务神经网络模块208包括训练和验证的网络。
34.非暂态存储器206还存储医学图像数据212。医学图像数据212包括例如从mri系统捕获的mr图像、由ct成像系统获取的ct图像等。例如，医学图像数据212可以存储患者的对应mr图像和ct图像。在一些实施方案中，医学图像数据212可包括多个训练数据对，该多个训练数据对包括mr图像和ct图像对。
35.在一些实施方案中，非暂态存储器206可以包括设置在两个或更多个设备上的组件，这些组件可以被远程定位和/或配置用于协调处理。在一些实施方案中，非暂态存储器206的一个或多个方面可以包括以云计算配置进行配置的能够远程访问的联网存储设备。
36.图像处理系统200还可包括用户输入设备216。用户输入设备216可包括触摸屏、键
盘、鼠标、触控板、运动感测相机或被配置为使用户能够与图像处理系统202内的数据交互并操纵该数据的其他设备中的一者或多者。例如，用户输入设备216可使用户能够选择医学图像(诸如mr图像)以转换成伪ct图像。
37.显示设备214可以包括利用几乎任何类型技术的一个或多个显示设备。在一些实施方案中，显示设备214可包括计算机监视器，并且可显示未处理的和已处理的mr图像和/或伪ct图像。显示设备214可与处理器204、非暂态存储器206和/或用户输入设备216组合在共享壳体中，或者可以是外围显示设备，并且可包括监视器、触摸屏、投影仪或本领域已知的其他显示设备，其可使用户能够查看医学图像，和/或与存储在非暂态存储器206中的各种数据交互。
38.应当理解，图2所示的图像处理系统200是用于说明而非限制。另一种合适的图像处理系统可以包括更多、更少或不同的部件。
39.转到图3，示出了用于将mr图像310转换成伪ct或pct图像330的转换过程300的第一实施方案的示意图。具体地，转换过程300包括将mr图像310输入到多任务神经网络320，该多任务神经网络继而输出对应于输入mr图像310的伪ct图像330、骨掩模340和骨hu图像350。
40.因此，多任务神经网络320将mr图像310映射到其对应的与地面实况ct图像(未示出)匹配的伪ct图像330。ct图像(i
ct
)可被视为具有三种不同密度类别的空间不重叠集合：
41.i
ct
＝(i
空气
∪i
组织
∪i
骨
)，
42.其中i
空气
对应于空气，i
组织
对应于组织，并且i
骨
对应于骨。假设mr图像i
mr
(例如，mr图像310)和ct图像i
ct
为空间对准的，从而意味着伪ct图像i
pct
(例如，伪ct图像330)的空间对准，ct图像与pct图像330之间的误差可被定义为
43.e＝i
ct-i
pct
。
44.较小的e值导致某一类别内的密度偏差。然而，较大的e值导致被不同地分类的像素；此类误差更可能发生在两个类别之间的边界位置处，并且可导致累积分类误差。因此，误差e可被视为包括不同类别之间的分类误差和每个类别内的图像值估计误差两者。网络的总体目标是通过最小化地面实况ct图像与pct图像330之间的误差e来将mr图像310映射到pct图像330。
45.多任务神经网络320被配置有多个任务，使得分类和回归的任务分离，而不是配置具有将mr图像310映射到pct图像330的单个任务的神经网络。通过分离分类和回归的任务，并且通过优化多任务神经网络320以同时减少两个误差，可以针对相关任务中的每个相关任务实现隐式增强。尽管任务是相关的，但预期多任务神经网络320以彼此不同的方式学习它们，并且为了单独地优化任务，每个任务由专用损失函数驱动。如本文进一步所述，多任务神经网络320被配置有三个任务：整个图像转换、感兴趣区域的准确分割和感兴趣区域内的图像值估计。每个任务由损失函数驱动，该损失函数被调制为使特定误差最小化，从而有助于多任务神经网络320的总体最佳状态。
46.平均绝对误差(mae)是用于图像回归的合适的损失函数。然而，mae是全局量度，其既不考虑图像中每个类别的区域体积之间的不平衡，也不能够按需聚焦在图像的区域上。mae可适于通过对与图像的其余部分相比对区域损失进行正向加权来包括空间聚焦的能力，其中区域的相对体积可用作隐式权重因子。例如，对于具有nk个样本的给定区域k，区域
k内的平均绝对误差(mae)计算为：
[0047][0048]
其中yi为真值，并且为估计值。然后可将用于具有包括第一类别k和第二类别k'的两个互补空间类别{k,k’}的图像的加权mae定义为：
[0049][0050]
其中
[0051]
nk+nk′
＝n
[0052]
是整个图像的体积。在第一类别的体积n-k
远小于第二类别的体积n
k'
的类别不平衡的场景中，第一类别的平均绝对误差mae-k
的值被第二类别的体积n
k'
强调，使得第一类别的平均绝对误差mae-k
相当于第二类别的平均绝对误差mae
k'
。该结果可被视为由第一类别被k表示的图像内的区域上的空间聚焦。当第一类别的体积nk等于第二类别的体积n
k'
，例如使得每个体积等于图像的总体积n的一半时，则上述加权平均绝对误差(例如，wmaek)变成为全局平均绝对误差mae。
[0053]
对于分割任务，平滑的dice系数损失通常是优选的损失函数。在给定的一对分割概率图之间，将dice损失定义为：
[0054][0055]
其中xi和在图像中分别为真骨概率值和预测骨概率值。
[0056]
如上文所提及的，多任务神经网络320被配置为学习具有生成伪ct图像330的主要目的的多个任务。该任务包括生成伪ct图像330的第一任务，生成骨掩模340的第二任务，以及生成骨hu图像350(例如，就hu而言的感兴趣的骨区域内的图像值)的第三任务。为了生成伪ct图像i
pct
，多任务神经网络320的主要任务是对应于不同类别的整个ct值(hu)范围的整个图像回归。因此，该第一任务或pct图像任务由身体区域的回归损失驱动：
[0057][0058]
为了生成骨掩模x
骨
，多任务神经网络的辅助任务是从图像的其余部分分割骨区域。具体地，第二任务的损失通过对将其他区域作为骨的错误分类进行罚分来使骨区域的形状正则化。为此，第二任务或骨掩模任务因此由分割损失驱动，其可包括上文所讨论的dice损失ld：
[0059][0060]
为了生成骨hu值图或骨hu图像i
骨
，多任务神经网络的辅助任务是在骨区域内生成连续密度值图。尽管第三任务是第一任务的子集，但考虑到目标动态范围大，则第三任务的损失使感兴趣区域(例如，骨区域)中的回归明确地正则化。为了聚焦在骨区域上，身体区域的其余部分连同背景被视为互补类别。因此，第三任务或骨hu图像任务由聚焦在值的子范
围上的回归损失驱动，由下式定义：
[0061][0062]
多任务神经网络的总体目标由从输入mr图像i
mr
生成伪ct图像i
pct
、骨图x
骨
和骨hu图像i
骨
的复合任务来定义：
[0063]imr
→
{i
pct
；x
骨
；i
骨
}。
[0064]
为此，通过最小化多任务神经网络320的复合损失函数l来优化多任务神经网络：
[0065][0066]
其中损失系数权重w1、w2和w3可根据对应的任务的重要性凭经验选择或通过对每个任务的不确定性进行建模来选择。作为例示性示例，可以通过将主要任务的权重w1设置为一并且对骨分割和回归损失进行上加权来凭经验选择损失系数权重。例如，w1可被设置为1.0，w2可被设置为1.5，并且w3可被设置为1.3。
[0067]
虽然在图3中描绘并且在上文描述了单个输入mr图像310，但是应当理解，在一些示例中，可以将多于一个mr图像310输入到多任务神经网络320。输入mr图像310因此可以包括多个mr图像310。例如，输入mr图像310可包括单个二维mr图像切片和/或三维mr图像体积(例如，包括多个二维mr图像切片)。因此，应当理解，如本文关于mr图像所用的术语“图像”因此可以指二维切片或三维体积。
[0068]
如本文参照图4进一步所述，作为例示性和非限制性示例，多任务神经网络320可包括具有多个输出层的二维u-net卷积神经网络。在一些例示性和非限制性示例中，编码器网络可包括具有两个卷积-批归一化-指数线性单元(elu)-最大池化操作块的四个层级。这些层之后可以是瓶颈层中的两个卷积-批归一化-elu操作块。解码器网络可包括具有两个升采样-卷积-批归一化-丢弃操作块的四个层级。输入mr图像310由卷积层块编码，该卷积层块在每个分辨率下在两个不同标度(例如，7
×
7和5
×
5的滤波器大小)下操作。这种在每个分辨率下的标度空间特征棱锥比在单个标度下的单个特征更好地编码特征。解码器路径被设计为具有共享层直到最终层。在最终层处，经由卷积-线性操作获得pct图像330，经由卷积-s形操作获得骨掩模340，并且经由卷积-整流线性单元(relu)操作获得骨hu值图或骨图像350，其中每个输出层以1
×
1滤波器大小操作。
[0069]
如本文进一步所述，本文所述的特定于具体实现的参数(诸如滤波器的数量、u-net层、滤波器大小、最大池化大小和学习速率)是例示性的和非限制性的。实际上，可实现被配置用于多任务学习的任何合适的神经网络。本文描述本公开的一个或多个具体实施方案以便提供透彻的理解。本领域技术人员将理解，在不脱离本公开的实质的情况下，可以在实施时修改实施方案中描述的具体细节。
[0070]
转到图4，示出了示例性多任务卷积神经网络(cnn)400的架构。多任务cnn 400，本文简单且可互换地称为cnn 400，表示根据本公开的机器学习模型的一个示例，其中可使用根据本文公开的一种或多种方法产生的训练数据来学习cnn 400的参数。cnn 400包括u-net架构，该u-net架构可分为自动编码器部分(下降部分，元件402-430)和自动解码器部分(上升部分，元件432-458)。cnn 400被配置为接收包括多个像素/体素的mr图像，并将输入mr图像映射到多个预定类型的输出。cnn 400包括一系列映射，这些映射从可由输入层接收的输入图像图块402，穿过多个特征标测图，且最后映射到输出层458a至458c。尽管本文描
述了二维输入，但应当理解，本文所述的多任务神经网络(包括多任务cnn 400)可被配置为附加地或另选地接受三维图像作为输入。换句话讲，多任务cnn 400可以接受二维mr图像切片和/或三维mr图像体积作为输入。
[0071]
图例460中标记了包括cnn 400的各种元件。如图例460所指示，cnn 400包括多个特征标测图(和/或复制的特征标测图)，其中每个特征标测图可接收来自外部文件或先前的特征标测图的输入，并且可将所接收的输入转换/映射成输出以产生下一特征标测图。每个特征标测图都可包括多个神经元，其中在一些实施方案中，每个神经元都可接收来自前一层/特征标测图的神经元的子集的输入，并且可基于所接收的输入来计算单个输出，其中输出可传播到下一层/特征标测图中的神经元的子集。可以使用空间维度诸如长度、宽度和深度来描述特征标测图，其中维度是指包括特征标测图的神经元的数量(例如，指定的特征标测图是多少神经元长、多少神经元宽、以及多少神经元深)。
[0072]
在一些实施方案中，特征标测图的神经元可通过使用学习权重集(每个学习权重集在本文中可被称为滤波器)执行所接收的输入的点积来计算输出，其中每个所接收的输入具有唯一的对应的学习权重，其中该学习权重是在cnn的训练期间学习的。
[0073]
由每个特征标测图执行的转换/映射由箭头指示，其中每种类型的箭头对应于不同的转换，如图例460所指示。向右指向的实心黑色箭头指示步幅为1的3
×
3卷积，其中来自紧接着先前的特征标测图的特征通道的3
×
3网格的输出被映射到当前特征标测图的单个特征通道。每个3
×
3卷积都可跟随有激活函数，其中在一个实施方案中，激活函数包括整流线性单元(relu)。
[0074]
向下指向的中空箭头指示2
×
2最大池化，其中来自特征通道的2
×
2网格的最大值从紧接着先前的特征标测图传播到当前特征标测图的单个特征通道，从而导致紧接着先前特征标测图的空间分辨率降低4倍。
[0075]
向上指向的中空箭头指示2
×
2上卷积，其包括将来自紧接着先前的特征标测图的单个特征通道的输出映射到当前特征标测图中的特征通道的2
×
2网格，从而将紧接着先前的特征标测图的空间分辨率提高4倍。
[0076]
向右指向的虚线箭头指示复制和裁剪特征标测图以与另一个以后出现的特征标测图级联。裁剪使复制的特征标测图的维度能够与待与复制的特征标测图级联的特征通道的维度匹配。应当理解，当正复制的第一特征标测图的大小和待与第一特征标测图级联的第二特征标测图的大小相等时，可不执行裁剪。
[0077]
具有中空细长三角形头部的向右指向的箭头指示1
×
1卷积，其中紧接着先前的特征标测图中的每个特征通道被映射到当前特征标测图的单个特征通道，或者换句话讲，其中在紧接着先前的特征标测图与当前特征标测图之间发生了特征通道的1对1映射。如图所描绘，具有中空三角形头部的其他向右指向的箭头指示具有不同激活函数的卷积，包括线性激活函数、整流线性单元(relu)激活函数和s形激活函数。
[0078]
除了图例460内的箭头所指示的操作之外，cnn 400还包括在图4中用实心填充矩形表示的特征标测图，其中特征标测图包括高度(如图4所示的从上到下的长度，其对应于x-y平面中的y空间维度)、宽度(图4中未示出，假设量值与高度相等，并且对应于x-y平面中的x空间维度)和深度(如图4所示的左右长度，其对应于每个特征通道内的特征的数量)。同样，cnn 400包括在图4中用中空(未填充)矩形表示的复制和裁剪的特征标测图，其中复制
的特征标测图包括高度(如图4所示的从上到下的长度，其对应于x-y平面中的y空间维度)、宽度(图4中未示出，假设量值与高度相等，并且对应于x-y平面中的x空间维度)和深度(如图4所示从左侧到右侧的长度，其对应于每个特征通道内的特征的数量)。
[0079]
在输入图像图块402(在本文也称为输入层)处开始，可输入对应于mr图像的数据并将其映射到第一特征集。在一些实施方案中，输入数据在由神经网络处理之前被预处理(例如，归一化)。可在训练过程期间学习cnn 400的每一层的权重/参数，其中将输入和预期输出(地面实况输出)的匹配对馈送到cnn 400。可基于梯度下降算法或其他算法来调整参数，直到cnn 400的输出在阈值准确性内与预期输出(地面实况输出)匹配为止。
[0080]
如紧接着输入图像图块402右侧的实心黑色向右指向的箭头所指示，执行输入图像图块402的特征通道的3
×
3卷积以产生特征标测图404。如上面所讨论的，3
×
3卷积包括使用学习的权重将输入从特征通道的3
×
3网格映射到当前特征标测图的单个特征通道，其中将学习的权重称为卷积滤波器。cnn架构400中的每个3
×
3卷积可包括后续激活函数，在一个实施方案中，该后续激活函数包括将每个3
×
3卷积的输出通过relu。在一些实施方案中，可采用relu之外的激活函数诸如softplus(也称为smoothrelu)、泄漏relu、嘈杂relu、指数线性单元(elu)、tanh、高斯、sinc、bent identity、逻辑函数和机器学习领域中已知的其他激活功能。
[0081]
如紧接着特征标测图404右侧的实心黑色向右指向的箭头所指示，在特征标测图404上执行3
×
3卷积以产生特征标测图406。
[0082]
如特征标测图406下方的向下指向的箭头所指示，在特征标测图406上执行2
×
2最大池化操作以产生特征标测图408。简而言之，2
×
2最大池化操作包括从紧接着先前的特征标测图的特征通道的2
×
2网格确定最大特征值，以及将当前特征标测图的单个特征通道中的单个特征设置为如此确定的最大值。另外，特征标测图406被复制并与来自特征标测图448的输出级联以产生特征标测图450，如紧接着特征标测图406右侧的虚线向右指向的箭头所指示。
[0083]
如紧接着特征标测图408右侧的实心黑色向右指向的箭头所指示，在特征标测图408上执行步幅为1的3
×
3卷积以产生特征标测图410。如紧接着特征标测图410右侧的实心黑色向右指向的箭头所指示，在特征标测图410上执行步幅为1的3
×
3卷积以产生特征标测图412。
[0084]
如特征标测图412下方的向下指向的中空头部箭头所指示，在特征标测图412上执行2
×
2最大池化操作以产生特征标测图414，其中特征标测图414是特征标测图412的空间分辨率的四分之一。另外，特征标测图412被复制并与来自特征标测图442的输出级联以产生特征标测图444，如紧接着特征标测图412右侧的虚线向右指向的箭头所指示。
[0085]
如紧接着特征标测图414右侧的实心黑色向右指向的箭头所指示，在特征标测图414上执行步幅为1的3
×
3卷积以产生特征标测图416。如紧接着特征标测图316右侧的实心黑色向右指向的箭头所指示，在特征标测图416上执行步幅为1的3
×
3卷积以产生特征标测图418。
[0086]
如特征标测图418下方的向下指向的箭头所指示，在特征标测图418上执行2
×
2最大池化操作以产生特征标测图420，其中特征标测图420是特征标测图419的空间分辨率的一半。另外，特征标测图418被复制并与来自特征标测图436的输出级联以产生特征标测图
438，如紧接着特征标测图418右侧的虚线向右指向的箭头所指示。
[0087]
如紧接着特征标测图420右侧的实心黑色向右指向的箭头所指示，在特征标测图420上执行步幅为1的3
×
3卷积以产生特征标测图422。如紧接着特征标测图422右侧的实心黑色向右指向的箭头所指示，在特征标测图422上执行步幅为1的3
×
3卷积以产生特征标测图424。
[0088]
如特征标测图424下方的向下指向的箭头所指示，在特征标测图424上执行2
×
2最大池化操作以产生特征标测图426，其中特征标测图426是特征标测图424的空间分辨率的四分之一。另外，特征标测图424被复制并与来自特征标测图430的输出级联以产生特征标测图432，如紧接着特征标测图424右侧的虚线向右指向的箭头所指示。
[0089]
如紧接着特征标测图426右侧的实心黑色向右指向的箭头所指示，在特征标测图426上执行3
×
3卷积以产生特征标测图428。如紧接着特征标测图428右侧的实心黑色向右指向的箭头所指示，在特征标测图428上执行步幅为1的3
×
3卷积以产生特征标测图430。
[0090]
如特征标测图430正上方的向上指向的箭头所指示，在特征标测图430上执行2
×
2上卷积以产生特征标测图432的第一半部，同时使用来自特征标测图424的复制的特征以产生特征标测图432的第二半部。简而言之，步幅为2的2
×
2上卷积(在本文也称为反卷积或上采样)包括将紧接着先前的特征标测图的单个特征通道中的特征标测图到在当前特征标测图中的四个特征通道之间分布的四个特征(即，来自单个特征通道的输出被当作四个特征通道的输入)。上卷积/解卷积/上采样包括通过去卷积滤波器(在本文也称为去卷积内核)从单个特征通道投影特征值以产生多个输出。
[0091]
如紧接着特征标测图432右侧的实心黑色向右指向的箭头所指示，在特征标测图432上执行3
×
3卷积以产生特征标测图434。
[0092]
如图4所指示，在特征标测图434上执行3
×
3卷积以产生特征标测图436并且在特征标测图436上执行2
×
2上卷积以产生特征标测图438的一半，而来自特征标测图418的复制的特征产生特征标测图438的第二半部。此外，在特征标测图438上执行3
×
3卷积以产生特征标测图440，在特征标测图440上执行3
×
3卷积以产生特征标测图442，并且在特征标测图442上执行2
×
2上卷积以产生特征标测图444的第一半部，同时使用来自特征标测图412的复制和裁剪的特征以产生特征标测图444的第二半部。在特征标测图444上执行3
×
3卷积以产生特征标测图446，在特征标测图446上执行3
×
3卷积以产生特征标测图348，并且在特征标测图448上执行2
×
2上卷积以产生特征标测图450的第一半部，同时使用来自特征标测图406的复制的特征以产生特征标测图450的第二半部。在特征标测图450上执行3
×
3卷积以产生特征标测图452，在特征标测图452上执行3
×
3卷积以产生特征标测图454，在特征标测图454上执行1
×
1卷积以产生输出层456。简而言之，1
×
1卷积包括第一特征空间中的特征通道与第二特征空间中的特征通道的1对1映射，其中不会发生空间分辨率的降低。
[0093]
如由远离输出层456指向的多个箭头所描绘，可通过执行具有不同激活函数的二维卷积来从输出层456获得多个输出。首先，在输出层456上执行具有线性激活函数的二维卷积以产生伪ct图像输出458a。第二，在输出层456上执行具有s形激活函数的二维卷积以产生骨掩模输出458b。第三，在输出层456上执行具有relu激活函数的二维卷积以产生骨图像输出458c。
[0094]
伪ct图像输出层458a包括神经元的输出层，其中每个神经元的输出对应于伪ct图
像的像素。骨掩模输出层458b包括神经元的输出层，其中每个神经元的输出对应于骨掩模或骨掩模图像的像素。骨hu图像输出层458c包括神经元的输出层，其中每个神经元的输出对应于包括在骨区域内的hu值并且在骨区域之外为空的像素。
[0095]
以这种方式，多任务cnn 400可使mr图像能够映射到多个输出。图4中所示的cnn 400的架构包括特征标测图转换，随着输入图像图块传播通过卷积神经网络的神经元层，发生该特征标测图转换，以产生多个预测输出。
[0096]
cnn 400中的卷积层的权重(和偏差)是在训练期间学习的，这将在下面参考图5进行详细讨论。简而言之，定义损失函数以反映每个预测输出与每个地面实况输出之间的差值。可将多任务cnn 400的基于用于每个任务的损失函数的复合差值/损失反投影8到cnn 400以更新卷积层的权重(和偏差)。可使用包括mr图像和对应的地面实况输出的多个训练数据集来训练cnn 400。
[0097]
应当理解，本公开包含神经网络架构，这些神经网络架构包括一个或多个正则化层，该一个或多个正则化层包括批归一化层、丢弃层、高斯噪声层和机器学习领域中已知的其他正则化层，它们可在训练期间使用以减轻过度拟合并提高训练效率，同时减少训练时间。在cnn训练期间使用正则化层，并且在cnn的训练后实施方式期间将其停用或移除。这些层可散布在图4所示的层/特征标测图之间，或者可替换所示层/特征标测图中的一者或多者。
[0098]
应当理解，图4所示的cnn 400的架构和配置是用于说明而非限制。可使用任何合适的多任务神经网络。以上描述本公开的一个或多个具体实施方案以提供透彻的理解。本领域技术人员将理解，在不脱离本公开的实质的情况下，可以在实施时修改实施方案中描述的具体细节。
[0099]
图5是示出根据本公开的实施方案的用于训练深度多任务神经网络(诸如图4所示的cnn 400)以从具有聚焦感兴趣区域准确性的mr图像生成伪ct图像的示例性方法500的高级流程图。可由训练模块210实现方法500。
[0100]
方法500在505处开始。在505处，方法500将包括mr图像、地面实况ct图像、地面实况骨掩模和地面实况骨hu图像的训练数据集馈送到多任务神经网络。mr图像和地面实况ct图像包括分别经由mr和ct成像模态获取的相同患者的相同感兴趣区域的医学图像，使得mr图像和地面实况ct图像彼此对应。从地面实况ct图像生成地面实况骨掩模和地面实况骨hu图像。例如，地面实况ct图像可以被分割以获得包含骨的地面实况ct图像的片段，并且地面实况骨掩模可以包括包含骨的地面实况ct图像的片段。地面实况骨掩模因此包括图像掩模，该图像掩模例如通过将骨片段表示为黑色像素并且将非骨片段表示为白色像素，或者反之亦然，指示对应于骨的地面实况ct图像的位置并且进一步指示不对应于骨的地面实况ct图像的位置。类似地，尽管地面实况骨掩模包括指示骨片段的图像掩模，但是地面实况骨hu值图或地面实况骨hu图像包括骨片段内的hu值。
[0101]
地面实况可包括基于mr图像的输入，从多任务神经网络获得的预期的、理想的或“正确的”结果。包括地面实况ct图像、地面实况骨掩码和地面实况骨hu图像的地面实况输出对应于mr图像，使得可以在多个任务上训练本文所述的多任务神经网络，该多个任务包括生成对应于mr图像的伪ct图像，生成指示伪ct图像内的骨的位置的骨掩模，以及生成指示伪ct图像内的骨hu值的骨hu图像。训练数据集和包括该训练数据集的多个训练数据集可
以存储在图像处理系统中，诸如在图像处理系统202的医学图像数据212中。
[0102]
在510处，方法500将mr图像输入到多任务神经网络的输入层。例如，mr图像被输入到多任务cnn 400的输入层402。在一些示例中，mr图像的每个体素或像素值被输入到多任务神经网络的输入层的不同节点/神经元。
[0103]
在515处，方法500确定包括pct图像、骨掩模和骨hu图像的多任务神经网络的当前输出。例如，多任务神经网络通过从输入层穿过一个或多个隐藏层来传播输入mr图像，直到到达多任务神经网络的输出层，来将输入mr图像映射到pct图像、骨掩模和骨hu图像。pct图像、骨掩模和骨hu图像包括多任务神经网络的输出。
[0104]
在520处，方法500计算pct图像和地面实况ct图像的第一损失。方法500可通过计算由多任务神经网络输出的pct图像与地面实况ct图像之间的差值来计算第一损失。例如，由于多任务神经网络的第一任务是对应于不同类别的整个ct值(hu)范围的整个图像回归，因此可根据下式计算第一损失
[0105][0106]
其中mae
身体
包括整个身体区域的平均绝对误差，该整个身体区域包括骨区域、组织区域等，如上文参照图3所述。
[0107]
在525处，方法500计算骨掩模和地面实况骨掩模的第二损失。方法500可通过计算由多任务神经网络输出的骨掩模与地面实况骨掩模之间的差值来计算第二损失。例如，由于多任务神经网络的第二任务是分割mr图像的骨区域，因此第二损失通过对将其他区域作为骨的错误分类进行罚分来使骨区域的形状正则化。为此，第二损失可以计算为：
[0108][0109]
其中dice损失ld可包括平滑的dice系数损失，如上文参照图3所述。
[0110]
在530处，方法500计算骨hu图像和地面实况骨hu图像的第三损失。方法500可以通过计算由多任务神经网络输出的骨hu图像与地面实况骨hu图像之间的差值来计算第三损失。例如，第三损失使感兴趣区域(例如，骨区域)中的回归明确地正则化，并且为了聚焦在骨区域上，身体区域的其余部分连同背景被视为互补类别。因此，方法500可以通过计算聚焦在值的子范围上的回归损失来计算第三损失，由下式定义：
[0111][0112]
其中wmae
骨
包括如上文参照图3所述的骨区域的加权平均绝对误差。
[0113]
在535处，方法500基于第一损失、第二损失和第三损失计算复合损失。例如，方法500计算多任务神经网络的复合损失函数l：
[0114][0115]
其中损失系数权重w1、w2和w3可基于对应任务的重要性或通过对每个任务的不确定性进行建模来确定。
[0116]
在540处，方法500基于在535处计算的复合损失来调整多任务神经网络的权重和偏差。可通过多任务神经网络将复合损失反向传播以更新卷积层的权重和偏差。在一些示
例中，根据梯度下降算法可发生复合损失的反向传播，其中针对多任务神经网络的每个权重和偏差确定复合损失函数的梯度(一阶导数或一阶导数的近似)。然后，通过将针对权重或偏差确定(或近似)的梯度乘积的负数与预定步长大小相加来更新每个权重和偏差。然后，方法500返回。应当理解，方法500可重复进行，直到多任务神经网络的权重和偏差收敛，或者对于方法500的每次迭代，多任务神经网络的权重和/或偏差的变化率都在阈值以下。
[0117]
以这种方式，方法500使得多任务神经网络能够被训练以在具有不同电子密度的区域中生成具有增加的结构准确性和定量准确性的伪ct图像，其中特别聚焦在准确骨值预测上。
[0118]
一旦如上文所述训练了多任务神经网络，就可部署多任务神经网络以用于生成伪ct图像，该伪ct图像继而可用于改善具有单个成像模态的临床工作流。作为例示性示例，图6是示出根据本公开的实施方案的用于使用深度多任务神经网络从mr图像生成伪ct图像的示例性方法600的高级流程图。参照图1至图4的系统和部件描述了方法600，但应当理解，方法600可在不脱离本公开的范围的情况下用其他系统和部件来实现。方法600可被实现为非暂态存储器206中的可执行指令，该可执行指令可由图像处理系统202的处理器204执行，例如，该图像处理系统可被集成到成像系统(诸如mri装置10)中。
[0119]
方法600在605处开始。在605处，方法600获取mr图像。在医学图像处理系统200被集成到成像系统(诸如mri装置10)中的示例中，例如，方法600可以通过生成rf信号并测量mr信号来控制mri装置10以执行受试者(诸如患者)的扫描。在此类示例中，方法600还可以根据如上文参照图1所述的测得的mr信号来构造受试者的mr图像。在其他示例中，其中图像处理系统200被设置在单独的设备(例如，工作站)处，该设备通信地耦接到成像系统(诸如mri装置10)并且被配置为从成像系统接收mr图像，方法600可以通过从成像系统检索或接收mr图像来获取mr图像。在其他示例中，方法600可以通过从存储装置检索mr图像(例如经由图片归档和通信系统(pacs))来获取mr图像。
[0120]
在610处，方法600将mr图像输入到经训练的多任务神经网络。在一些示例中，经训练的多任务神经网络包括被配置有多个输出层的u-net二维卷积神经网络架构，诸如上文参照图4所述的cnn 400，其具有根据上文参照图5所述的训练方法500训练的自动编码器-自动解码器类型架构。经训练的多任务神经网络基于输入mr图像至少生成对应于mr图像的伪ct(pct)图像，以及与其它任务相关的附加输出，诸如如上文所述的骨掩模和骨hu图像。
[0121]
因此，在615处，方法600从经训练的多任务神经网络接收对应于mr图像的pct图像、骨hu图像和骨掩模。由于骨hu图像是使用定量准确性的特定目标生成的，因此由骨掩模指示的骨区域的hu值可能比pct图像中相同区域的hu值更准确。因此，在620处，方法600使用骨hu图像更新pct图像。例如，方法600可将骨hu图像粘贴到在一些示例中由骨掩模引导的pct图像上，使得骨hu图像中描绘的骨hu值替换pct图像中的对应像素。另选地，骨hu图像可与pct图像共混以改善pct图像的定量准确性，而无需替换pct图像的像素。
[0122]
在620处，方法600输出mr图像和更新的pct图像。例如，方法600可以经由显示设备(诸如显示设备214或显示单元33)显示mr图像和更新的pct图像。然后，方法600返回。
[0123]
图7示出了示出与输入mr图像705和地面实况ct图像710相比根据不同技术生成的示例性伪ct图像的一组图像700。输入mr图像705包括患者的零回波时间(zte)mr图像，该图像通过使用适于在单对比度mri中捕获骨信息的zte协议在mr扫描期间控制mr装置来获取。
地面实况ct图像710包括通过控制ct成像系统以执行患者的ct扫描而获取的患者的ct图像。
[0124]
还执行mr图像705与地面实况ct图像710之间的图像配准。例如，通过将仿射转换应用于ct图像，对准ct图像710以匹配mr图像705的mr图像空间。作为例示性示例，可通过使相互信息和互相关量度的组合最小化来执行配准。可以具体地针对mr-ct图像训练对来执行此类配准，以进一步改善由本文所述的多任务神经网络执行的来自mr图像的pct图像回归、骨分割和骨图像回归的准确性。
[0125]
如上文所提及的，该组图像700还包括根据不同技术生成的示例性伪ct图像。例如，第一伪ct图像720包括使用多任务神经网络从输入mr图像705生成的多任务伪ct图像720，如上文所述。差异图722描绘了地面实况ct图像710与多任务伪ct图像720之间的像素级差异或残余误差(例如，i
ct
–ipct
)。
[0126]
此外，第二伪ct图像730包括使用单任务神经网络从输入mr图像705生成的单任务伪ct图像730，该单任务神经网络适于与本文所述的多任务神经网络类似的架构，但仅针对伪ct图像回归的单个任务进行训练。差异图732描绘了地面实况ct图像710与单任务伪ct图像730之间的差异。
[0127]
又如，第三伪ct图像740包括使用标准回归网络从输入mr图像705生成的标准伪ct图像740，具体地为经训练以执行伪ct图像回归的完全连接的densenet56神经网络。差异图742描绘了地面实况ct图像710与标准伪ct图像740之间的差异。
[0128]
如图所描绘，由差异图722针对多任务伪ct图像720所描绘的残余误差低于由差异图732和差异图742所描绘的残余误差。多任务伪ct图像720和单任务伪ct图像730看起来相似，但是差异图722和差异图732的比较指示多任务伪ct图像720在图像的整个骨区域，特别是颅骨的额骨和鼻骨区域的较低误差，如差异图732中的较暗区域所描绘。差异图742指示在整个骨区域中(诸如在颅骨的枕骨区域中)的更广泛的残余误差。
[0129]
作为本文提供的多任务神经网络与标准单任务神经网络的使用之间的定性差异的另一个例示性示例，图8示出了示出针对多个病例的伪ct和ct图像的软组织和骨区域的归一化柱状图的一组曲线图800。具体地，该组曲线图800包括：用于第一种情况的第一组曲线图810，包括软组织区域的曲线图812和骨区域的曲线图814；用于第二种情况的一组曲线图820，包括软组织区域的曲线图822和骨区域的曲线图824；用于第三种情况的一组曲线图830，包括软组织区域的曲线图832和骨区域的曲线图834；以及用于第四种情况的第四组曲线图840，包括软组织区域的曲线图842和骨区域的曲线图844。
[0130]
每个曲线图示出了经由上文所述的各种技术(包括本文所述的多任务神经网络、单任务神经网络和标准densenet神经网络)获取的地面实况ct图像以及伪ct图像的归一化柱状图的曲线图。具体地，如图例880所描绘，具有实线的曲线图对应于多任务神经网络的测量，具有较长虚线的曲线图对应于地面实况ct图像的测量，具有短虚线的曲线图对应于单任务神经网络的测量，并且具有最短虚线的曲线图对应于densenet56神经网络的测量。
[0131]
预测图像柱状图与每个区域中的ct柱状图的接近度是该范围内在不同值处的图像相似度的指标。如该组曲线图800的每个曲线图所描绘，在所有hu值中，相对于软组织区域和骨区域两者的其他伪ct柱状图(由较短虚线曲线图描绘)，多任务神经网络的伪ct柱状图(由实线曲线图描绘)更紧密地匹配地面实况ct柱状图(由较长虚线曲线图描绘)。
[0132]
图7和图8所描绘的定性分析表明，本文所述的多任务神经网络向伪ct图像回归提供了优于其他基于神经网络的方法的实质定性改善。此外，不同技术的定量分析还确认如本文所述针对伪ct图像回归配置和训练的多任务神经网络相对于其他方法实现了更好的性能。例如，对于使用五种情况评估的所提出的多任务神经网络，身体区域中的平均绝对误差(mae)mae
身体
为90.21
±
8.06，软组织区域中的mae mae
软组织
为61.60
±
7.20，并且骨区域中的mae mae
骨
为159.38
±
12.48。相比之下，对于使用相同的五种情况评估的单任务神经网络，身体区域中的mae mae
身体
为103.05
±
10.55，软组织区域中的mae mae
软组织
为66.90
±
8.24，并且骨区域中的mae mae
骨
为214.50
±
16.05。类似地，对于使用相同的五种情况评估的densenet56神经网络，身体区域中的mae mae
身体
为109.92
±
12.56，软组织区域中的mae mae
软组织
为64.88
±
8.36，并且骨区域中的mae mae
骨
为273.66
±
24.88。身体中的mae mae
身体
是预测的总体准确性的指示。软组织区域中的mae mae-软组织
(在-200hu至250hu范围内)指示低密度值中的预测的准确性。骨区域中的mae mae
骨
(在250hu至3000hu范围内)指示骨值范围内的预测的准确性。因此，多任务神经网络优于其他网络的特定优点在骨区域误差中是显而易见的。经由骨分割和骨图像回归的附加任务，多任务神经网络的减少的误差可归因于roi聚焦的损失的优点，从而驱动骨区域中的图像回归。
[0133]
此外，作为附加的例示性示例，图9示出了示出在多个情况下不同骨密度阈值处的伪ct骨区域的dice系数的曲线图的一组曲线图900。该组曲线图900包括用于第一种情况的曲线图910、用于第二种情况的曲线图920、用于第三种情况的曲线图930和用于第四种情况的曲线图940，其中每个曲线图描绘了用于多任务神经网络的曲线图(实线)、用于单任务神经网络的曲线图(较长虚线)和用于densenet56神经网络的曲线图(较短虚线)，如图例980所描绘。曲线在较高ct数或hu值下的恶化指示低估了高密度骨值。虽然多任务神经网络对于高密度骨值表现出轻微恶化，但是单任务神经网络和densenet56对于相同的骨值表现出显著更差的估计。因此，与用于pct图像回归的标准神经网络方法相比，本文提出和描述的对骨具有增强的聚焦的多任务神经网络确保了跨所有hu值的准确预测。
[0134]
为了评估多任务神经网络在放射治疗计划中的实用性，对放射治疗计划中的pct剂量测定性能执行比较分析。在收集患有脑肿瘤的两个患者的mr和ct数据之后，使用标准临床指南并使用医师绘制的roi基于ct图像来制定治疗计划。然后使用治疗计划系统基于ct和pct数据(由本文所述的多任务神经网络生成)两者来评估治疗计划，并且比较结果。发现计划目标体积(ptv)的平均剂量相对于规定剂量的差值分别为0.18％和-0.13％。因此，使用多任务神经网络从mr图像生成准确的伪ct图像使得能够替换ct成像以获得用于放射治疗剂量计算的密度图，并且因此使得用于放射治疗的仅mr临床工作流成为可能。
[0135]
本公开的技术效应包括从mr图像生成伪ct图像。本公开的另一个技术效应包括在包含骨的区域中以增强的准确性从mr图像生成类ct图像。本公开的又一个技术效应包括基于输入mr图像使用多任务神经网络生成伪ct图像、骨掩模和骨图像。
[0136]
在一个实施方案中，一种方法包括：获取磁共振(mr)图像；使用多任务神经网络生成对应于mr图像的伪ct图像；以及输出mr图像和伪ct图像。
[0137]
在该方法的第一示例中，使用mr图像中包括骨的感兴趣区域的聚焦损失来训练多任务神经网络。在任选地包括第一示例的方法的第二示例中，该方法还包括使用多任务神经网络生成对应于mr图像的骨掩模和骨图像。在任选地包括第一示例和第二示例中的一者
或多者的方法的第三示例中，使用伪ct图像的整个图像回归损失、骨掩模的分割损失和骨图像的聚焦在骨片段上的回归损失来训练多任务神经网络。在任选地包括第一示例至第三示例中的一者或多者的方法的第四示例中，该方法还包括使用包括整个图像回归损失、分割损失和聚焦在骨片段上的回归损失的复合损失来训练多任务神经网络，其中每种损失在复合损失中被加权。在任选地包括第一示例至第四示例中的一者或多者的方法的第五示例中，该方法还包括使用骨图像更新伪ct图像，并且使用mr图像输出更新的伪ct图像。在任选地包括第一示例至第五示例中的一者或多者的方法的第六示例中，多任务神经网络包括被配置有多个输出层的u-net卷积神经网络，其中多个输出层中的一个输出层输出伪ct图像。
[0138]
在另一个实施方案中，磁共振成像(mri)系统包括mri扫描仪；显示设备；控制器单元，该控制器单元通信地耦接到mri扫描仪和显示设备；以及存储器，该存储器存储可执行指令，该可执行指令在被执行时，使得控制器单元：经由mri扫描仪来获取磁共振(mr)图像；使用多任务神经网络生成对应于mr图像的伪ct图像；以及向显示设备输出mr图像和伪ct图像。
[0139]
在mri系统的第一示例中，使用mr图像中包括骨的感兴趣区域的聚焦损失来训练多任务神经网络。在任选地包括第一示例的mri系统的第二示例中，存储器还存储可执行指令，该可执行指令在被执行时，使得控制器单元使用多任务神经网络生成对应于mr图像的骨掩模和骨图像。在任选地包括第一示例和第二示例中的一者或多者的mri系统的第三示例中，使用伪ct图像的整个图像回归损失、骨掩模的分割损失和骨图像的聚焦在骨片段上的回归损失来训练多任务神经网络。在任选地包括第一示例至第三示例中的一者或多者的mri系统的第四示例中，存储器还存储可执行指令，该可执行指令在被执行时，使得控制器单元使用包括整个图像回归损失、分割损失和聚焦在骨片段上的回归损失的复合损失来训练多任务神经网络，其中每种损失在复合损失中被加权。在任选地包括第一示例至第四示例中的一者或多者的mri系统的第五示例中，存储器还存储可执行指令，该可执行指令在被执行时，使得控制器单元使用骨图像更新伪ct图像，并且使用mr图像向显示设备输出更新的伪ct图像。
[0140]
在又一个实施方案中，一种非暂态计算机可读介质包括指令，该指令在被执行时，使得处理器：获取磁共振(mr)图像；使用多任务神经网络生成对应于mr图像的伪ct图像；以及向显示设备输出mr图像和伪ct图像。
[0141]
在非暂态计算机可读介质的第一示例中，使用mr图像中包括骨的感兴趣区域的聚焦损失来训练多任务神经网络。在任选地包括第一示例的非暂态计算机可读介质的第二示例中，该指令在被执行时，进一步使得处理器使用多任务神经网络生成对应于mr图像的骨掩模和骨图像。在任选地包括第一示例和第二示例中的一者或多者的非暂态计算机可读介质的第三示例中，使用伪ct图像的整个图像回归损失、骨掩模的分割损失和骨图像的聚焦在骨片段上的回归损失来训练多任务神经网络。在任选地包括第一示例至第三示例中的一者或多者的非暂态计算机可读介质的第四示例中，该指令在被执行时，进一步使得处理器使用包括整个图像回归损失、分割损失和聚焦在骨片段上的回归损失的复合损失来训练多任务神经网络，其中每种损失在复合损失中被加权。在任选地包括第一示例至第四示例中的一者或多者的非暂态计算机可读介质的第五示例中，该指令在被执行时，进一步使得处理器使用骨图像更新伪ct图像，并且使用mr图像向显示设备输出更新的伪ct图像。在任选
地包括第一示例至第五示例中的一者或多者的非暂态计算机可读介质的第六示例中，多任务神经网络包括被配置有多个输出层的u-net卷积神经网络，其中多个输出层中的一个输出层输出伪ct图像。
[0142]
如本文所用，以单数形式列举并且以单词“一个”或“一种”开头的元件或步骤应当被理解为不排除多个所述元件或步骤，除非明确说明此类排除。此外，对本发明的“一个实施方案”的引用不旨在被解释为排除也包含所引用特征的附加实施方案的存在。此外，除非明确地相反说明，否则“包含”、“包括”或“具有”具有特定特性的元件或多个元件的实施方案可包括不具有该特性的附加此类元件。术语“包括”和“在
…
中”用作相应的术语“包含”和“其中”的简明语言等同形式。此外，术语“第一”、“第二”和“第三”等仅用作标记，而不旨在对其对象施加数字要求或特定位置次序。
[0143]
该书面描述使用示例来公开本发明，包括最佳模式，并且还使相关领域中的普通技术人员能够实践本发明，包括制造和使用任何设备或系统以及执行任何包含的方法。本发明可取得专利权的范围由权利要求书限定，并且可包括本领域普通技术人员想到的其他示例。如果此类其他示例具有与权利要求书的字面语言没有区别的结构元件，或者如果它们包括与权利要求书的字面语言具有微小差别的等效结构元件，则此类其他示例旨在落入权利要求书的范围内。