处理医学图像的制作方法

本发明涉及用于处理医学图像的方法、装置和计算机程序产品。

背景技术：

人工智能（ai）系统越来越多地被用于辅助诸如放射科医师之类的医学专业人员来评定医学图像。例如，胸部的医学图像包含大量解剖结构（例如肺、气道、心脏、主动脉、脊椎和肋骨），其中每个器官和病状具有特定的评估标准，这使得对医学图像的检查是具有挑战性的。因此，由人类评定者对医学图像的这样的评定需要高度训练，以便提供对医学图像的准确评估并且提供准确的发现。

当前，主要利用正中矢状的x射线图像或双能量x射线吸收测定法（dxa）扫描来评定压缩性骨折，并且通过根据诸如所谓的genant方法之类的方法的可视检查来进行对脊椎压缩性骨折的检测和量化。胸部的计算机断层扫描（ct）图像越来越多地被用于诊断各种医学状况，但是当解释ct扫描的时候脊椎骨折通常诊断不足，这是由于在放射科医师身上的增加的工作负荷以及放射科医师需要将他们的解释聚焦在其它医学状况、诸如肺癌、慢性阻塞性肺疾病（copd）以及胸廓创伤上所致。较少的临床注意力被给予脊椎骨折，这可能地由于对这样的骨折的临床重要性的有限认知所致和/或由于以轴向切片向放射科医师呈现ct图像所致，在所述轴向切片中，透视的脊椎骨折可能难以检测。然而，脊椎压缩性骨折是最常见的骨质疏松症有关的骨折，并且骨质疏松症是在较年老的成年人中发病率和死亡率的越来越多的来源。

技术实现要素：

通过权利要求1的方法、通过权利要求13的数据处理系统以及通过权利要求15的计算机程序产品来解决或减轻这些问题。从属权利要求有关于本发明的另外的方面。

本发明在一个方面中涉及一种用于处理医学图像的方法，所述方法包括：

接收医学图像数据，所述医学图像数据表示脊柱的至少一部分的医学图像；

处理所述医学图像数据来确定所述图像内的多个定位，所述多个定位中的每一个对应于涉及脊柱内的脊椎骨的定位；以及

处理对所述多个定位进行表示的数据，以确定脊柱内至少一个脊椎骨的畸形程度。

本发明的一个实施例在一个方面中涉及一种方法，其中所述多个定位各自包括医学图像内的坐标，每个坐标表示相应的脊椎骨的中心点。

本发明的一个实施例在一个方面中涉及一种方法，其中所述多个定位包括对多个感兴趣的区进行表示的定位，每个感兴趣的区对相应的脊椎骨进行限界。

本发明的一个实施例在一个方面中涉及一种方法，所述方法包括处理对所述多个定位进行表示的数据以生成脊柱的模型。

本发明的一个实施例在一个方面中涉及一种方法，所述方法包括基于所确定的畸形程度来确定一个或多个脊椎骨折的存在。

本发明的一个实施例在一个方面中涉及一种方法，所述方法包括：

为所述多个定位中的每一个确定对应的解剖特征；以及

向每个感兴趣的区指派一标签，所述标签表示相应的对应解剖特征。

本发明的一个实施例在一个方面中涉及一种方法，所述方法包括基于对应的标签和中心坐标来生成掩模（mask），所述掩模包括一个或多个感兴趣的区并且表示经成像的脊柱。

本发明的一个实施例在一个方面中涉及一种方法，所述方法包括：

分割图像的每个感兴趣的区；

处理每个感兴趣的区，用于为对应的脊椎骨中的每一个确定一个或多个矢状点；以及

确定在所述一个或多个矢状点中的每一个与对应的中心坐标之间的马氏距离（mahalanobisdistance）。

本发明的一个实施例在一个方面中涉及一种方法，所述方法包括为每个感兴趣的区确定无机骨密度值，所述无机骨密度值基于相应的感兴趣的区内的亨氏单位（hounsfieldunit）值来被确定。

本发明的一个实施例在一个方面中涉及一种方法，所述方法包括：

对于每个感兴趣的区，基于在为感兴趣的区中的第一区以及一个或多个相邻的感兴趣的区所确定的度量之间的比较来确定高度损失的估计；以及

至少部分地基于所估计的高度损失来确定畸形程度。

本发明的一个实施例在一个方面中涉及一种方法，其中高度损失的估计包括针对对应的脊椎的前部分、中间部分和后部分的高度损失的估计。

本发明的一个实施例在一个方面中涉及一种方法，所述方法包括基于所确定的畸形程度来确定骨折分类和/或骨折严重性。

本发明在一个方面中涉及一种用于处理医学图像的数据处理系统，所述数据处理系统包括处理器，所述处理器被布置成：

接收医学图像数据，所述医学图像数据表示脊柱的至少一部分的医学图像；

处理所述医学图像数据来确定所述图像内的多个定位，所述多个定位中的每一个对应于涉及脊柱内的脊椎骨的定位；并且

处理对所述多个定位进行表示的数据，以确定脊柱内至少一个脊椎骨的畸形程度。

本发明的一个实施例在一个方面中涉及一种数据处理系统，其中所述处理器被布置成实现经训练的深度图像对图像神经网络，以确定所述多个定位，其中所述多个定位包括对多个感兴趣的区进行表示的定位，每个感兴趣的区对相应的脊椎骨进行限界。

本发明在一个方面中涉及一种计算机程序，所述计算机程序可加载到数据处理系统的存储器单元中，其包括程序代码区段，以用于当在数据处理系统中执行所述计算机程序的时候使得所述数据处理系统执行根据本发明的一方面的方法。

所述计算机程序产品可以例如是计算机程序或者包括除了计算机程序之外的另一元件。该另一元件可以是硬件和/或软件，所述硬件例如在其上存储了计算机程序的存储器设备，用于使用计算机程序的硬件密钥（key）等等；所述软件例如用于使用计算机程序的文档或软件密钥。

图像处理可以在任何图像数据上被执行，但是在某些示例中可以在表示医学图像的医学图像数据上被执行。例如，可以通过选自包括以下各项的组中的医学成像设备来获取图像：x射线荧光透视设备、计算机断层扫描设备、磁共振成像设备、分子成像设备、spect设备、pet设备及其组合。医学成像设备可以例如是成像模态和治疗模态、特别是放射治疗模态的组合。

对如下事实进行引用：所描述的方法和所描述的图像处理装置仅仅是本发明的优选示例性实施例，并且本领域技术人员可以在不偏离本发明的范围的情况下改变本发明，只要它由权利要求所指定。

附图说明

以下将参考附图、使用示例性实施例来图示本发明。图中的图示是示意性的并且被高度简化，并且不一定是按比例的。

图1是根据本发明的一个方面的数据处理系统的示意图；

图2是简化的工作流图解，其图示了根据本发明的一个方面的处理图像数据来用于训练图像处理系统的方法；并且

图3是一示意图，其图示了用于执行脊椎压缩性骨折检测的示例性工作流。

具体实施方式

图1是一图解，其图示了根据本发明的实施例的数据处理系统100。数据处理系统100包括处理器102，该处理器102被配置成根据本文中所述的方法来处理医学图像。数据处理系统100可以例如运作在诸如工作站、台式计算机或膝上型计算机之类的计算设备上，或可以运作在服务器上，或可以运作在云环境中。

例如，处理器102可以被配置成对医学图像数据执行图像处理功能（即通过执行如下所述的图像处理算法）。例如，可以通过选自包括以下各项的组中的医学成像设备来获取图像：x射线荧光透视设备、计算机断层扫描设备、磁共振成像设备、分子成像设备、spect设备、pet设备及其组合。医学成像设备可以例如是成像模态和例如放射治疗模态的治疗模态的组合。在一些实施例中，可以从图片归档和通信系统（pacs）检索图像；例如，可以使用医学数字成像和通信（dicom）自动路由将图像路由到数据处理系统100。在一些实施例中，数据处理系统100可以是图像获取系统的部分，所述图像获取系统诸如上述类型的医学成像设备。可替换地，数据处理系统100可以与用于获取图像的成像设备分离。图像可以由数据处理系统100来检索或者经由通信接口104而被发送到数据处理系统100。

数据处理系统100还包括用于接收数据的通信接口104以及用于存储所接收的数据的存储器106。在通信接口104处所接收的数据可以包括图像数据。在一些示例中，通信接口104还可以用于输出由数据处理系统100执行的图像处理的所呈递结果。例如，通信接口104可以由数据处理系统100用于向和/或自图片归档和通信系统（pacs）传递图像数据。

存储器106可以被布置成以经训练的人工智能代理的形式来存储数据，所述经训练的人工智能代理在下文中被称为代理108，其可以在安装和使用数据处理系统100之前在操作设置中被训练。

代理108可以使用用于处理医学图像数据的示例的训练集合来被训练，以确定医学图像内的一个或多个脊椎骨的畸形程度，例如，如以下更详细地描述的那样。

存储器106还可以存储计算机程序，所述计算机程序可由处理器102执行以实现以上参考图1所述的代理108并且执行本文中所述的方法、诸如例如以下参考图2所述的方法。例如，处理器102可以从存储器106检索代理108、将诸如权重之类的输入应用到代理108以及从代理108获得输出。

存储器106可以是任何合适形式的存储器。例如，存储器106可以包括易失性存储器、诸如随机存取存储器（ram）和/或非易失性存储器、诸如只读存储器（rom）或闪速存储器。此外，存储器106可包括多个分离的存储器设备，并且可以包括易失性和非易失性存储器的组合。在一些示例中，本发明的某些部件、诸如计算机程序和/或代理可以被存储在一个存储器设备中，而其它部件可以被存储在另一存储器设备中。在其它示例中，存储器可以是关联存储器。

处理器102可以被布置成生成与图像有关的显示信息，并且在显示器110上呈现所述显示信息。

图2是一流程图，其描绘了处理医学图像数据的方法200。例如，方法200可以通过以上参考图1所述的数据处理系统100来实现。

在框202处，接收对脊柱的至少一部分的医学图像进行表示的医学图像数据。例如，如上所述，图像数据可以是由医学成像设备生成的并且从医学成像设备接收的医学图像数据，所述医学成像设备诸如x射线荧光透视设备、计算机断层扫描设备、磁共振成像设备、分子成像设备、spect设备、pet设备及其组合。

在框204处，所述医学图像数据被处理以确定所述图像内的多个定位，所述多个定位中的每一个对应于涉及脊柱内的脊椎骨的定位。

所述多个定位可以各自包括医学图像内的坐标。例如，每个坐标表示相应的脊椎骨的中心点。

附加地或可替换地，所述多个定位可以包括对一个或多个感兴趣的区进行表示的定位，每个感兴趣的区对相应的脊椎骨进行限界。在一些实施例中，表示所述多个感兴趣的区的数据可以被处理以生成脊柱的模型。

在框206处，对所述多个定位进行表示的数据被处理，以确定脊柱内至少一个脊椎骨的畸形程度。

例如，畸形程度可以指示一个或多个脊椎骨折的存在。

在一些实施例中，对于每个感兴趣的区，可以确定对应的解剖特征。对于每个所确定的感兴趣的区，可以指派一标签，所述标签表示相应的对应脊椎骨。例如，标签可以被附连到每个所标识的骨，以根据常规的解剖标准来标识该骨。

在一些实施例中，数据处理系统100可以生成掩模，所述掩模包括对经成像的脊柱的模型进行表示的所述一个或多个感兴趣的区。这可以基于对应的标签和/或中心坐标。

图3是用于执行脊椎压缩性骨折检测的工作流300的示意图。

由人工智能代理（aia）304来接收图像数据（id）302，该人工智能代理（aia）304可以执行以上参考图1所述的代理108的功能。如以上所解释的，图像数据302是医学图像数据，并且可以例如是涉及人类患者的胸部的ct图像数据。

如图3中所示，代理304可以包括多个部件，所述多个部件包括脊椎检测部件（vd）306、脊柱分割部件（ss）308、测量提取部件310以及骨折评定部件（fa）312。

代理304接收图像数据302，该图像数据302如以上所述可以由成像设备供给或可以从pacs存储设施被检索。

脊椎检测部件306接收图像数据302作为输入，并且执行处理操作来处理图像数据302以确定图像内的多个定位，所述多个定位各自对应于涉及脊柱内的脊椎骨的定位。例如，脊椎检测部件306可以实现多尺度深度强化学习代理，所述多尺度深度强化学习代理被训练以确定由图像数据302表示的图像中的每个脊椎骨的中心定位的坐标。

脊椎检测部件306输出所述多个定位。例如，脊椎检测部件306可以输出与图像中的每个脊椎骨相对应的坐标的列表。在一些实施例中，脊椎检测部件306还可以输出与每个脊椎骨相对应的标签，所述标签标识相应的骨。在一些实施例中，脊椎检测部件306可以附加地或可替换地输出多个定位，所述多个定位以在每个脊椎骨周围的限界框的形式形成感兴趣的区。

来自脊椎检测部件306的输出作为输入被接收到脊柱分割部件308。脊柱分割部件308执行处理操作来处理所述多个定位，以生成对脊柱的模型进行表示的多标签掩模，其中每个脊椎骨在掩模中被表示并且被加标签。在一些实施例中，脊柱分割部件308对每个所检测的脊椎骨周围的感兴趣的区进行裁剪；所述感兴趣的区可以包括脊椎骨以及图像的周围部分（用于提供环境）。脊柱分割部件308然后可以对每个感兴趣的区中的脊椎骨进行分割，并且将经分割的脊椎骨合并成全局掩模。

在一些实施例中，脊柱分割部件308可以使用经训练的深度图像对图像（di2i）网络来执行分割。di2i网络是多层卷积神经网络（cnn），所述多层卷积神经网络（cnn）被训练以执行3d医学图像的感兴趣的区的脊椎体分割。di2i网络为每个体素生成概率图映射，该体素是中央脊椎体、顶部脊椎体、底部脊椎体或脊椎体外部的部分的概率。从所述概率图中，可以导出掩模，其中根据最高概率来对每个体素进行分类。

在一些实施例中，di2i网络的结构可以对称地被布置为卷积编码器-解码器。di2i网络的块中的每一个可以表示网络的一个或多个层。di2i网络的块可以包括例如三维卷积和/或经转置的卷积层。

di2i网络在安装代理304之前在操作设置中通过向代理304提供如下数据而被训练：包括训练图像的训练数据以及对针对训练图像的脊椎体分割掩模进行表示的对应地面实况数据。例如，可以利用提供激活功能的leaky修正器线性单元（leakyrelu）来训练di2i网络。

每个训练图像是3d医学图像。在一些实施例中，训练图像可以是三维计算机断层扫描（ct）体积。在其它实施例中，训练图像可以是经对比度增强的ct体积。在其它实施例中，训练图像可以是使用诸如超声、正电子发射断层扫描（pet）等之类的其它医学成像模态所获取的三维磁共振（mr）图像或三维医学图像。

针对每个训练图像的地面实况脊椎体分割掩模可以被实现为具有与训练图像相同的网格大小的三围多标签掩模图像，其中，中央脊椎体体素具有强度值1，顶部脊椎体体素具有强度值2，底部脊椎体体素具有强度值3，并且在脊椎体边界外部的体素具有强度值0。地面实况脊椎体分割掩模可以例如通过在训练图像中为脊椎体边界加标注来被手动地生成。

在其它实施例中，脊柱分割部件308可以使用对抗性的深度图像对图像网络来被实现。

由脊柱分割部件308输出的脊柱的多标签掩模由测量提取模块310作为输入来接收。对于每个所检测的脊椎骨，测量提取部件310提取经分割的脊椎体，并且为对应的脊椎骨提取一个或多个矢状点。在一些实施例中，测量提取部件310提取六个矢状点，这是genant方法所需要的矢状点的数目。测量提取部件310然后确定在所述一个或多个矢状点中的每一个与每个脊椎骨的对应中心坐标之间的马氏距离。在一些实施例中，测量提取部件310为图像内的每个脊椎骨确定无机骨密度值。例如，可以基于感兴趣的解剖结构（即脊椎骨）内的体素的亨氏单位值来确定无机骨密度值。测量提取部件310可以提供标准化且可重现的手段来量化并且比较脊椎压缩性骨折。

由测量提取模块310提取的测量由骨折评定部件312作为输入来接收。骨折评定部件312执行处理操作来处理输入图像数据302以及由测量提取部件310针对每个脊椎骨所提取的测量，以确定针对对应的脊椎骨的高度损失的估计。例如，可以基于在针对掩模或模型中所指定的第一感兴趣的区（其对应于第一脊椎骨）与掩模或模型中所指定的一个或多个相邻的感兴趣的区（其对应于一个或多个相邻的脊椎骨）所确定的度量或测量之间的比较来确定高度损失。在一些实施例中，可以例如在对应的脊椎的前部分、中间部分和后部分处确定高度损失。

骨折评定部件312然后可以基于所估计的高度损失和/或在相邻脊椎骨之间的比较来确定畸形程度，并且基于所确定的畸形程度来确定骨折分类和/或骨折的严重程度；例如，骨折评定部件312可以根据genant方法所规定的标准来为严重性和畸形指派等级。

来自骨折评定部件312的输出由结果呈递部件314处理，该结果呈递部件314将输出处理成适合用于存储和/或呈现给用户的一个或多个数据格式。在一些实施例中，结果呈递部件314然后可以将经处理的输出传递到以下各项中的一个或多个：pacs工作站（pw）316；放射学信息系统（ris）318；以及pacs存储（ps）设施320。在一些实施例中，pacs工作站316和/或放射学信息系统318可以包括诸如以上参考图1所述的显示器110之类的显示器，并且结果呈递部件314可以生成将在显示器110上被呈现的显示数据。例如，结果呈递部件314可以基于来自骨折评定部件312的输出来利用发现预填入报告，以用于显示在显示器110上。在一些实施例中，结果呈递部件314可以被布置成将来自骨折评定部件312的结果叠覆在由图像数据302表示的医学图像（诸如ct扫描）上，并且用于呈现在pacs工作站316上或存储在pacs存储设施320中，这可以消除针对如下的需要：用户切换工作站或应用来查看由骨折评定部件312生成的结果。

上述实施例可以在常规方法之上提供对脊椎骨折的经改进的检测和评定。例如，上述实施例可以提供对于评定和解释胸部ct扫描所需要的时间中的缩减，从而允许放射科医师花费更多的时间在高级分析上。在代理304和pacs工作站316、放射学信息系统318和pacs存储设施320（即现有的pacs和ris基础设施）之间的交互可以改进诊断效率，以及改进脊椎骨折的评定品质。

特别地，在使用ct扫描来用于评定脊椎骨折中的困难可以被解决或减轻，并且脊椎压缩性骨折的诊断不足可以被减少。

虽然已经借助于优选实施例详细说明和描述了本发明，但是本发明不限于所公开的示例。在不离开所要求保护的发明的保护范围的情况下，本领域技术人员可以推断其它变型。