对比度抑制/物质替换后边缘恢复的机器学习的制作方法

本发明总体上涉及边缘恢复，具体地涉及用于处理感兴趣对象的医学图像的装置、医学成像系统、用于处理感兴趣对象的医学图像的方法、计算机程序单元和计算机可读介质。

背景技术：

1、对于某些临床应用，可以通过减去或抑制由造影剂标记的位置处的图像内容(例如，在口服给予造影剂之后的结肠镜检查中的粪便残留物(“电子净化”)或在造影剂的血管注射之后的血液(“黑血”))来改善诊断读取(查看)。标记区域可以用虚拟物质(例如，空气，也称为减法或抑制)代替。在该替换之后，具有标记邻域的图像边缘可能具有与没有标记邻域的边缘相比不同的外观，因此对用户造成刺激。这是因为与未标记图像位置相比，标记物质与其周围环境的强度差异通常在符号和幅度上不同，这导致了特定的过渡轮廓。

2、因此，需要恢复人工创建的净化边缘，以产生视觉上令人满意的抑制/净化图像，以便改善的诊断读取。然而，该恢复步骤开发和调整起来是繁琐的，并且对于各种图像类型和不同的重建技术可能是不同的。特别地，对于谱ct图像和衍生物(例如虚拟单能量图像)，可能需要对每个谱带图像进行不同的恢复。

技术实现思路

1、可能需要改善人工创建的净化边缘的恢复。

2、本发明的目的通过独立权利要求的主题来解决，其中在从属权利要求中并入了进一步的实施例。应当注意，本发明的以下描述的方面也适用于装置、医学成像系统、方法、计算机程序单元和计算机可读介质。

3、根据本发明的第一方面，提供了一种用于处理感兴趣对象的医学图像的装置，所述医学图像包括第一图像部分和第二图像部分，所述第一图像部分不包括要被抑制的图像内容，而所述第二图像部分包括要被抑制的图像内容。所述装置包括输入模块、轮廓分类器模块、抑制模块、训练模块、推断模块和输出模块。所述输入模块被配置用于接收所述感兴趣对象的所述医学图像。所述轮廓分类器模块被配置用于检测所述感兴趣对象的图像轮廓并将检测到的图像轮廓划分为第一图像轮廓和第二图像轮廓，其中，所述第一图像轮廓表示所述感兴趣对象的所述第一图像部分的图像轮廓，并且所述第二图像轮廓表示所述感兴趣对象的所述第二图像部分的图像轮廓。所述抑制模块被配置用于抑制所述要被抑制的图像内容或用虚拟物质替换所述要被抑制的图像内容以生成净化图像。所述训练模块被配置用于使用所述第一图像轮廓的图像数据来训练数据驱动模型以学习所述感兴趣对象的所述图像轮廓的外观。所述推断模块被配置用于将经训练的数据驱动模型应用于所述净化图像以生成所述感兴趣对象的恢复图像。所述输出模块被配置用于提供所生成的所述感兴趣对象的恢复图像。

4、如上所述，可以通过减去或抑制感兴趣对象(例如结肠)在由造影剂标记的位置处的图像内容(例如结肠镜检查中的粪便残留物)来改善诊断读取(查看)。标记区域可以用虚拟物质(例如空气)替换，从而创建人工净化的边缘。

5、为了改善人工创建的净化边缘的恢复，提出了一种在数字减法或数字物质替换之后自动恢复图像轮廓(即图像边缘)以最佳地类似于未修改位置中的图像边缘的装置(例如计算设备)。特别地，感兴趣对象的图像边缘的外观以无监督的非分析方式从与人工创建的净化边缘不同的未修改边缘位置处的图像数据机器学习。由于用于训练数据驱动模型的主动学习是基于未修改的边缘，因此不需要手动注释，从而消除了将需要精细的子体素准确性的繁琐且重复的手动注释工作。另外，边缘轮廓的恢复不限于某些离散或分析滤波器，例如膨胀、高斯等。相反，机器学习的灵活性可以允许合成和探索宽范围的边缘外观，其不受分析函数的限制。此外，该算法可以自动适应各种图像类型中的不同的边缘外观，并且替换对于某种恢复技术的繁琐的手动搜索。

6、在示例中，集成的自动编码器可以用作数据驱动模型，其将图像块直接映射到其自身上-即，输入类型等于输出类型。自动编码器的示例可以包括但不限于主分量自动编码器、稀疏自动编码器、深度神经自动编码器、变分自动编码器、生成式自动编码器和随机森林自动编码器。

7、在另一示例中，多变量回归器可以用作用于将局部图像块显式编码到潜在子空间中并从潜在子空间再现图像数据的数据驱动模型。一个示例是使用物质分类器来将原始图像转换成具有或不具有每个像素/体素的物质浓度的物质图像。然后可以在所有图像块上训练多变量回归器，以从所述物质图像再现原始图像强度。

8、在对所述感兴趣对象在未修改的边缘位置处的图像边缘的外观进行机器学习之后，可以将经训练的数据驱动模型应用于人工创建的净化边缘以执行恢复。

9、所提出的装置和方法可以与标准ct、mri(磁共振成像)或cbct(锥束计算机断层摄影)一起使用，但是也可以扩展到谱ct或多参数mri。在谱ct或多参数mri中，该算法可以允许具体地适应于每个谱带中的外观。

10、术语“抑制”可以指例如“电子抑制”、“电子净化”、“变得透明”或“被设置为空气状外观”。

11、本文所使用的术语“图像数据”可以是指由像素组成的二维图像数据或由体素组成的三维图像数据。

12、本文所使用的术语“图像轮廓”可以是指图像中的感兴趣对象的结构轮廓。所述结构轮廓包括图像亮度急剧变化或形式上具有不连续性的点。图像亮度的不连续性对应于物质(material)性质的变化。以结肠的医学图像为例，图像亮度的不连续性可以对应于结肠包裹的软组织与结肠内气体之间的过渡、造影剂与结肠包裹的软组织之间的过渡等。

13、本文所使用的术语“图像轮廓的图像数据”可以包括距图像中感兴趣对象的结构轮廓有限距离内的像素或体素。应当理解，特定轮廓的图像数据不应包含表示与感兴趣的过渡完全不同的过渡的像素或体素。

14、根据本发明的实施例，所述数据驱动模型包括自动编码器，所述自动编码器被配置用于将局部图像块直接映射到其自身上。每个局部图像块表示所述医学图像中的一个或一组像素或体素。

15、自动编码器的示例可以包括但不限于主分量自动编码器、稀疏自动编码器、深度神经自动编码器、变分自动编码器、生成式自动编码器和随机森林自动编码器。

16、术语“图像块”是指具有与图像相对应的特定大小、形状和位置的像素或体素的块或组。例如，图像块可以具有预定的像素宽度/高度(例如，7×7、8×8、11×11等)，并且每个图像块的位置可以基于一个或多个中心像素或体素来定义。

17、局部图像块可以具有任何合适的形状，例如圆形、矩形、正方形等。

18、根据本发明的实施例，所述数据驱动模型包括多变量回归器，所述多变量回归器被配置用于将局部图像块显式编码到潜在子空间中并且从所述潜在子空间再现图像数据。每个局部图像块表示所述医学图像中的一个或一组像素或体素。

19、代替直接自动编码，数据驱动模型可以使用将图像块显式编码到潜在子空间中，然后解码到原始图像空间中的方式。

20、根据本发明的实施例，所述装置还包括物质分类器模块，所述物质分类器模块被配置用于将所述感兴趣对象的所述医学图像转换为物质图像。所述训练模块被配置用于训练所述多变量回归器以用于从所述物质图像再现图像数据。

21、在该实施例中，物质分类器可以用于将原始图像转换为具有或不具有每个像素/体素的物质浓度的物质图像。然后可以在图像块上训练多变量回归器，以用于从物质图像再现原始图像强度。

22、根据本发明的实施例，所述装置还包括细分模块，所述细分模块被配置用于将所述感兴趣对象的所述医学图像细分为多个局部区域，并且用所述多个局部区域的平均强度替换所述医学图像的图像强度。所述训练模块被配置用于训练所述多变量回归器以用于根据所述多个局部区域的所述平均强度来再现图像数据。

23、在该实施例中，原始图像可以被细分为局部区域(也称为超像素或超体素)，并且所有图像强度由局部区域的平均强度(也称为子空间)替换。然后，抑制模块可以用空气的平均值替换例如区域的平均对比度值。可以在图像块上训练多变量回归器(例如随机森林回归或超向量回归)，以从超体素(或超像素)平均强度再现原始图像块强度。具体地，任何图像块的中心强度可以被估计为来自其周围图像块值的回归值。

24、根据本发明的实施例，所述训练模块被配置用于在训练阶段中训练所述数据驱动模型并冻结经训练的数据驱动模型。所述推断模块被配置用于在推断阶段中应用冻结的经训练的数据驱动模型。

25、术语“推断阶段”是指部署或应用阶段。

26、该训练方案可以具有大的训练集和可再现的性能。

27、根据本发明的实施例，所述训练模块被配置用于在所述感兴趣对象的医学图像的新实例上进行即时训练。

28、该即时训练方案可以专门针对在训练期间可能没有被看到的任何新图像类型上训练。

29、根据本发明的实施例，所述装置还包括标记模块，所述标记模块被配置用于检测所述要被抑制的图像内容。

30、在示例中，所述标记模型是预先训练的分类器。

31、在示例中，所述标记模型使用阈值化来对图像进行分割以确定要被抑制的图像内容。

32、根据本发明的实施例，所述装置还包括合成模块，所述合成模块被配置用于合成所述感兴趣对象的所述医学图像和所述恢复图像。

33、根据本发明的实施例，所述要被抑制的图像内容包括由造影剂标记的位置处的图像内容。

34、根据本发明的实施例，所述由造影剂标记的图像内容包括以下中的至少一个：

35、结肠镜检查中的粪便残留物；或

36、血管造影术中的血液。

37、对于血管造影术中的血液，造影剂可以例如通过血管注射或通过口服施用造影剂来施用。

38、根据本发明的第二方面，提供了一种医学成像系统。所述医学成像系统包括被配置为扫描感兴趣对象以采集所述感兴趣对象的医学图像的扫描器以及根据第一方面和任何相关联的示例的用于处理所述感兴趣对象的所述医学图像的装置。

39、所述扫描器可以是标准ct、mri或cbct扫描器，但也可以扩展到谱ct或多参数mri扫描器。

40、根据本发明的第三方面，提供了一种用于处理感兴趣对象的医学图像的计算机实施的方法，所述医学图像包括第一图像部分和第二图像部分，所述第一图像部分不包括要被抑制的图像内容，而所述第二图像部分包括要被抑制的图像内容，所述计算机实施的方法包括：

41、a)接收所述感兴趣对象的所述医学图像；

42、b)检测所述感兴趣对象的图像轮廓并将检测到的图像轮廓划分为第一图像轮廓和第二图像轮廓，其中，所述第一图像轮廓表示所述感兴趣对象的所述第一图像部分的图像轮廓，并且所述第二图像轮廓表示所述感兴趣对象的所述第二图像部分的图像轮廓；

43、c)抑制所述要被抑制的图像内容或用虚拟物质替换所述要被抑制的图像内容以生成净化图像；

44、d)使用所述第一图像轮廓的图像数据来训练数据驱动模型以学习所述感兴趣对象的所述图像轮廓的外观；

45、e)将经训练的数据驱动模型应用于所述净化图像以生成所述感兴趣对象的恢复图像；以及

46、f)提供所生成的所述感兴趣对象的恢复图像。

47、根据本发明的另一方面，提供了一种计算机程序单元，其被配置为在运行期间执行第三方面和任何相关联的示例的方法步骤。

48、根据本发明的另一方面，提供了一种包括所述计算机程序单元的计算机可读介质。

49、有利地，由任何上述方面提供的益处同样适用于所有其他方面，反之亦然。

50、如本文所使用的，在机器学习的背景下的术语“学习”是指识别和训练合适的算法以完成感兴趣的任务。术语“学习”包括但不限于关联学习、分类学习、聚类和数字预测。

51、如本文所使用的，术语“机器学习”是指研究能够从过去的经验中归纳出模式、规则或准则以开发对未来数据的适当响应或以某种有意义的方式描述数据的计算机程序的设计的计算机科学领域。

52、如本文所使用的，在机器学习的背景下的术语“数据驱动模型”是指基于适当的训练数据进行学习的合适算法。

53、如本文所使用的，术语“模型”可以指代专用集成电路(asic)、电子电路、执行一个或多个软件或固件程序的处理器(共享、专用或群组)和/或存储器(共享、专用或群组)、组合逻辑电路和/或提供所描述的功能的其他合适部件，是它们的一部分，或包括它们。

54、应当理解，以下更详细地讨论的前述概念和附加概念的所有组合(只要这些概念不相互不一致)被认为是本公开的发明主题的一部分。具体地，出现在本公开的所要求保护的主题的所有组合被认为是本公开的发明主题的一部分。

55、本发明的这些和其他方面将参考下文描述的(一个或多个)实施例变得显而易见并将参考下文描述的(一个或多个)实施例进行阐述。