对象图像标示装置、方法和程序的制作方法

对象图像标示装置、方法和程序的制作方法
【专利摘要】本发明涉及用于标示对象图像中示出的对象的结构的标示装置(1)。概率图提供单元(3)提供概率图，所述概率图针对指示对象的不同结构的不同标签和概率图中的不同位置而指示由相应的标签指示的相应结构出现在相应的位置上的概率，其中，所述概率依赖于概率图中的位置。所述概率图由映射单元(4)映射至所述对象图像，其中，标签分配单元(5)基于所映射的概率图来向所提供的表示对象图像中的结构的轮廓分配标签。这允许以相对较低的计算工作量对由对象图像中提供的轮廓指示的对象结构进行自动标示。
【专利说明】对象图像标示装置、方法和程序

【技术领域】
[0001 ] 本发明涉及用于标示对象图像中所示的对象的结构的标示装置、标示方法和标示 计算机程序。

【背景技术】
[0002] US 2011/0188715A1公开了一种用于自动识别医学图像中的器官的设备。所述设 备包括用于接收医学图像的通信接口、至少一个处理器和用于存储包括多个相异的经训练 的决策树的决策森林的存储器。所述至少一个处理器从医学图像中选择图像元素，将所述 图像元素应用于所述经训练的决策树中的每个，以获得所述像元表示多个预定义的器官种 类中的一种的概率，聚合来自所述经训练的决策树中的每个的概率，并根据其为所述图像 元素分配器官类别。这种采用包括多个相异的经训练的决策树的决策森林对医学图像中的 器官的自动识别在计算上相对复杂。


【发明内容】

[0003] 本发明的目的在于提供用于标示图像中示出的对象的结构的标示装置、标示方法 和标示计算机程序，其中，能够以降低的计算工作量执行所述标示。
[0004] 在本发明的第一方面中，提出了 一种用于标示图像中示出的对象的结构的标示装 置，其中，所述标示装置包括：
[0005] -轮廓提供单元，其用于提供表示对象图像中的结构的轮廓，
[0006] -概率图提供单元，其用于提供概率图，所述概率图针对指示对象的不同结构的不 同标签和概率图中的不同位置而指示由相应的标签指示的相应的结构出现在相应的位置 上的概率，其中，所述概率依赖于所述概率图中的位置，
[0007] -映射单元，其用于将概率图映射至对象图像，使得概率图中的位置被分配至所述 对象图像中的位置，以及
[0008] -标签分配单元，其用于基于所映射的概率图来向所述轮廓分配标签。
[0009] 由于标签是基于所述概率图而分配至轮廓的，所述概率图已经被映射至对象图 像，使得概率图中的位置被分配至对象图像中的位置，因而能够基于所述概率图以相对较 低的计算工作量对对象的结构进行自动标示。
[0010] 所述标示装置还优选包括用于显示对象图像、轮廓和标签的显示单元。
[0011] 优选的是，所述轮廓提供单元适于允许用户向对象图像添加轮廓，以提供所述轮 廓。所述轮廓提供单元优选是允许用户在对象图像中画出轮廓的图形用户界面。因而，用 户能够向对象图像添加预期轮廓，其中，所述标示装置然后向所述轮廓自动分配适当标签。 所述轮廓提供单元也可以是存储单元，所述存储单元中已经存储了所述轮廓并且可以从所 述存储单元进行轮廓检索以提供所述轮廓，或者所述轮廓提供单元也可以是用于接收来自 另一单元的轮廓并提供所接收到的轮廓的接收单元，例如，所述另一单元是适于允许用户 向对象图像内输入轮廓的输入单元。
[0012] 还优选的是，所述映射单元适于将对象图像和概率图相对于彼此配准，以执行映 射。具体而言，所述概率图提供单元可以适于与所述概率图一起提供与所述概率图配准的 配准图像，其中，所述映射单元可以适于将对象图像相对于所述配准图像配准，从而将对象 图像和概率图相对于彼此配准。所述概率图可以是已经基于几个对象图像（例如，基于对 象的几个计算机断层摄影图像）确定的，其中，在这些对象图像中，已经指示并标示出了预 期轮廓。可以将这些对象图像看作是用于训练概率图提供单元的训练图像。所述配准图像 可以是通过对用于确定所述概率图的对象图像求平均而生成的平均图像。这样的平均图像 与所得到的概率图存在着固有的配准，使得通过使实际对象图像与作为配准图像的平均图 像配准而使实际对象图像也相对于概率图配准。
[0013] 在优选的实施例中，所述概率图提供单元适于提供概率图，使得通过相应的标签 指示的相应结构出现在相应的位置上的概率额外地依赖于图像值。因而，所述概率不仅可 以依赖于相应图像元素的位置，还可以依赖于相应图像元素的图像值。具体而言，在将概率 图映射至实际对象图像之后，可以针对每一标签将相应的概率分配至实际对象图像的每一 图像元素，这依赖于相应的图像元素在实际对象图像内的位置以及图像值，例如，相应图像 元素的灰度值。图像值的额外考虑能够提高分配至对象图像的图像元素的概率的质量，由 此提高对轮廓进行标示的准确度。
[0014] 所述标签分配单元可以适于a)根据所提供的轮廓和预定义的定义规则来定义图 像元素的位置，所述预定义的定义规则根据轮廓来定义图像元素的位置，b)根据通过映射 的概率图和所定义的图像元素的位置而定义的概率来针对每一标签确定标签概率，c)将针 对其己确定最大标签概率的标签分配给所述轮廓。所述预定义的定义规则在给定了所提供 的轮廓的情况下定义确定相应的轮廓的标签所应当考虑的图像元素。
[0015] 例如，如果轮廓是闭合的，那么所述预定义的定义规则可以定义所述轮廓内的图 像元素的位置，其中，所述标签分配单元可以适于通过对由所述所映射的概率图和所述轮 廓内的图像元素的定义位置所定义的概率进行积分，来针对每一标签确定积分概率作为标 签概率。例如，所述对象图像可以是三维图像，在显示单元上示出了所述三维图像的二维片 层。用户可以逐片层地查看所述三维图像，其中，用户可以在每一片层内画出一个或几个轮 廓，然后所述一个或几个轮廓由所述标签分配单元进行自动标示。为了向轮廓分配标签，所 述标签分配单元可以适于针对每一标签计算在所述轮廓包围的区域内分配至相应标签的 概率的积分。针对其计算出最大积分概率的标签被分配至相应的轮廓。
[0016] 在实施例中，所述概率图提供单元适于提供概率图，使得通过相应标签指示的相 应结构出现在相应位置上的概率额外地依赖于图像值，其中，所述标签分配单元适于根据 由所述所映射的概率图、所定义的图像元素位置以及对象图像在这些定义位置上的图像值 所定义的概率来确定每一标签的标签概率。而且在这一实施例中，如果轮廓是闭合的，那么 所述的预定义的定义规则可以定义所述轮廓内的图像元素的位置，其中，所述标签分配单 元可以适于通过对由所述所映射的概率图、所定义的闭合轮廓内的图像元素位置和对象图 像在这些定义位置上的图像值所定义的概率进行积分，来针对每一标签确定积分概率作为 标签概率。因而，在这一实施例中，所述积分概率不仅依赖于轮廓内的图像元素的位置，还 依赖于所述轮廓内的图像元素的图像值，尤其是灰度值。对于每一标签而言，将概率分配给 所述轮廓内的每一图像元素，其中，相应的概率是通过对象图像内的相应图像元素的位置 以及相应图像元素的相应图像值所定义的，其中，相应的概率是通过所述所映射的概率图 提供的。对图像值的额外考虑提高了对相应轮廓进行标示的准确度。
[0017] 所述预定义的定义规则还可以定义轮廓贯穿的以及处于轮廓附近的图像元素的 位置。由于已经将概率图映射到了实际对象图像，因而向这些定义位置中的每者分配概率， 其任选不仅依赖于相应的位置，还依赖于图像元素在相应位置上的图像值。可以确定包围 轮廓的区域，并且可以确定所述区域内具有最大概率值的标签。可以通过到定义所述轮廓 的线的预定义的距离来定义所述区域，其中，考虑处于这一距离内的所有对象图像位置。所 述预定距离可以是关于图像元素（即体素或像素）的预定距离。所述标签分配单元也可以 适于确定关于所述区域具有最大积分概率的标签，并将这一标签分配给所述轮廓。
[0018] 在实施例中，所述概率图提供单元适于确定概率图，并提供所确定的概率图，其 中，所述概率图提供单元适于a)接收对象的几个图像，其中，所述图像包括标示轮廓，使得 向相应图像内的至少一些位置分配标签，并且b)基于所接收到的几个具有标示轮廓的图 像来确定概率图。具体而言，所述概率图提供单元适于通过如下方式来确定概率图：针对每 一标签和图像内的每一位置来确定相应标签在图像内的相应位置上的出现，并基于所确定 的出现来针对不同标签和不同位置确定通过相应标签指示的相应结构出现在相应位置上 的概率。所接收到的几个图像可以是用户画出了轮廓并给出了标示的训练图像，概率图提 供单元采用其确定概率图。也可以将最新确定的概率图与已经存在的概率图进行组合，以 更新现有的概率图。
[0019] 在实施例中，所述概率图提供单元适于基于具有所提供的轮廓的对象图像来确定 中间概率图，并基于中间概率图来更新所提供的概率图。因而，可以采用实际对象图像来更 新概率图。通过这种方式，用户能够通过向实际对象图像添加对应的轮廓和对应的新标签 而向概率图添加新标签，其中，所述概率图提供单元能够基于包括具有新标签的轮廓的实 际对象图像来确定中间概率图，并基于中间概率图来更新所提供的概率图，使得所得到的 更新概率图也包括所述新的标签。
[0020] 所述轮廓提供单元还优选适于向对象图像提供几个轮廓，其中，标签分配单元适 于基于所映射的概率图来向每一轮廓分配标签，并且其中，所述标示装置还可以包括用于 聚合具有相同标签的轮廓的聚合单元。换言之，如果在对象图像中提供了几个轮廓，尤其是 如果用户在对象图像中画了几个轮廓，其中向一些轮廓分配了相同的标签，那么所述聚合 单元能够聚合这些具有相同标签的轮廓。所述标示装置还可以包括校正单元，其允许用户 修改分配给轮廓的标签。
[0021] 在本发明的另一方面中，提出了 一种用于标示对象图像中所示的对象的结构的标 示方法，其中，所述标示方法包括：
[0022] -由轮廓提供单元提供表示所述对象图像中的结构的轮廓，
[0023] -由概率图提供单元提供概率图，所述概率图针对指示对象的不同结构的不同标 签和概率图中的不同位置而指示由相应的标签指示的相应的结构出现在相应的位置上的 概率，其中，所述概率依赖于所述概率图中的位置，
[0024] -由映射单元将概率图映射至对象图像，使得概率图中的位置被分配至对象图像 中的位置，并且
[0025] -由标签分配单元基于所映射的概率图来向轮廓分配标签。
[0026] 在本发明的另一方面中，提出了一种用于对对象图像中所示的对象的结构进行标 示的标示计算机程序，其中，所述标示计算机程序包括程序代码模块，当所述标示计算机程 序在控制根据权利要求1所述的标示装置的计算机上运行时，所述程序代码模块用于令所 述标示装置执行根据权利要求14所述的标示方法的步骤。
[0027] 应当理解，根据权利要求1所述的标示装置、根据权利要求14所述的标示方法和 根据权利要求15所述的标示计算机程序具有相似和/或等同的优选实施例，尤其是在从属 权利要求中所定义的。
[0028] 应当理解，本发明的优选实施例也可以是从属权利要求与相应独立权利要求的任 意组合。
[0029] 参考下文描述的实施例，本发明的这些和其他方面将变得显而易见，并且将参考 下文描述的实施例来阐述本发明的这些和其他方面。

【专利附图】

【附图说明】
[0030] 在附图中：
[0031] 图1示意性和示范性地示出了用于标示对象图像中示出的对象的结构的标示装 置的实施例，
[0032] 图2示意性和示范性地示出了具有标示的结构的对象图像的二维视图，
[0033] 图3示意性和示范性地示出了具有标示的结构的对象图像的另一二维视图，并且
[0034] 图4示出了示范性地说明用于标示对象图像中示出的对象的结构的标示方法的 实施例的流程图。

【具体实施方式】
[0035] 图1示意性和示范性地示出了用于标示对象图像中示出的对象的结构的标示装 置的实施例。在这一实施例中，对象是人，对象图像是人的三维对象图像，例如，三维计算机 断层摄影图像、三维磁共振图像或由其他成像模态采集的三维图像。
[0036] 标示装置1包括处理设备8，处理设备8包括用于提供表示对象图像中的结构的轮 廓的轮廓提供单元2。轮廓提供单元2是允许用户通过诸如鼠标、键盘、触控板等的输入设 备7来画出对象图像中的一个或几个轮廓的图形用户界面。
[0037] 图2示意性和示范性地示出了三维图像的重新格式化的二维视图18,其中，在这 一重新格式化的二维视图中，用户已经通过轮廓提供单元2画出了二维轮廓9. .. 13。图3 示意性和示范性地示出了所述三维图像的另一重新格式化的二维视图19,其中，在这一视 图中，用户画出了其他轮廓14. .. 17。
[0038] 处理设备8还包括用于提供三维概率图的概率图提供单元3。概率图针对指示对 象的不同结构的不同标签和概率图中的不同位置而指示相应的结构（即相应的结构的部 分）出现在相应的位置上的概率，其中，所述概率依赖于概率图中的位置。在这一实施例 中，所述概率图包括针对至少五种结构的概率，所述结构为膀胱、直肠、前列腺、右股骨和左 股骨。因而，在这一实施例中，向对于概率图内的每一点分配至少五个概率值，其中，相应的 概率值指示在相应的位置上出现相应的结构的概率。
[0039] 所述概率图优选具有与要标示出轮廓的对象图像相同的空间尺寸。因而，例如，所 述概率图提供单元可以包括几个概率图，它们对应于所要成像的对象的不同区域和/或空 间范围，其中，可以为以特定空间尺寸示出了对象的特定区域的给定对象图像提供对应的 概率图。
[0040] 处理设备8还包括映射单元4,映射单元4用于将三维概率图映射成三维对象图 像，使得三维概率图中的位置被分配给三维对象图像中的位置。优选地，所述映射图像适于 将所述三维对象图像与所述三维概率图相互配准，以执行所述映射。所述配准可以包括对 象图像和/或概率图的平移、旋转和/或变形，使得所述对象图像和所述概率图相互匹配。
[0041] 在这一实施例中，概率图提供单元3适于与所述概率图一起提供与所述概率图配 准的配准图像，其中，所述映射单元4适于将所述对象图像相对于所述配准图像配准，以使 所述对象图像与所述概率图相对于彼此配准。例如，所述映射单元4能够执行鲁棒的图像 配准技术或者人工图像配准技术，以将对象图像与配准图像配准。所述概率图优选基于以 多幅包括标示出的轮廓线的训练图像来确定的。所述配准图像优选是作为这些训练图像的 平均的平均图像，其中，所述平均图像优选是通过对不同训练图像的对应图像元素的图像 值求均值而计算出的。
[0042] 所述映射单元4可以适于对对象图像进行变换，使得经变换的对象图像和配准图 像的对应图像元素的图像值之间的偏差最小。例如，针对配准图像和变换的对象图像中的 每一对对应图像元素，可以计算出图像值的平方差，其中，可以对对象图像进行变换，使得 针对配准图像和变换对象图像中的每一对对应图像元素计算出的所述差的和最小化。
[0043] 在映射单元将概率图映射成了对象图像之后，向三维对象图像内的每一位置分配 对应于不同标签的概率值。标签分配单元5采用这些向三维对象图像内的位置的概率值分 配来为每一轮廓9. .. 17分配一个标签。
[0044] 在这一实施例中，不同的标签是不同的颜色，其中，每一颜色指示特定结构，例如， 红色指示膀胱、绿色指示直肠、黄色指示前列腺，青色指示右股骨，浅蓝色指示左股骨。
[0045] 概率图提供单元3优选适于提供概率图，使得在相应的位置处存在由相应的标签 指示的相应结构的概率还依赖于相应位置处对象图像的图像元素的图像值。
[0046] 此外，所述标签分配单元5优选适于a)根据所提供的轮廓和预定义的定义规则来 定义图像元素的位置，其中，所述预定义的定义规则根据轮廓来定义图像元素的位置，b)根 据通过映射的概率图和所定义的图像元素位置定义的概率来确定每一标签的标签概率，c) 将针对其己确定最大标签概率标签分配给轮廓。在这一实施例中，所述预定义的定义规则 定义了相应的轮廓内的图像元素的位置，其中，所述标签分配单元5适于通过对概率进行 积分来针对每一标签确定积分概率作为标签概率，所述概率是由所映射的概率图、闭合轮 廓内的图像元素的定义位置以及闭合轮廓内的这些定义位置上的对象图像的图像值所定 义的。因而，为相应轮廓内的图像元素分配针对相应标签的概率，其依赖于对象图像内的相 应图像元素的位置以及这一相应图像元素的图像值，其中，相应的概率是在所映射的概率 图内定义的。
[0047] 例如，在这一实施例中，将分配给轮廓9内的图像元素的所有针对膀胱的概率求 和，以计算轮廓9和指示膀胱的标签的积分概率。还确定针对其他标签，S卩，针对其他结构 的对应积分概率，在这一实施例中，所述其他结构为直肠、前列腺、右股骨和左股骨。因而， 在这一例子中，针对轮廓9计算了五个积分概率，其中，将计算出最大积分概率的标签分配 给轮廓9。在本范例中，将青色分配给轮廓9,因为所述标签指示右股骨。还确定针对其他 轮廓线10. .. 17的积分概率，其中，对于每一轮廓10. .. 17而言，确定最大积分概率，以确定 分配给相应的轮廓10. .. 17的标签。在这一例子中，采用红色标签对轮廓11、15着色，以指 示膀胱，采用绿色标签对轮廓17着色，以指示直肠，采用黄色标签对轮廓12着色，以指示前 列腺，采用青色标签对轮廓9、10、14着色，以指示右股骨，采用浅蓝色标签对轮廓13、16着 色，以指示左股骨。
[0048] 如果在实施例中轮廓不是闭合的，那么预定义的定义规则也可以定义相应的轮廓 所贯穿的以及处于相应的轮廓附近的图像元素的位置。之后，可以相对于这些定义的图像 元素位置并且任选地相对于这些位置上的图像元素的图像值确定每一标签的标签概率。所 述的定义位置可以是包围所述轮廓的区域内的位置，其中，能够相对于这一区域确定具有 最大概率的标签。可以通过到定义所述轮廓的线的预定义的距离来定义所述区域，其中，考 虑处于这一距离内的所有对象图像位置。所述预定距离可以是关于图像元素（即体素或像 素）的预定距离。
[0049] 处理设备8还包括用于聚合具有相同标签的轮廓的聚合单元20。例如，用户可能 已经在三维对象图像的不同二维视图中输入了几个二维轮廓线。那么，所述聚合单元20能 够适于将已经确定了相同标签的二维轮廓聚合至通过所述相应标签标示的三维结构。
[0050] 此外，处理设备8包括允许用户修改分配给轮廓的标签的校正单元21。校正单元 21优选是图形用户界面，其允许用户通过输入单元7修改在这一实施例中由标签分配单元 5自动分配给轮廓的颜色。标签也可以被视为分配给颜色（因而分配给轮廓）的名称，其 中，用户能够通过修改分配给轮廓的名称来修改分配给特定轮廓的标签。例如，如果标签分 配单元5向特定轮廓分配了标签"右股骨"，但是用户将对应的结构识别为膀胱，用户能够 将对应的标签修改为"膀胱"。
[0051] 标示装置1还包括显示单元6,显示单元6用于显示对象图像，即（例如）二维视 图18、19、轮廓9. .. 17和标签。在这一实施例中，所述标签是轮廓9. .. 17的颜色，因而在显 示着色轮廓9. .. 17的情况下也显示了标签。
[0052] 在实施例中，所述概率图提供单元3适于确定概率图并且适于提供所确定的概率 图，其中，所述概率图提供单元适于a)接收对象的几个图像，其中，所述图像包括标示出的 轮廓，使得向相应图像内的至少一些位置分配标签，并且b)基于所接收到的几个具有标示 轮廓的图像来确定概率图。具体而言，概率图提供单元3适于通过如下方式来确定概率图， 针对每一种标签以及图像中的每一位置确定相应的标签在图像中的相应的位置处的出现， 并且基于所确定的出现来针对不同标签和不同位置确定由相应的标签指示的相应的结构 出现在相应的位置上的概率。所接收到的几个优选相对于彼此配准的图像可以是由诸如医 生的用户划定了轮廓并且给出了标示的并且由概率图提供单元用于确定概率图的图像，尤 其是训练图像。也可以使最新确定的概率图与已经存在的概率图组合，以更新现有的概率 图。
[0053] 具体而言，概率图提供单元3可以适于针对每个标签确定图像值的直方图，所述 图像值的直方图是在所接收到的几个图像中分配给相应标签的。之后，能够基于针对给定 的特定标签确定的直方图来确定对于所述给定标签出现特定图像值的概率。例如，可以将 针对给定标签确定的直方图归一化，给定相应标签所述归一化的直方图能够直接提供图像 值的概率。此外，对于所接收到的图像内的每一位置而言，能够确定每一标签的出现，并且 能够基于所确定的出现来确定对于对象图像内的给定的特定位置的标签的概率。具体而 言，对于每一位置，可以将各次出现归一化，使得针对同一位置但是针对不同标签确定的归 一化出现之和为一。如果给定了特定位置，那么可以将针对特定标签和所述特定位置确定 的归一化出现看作是所述特定标签的概率。概率图提供单元3能够适于通过提供特定标签 的概率（如果给定了特定位置）和特定图像值的概率（如果给定了特定标签）的乘积来提 供概率图。因此，能够通过存储这两个不同的条件概率而将概率图存储到概率图提供单元 3内。
[0054] 概率图提供单元3还能够适于将分配给实际对象图像内的轮廓的新标签并入到 现有的概率图内。具体而言，概率图提供单元3能够适于基于具有所提供的轮廓的对象图 像来确定中间概率图，并基于所述中间概率图来更新所提供的概率图。例如，如果只向实际 对象图像增加了一个具有新标签的轮廓，那么在给定了特定位置的情况下能够确定标签的 概率，其中，对于所述轮廓外的位置而言，这一概率为零，并且对于轮廓内的位置而言，这一 概率为一。为了针对这一概率对现有概率图进行更新，可以针对每一位置采用第一权重对 所述中间概率图提供的新标签的概率加权，并且通过第二权重对现有概率图提供的已经存 在的标签的概率加权，其中，可以将所述两个概率图的加权概率归一化，使得加权概率之和 为一。得到的归一化概率是更新概率图的概率，其中，这些概率定义了在给定了特定位置的 情况下特定标签的概率，现在所述标签也可以是所述新标签了。所述第一权重优选小于第 二权重。所述第一权重和第二权重可以被预定义为，使所述第一权重是第二权重的预定义 的部分，或者所述第一权重可以与现有概率图分配给相应位置上的标签的最小概率相近， 并且所述第二权重可以为一。如果给定了标签，那么为了针对图像值的概率对现有概率图 进行更新，将由具有包括新标签的轮廓的实际对象图像确定的针对所述新标签的图像值的 归一化直方图添加至现有概率图。因而，更新的现有概率图将提供相应标签（如果给定了 位置）的概率和图像值的概率（如果给定了标签）的乘积，其中，所述的新标签现在也被包 含在内了。
[0055] 在下文中，将参考图4示出的流程图示范性地描述用于标示对象图像示出的对象 的结构的标示方法的实施例。
[0056] 在步骤101中，由轮廓提供单元提供标示对象图像中的结构的轮廓。具体而言，所 述轮廓提供单元是允许用户通过诸如键盘、鼠标、触控板等的输入设备画出对象图像中的 一个或几个轮廓的图形用户界面。优选地，所述对象图像是三维图像，其中，在显示单元上 示出了所述三维图像的重新格式化的二维视图，并且其中，用户能够在所述三维图像中画 出二维轮廓。
[0057] 在步骤102中，由概率图提供单元提供概率图，其中，概率图针对指示对象的不同 结构的不同标签以及概率图中的不同位置而指示由相应的标签指示的相应结构出现在相 应的位置上的概率。在步骤103中，通过映射单元将概率图映射至对象图像，从而将概率 图中的位置分配至对象图像中的位置，由此将概率分配给对象图像中的这些位置。在步骤 104中，标签分配单元基于所映射的概率图来向在步骤101中提供的一个或几个轮廓分配 标签。在步骤105中，显示单元6与所分配的标签一起显示对象图像和轮廓。
[0058] 很多应用是基于三维医学图像的每一片层内对解剖学器官的精确描绘 (delineation)。在放射治疗规划（RTP)中，三维计算机断层摄影和磁共振图像中对风险器 官和肿瘤的描绘被用于优化治疗射束。所述描绘是治疗规划系统的输入的部分，其理想地 由自动系统获得。但是，对于特定器官或特定患者而言，由于低图像对比度、跨各个患者的 高度变化的图像对比度、大的形状变化、由（例如）器官缺失、移植等原因导致的罕见解剖 学结构或者其他原因，自动系统可能失败。这样的器官/区域的例子是腮腺、颈部淋巴结水 平、精囊腺等等。一些用户可能甚至优选实施人工描绘，或者描绘在其他机构当中通常是不 描绘的一些额外的结构。
[0059] -般而言，在已知的系统当中，几种用户交互是人工描绘诸如器官或器官的部分 的解剖学结构所必需的。例如，对于每一解剖学结构，用户可以在标示步骤中键入相应解剖 学结构的名称。之后，在画轮廓的步骤当中，用户可以选择三维图像的二维片层和预期对比 度，例如，预期窗口和水平，并采用画图工具画出轮廓。将这一画轮廓的步骤重复几次，直到 在三维图像的所有二维片层当中都对预期的解剖学结构给出了描绘为止。如果用户想要在 一个片层内描绘几个器官，那么用户通常滚动遍历一个器官的所有片层，并在用户开始画 下一器官的轮廓之前对其进行描绘。这种做法可能无法令人满意，因为经常在同一片层内 可看到几个器官，并且可能有利地同时绘制其轮廓。有时，在结束对比度存在困难的器官之 前可以描绘某些其他器官的部分，例如，在搜索前列腺的顶点的同时能够描绘直肠的部分。 此外，用户必须判断描绘哪一器官，考虑标示和与菜单的交互而不是查看并考虑对象图像 内的解剖学结构。此外，已知标示系统的这些标示和轮廓绘制步骤是非常耗时的。
[0060] 作为对比，上文参考图1到3描述的标示装置适于自动使标签归属于用户画出的 轮廓。因此，解剖学区域或解剖学器官的描绘将变得更容易并且更简单。用户一旦看到了 感兴趣的结构就可以开始画轮廓。可以对标签进行配置，并且所述标示装置可以学习新的 标签。具有相同标签的轮廓属于同一器官并且被自动聚合到一起。所述标签装置将最可能 的标签归属于轮廓。但是，用户总是能够采用校正单元做出校正。
[0061] 所述标示装置可以利用对所考虑的对象图像的适当分割。可以通过将三维概率图 映射至对象图像而获得这一分割。可以通过鲁棒的图像配准，通过在对象图像中人工指示 出界标并将其用于与概率图的配准的人工配准，或者通过使已经画出的轮廓与图集配准而 计算所述映射。所述配准可以只是近似的。所述概率图指示对象图像中的任何位置上的特 定标签的概率，可以由供应商对其进行离线训练，或者由范例，尤其是由用户遇到并标示的 新结构对其进行在线训练。对于用户画出的每一二维轮廓而言，使具有最高概率的标签归 属于所述轮廓。如果所述轮廓是闭合的，那么在所述轮廓内具有最高的积分概率的标签是 归属标签。如果所述轮廓是不闭合的，那么在所述轮廓的附近具有最高积分概率的标签可 以是归属标签。可以在三维图像的任何重新格式化的二维视图中建立所述轮廓，具体而言， 只要能够建立二进制掩码即可。用户尤其可以选择选定数据集上的轴向、冠状或矢状视图 来建立所述轮廓。
[0062] 可以将所述标示装置集成到诸如飞利浦公司的Pinnacle3的放射治疗计划工作 站内。也可以将所述标示装置与需要人工描绘的图像引导介入系统集成或者与之一起使 用，例如，所述系统为射频消融规划系统、活检规划系统、手术规划系统等。
[0063] 尽管已经在上述实施例中提到了某些解剖学结构，例如，膀胱、直肠、前列腺等，但 是所述标示装置和标示方法也可以适于对其他解剖学结构进行标示。
[0064] 尽管在上述实施例中，对象是人，要对人的结构进行标示，但是在其他实施例中， 对象也可以是动物或技术对象，其中，所述标示装置和标示方法能够分别适于对动物或技 术对象的结构进行标绘。
[0065] 本领域的技术人员通过研究附图、公开和所附权利要求，在实践请求保护的本发 明时能够理解和实现所公开实施例的其他变化。
[0066] 在权利要求中，"包括" 一词不排除其他元件或步骤，不定冠词"一"不排除多个。
[0067] 单个单元或设备可以完成权利要求中记载的几个项目的功能。尽管在互不相同的 从属权利要求中记载了特定措施，但是这并不指示不能有利地使用这些措施的组合。
[0068] 可以由任何其他数量的单元或设备执行这样的步骤，例如提供轮廓或概率图的提 供步骤或者用于计算概率图与对象图像的映射或者向轮廓分配标签的计算步骤。例如，可 以通过单个单元或者通过任何其他数量的不同单元来执行步骤101到104。可以将所述步 骤，尤其是所述提供和/或计算步骤，以及/或者根据所述标示方法对所述标示装置进行的 控制实现为计算机程序的程序代码模块和/或专用硬件。
[0069] 可以在适当的介质上存储和/或发布的计算机程序，所述介质例如是与其他硬件 一起供应或作为其他硬件的部分供应的光存储介质或固态介质，但也可以以其他形式中发 布，例如经由互联网或其他有线或无线电信系统。
[0070] 权利要求中的任何附图标记不应被解释为对范围的限制。
[0071] 本发明涉及用于标示对象图像中示出的对象的结构的标示装置。概率图提供单元 提供概率图，所述概率图针对指示对象的不同结构的不同标签和概率图中的不同位置而指 示由相应的标签指示的相应的结构出现在相应的位置上的概率，其中，所述概率依赖于概 率图中的位置。由映射单元将概率图映射至对象图像，其中，标签分配单元基于所映射的概 率图来向所提供的表示对象图像中的结构的轮廓分配标签。这允许以相对较低的计算工作 量对由在对象图像中提供的轮廓指示的对象结构进行自动标示。
【权利要求】
1. 一种用于标示对象图像中示出的对象的结构的标示装置，所述标示装置（1)包括： -轮廓提供单元（2)，其用于提供表示对象图像中的结构的轮廓（9... 17)， -概率图提供单元（3)，其用于提供概率图，所述概率图针对指示所述对象的不同结构 的不同标签和所述概率图中的不同位置而指示由相应的标签指示的相应的结构出现在相 应的位置处的概率，其中，所述概率依赖于所述概率图中的位置， -映射单元（4)，其用于将所述概率图映射至所述对象图像，使得所述概率图中的位置 被分配至所述对象图像中的位置，以及 -标签分配单元（5)，其用于基于所映射的概率图来向所述轮廓（9... 17)分配标签。
2. 根据权利要求1所述的标示装置，其中，所述轮廓提供单元（2)适于允许用户向所述 对象图像添加轮廓（9. .. 17)以提供所述轮廓（9. .. 17)。
3. 根据权利要求1所述的标示装置，其中，所述映射单元（4)适于将所述对象图像和所 述概率图相互配准以执行所述映射。
4. 根据权利要求3所述的标示装置，其中，所述概率图提供单元（3)适于与所述概率图 一起提供与所述概率图配准的配准图像，并且其中，所述映射单元（4)适于将所述对象图 像相对于所述配准图像配准，从而将所述对象图像与所述概率图相对于彼此配准。
5. 根据权利要求1所述的标示装置，其中，所述概率图提供单元（3)适于提供所述概率 图，使得由所述相应的标签指示的所述相应的结构出现在所述相应的位置处的所述概率额 外地依赖于图像值。
6. 根据权利要求1所述的标示装置，其中，所述标签分配单元（5)适于： -根据所提供的轮廓（9. .. 17)和预定义的定义规则来定义图像元素的位置，所述预定 义的定义规则根据轮廓来定义图像元素的位置， -根据由所映射的概率图和所定义的图像元素位置所定义的概率来确定每一标签的标 签概率，并且 -将针对其己确定最大标签概率的标签分配给所述轮廓（9. .. 17)。
7. 根据权利要求6所述的标示装置，其中，如果所述轮廓是闭合的，那么所述预定义的 定义规则定义所述轮廓内的图像元素的位置，其中，所述标签分配单元（5)适于通过对由 所映射的概率图和所定义的所述轮廓（9... 17)内的图像元素的位置所定义的概率进行积 分，来针对每一标签确定积分概率作为所述标签概率。
8. 根据权利要求6所述的标示装置，其中，所述概率图提供单元（3)适于提供所述概率 图，使得由所述相应的标签指示的所述相应的结构出现在所述相应的位置上的概率额外地 依赖于图像值，其中，所述标签分配单元（5)适于根据由所映射的概率图、所定义的图像元 素的位置以及所述对象图像在这些定义的位置上的图像值定义的概率来针对每一标签确 定所述标签概率。
9. 根据权利要求8所述的标示装置，其中，如果所述轮廓是闭合的，那么所述预定义的 定义规则定义所述轮廓内的图像元素的位置，并且其中，所述标签分配单元（5)适于通过 对由所映射的概率图、所定义的所述闭合轮廓（9... 17)内的图像元素的位置和所述对象 图像在这些定义的位置上的图像值定义的概率进行积分，来针对每一标签确定积分概率作 为所述标签概率。
10. 根据权利要求6所述的标示装置，其中，所述预定义的定义规则定义由所述轮廓 (9. . . 17)所穿过的图像元素的位置以及处于轮廓（9. . . 17)附近的图像元素的位置。
11. 根据权利要求1所述的标示装置，其中，所述概率图提供单元（3)适于确定概率图， 并且适于提供所确定的概率图，其中，所述概率图提供单元（3)适于： -接收所述对象的几个图像，其中，所述图像包括标示出的轮廓，使得相应的图像内的 至少一些位置被分配有标签， -基于所接收到的具有标示出的轮廓的几个图像来确定所述概率图。
12. 根据权利要求11所述的标示装置，其中，所述概率图提供单元适于通过如下方式 来确定所述概率图： -针对每个标签以及所述图像内的每个位置来确定所述相应的标签在所述图像内的所 述相应的位置的出现，并且 -基于所确定的出现来针对不同的标签和不同的位置而确定由所述相应的标签指示的 所述相应的结构出现在所述相应的位置处的所述概率。
13. 根据权利要求1所述的标示装置，其中，所述概率图提供单元（3)适于基于具有所 提供的轮廓（9... 17)的所述对象图像来确定中间概率图，并且适于基于所述中间概率图 来更新所提供的概率图。
14. 一种用于标示对象图像中示出的对象的结构的标示方法，所述标示方法包括： -由轮廓提供单元（2)提供表示所述对象图像中的结构的轮廓（9. .. 17)， -由概率图提供单元（3)提供概率图，所述概率图针对指示所述对象的不同结构的不 同标签和所述概率图中的不同位置而指示由相应的标签指示的相应的结构出现在相应的 位置上的概率，其中，所述概率依赖于所述概率图中的位置， -由映射单元（4)将概率图映射至所述对象图像，使得所述概率图中的位置被分配至 所述对象图像中的位置，并且 -由标签分配单元（5)基于所映射的概率图来向所述轮廓（9. .. 17)分配标签。
15. -种用于对对象图像中示出的对象的结构进行标示的标示计算机程序，所述标示 计算机程序包括程序代码模块，当所述标示计算机程序在控制根据权利要求1所述的标示 装置的计算机上运行时，所述程序代码模块用于令所述标示装置执行根据权利要求14所 述的标示方法的步骤。
【文档编号】G06T7/00GK104094315SQ201380007676
【公开日】2014年10月8日 申请日期:2013年1月28日 优先权日:2012年2月1日
【发明者】T·维克, D·贝斯特罗夫, H·舒尔茨, N·沙德瓦尔特, J·彼得斯 申请人:皇家飞利浦有限公司