用于对对象进行成像的成像装置制造方法
【专利摘要】本发明涉及用于对对象进行成像的成像装置。几何关系确定单元(10)确定对象的第一图像和第二图像之间的几何关系，其中，标记确定单元(14)基于几何关系确定第一图像和第二图像中相对应的标记位置和标记外观，使得要被定位于第一图像中的第一位置的第一标记的标记外观和要被定位于第二图像中的第二对应位置的第二标记的标记外观表示几何关系。在显示单元(16)上显示在相应的对应位置具有标记的图像。由于标记外观表示图像之间的几何关系，具体而言，如果图像对应于不同的观察几何配置，可以方便图像的比较性检查。
【专利说明】用于对对象进行成像的成像装置
【技术领域】
[0001]本发明涉及用于对对象进行成像的成像装置、成像方法和成像计算机程序。
【背景技术】
[0002]在诸如二尖瓣修复术、主动脉瓣修复术或间隔缺损闭合术的心脏介入中，将三维经食道回波(TEE)体积成像与二维X射线投影成像一起使用，因为在所得的三维TEE体积图像和二维X射线投影图像中可以看到不同的结构。三维TEE体积图像和二维X射线投影图像在显示单元上被并排可视化，常常对应于不同的观察几何配置，这使得对比两个不同图像是困难的。
【发明内容】
[0003]本发明的目的是提供用于对对象进行成像的成像装置、成像方法和成像计算机程序，其中，可以改进对对象的两幅不同图像的可视化，所述两幅不同图像可能对应于不同观察几何配置，从而可以方便两幅不同图像的对比。
[0004]在本发明的第一方面中，提供了一种用于对对象进行成像的成像装置，其中，所述成像装置包括:
[0005]-第一图像提供单元，其用于提供所述对象的第一图像，
[0006]-第二图像提供单元，其用于提供所述对象的第二图像，
[0007]-几何关系确定单元，其用于确定所述第一图像和所述第二图像之间的几何关系，
[0008]-标记确定单元，其用于基于所述几何关系来确定所述第一图像与所述第二图像中相对应的标记位置和标记外观，使得所述第一图像中的第一位置和所述第二图像中的第二位置示出所述对象的相同部分，并且使得要被定位于所述第一位置的第一标记的标记外观和要被定位于所述第二位置的第二标记的标记外观指示所述第一图像与所述第二图像之间的几何关系，
[0009]-显示单元，其用于示出在所述第一位置处具有所述第一标记的所述第一图像以及在所述第二位置处具有所述第二标记的所述第二图像。
[0010]由于几何关系确定单元确定第一图像和第二图像之间的几何关系，由于标记确定单元基于所述几何关系确定所述第一图像和所述第二图像中相对应的标记位置和标记外观，使得所述第一图像中的第一位置和所述第二图像中的第二位置示出对象的相同部分，并且使得要定定位于所述第一位置的第一标记的标记外观和要被定位于所述第二位置的第二标记的标记外观指示所述第一图像和所述第二图像之间的几何关系，并且由于显示单元显示在第一位置处具有第一标记的第一图像和在第二位置处具有第二标记的第二图像，因而可以由所述第一标记和所述第二标记指示不同图像之间的几何关系，由此方便了不同图像的比较，尤其是如果它们对应于不同观察几何配置时。
[0011]所述第一图像提供单元可以是用于采集和提供第一图像的第一成像系统，所述第二图像提供单元可以是用于采集和提供第二图像的第二成像系统。所述第一图像提供单元和/或所述第二图像提供单元也可以是存储单元，所述存储单元中已经存储了相应图像，并且可以从所述存储单元检索相应图像并提供所述图像。例如，第一图像提供单元和第二图像提供单元中的一个可以是存储单元，所述存储单元中存储了对象的介入前图像，可以从所述存储单元提供介入前图像作为第一图像或第二图像。第一图像提供单元和第二图像提供单元中的另一个可以是用于采集对象(特别是，人)的实际图像的成像系统，以便允许像医生的用户来将介入前图像与对象的实际图像进行比较。在这种情况下，实际图像可以是，例如二维X射线投影图像或三维体积图像，像是三维体超声、计算机断层摄影或磁共振图像。第一图像提供单元和第二图像提供单元也可以分别是适于提供第一图像和第二图像的任何其他单元。例如，第一图像提供单元和/或第二图像提供单元可以分别是经由有线或无线数据连接来接收第一图像和/或第二图像的接收单元，其中，所述第一图像提供单元和/或所述第二图像提供单元可以适于提供接收到的相应图像。此外，第一图像提供单元和/或第二图像提供单元可以分别是用于提供第一图像和/或第二图像的图片存档及通信系统(PACS)。
[0012]第一图像提供单元和第二图像提供单元也可以是提供对象的第一图像和对象的第二图像的集成单元。例如，集成图像提供单元可以是X射线C型臂系统，其能够用于提供二维X射线投影图像作为所述第一图像和所述第二图像中的一个，并且用于提供计算机断层摄影图像作为所述第一图像和所述第二图像中的另一个，其中，计算机断层摄影图像可以从X射线C型臂系统在不同采集方向采集的二维X射线投影图像重建。
[0013]几何关系定义第一图像的每个图像点如何在几何上与第二图像的图像点相关，或反之亦然。例如，如果第一图像是通过探测穿过对象的射线而生成的对象的三维体积图像，第二图像是对象的二维投影图像，那么几何关系通过定义三维体积图像的哪些图像点对应于为了产生二维投影图像的相应图像点而必须要被射线穿过的对象的部分，来定义第一三维体积图像的哪些图像点对应于二维投影图像的哪些图像点。
[0014]标记外观优选是三维外观，即第一标记和第二标记优选产生三维用户印象，以便指示第一图像和第二图像之间的几何关系。
[0015]优选地，所述标记确定单元适于使得所述第一标记表示所述第一图像内在第一取向上的空间二维或三维图形元素，由此定义所述第一标记的外观，所述第二标记表示所述第二图像内在第二取向上的空间二维或三维的图形元素，由此定义所述第二标记的外观，其中，根据所述第一图像和所述第二图像之间的几何关系，所述空间二维或三维图形元素的所述第一取向和所述第二取向彼此不同，使得第一标记和第二标记的外观指示所述第一图像和所述第二图像之间的几何关系。例如，空间二维或三维元素可以是环或椭圆。这允许像医生的用户通过仅仅比较第一标记和第二标记来直观地识别所述第一图像和所述第二图像之间的几何关系。
[0016]还优选地，所述第一图像是由第一成像系统采集的图像，所述第二图像是由第二成像系统采集的图像，其中，所述成像装置还包括定位单元，所述定位单元用于相对于所述第二成像系统定位所述第一成像系统，其中，所述几何关系确定单元适于基于所述第一成像系统相对于所述第二成像系统的定位来计算所述第一图像和所述第二图像之间的几何关系。所述定位单元优选是以下中的一种:基于电磁的定位单元、基于光学形状感测的定位单元和基于图像的定位单元。这样允许较为准确地确定第一图像和第二图像之间的几何关系O
[0017]在优选实施例中，第一成像系统和第二成像系统中的一个是用于采集三维体积图像的三维体积成像系统，第一成像系统和第二成像系统中的另一个是用于采集二维投影图像的二维投影成像系统，其中，所述定位单元适于相对于所述投影成像系统定位所述三维体积成像系统，并且其中，所述几何关系确定单元适于基于对所述三维体积成像系统相对于所述二维投影成像系统的定位来确定所述三维体积图像和所述二维投影图像之间的几何关系。所述三维体积成像系统优选是像三维TEE成像系统的超声成像系统。二维投影成像系统优选是像X射线C型臂系统的X射线投影系统。
[0018]所述二维投影图像是在投影采集几何配置中采集的，其中，所述几何关系确定单元可以适于基于所述第一成像系统相对于所述第二成像系统的定位和所述投影采集几何配置，来确定所述三维体积图像和所述二维投影图像之间的几何关系。例如，如果投影成像系统包括辐射源和辐射探测器，那么可以基于第一成像系统相对于第二成像系统的定位和投影采集几何配置，来确定辐射源和辐射探测器在三维体积图像中示出的取向中相对于对象的位置，即用于生成二维投影图像的射线延伸，由此定义三维图像和二维投影图像之间的几何关系。这允许非常准确地确定第一和第二图像之间的几何关系。
[0019]还优选所述成像装置包括输入单元，所述输入单元允许用户输入所述第一图像中的所述第一位置以提供所述第一位置，其中，所述标记确定单元适于基于所提供的所述第一图像中的第一位置和所提供的所述第一图像与所述第二图像间的几何关系，来确定所述第二图像中的第二位置。此外，输入单元可以适于允许用户输入要被定位于所述第一图像之内所述第一位置的第一标记，其中，所述标记确定单元适于基于所输入的第一标记和所提供的所述第一图像与所述第二图像之间的几何关系来确定第二标记，使得相对于所述第一标记的标记外观的所述第二标记的标记外观指示所述第一图像和所述第二图像之间的几何关系。
[0020]输入单元可以是图形用户界面，其允许用户从预定义组的图形元素选择期望的图形元素，其中，所选择的图形元素被布置于第一图像之内的第一位置作为第一标记，其中，所布置的图形元素定义所述第一标记的标记外观。标记确定单元然后能够根据第一图像和第二图像之间的几何关系来确定第二图像之内第二位置处图形元素的取向，其中，可以在第二图像中显示处于这一确定取向中的图形元素作为第二标记并定义第二标记的标记外观。
[0021]在优选的实施例中，成像装置包括a)对象模型提供单元，其用于提供表示对象结构的对象模型，其中，向至少一个结构分配表示该结构的图形元素，以及b)模型调整单元，其用于针对第一图像调整所述对象模型，其中，标记确定单元适于将所述第一标记在所述第一图像之内的第一位置确定为经调整的对象模型的至少一个结构的位置，其中，分配给至少一个结构的图形元素定义第一标记的标记外观，并通过基于所述第一图像与所述第二图像之间的几何关系确定所述图形元素在所述第二图像之内的位置和取向，来确定所述第二标记的第二位置和标记外观。标记确定单元可以适于利用能够在第一图像中的第一位置探测的预定义界标，来将图形元素定向到第一图像之内第一位置处的至少一个结构。于是，在该实施例中，可以利用表示对象结构的对象模型，来自动确定第一标记的第一位置和第一标记的标记外观。如果几个图形元素被分配到对象模型的几个结构，那么用户可以利用输入单元来选择图形元素，从而选择要标记的对应对象结构。
[0022]在实施例中，第一图像是像三维体积超声图像的三维体积图像，其中，可以通过对对象模型进行平移、旋转和/或变型来针对三维体图像调整对象模型。具体而言，可以如 0.Ecabert 等人的文章:^Automatic Model-based Segmentat1n of the Heart in CTImages”，(IEEE Transact1ns on Medical Imaging, 27 (9), 1189-1201 (2008 年))中所公开地执行基于模型的分割，在此通过引用将其并入。通过针对三维体图像还针对至少一个结构调整对象模型，从而可以调整图形元素，由此在第一图像之内定义图形元素的位置和取向，这继而定义了第一标记在第一图像之内的位置和标记外观。可以利用所提供的第一图像和第二图像之间的几何关系将图形元素的位置和取向变换到第二图像中，所述第二图像例如可以是二维投影图像，由此定义所述第二标记的第二位置和标记外观。
[0023]表示结构的图形元素可以是结构自身或图形基元，即表示结构的简化图形元素，像椭圆或环，在椭圆或环上任选地具有用于分别表示椭圆或环旋转位置的元素。可以利用能够在第一图像中探测到的界标来确定简化图形元素在第一图像之内的取向和尺度。
[0024]对象模型优选是示出心脏解剖结构的心脏模型。优选地，还向分配了所述图形元素的至少一个结构分配注解，其中，所述显示单元适于还显示分配到所述至少一个结构的注解。于是，不仅可以确定标记位置和标记外观，而且可以自动确定并在显示单元上显示描述相应标记的注解。
[0025]在另一优选实施例中，所述模型调整单元适于针对所述第一图像和所述第二图像调整所述对象模型，其中，所述几何关系确定单元适于基于所述第一图像和所述第二图像对所述对象模型进行的调整来确定第一图像和第二图像之间的几何关系。具体而言，所述模型调整单元可以适于针对所述第一图像和所述第二图像中的一个来调整所述对象模型并针对所述第一图像和所述第二图像中的另一个刚性调整经调整的对象模型，其中，所述几何关系确定单元可以适于基于所述经调整对象模型的刚性调整来确定所述几何关系。
[0026]对象模型可以是个性化对象模型。个性化对象模型可以通过利用例如上述0.Ecabert等人的文章中描述的基于模型的分割，调整通用对象模型，来从三维体计算断层摄影或磁共振图像生成。可以通过将个性化对象模型配准到二维投影图像来针对用于提供第一和第二图像之一的二维投影成像系统的二维投影图像而调整所述个性化对象模型。这种配准程序可以包括仅对个性化对象模型进行平移和/或旋转并可以在开始成像程序时执行一次。第一图像和第二图像中的另一个可以是三维体积图像，其中，可以将个性化对象模型刚性匹配到三维体积图像。然后可以通过变换来定义几何关系，以针对二维投影图像和三维体积图像调整个性化对象模型。于是，在一个实施例中，可以不利用定位单元而确定第一和第二图像之间的几何关系，定位单元像是基于电磁的定位单元、基于光学形状感测的定位单元或基于图像的定位单元，由此允许提供技术上较不复杂的成像装置。
[0027]第一图像和第二图像也可以是时域图像，所述时域图像示出像生物心脏那样的活动对象。例如，第一图像可以是具有三个空间维度和一个时间维度的心脏四维图像，并且第二图像可以是具有两个空间维度和一个时间维度的三维图像，使得第一标记和第二标记可以分别连续被示为叠加在第一图像和第二图像中，同时示出对象的运动。
[0028]在本发明的另一方面中，提供了一种对对象进行成像的方法，其中，所述成像方法包括:
[0029]-由第一图像提供单元提供所述对象的第一图像，
[0030]-由第二图像提供单元提供所述对象的第二图像，
[0031]-由几何关系确定单元确定所述第一图像与所述第二图像之间的几何关系，
[0032]-由标记确定单元基于所述几何关系来确定所述第一图像和所述第二图像中相对应的标记位置和标记外观，使得所述第一图像中的第一位置和所述第二图像中的第二位置示出对象的相同部分，并且使得要被定位于所述第一位置的第一标记的标记外观和要被定位于所述第二位置的第二标记的标记外观指示所述第一图像与所述第二图像之间的几何关系，
[0033]-由显示单元显示在所述第一位置处具有所述第一标记的所述第一图像和在所述第二位置处具有所述第二标记的所述第二图像。
[0034]在本发明的另一方面中，提供了一种用于对对象进行成像的成像计算机程序，其中，所述成像计算机程序包括程序代码模块，当所述成像计算机程序在控制根据权利要求1所述的成像装置的计算机上运行时，所述程序代码模块令所述成像装置执行根据权利要求13所述的成像方法的步骤。
[0035]应当理解，根据权利要求1所述的成像装置、根据权利要求13所述的成像方法和根据权利要求14所述的成像计算机程序具有相似和/或相同的优选实施例，具体而言，如从属权利要求中定义的优选实施例。
[0036]应当理解，本发明的优选实施例也可以是从属权利要求与相应独立权利要求的任意组合。
[0037]参考下文描述的实施例，本发明的这些和其他方面将变得显而易见，并且将参考下文描述的实施例阐述本发明的这些和其他方面。
【专利附图】
【附图说明】
[0038]图1示意性和示范性地示出了用于对对象进行成像的成像装置的实施例，
[0039]图2示意性和示范性地示出了由三维体积成像系统采集的心脏的第一图像，
[0040]图3示意性和示范性地示出了由二维投影成像系统采集的心脏的第二图像，
[0041]图4示意性和示范性地示出了具有图形元素和注解的心脏模型，并且
[0042]图5示出的流程图示范性地图示了用于对对象进行成像的成像方法实施例。
【具体实施方式】
[0043]图1示意性和示范性地示出了用于对对象进行成像的成像装置I。在该实施例中，对象是躺在台3上的人2的心脏。成像装置I包括:用于提供心脏第一图像的第一图像提供单元7，用于提供心脏第二图像的第二图像提供单元11，以及包括几何关系确定单元10的处理设备9，几何关系确定单元10用于确定所述第一图像和所述第二图像之间的几何关系。处理设备9还包括标记确定单元14，用于基于所述几何关系来确定所述第一图像和所述第二图像中相对应的标记位置和标记外观，使得所述第一图像中的第一位置和所述第二图像中的第二位置示出心脏的相同部分，并使得要被定位于所述第一位置的第一标记的标记外观和要被定位于所述第二位置的第二标记的标记外观指示所述第一图像与所述第二图像之间的几何关系。成像装置I还包括显示单元16，显示单元16用于显示在第一位置处具有第一标记的第一图像和在第二位置处具有第二标记的第二图像。
[0044]在该实施例中，第一成像系统是三维体积成像系统7，具体而言，是三维超声TEE成像系统。三维体积成像系统7采集心脏的三维体积图像作为第一图像。三维体积成像系统7包括弓丨入元件21，在引入元件21的尖端22处具有超声换能器，其中，引入元件21适于被引入人2的食道中，以便执行三维TEE成像。三维体积成像系统7受到控制单元20的控制，其中，控制单元20向处理设备9提供所采集的心脏的三维体超声图像。
[0045]第二成像系统11是二维投影成像系统，用于采集二维投影图像作为第二图像。在该实施例中，二维投影成像系统11是X射线C型臂系统，包括X射线源4和X射线探测器5。X射线源4发射穿过人2体内的心脏的X射线19，其中，在X射线19穿过人2体内的心脏之后，由X射线探测器5探测X射线19。X射线C型臂系统11的X射线源4和X射线探测器5受控制单元6的控制。由X射线探测器5探测到的二维X射线投影图像被提供到处理设备9。
[0046]成像装置I还包括定位单元8，用于相对于二维投影成像系统11定位三维体积成像系统7。在该实施例中，定位单元8是基于电磁的定位单元。不过，定位单元也可以基于另一种已知的定位技术，例如基于光学形状感测的定位技术或基于图像的定位技术。
[0047]定位单元8优选适于确定三维体积成像系统7和二维投影系统11相对于彼此的位置，以便将这两个成像系统相对于彼此配准。在其他实施例中，定位单元可以附着于成像系统中的一个，使得定位单元相对于这一成像系统的位置的固定并且己知的，其中，在这种情况下，定位单元可以适于仅定位另一成像系统以配准两个成像系统，即确定两个成像系统之间的空间关系。
[0048]几何关系确定单元10适于基于三维体积成像系统7相对于二维投影成像系统11的定位并基于采集相应二维投影图像的投影采集几何配置，来确定三维体积图像和二维投影图像之间的几何关系。例如，可以基于三维体积成像系统7相对于二维投影成像系统11的定位和投影采集几何配置，来确定X射线源4和X射线源探测器5 (即用于生成二维投影图像的射线的延伸)相对于三维体积图像示出的取向中心脏的位置，从而定义由三维体积成像系统7采集的三维体积图像和由二维投影成像系统采集的二维投影图像之间的几何关系。如果定位单元8适于，例如确定X射线源4或X射线探测器5的位置，并且如果X射线源4和X射线探测器5之间的空间关系是固定且已知的，则可以由二维投影成像系统11的控制单元6或由定位单元8提供投影采集几何配置。同样，如果定位单元8附着于X射线源4或X射线探测器5并适于确定三维体积成像系统7的引入元件21尖端22的位置，并且如果X射线源4和X射线探测器5之间的空间关系是固定且已知的，那么定位单元8能够提供投影采集几何配置。定位单元8适于向处理设备9提供定位结果。
[0049]成像装置I还包括输入单元15，输入单元15用于允许用户在第一图像中输入第一位置以提供第一位置，其中，标记确定单元14可以适于基于所提供的第一图像中的第一位置和所提供的第一图像和第二图像之间的几何关系，来确定第二图像中的第二位置。此外，输入单元15可以适于允许用户输入要被定位于第一图像之内第一位置的第一标记，其中，标记确定单元14可以适于基于所输入的第一标记和所提供的第一图像和第二图像之间的几何关系来确定第二标记，使得第二标记相对于第一标记的标记外观的标记外观指示第一图像和第二图像之间的几何关系。在该实施例中，输入单元15是键盘、鼠标、触摸板或另一种允许人向处理设备中输入信息的单元，其中，输入单元15适于与图形用户界面合作，允许用户从预定义的上组图形元素选择期望的图形元素并在三维体积图像之内按需要定位和取向该图形元素。标记确定单元14然后能够利用第一图形和第二图形之间的几何关系来确定二维投影图像之内该图形元素的位置和取向。
[0050]可以由用户选择的图形元素可以是例如具有元素24的环23，元素24用于指示环23的旋转位置，如图2中示意性且示范性所示。可以在三维体积图像25中按需要定位所选的环23，并且可以任选地修改形状，例如可以修改直径，由此提供第一标记30。在本范例中，图形元素23已经被用户覆盖在第一图像25上，以指示(在本范例中)对应的心脏结构是二尖瓣。由于在第一图像之内按需要定位和取向图形元素23之后，图形元素23在心脏之内的位置和取向是已知的，还由于第一图像和第二图像之间的几何关系，具体而言，用于采集第二图像的投影采集几何配置是已知的，因而标记确定单元14能够模拟投影程序，由此向X射线探测器5的二维探测表面上虚拟地投影图形元素。图3中示意性且示范性示出了所得的第二标记26，其在第二图像27，即二维X射线投影图像中，具有椭圆形标记外观。图3还示范性示出了引入元件21的尖端22、经中隔的鞘28、递送系统29和其他元件34、35,36和37，其可以在导管插入术期间使用，导管插入术例如是机械二尖瓣置换后利用AGAMedical Corporat1n公司的Amplatzer Vascular Plug III设备来处理脊椎旁渗漏的介入。
[0051]因此标记确定单元14适于使得第一标记30表示第一取向中的图形元素23，由此定义第一标记30的标记外观，第二标记26表示第二取向中的图形元素23，由此定义第二标记26的标记外观，其中，根据三维体积图像27和二维投影图像25之间的几何关系，图形元素23的第一取向和第二取向彼此不同。
[0052]处理设备9还包括对象模型提供单元12，对象模型提供单元12用于提供表示对象结构的对象模型，其中，向至少一个结构分配表示该结构的图形元素。在该实施例中，对象模型是表示心脏结构的心脏模型。图4中示意性和示范性地示出了这种心脏模型31。
[0053]心脏模型31包括可以由不同颜色编码的不同心脏结构，其中图4中用不同阴影表示不同颜色。向至少一个心脏结构分配表示该心脏结构的图形元素。在该实施例中，向表示主动脉瓣的心脏结构分配了图形元素32，还额外地分配注解33。注解33指示心脏结构的名称，即在该实施例中，注解33指出名称“主动脉瓣”。
[0054]处理设备9还包括用于针对三维体积图像而调整心脏模型31的模型调整单元13。标记确定单元14可以适于使用调整的对象模型来确定第一标记。具体而言，标记确定单元14可以适于将所述第一标记在三维体积图像之内的第一位置确定为经调整的对象模型的至少一个结构的位置，其中，分配到至少一个结构的图形元素32定义第一标记的标记外观。此外，标记确定单元14可以适于基于第一图像(即三维体积图像)和第二图像(即二维投影图像)之间的几何关系，来确定第二图像之内图形元素的位置和取向，从而确定第二标记的第二位置和标记外观。具体而言，可以通过将心脏模型平移、旋转和/或变型来针对三维体积图像调整心脏模型31。例如，可以如上述0.Ecabert等人的文章中所公开地，进行基于模型的分割。通过针对三维体积图像调整对象模型，还针对三维体积图像调整了至少一个结构，从而调整了图形元素，由此在三维体积图像之内定义了图形元素32的位置和取向，这继而定义了第一标记在第一图像之内的位置和标记外观。可以利用所提供的三维体积图像和二维投影图像(包括采集二维投影图像时使用的投影采集几何配置)之间的几何关系来将图形元素32的位置和取向变换到二维投影图像中，由此定义第二标记的第二位置和标记外观。
[0055]图形元素32可以是相应的心脏结构自身，S卩，在该实施例中它可以具有主动脉瓣的形状，或者图形元素可以是图形基元，即表示该结构的简化图形元素，像椭圆或环，任选地在椭圆或环上分别具有用于分别表示椭圆或环旋转位置的元素，像图2和3中示意性且示范性所示的环23。可以通过将经调整的对象模型上的预定义标记调整相应的图形元素来确定图形元素，尤其是简化图形元素在三维体积图像之内的取向和尺度。针对经调整的对象模型的预定义标记对图形元素进行这种调整例如可以是最小二乘法调整。调整图形元素所针对的已调整对象模型上的预定义标记例如是特定的对象模型点货对象模型段，像三角形。在另一实施例中，也可以利用三维体积图像中可探测到的界标来确定图形元素在三维体积图像之内的取向和尺度。
[0056]显示单元16包括用于显示在第一位置处具有第一标记的第一图像的第一视口 17和用于显示在第二位置处具有第二标记的第二图像的第二视口 18。显示单元16还适于显示注解。注解优选是相应标记所在心脏结构的名称，其中注解可以由用户输入或者可以利用上述心脏模型31自动确定，上述心脏模型31包括分配了图形元素32和注解33的至少一个结构。
[0057]几何关系确定单元10还可以适于不利用定位单元8来确定几何关系。因此定位单元8是任选的。具体而言，可以基于针对第一图像和第二图像调整心脏模型来确定几何关系，即，模型调整单元13可以适于针对第一图像和第二图像调整心脏模型，其中，几何关系确定单元10可以适于基于针对第一图像和第二图像对心脏模型的调整来确定几何关系。例如，模型调整单元13可以适于针对第一图像和第二图像之一调整心脏模型，并针对第一图像和第二图像中的另一个刚性地调整已调整的心脏模型，其中，几何关系确定单元10适于基于已调整心脏模型的刚性调整来确定几何关系。几何关系确定单元10还可以适于使用其他基于图像的配准技术来确定第一和第二图像之间的几何关系。例如，可以通过定位引入元件的尖端的模型，使得模拟采集二维X射线投影图像获得的引入元件尖端的模拟投影图像类似于引入元件尖端实际测量的投影图像，从而相对于X射线投影成像系统11确定三维体积成像系统7的引入元件21的尖端22的位置。具体而言，基于图像的配准可以是如下文中公开的二维/三维配准！“Registrat1n of 3D Trans-esophagealEchocard1graphy to X-ray Fluoroscopy Using Image-based Probe Tracking，，，GangGao 等人，Medical Image Analysis (第 16 卷，第 I 期，第 38 到 49 页(2012 年))，在此通过引用将其并入。
[0058]在实施例中，心脏模型是个性化的心脏模型。个性化心脏模型可以通过利用上述0.Ecabert等人的文章中描述的基于模型的分割技术，通过调整通用心脏模型，来从三维体计算断层摄影或磁共振图像生成。可以通过将个性化心脏模型配准到二维投影图像来针对二维投影成像系统的二维投影图像调整个性化心脏模型。这种配准程序可以包括仅对个性化心脏模型进行平移和/或旋转并可以在开始成像程序时执行一次。然后可以将个性化心脏模型刚性匹配到三维体积图像。然后可以调整几何关系确定单元10以基于该变换确定几何关系，以针对二维投影图像和三维体积图像调整个性化心脏模型。
[0059]在下文中，将参考图5中所示的流程图示范性描述用于对对象进行成像的成像方法的实施例。
[0060]在步骤101中，由第一图像提供单元提供对象的第一图像。在该实施例中，由三维TEE体积成像系统采集人心脏的三维体积图像。在步骤102中，由第二图像提供单元提供对象的第二图像，即，在该实施例中，X射线投影成像系统采集人心脏的二维投影图像。在步骤103中，由几何关系确定单元确定第一图像和第二图像之间的几何关系。例如，可以由几何关系确定单元使用来自定位单元，像基于电磁的定位单元的定位信息，确定第一图像和第二图像之间的几何关系。或者，可以将对象模型，在该实施例中即心脏模型，配准到第一图像和第二图像，其中，所得的配准变换定义第一图像和第二图像之间的几何关系，因此可以由几何关系确定单元用于确定两幅图像之间的几何关系。在步骤104中，由标记确定单元基于几何关系确定第一图像和第二图像中的相对应的标记位置和标记外观，使得第一图像中的第一位置和第二图像中的第二位置显示对象的相同部分，并使得要被定位于第一位置的第一标记的标记外观和要被定位于第二位置的第二标记的标记外观指示第一图像与第二图像之间的几何关系。在步骤105中，由显示单元显示在第一位置处具有第一标记的第一图像和在第二位置处具有第二标记的第二图像。
[0061]第一图像和第二图像也可以是时域图像，其示出像生物心脏那样的活动对象。例如，第一图像可以是具有三个空间维度和一个时间维度的心脏四维图像，即，第一图像可以包括空间三维帧的序列。第二图像可以是具有两个空间维度和一个时间维度的心脏三维图像，即第二图像可以包括示出不同时间的二维投影图像的空间二维帧。可以连续分别在第一和第二图像上叠加显示第一标记，和第二标记，同时显示对象的运动。例如，可以使用对应于同一时间的空间三维帧和空间二维帧来确定这两个帧中的对应标记，其中，可以针对不同时间进行标记的这种确定，以便确定第一和第二图像中取决于时间的对应标记。
[0062]可以调整上文参考图1到3所述的成像装置以用于导管插入术实验室中，用于在导管插入术期间对生物心脏成像。例如，可以调整成像装置以在介入式程序(像二尖瓣修复术、主动脉瓣修复术或间隔缺损闭合术)期间使用。具体而言，同时使用三维TEE成像与二维X射线投影成像在这种介入式程序期间可能是有帮助的，因为在不同图像中可以看到不同的结构。成像装置显示二维X射线投影图像和三维TEE体积图像，使得这种介入期间参与的心脏病专家、心脏外科医生和其他人员能够容易理解和解释不同的图像，即使像这种介入程序期间通常情况那样，不同图像需要不同的、组织学上不对应的观察几何配置也是如此。
[0063]上文参考图1到3所述的成像装置优选适于生成用于解剖结构的标记和对应的解剖学注解，并在介入期间向二维X射线投影图像和三维TEE体积图像上至少叠加标记。标记优选具有关联的三维性质，即标记外观，帮助理解其在两幅图像中的相对取向，如图2和3中示范性所示。例如，可以通过导管插入术实验室坐标系中基于电磁的、基于光学形状感测的或基于图像的TEE探头定位，来生成这种目的所需的二维X射线投影图像和三维TEE体积图像之间的几何关系，其中，用于采集二维X射线投影图像的投影采集几何配置是已知的。标记以任选的注解可以半自动或完全自动地生成，其中，在后一种情况下，可以进行三维体积图像中示出的心脏的基于模型的分割。
[0064]上文参考图1到3所述的成像装置优选适于在以不同的观察几何配置中显示的二维X射线投影图像和三维TEE体积图像中指示像二尖瓣的对应结构，其中，可以由几何关系确定单元利用定位单元进行的定位程序结果或利用如上所述个性化心脏模型到二维X射线投影图像的配准，来生成在对应位置正确叠加所需的变换。此外，可以像Philips公司的EP Navigator和Heart Navigator产品中那样做的,进行个性化心脏模型到二维X射线投影图像的配准，其中，可以由用户手工平移和旋转个性化心脏模型，其中，模拟根据X射线成像系统几何配置示出经平移和旋转的个性化心脏模型的轮廓线的二维投影图像，其中，在实际测量的投影图像上叠加模拟的投影图像，并且其中，用户平移和旋转个性化心脏模型，使得叠加的模拟和实测投影图像彼此匹配。
[0065]成像装置优选包括TEE探头，利用基于电磁的、基于光学形状感测的或基于图像的定位技术，尤其是下文中公开的定位技术来跟踪TEE探头:Ameet Jain等人的“3D TEERegistrat1n with X-ray Fluoroscopy for Intervent1nal Cardiac Applicat1ns，，，(Lecture Notes in Computer Science,第 5528 卷，第 321 到 329 页(2009 年))，在此通过引用将其并入。
[0066]成像装置可以适于允许用户通过指示点来注解TEE体绘制中的结构，其中可以从z缓存获得深度信息，并利用输入单元选择图形元素。可以将图形元素匹配到选择的点。具体而言，可以利用最小二乘法，像下文公开的方法，进行匹配=Andrew Fitzgibbon等人的 “Direct Least Square Fitting of Ellipses，，，(IEEE Transact1ns on PatternAnalysis and Machine Intelligence,第 21 (5)卷，第 476 到 480 页(1999 年))，在此通过引用将其并入。
[0067]利用来自TEE探头跟踪的信息和导管插入术实验室的几何信息，如源到图像距离(SID)、投影方向等，可以将图形元素变换到二维X射线投影图像的空间并进行叠加。具体而言，来自TEE探头跟踪的信息和导管插入术实验室的几何信息能够定义第一图像和第二图像之间的几何关系，其中，这种几何关系可用于将TEE探头采集的三维体积图像之内提供的图形元素变换到二维X射线投影图像。
[0068]成像装置还可以适于产生图形元素和注解以自动叠加，从而减少用户交。为此目的，成像装置可以适于使用其中多个心脏结构被编码的心脏模型。此外，图形元素和名称，即注解，可以与一个或几个心脏结构相关联。图形元素可以是心脏结构自身或图形基元，如具有用于指示椭圆旋转位置的元素的椭圆，可以经由例如心脏模型中编码的界标将其匹配到相应的心脏结构。成像装置可以包括模型调整单元，用于利用例如上述0.Ecabert等人的文章中公开的基于模型的分割，针对三维TEE体积图像调整心脏模型。可以使用调整的心脏模型产生相应的注解。标记确定单元接下来可以通过将图形元素匹配到界标来确定图形元素的参数，其中，可以利用TEE探头定位来产生覆盖图。本实施例还允许自动显示解剖结构的名称。此外，可以利用依赖于时间的空间三维TEE体积图像，即利用用于生成连续覆盖图的三维TEE帧序列，来针对不同的心脏阶段生成注解。
[0069]成像装置还可以适于像EP Navigator或Heart Navigator中当前所做那样，将个性化心脏模型一次性配准到二维X射线投影图像。可以利用基于模型的分割，通过针对三维计算机断层摄影或三维磁共振图像调整通用模型(像图4中示范性且示意性所示的模型)，来从三维体计算机断层摄影或磁共振图像生成个性化心脏模型。为了在稍晚时间点产生标记注解，即心脏结构的名称，可以将个性化模型刚性匹配到三维TEE体积图像。然后可以经由变换，尤其是经由刚性变换，来建立三维TEE体积图像和具有对应X射线投影的导管插入术实验室之间的变换，所述刚性变换是通过将个性化心脏模型配准到二维X射线投影图像和三维TEE体积图像获得的。
[0070]成像装置优选适于用在具有集成三维超声成像的导管插入术实验室系统中，以支持诸如二尖瓣修复术、心房间隔缺损闭合术等介入。
[0071]尽管在上述实施例中，提到主动脉瓣作为要在图像中为其确定标记的心脏结构，但是在其他实施例中，也可以由图像中的标记表示其他心脏结构。
[0072]尽管在上述实施例中，要成像的对象是生物心脏，但是在其他实施例中，对象也可以是另一种对象，像另一种器官或技术对象。
[0073]为了在显示单元上对三维体积图像进行可视化，可以使用已知的可视化技术对三维对象进行可视化，像已知的表面绘制或体各绘制技术。也可以逐个切片地显示三维体积图像，其中，用户能够滚动通过三维体积图像。在三维体积图像之内，用户能够通过例如使用提供例如拖放程序的对应图形用户界面来布置图形元素。在一实施例中，成像装置的输入单元也可以适于允许用户在三维体积图像之内输入点，其中，标记确定单元可以适于利用例如最小二乘法针对输入点来调整选择的图形元素。具体而言，输入单元可以适于允许用户在第一图像中输入不同种类的点，其中，不同种类的点对应于图形元素的不同种类的点，并且其中，标记确定单元可以适于针对相同种类的相应输入点来调整图形元素相应种类的点。
[0074]尽管在上述实施例中图形元素是环，但在另一实施例中，图形元素也可以是另一空间二维或三维元素，像椭圆。
[0075]本领域的技术人员通过研究附图、公开和所附权利要求，在实践请求保护的本发明时能够理解和实现所公开实施例的其他变化。
[0076]在权利要求书中，“包括”一词不排除其他元件或步骤，限定词“一”或“一个”不排除多个。
[0077]单个单元或设备可以完成权利要求中记载的几个项目的功能。尽管在互不相同的从属权利要求中记载了特定措施，但是这并不表示不能有利地使用这些措施的组合。
[0078]可以由任何其他数量的单元或设备执行由一个或几个单元或设备执行的确定，如图像间几何关系的确定、相对应的标记位置和标记外观的确定等。例如，可以由单个单元或由任意其他数量的不同单元来执行步骤103和104。可以将根据成像方法对成像装置的判断和/或控制实现为计算机程序的程序代码模块和/或专用硬件。
[0079]可以在适当的介质上存储和/或发布的计算机程序，介质例如是与其他硬件一起供应或作为其他硬件一部分供应的光存储介质或固态介质，但也可以用其他形式发布，例如经由互联网或其他有线或无线电信系统。
[0080]权利要求中的任何附图标记不应被解释为对范围的限制。
[0081]本发明涉及对对象进行成像的成像装置。几何关系确定单元确定对象的第一图像与第二图像之间的几何关系，其中，标记确定单元基于所述几何关系确定第一图像和第二图像中对应的标记位置和标记外观，使得要被定位于第一图像中第一位置的第一标记的标记外观和要被定位于第二图像中第二对应位置的第二标记的标记外观指示所述几何关系。在显示单元上示出具有在相应对应位置示出的标记的图像。由于标记外观指示图像之间的几何关系，因而可以方便图像的比较性检查，特别是，如果图像对应于不同的观察几何配置。
【权利要求】
1.一种用于对对象进行成像的成像装置，所述成像装置(I)包括: -第一图像提供单元(7)，其用于提供所述对象的第一图像(25)， -第二图像提供单元(11)，其用于提供所述对象的第二图像(27)， -几何关系确定单元(10)，其用于确定所述第一图像(25)与所述第二图像(27)之间的几何关系， -标记确定单元(14)，其用于基于所述几何关系来确定所述第一图像(25)和所述第二图像(27)中相对应的标记位置和标记外观，使得所述第一图像(25)中的第一位置和所述第二图像(27)中的第二位置示出所述对象的相同部分，并且使得要被定位于所述第一位置的第一标记(30)的标记外观和要被定位于所述第二位置的第二标记(26)的标记外观指示所述第一图像(25)与所述第二图像(27)之间的所述几何关系， -显示单元(16)，其用于示出在所述第一位置处具有所述第一标记(30)的所述第一图像(25)以及在所述第二位置处具有所述第二标记(26)的所述第二图像(27)。
2.根据权利要求1所述的成像装置，其中，所述标记确定单元(14)适于使得所述第一标记(30)表示所述第一图像内在第一取向上的空间二维或三维图形元素(23)，由此定义所述第一标记(30)的外观，并且所述第二标记(26)表示所述第二图像内在第二取向上的所述空间二维或三维图形元素(23)，由此定义所述第二标记(26)的外观，其中，根据所述第一图像(25)与所述第二图像(27)之间的所述几何关系，所述空间二维或三维图形元素(23)的所述第一取向与所述第二取向彼此不同，使得所述第一标记(30)的所述外观和所述第二标记(26)的所述外观指示所述第一图像(25)与所述第二图像(27)之间的所述几何关系。
3.根据权利要求1所述的成像装置，其中，所述第一图像是由第一成像系统(7)采集的图像，并且所述第二图像是由第二成像系统(11)采集的图像，其中，所述成像装置(I)还包括定位单元(8)，所述定位单元用于相对于所述第二成像系统(11)定位所述第一成像系统(7)，其中，所述几何关系确定单元(10)适于基于所述第一成像系统(7)相对于所述第二成像系统(11)的定位来计算所述第一图像与所述第二图像之间的所述几何关系。
4.根据权利要求3所述的成像装置，其中，所述定位单元(8)是以下中的一种:基于电磁的定位单元、基于光学形状感测的定位单元和基于图像的定位单元。
5.根据权利要求3所述的成像装置，其中，所述第一成像系统和所述第二成像系统中的一个是用于采集三维体积图像的三维体积成像系统(7)，并且所述第一成像系统和所述第二成像系统中的另一个是用于采集二维投影图像的二维投影成像系统(11)，其中，所述定位单元(8)适于相对于所述投影成像系统(11)定位所述三维体积成像系统(7)，并且其中，所述几何关系确定单元(10)适于基于所述三维体积成像系统(7)相对于所述二维投影成像系统(11)的定位来确定所述三维体积图像与所述二维投影图像之间的所述几何关系O
6.根据权利要求3所述的成像装置，其中，所述二维投影图像是在投影采集几何配置中采集的，其中，所述几何关系确定单元(10)适于基于所述第一成像系统(7)相对于所述第二成像系统(11)的定位和所述投影采集几何配置，来确定所述三维体积图像与所述二维投影图像之间的所述几何关系。
7.根据权利要求1所述的成像装置，其中，所述成像装置(I)包括输入单元(15)，所述输入单元用于允许用户输入所述第一图像中的所述第一位置以提供所述第一位置，其中，所述标记确定单元(14)适于基于所提供的所述第一图像(25)中的第一位置和所提供的所述第一图像(25)与所述第二图像(27)之间的几何关系，来确定所述第二图像(27)中的所述第二位置。
8.根据权利要求1所述的成像装置，其中，所述成像装置(I)包括输入单元(15)，所述输入单元用于允许用户输入要被定位于所述第一图像(25)内的所述第一位置处的第一标记(30)，其中，所述标记确定单元(14)适于基于所输入的第一标记(30)和所提供的所述第一图像与所述第二图像之间的几何关系来确定所述第二标记(26)，使得所述第二标记(26)的所述标记外观相对于所述第一标记(30)的所述标记外观指示所述第一图像(25)与所述第二图像(27)之间的所述几何关系。
9.根据权利要求1所述的成像装置，其中，所述成像装置(I)还包括对象模型提供单元(12)以及模型调整单元(13)，所述对象模型提供单元用于提供表示所述对象的结构的对象模型，其中，至少一个结构被分配以表示所述结构的图形元素，所述模型调整单元用于针对所述第一图像调整所述对象模型，其中，所述标记确定单元(14)适于: -将所述第一标记在所述第一图像内的所述第一位置确定为经调整的对象模型的所述至少一个结构的位置，其中，分配给所述至少一个结构的所述图形元素定义所述第一标记的所述标记外观， -通过基于所述第一图像与所述第二图像之间的所述几何关系确定所述图形元素在所述第二图像内的位置和取向，来确定所述第二标记的所述第二位置和所述标记外观。
10.根据权利要求9所述的成像装置，其中，被分配以所述图形元素的所述至少一个结构还被分配以注解，其中，所述显示单元(16)适于还显示被分配给所述至少一个结构的所述注解。
11.根据权利要求9所述的成像装置，其中，所述模型调整单元(13)适于针对所述第一图像和所述第二图像来调整所述对象模型，其中，所述几何关系确定单元(10)适于基于针对所述第一图像和所述第二图像对所述对象模型的所述调整来确定所述几何关系。
12.根据权利要求11所述的成像装置，其中，所述模型调整单元(13)适于针对所述第一图像和所述第二图像中的一个来调整所述对象模型并针对所述第一图像和所述第二图像中的另一个来刚性调整经调整的对象模型，其中，所述几何关系确定单元(10)适于基于对所述经调整的对象模型的所述刚性调整来确定所述几何关系。
13.一种用于对对象进行成像的成像方法，所述成像方法包括: -由第一图像提供单元提供所述对象的第一图像， -由第二图像提供单元提供所述对象的第二图像， -由几何关系确定单元确定所述第一图像与所述第二图像之间的几何关系， -由标记确定单元基于所述几何关系来确定所述第一图像和所述第二图像中相对应的标记位置和标记外观，使得所述第一图像中的第一位置和所述第二图像中的第二位置示出所述对象的相同部分，并且使得要被定位于所述第一位置的第一标记的标记外观和要被定位于所述第二位置的第二标记的标记外观指示所述第一图像与所述第二图像之间的所述几何关系， -由显示单元示出在所述第一位置处具有所述第一标记的所述第一图像和在所述第二位置处具有所述第二标记的所述第二图像。
14.一种用于对对象进行成像的成像计算机程序，所述成像计算机程序包括程序代码模块，当所述成像计算机程序在控制根据权利要求1所述的成像装置的计算机上运行时，所述程序代码模块用于令所述成像装置执行根据权利要求13所述的成像方法的步骤。
【文档编号】G06T7/00GK104272348SQ201380007675
【公开日】2015年1月7日 申请日期:2013年1月25日 优先权日:2012年2月3日
【发明者】J·威斯, I·韦希特尔-施特勒, T·H·施特勒, A·扎尔巴赫, S·莫卢斯, N·沙德瓦尔特, L·G·扎戈尔谢夫 申请人:皇家飞利浦有限公司