专利名称：通过使用3d模型产生身体器官的医疗图像的方法和设备的制作方法
技术领域：
本公开涉及一种通过使用三维(3D)模型产生身体器官的医疗图像的方法和设备。
背景技术：
在诊断和治疗疾病的传统方法中，在执行了剖腹手术后用肉眼确认疾病的状态，然后使用大型外科器械对病变执行切割或者外科手术。然而，最近，因为由于医疗技术的进 步可获得高分辨率的医疗图像并且还可精细地控制医疗器械，所以已经研发了不用对病人的身体进行切割来治疗疾病的方法。在该方法中，在对病人的皮肤中扎小孔之后直接将导管或者医疗针插入血管或者身体部位,然后通过使用医疗成像设备观察病人身体内部的同时执行疾病的治疗。这种方法被称作“使用图像的外科手术”、“基于介入式图像的外科手术”或者“基于中间图像的外科手术”。在该方法中，外科医生通过图像确定内部器官或病变的位置。而且，外科医生需要知道在外科手术期间由于病人的呼吸或运动而引起的任何改变。因此，外科医生需要基于实时图像准确而快速地确定病人的呼吸或运动以执行外科手术，但是用肉眼不容易确定内部器官或病变的形状。因此，为了解决这个问题，已经研发出允许外科医生实时确定内部器官的形状和位置的方法和设备。
发明内容
根据一方面，一种产生器官的图像的方法包括基于病人的至少一个器官的医疗图像产生所述至少一个器官的三维(3D)模型；通过将示出由病人的身体活动引起的所述至少一个器官的形状的改变的多个图像和所述至少一个器官的3D模型匹配来产生多个匹配图像；基于病人的当前身体状况选择所述多个匹配图像中的一个匹配图像；并输出选择的匹配图像。产生3D模型的步骤可包括基于所述至少一个器官的医疗图像产生示出病人的所述至少一个器官的形状的3D模型。选择的步骤可包括基于示出病人的当前身体状况的实时医疗图像选择多个匹配图像中的一个匹配图像；所述多个图像和实时医疗图像可以是超声波图像。产生所述多个匹配图像的步骤可包括基于所述至少一个器官的形状的改变修改3D模型；使3D模型的坐标轴与所述多个图像的坐标轴一致。产生所述多个匹配图像的步骤还可包括通过以预定亮度重叠所述多个图像的像素或体元值来产生所述多个匹配图像。选择的步骤可包括选择所述多个匹配图像中的一个匹配图像，所述一个匹配图像与所述多个图像中与病人的实时医疗图像最相似的一个图像相应，所述实时医疗图像示出病人的当前身体状况。选择的步骤可包括计算所述多个图像的每个图像中的横膈膜的位置和实时医疗图像中的横膈膜的位置之间的差，并选择多个匹配图像中的一个匹配图像，所述一个匹配图像与所述多个图像中的一个图像相应，其中，所述一个 图像是在所述多个匹配图像中的所有匹配图像中计算的差最小的图像。产生3D模型的步骤可包括从医疗图像中提取所述至少一个器官的边界和内部构造的位置坐标信息；在位置坐标信息中指定界标点的坐标；基于界标点的坐标产生所述至少一个器官的平均器官3D模型。产生3D模型的步骤还可包括将统计学的外表3D模型改变为反映病人的所述至少一个器官的形状特征的3D模型。产生3D模型的步骤还可包括将病人的所述至少一个器官的形状特征反映到所述至少一个器官的医疗图像中。所述形状特征可包括所述至少一个器官的病变的形状和位置。提取位置坐标信息的步骤可包括将医疗图像中亮度值改变最大的位置确定为所述至少一个器官的边界和内部构造的位置坐标信息。提取位置坐标信息的步骤可包括将医疗图像中离散时间傅里叶变换(DTFT)的频率值最大的位置确定为所述至少一个器官的边界和内部构造的位置坐标信息。提取位置坐标信息的步骤可包括基于用户输入的坐标确定所述至少一个器官的边界和内部构造的位置坐标信息。所述多个图像可以是在病人的呼吸周期期间以预定间隔捕捉的图像。所述至少一个器官的医疗图像可以是通过使用计算断层扫描(CT)方法捕捉的图像。所述至少一个器官的医疗图像可以是通过使用磁共振(MR)方法捕捉的图像。产生3D模型的步骤可包括在开始治疗病人的准备之前，预先产生3D模型；在开始治疗病人的准备之前，在数据库中存储预先产生的3D模型；作为治疗病人的准备的一部分，检索在数据库中存储的预先产生的3D模型。根据一方面，一种非暂时性计算机可读存储介质可存储用于控制处理器执行如上所述的产生器官的图像的方法的程序。根据一方面，一种产生器官的图像的设备，所述设备包括器官模型产生单元，被配置为基于病人的至少一个器官的医疗图像产生所述至少一个器官的3D模型；图像匹配单元，被配置为通过将示出由病人的身体活动引起的所述至少一个器官的形状的改变的多个图像和所述至少一个器官的3D模型匹配来产生多个匹配图像；图像搜索单元，被配置为基于病人的当前身体状况选择所述多个匹配图像中的一个匹配图像，并输出选择的匹配的图像。所述设备可包括附加调整单元，被配置为根据用户的输入进一步调整所述多个匹配图像。
根据一方面，一种产生器官的图像的方法包括基于器官的多个医疗图像产生器官的平均三维(3D)模型；基于器官的平均3D模型和特定病人的器官的至少一个医疗图像来产生所述病人的器官的个人3D模型；通过将所述病人的器官的多个图像和器官的个人3D模型匹配产生多个匹配图像，在所述病人的器官的多个图像中，病人的器官的形状由于病人的身体活动而改变；基于反映病人的当前身体状况的病人的器官的实时医疗图像选择匹配图像中的一个图像；输出选择的匹配图像。所述选择的步骤可包括选择匹配图像中的一个匹配图像，所述一个匹配图像与病人的器官的多个图像中的一个图像相应，在所述一个图像中，病人的器官的位置和/或形状与病人的器官的实时医疗图像中的病人的器官的位置和/或形状最相似。所述器官的多个医疗图像和病人的器官的医疗图像可以是计算断层扫描(CT)图像或磁共振(MR)图像；所述病人的器官的多个图像和病人的器官的实时医疗图像可以是超声波图像。
病人的身体活动可以是呼吸；并且可以在病人的一个完整的呼吸周期期间以预定间隔捕捉病人的器官的多个图像。通过使用所述方法和设备，可通过将实时医疗图像和器官的图形模型结合然后输出结合的图像以在外科手术期间准确快速地追踪器官的位置。在下面的说明书中将部分地阐述另外方面，部分地，从说明书中将是清楚的，或者可通过实施描述的示例来了解所述另外方面。
从下面结合附图对示例的描述，上述和/或其他方面将会更清楚并更容易被理解，其中图I是示出根据本发明的示例的用于产生身体器官的图像的系统的配置的示图；图2是示出图I的图像匹配装置的结构的框图；图3是解释从外部医疗图像提取器官的边界和内部构造的位置坐标信息的处理的示图；图4是示出图2的图像匹配单元使被修改以反映器官的改变的个人3D身体器官模型与多个超声波图像中的每个超声波图像中的器官的位置一致的处理的流程图；图5示出了在二维(2D)图像中应用仿射变换函数的处理；图6示出了通过图2的图像匹配单元执行的匹配图像的处理；图7是示出横膈膜的绝对位置的上下移动的曲线图；图8是示出基于三维(3D)身体器官模型追踪动态的器官和病变的方法的流程图。
具体实施例方式现在将参照附图更全面地描述本发明的示例。在下面的描述中，将不对已知功能或结构进行详细描述以避免在不必要的细节上模糊本发明。图I是示出根据本发明的示例的产生身体器官的图像的系统的配置的示图。参照图1，所述系统包括图像检测装置10、图像匹配装置20和图像显示装置30。图像检测装置10通过使用通过将图像检测装置10的探头11产生的源信号发送到病人身体的目标部位而产生的响应，来产生图像数据。源信号可以是比如超声波信号、X射线等的信号。下面将描述这样的示例图像检测装置10是通过使用超声波来捕捉病人身体的三维(3D)图像的超声波检查机器。在超声波检查机器中，探头11通常是压电传感器的形式。如果2MHz至8MHz范围中的超声波信号从图像检测装置10的探头11发送到病人身体内部的部位，则将从各种不同组织之间的层部分地反射超声波信号。具体地讲，将从身体内部密度改变的部位(例如，血浆的血细胞、小构造的器官等)反射超声波。反射的超声波振动探头11的压电传感器，压电传感器输出由于振动引起的电脉冲。通过图像检测装置10将电脉冲转换为图像。图像检测装置10可输出二维(2D)图像，也可输出3D图像。图像检测装置10输出3D图像的方法如下所示。在改变病人身体上的探头11的位置和方位的同时，图像检测装置10捕捉病人身体的部位的多个横截面图像。图像检测装置10累积所述多个截面图像，并从横截面图像产生三维地表示病人身体的部位的3D立体图像数据。以这种方式，通过累积横截面图像产生3D立体图像数据的方法被称作多平面重建(MPR)方法。 然而，尽管可实时获得通过图像检测装置10获得的图像(例如，超声波图像)，但是通过超声波图像难于清楚地识别器官或病变的边界和内部构造。在计算断层扫描(computed tomography, CT)图像或磁共振(MR)图像中，可清楚地识别器官或病变的位置。然而，当病人在外科手术期间呼吸或移动时，器官或病变的形状会变形或者器官或病变的位置会改变，通过使用CT图像或MR图像不能获得反映该实时改变的图像。也就是说，因为CT图像通过使用辐射而获得，并且由于对病人或外科医生有长时间的辐射接触的危险因此需要短时间拍摄，因此，不能实时输出CT图像。因为需要花费较长时间来捕捉MR图像，因此，不能实时输出MR图像。因此，有必要提供一种可实时捕捉图像并可清楚地识别器官或病变的边界和内部构造的方法和设备。因此，下面将解释的示例提供了如下所述的方法，其中，可通过输出实时检测的图像与器官或病变的模型匹配的图像，来正确地识别器官或病变的位置或变形。图2是示出图I的图像匹配装置20的结构的框图。参照图2，图像匹配装置20包括医疗图像数据库(DB) 201、平均模型产生单元202、个人模型产生单元203、图像匹配单元204、图像搜索单元205、附加调整单元206和存储器207。可将下面详细描述的各种单元202、203、204、205和206实施为硬件组件、软件组件或作为硬件和软件的组合的组件。平均模型产生单元202通过接收病人的各种医疗图像然后对它们进行处理来产生器官的平均模型。在这个示例中，通过使用个人模型(即病人的个性化模型)来追踪病人的器官。作为产生个人模型的准备步骤，通过平均模型产生单元202产生平均模型。这是因为，由于对于每个个体的人，器官的特点(比如形状和大小)不同，因此需要反映每个个体的特点以提供精确的外科手术环境。每个个体的各种图像信息可被用于获得精确的平均模型。另外，可获得呼吸的各种时刻的图像以反映根据呼吸改变的器官的形态。更详细地讲，平均模型产生单元202从拍摄设备或者从图像存储介质直接接收医疗专家为病人的诊断已经捕捉的图像(下面，称作“外部医疗图像”)。因此，期望接收外部医疗图像，所述外部医疗图像能够容易地对器官或病变的边界或者器官内部的特点进行分析。例如，CT图像或MR图像可作为外部医疗图像输入。在医疗图像DB 201中存储外部医疗图像，平均模型产生单元202接收存储在医疗图像DB 201中的外部医疗图像。医疗图像DB 201可存储可通过拍摄设备捕捉或可从图像存储介质输入的各种个体的医疗图像。当从医疗图像DB 201接收外部医疗图像时，平均模型产生单元202可根据用户的选择从医疗图像DB 201接收ー些外部医疗图像或所有外部医疗图像。平均模型产生单元202将3D主动形状模型(active shape model, ASM)算法应用于接收的外部医疗图像。为了应用3D ASM算法，平均模型产生单元202通过分析接收的外部医疗图像从接收的外部医疗图像提取器官的形状、大小和解剖特征，并对它们取平均以产生器官的平均模型。T. F. Cootes,A. HillX. J. Taylor 和 J. Haslam在 1994 年 7 月“Imageand Vision Computing” 的第 6 期第 12 卷的第 355 至 366 页的论文“The Use of ActiveShape Models For Locating Structures in Medical Images” 中详细描述了 3D ASM 算法，该论文全部包含于此以资參考。可通过应用3D ASM算法获得器官的平均形状，并且可通过修改变量来对器官的平均形状进行变形。图3是解释从外部医疗图像(例如CT图像或MR图像)提取器官的边界和内部构造的位置坐标信息的处理的示图。例如，肝脏的内部构造可包括肝动脉、肝静脉、肝管和它们之间的边界。当外部医疗图像被输入到平均模型产生单元202时，平均模型产生单元202执行下述操作通过根据外部医疗图像是2D图像还是3D图像使用不同方法来提取器官的边界和内部构造的位置坐标信息。如果2D图像作为外部医疗图像输入，则平均模型产生单元202通过累积多个横截面图像获得三维地表示目标部位的3D立体图像，以产生3D模型。在图3的左侧示出获得3D立体图像的方法。更详细地讲，在累积多个横截面图像之前，从多个横截面图像的每个横截面图像提取器官的边界和内部构造的位置坐标信息。然后，可通过将累积多个横截面图像的方向的轴的坐标信息添加到提取的信息来获得3D坐标信息。例如，由于在图3的右侧示出的图像是其Z轴值为I的图像，因此从该图像提取的边界的位置坐标的Z值总是I。也就是说，在图3的右侧示出的图像的3D坐标信息是[X，y，l]。因此，因为在图3的左侧示出的横截面图像的坐标信息是2D坐标信息[X，y]，所以提取Z轴的坐标值和2D坐标信息[X，y]以获得在图3的左侧示出的图像的位置坐标信息。然后，图像的位置坐标信息将是3D坐标信息[X, y, z]。如果3D图像作为外部医疗图像输入，则以预定间隔提取3D图像的横截面以获得横截面图像，然后执行与2D图像作为外部医疗图像输入的情况相同的处理，从而获得3D位
置坐标信息。在该处理中，可使用算法来自动地或半自动地获得2D图像中的器官的边界的位置坐标信息，并且还可由用户參照输出图像信息手动输入2D图像中的器官的边界的位置坐标信息。例如，在自动获得器官的边界的位置坐标信息的方法中，可获得图像的亮度突然改变的部位的位置坐标信息，还可通过使用离散时间傅里叶变换(DTFT)提取频率值最大的位置作为边界位置。在半自动地获得器官的边界的位置坐标信息的方法中，如果用户输入关于图像的边界点的信息，则可基于边界点提取边界的坐标位置，这与自动获得位置坐标信息的方法类似。由于器官的边界是连续的并且具有闭环的曲线形状，所以可通过使用该特性来获得关于器官的整个边界的信息。由于半自动地获得位置坐标信息的方法不需要捜索整个图、像，因此，与自动获得位置坐标信息的方法相比，可快速地获得结果。在手动获得器官的边界的位置坐标信息的方法中，用户可在观看图像时直接指定边界的坐标。此时，由于指定边界的坐标的间隔可能不是连续的，因此，可针对不连续的部分执行插值来连续地提取边界。如果在将与位置坐标相应的体元(voxel)的亮度值设置为预定值之后，输出通过使用上述方法获得的器官或病变的位置坐标信息，则用户可确定三维地和图形地表示的器官或病变的形状。例如，如果目标器官的边界坐标的亮度值被设置为最小值，即最黑的值，则目标器官的图像在输出图像中将具有黑的形态。如果目标器官的亮度值被设置为白色和黑色之间的中间值，并且病变的亮度值被设置为黑色，则可用肉眼容易地区分病变和目标器官。可将通过使用上述方法获得的多个器官的边界和内部构造的位置坐标信息定义为数据集合，并可将所述位置坐标信息用于执行3DASM算法。下面将解释3DASM算法。为了应用3D ASM算法，使多个器官的边界和内部构造的位置坐标的坐标轴相互一致。使坐标轴相互一致表示使多个器官的重心与一个原点和所述多个器官的排列方向一致。因此，在多个器官的边界和内部构造的位置坐标信息中确定界标点(landmark point)。 所述界标点是应用3D ASM算法所使用的基本点。通过使用下面的方法来确定界标点。第一，将明显反应目标的特征的点确定为界标点。例如，所述点可包括肝脏的血管的分支点、心脏的右心房和左心房之间的边界，主静脉和心脏外壁(outer wall)之间的边界等。第_■，将预定坐标系中的目标的最闻点或最低点确定为界标点。第三，沿着边界以预定间隔将用于在第一确定的点和第二确定的点之间插值的点确定为界标点。可通过使用二维中的X轴和Y轴的坐标来表示确定的界标点，并且可使用三维中的X轴、Y轴和Z轴的坐标来表示确定的界标点。因此,如果每个界标点的坐标被表示为三维中的向量Xci, X1,…xn_i(其中，n是界标点的个数)，则向量Xci, X1,…Xlri可由下面的等式I来表示。Xi0 — [xi0, yi0, zi0]xn = [xn, yn, zn] Xin^1 = [Xilri, yin_i, zin_J(I)下标i表示在第i图像中获得的器官的边界和内部构造的位置坐标信息。在一些情况下，可增加位置坐标信息的数量，因此，位置坐标信息可以被表示为单个向量以方便计算。然后，用单个向量表示所有界标点的界标点向量可以由下面的等式2定义Xi — [xi0，yi0 zi0j xn, ynj zn,…，Xirrl, yin_! zin_J (2)向量Xi的大小是3nXl。如果数据集合中图像的数量是N，则用于数据集合中所有图像的界标点的平均值可被表示为下面的等式3
权利要求
1.一种产生器官的图像的方法，所述方法包括 基于病人的至少ー个器官的医疗图像产生所述至少ー个器官的三维模型； 通过将示出由病人的身体活动引起的所述至少ー个器官的形状的改变的多个图像和所述至少ー个器官的三维模型匹配来产生多个匹配图像； 基于病人的当前身体状况选择所述多个匹配图像中的ー个匹配图像； 输出选择的匹配图像。
2.如权利要求I所述的方法，其中，产生三维模型的步骤包括基于所述至少ー个器官的医疗图像产生示出病人的所述至少ー个器官的形状的三维模型。
3.如权利要求2所述的方法，其中，选择的步骤包括基于示出病人的当前身体状况的 实时医疗图像选择所述多个匹配图像中的ー个匹配图像； 所述多个图像和实时医疗图像是超声波图像。
4.如权利要求I所述的方法，其中，产生所述多个匹配图像的步骤包括 基于所述至少ー个器官的形状的改变修改三维模型； 使三维模型的坐标轴与所述多个图像的坐标轴一致。
5.如权利要求4所述的方法，其中，产生所述多个匹配图像的步骤还包括通过以预定亮度重叠所述多个图像的像素或体元值来产生所述多个匹配图像。
6.如权利要求I所述的方法，其中，选择的步骤包括选择所述多个匹配图像中的ー个匹配图像，所述ー个匹配图像与所述多个图像中与病人的实时医疗图像最相似的一个图像相应，所述实时医疗图像示出病人的当前身体状況。
7.如权利要求6所述的方法，其中，选择的步骤包括计算所述多个图像的每个图像中的横膈膜的位置和实时医疗图像中的横膈膜的位置之间的差； 选择所述多个匹配图像中的ー个匹配图像，所述ー个匹配图像与所述多个图像中的一个图像相应，其中，所述ー个图像是在所述多个匹配图像中的所有匹配图像中计算的差最小的图像。
8.如权利要求I所述的方法，其中，产生三维模型的步骤包括 从医疗图像中提取所述至少ー个器官的边界和内部构造的位置坐标信息； 在位置坐标信息中指定界标点的坐标； 基于界标点的坐标产生所述至少ー个器官的平均器官三维模型。
9.如权利要求8所述的方法，其中，产生三维模型的步骤还包括将平均器官三维模型改变为反映病人的所述至少ー个器官的形状特征的三维模型。
10.如权利要求9所述的方法，其中，产生三维模型的步骤还包括将病人的所述至少ー个器官的形状特征反映到所述至少ー个器官的医疗图像中。
11.如权利要求10所述的方法，其中，所述形状特征包括所述至少ー个器官的病变的形状和位置。
12.如权利要求9所述的方法，其中，所述形状特征包括所述至少ー个器官的病变的形状和位置。
13.如权利要求8所述的方法，其中，提取位置坐标信息的步骤包括将医疗图像中亮度值改变最大的位置确定为所述至少ー个器官的边界和内部构造的位置坐标信息。
14.如权利要求8所述的方法，其中，提取位置坐标信息的步骤包括将医疗图像中离散时间傅里叶变换的频率值最大的位置确定为所述至少ー个器官的边界和内部构造的位置坐标信息。
15.如权利要求8所述的方法，其中，提取位置坐标信息的步骤包括基于用户输入的坐标确定所述至少ー个器官的边界和内部构造的位置坐标信息。
16.如权利要求I所述的方法，其中，所述多个图像是在病人的呼吸周期期间以预定间隔捕捉的图像。
17.如权利要求I所述的方法，其中，所述至少ー个器官的医疗图像是通过使用计算断层扫描方法捕捉的图像。
18.如权利要求I所述的方法，其中，所述至少ー个器官的医疗图像是通过使用磁共振方法捕捉的图像。
19.如权利要求I所述的方法，其中，选择的步骤包括基于示出病人的当前身体状况的实时医疗图像选择所述多个匹配图像中的ー个匹配图像； 所述多个图像和所述实时医疗图像是超声波图像。
20.如权利要求I所述的方法，其中，产生三维模型的步骤包括 在开始治疗病人的准备之前，预先产生三维模型； 在开始治疗病人的准备之前，在数据库中存储预先产生的三维模型； 作为治疗病人的准备的一部分，检索在数据库中存储的预先产生的三维模型。
21.—种产生器官的图像的设备，所述设备包括 器官模型产生单元，被配置为基于病人的至少ー个器官的医疗图像产生所述至少ー个器官的三维模型； 图像匹配単元，被配置为通过将示出由病人的身体活动引起的所述至少ー个器官的形状的改变的多个图像和所述至少ー个器官的三维模型匹配来产生多个匹配图像； 图像搜索単元，被配置为基于病人的当前身体状况选择所述多个匹配图像中的ー个匹配图像，并输出选择的匹配的图像。
22.如权利要求21所述的设备，还包括附加调整単元，被配置为根据用户的输入进ー步调整所述多个匹配图像。
23.—种产生器官的图像的方法，所述方法包括 基于器官的多个医疗图像产生器官的平均三维模型； 基于器官的平均三维模型和特定病人的器官的至少ー个医疗图像来产生所述病人的器官的个人三维模型； 通过将所述病人的器官的多个图像和器官的个人三维模型匹配产生多个匹配图像，在所述病人的器官的多个图像中，所述病人的器官的形状由于所述病人的身体活动而改变；基于反映所述病人的当前身体状况的所述病人的器官的实时医疗图像选择所述多个匹配图像中的ー个匹配图像； 输出选择的匹配图像。
全文摘要
一种通过使用3D模型产生身体器官的图像的方法和设备。一种产生器官的图像的方法包括基于病人的至少一个器官的医疗图像产生所述至少一个器官的三维(3D)模型；通过将示出由病人的身体活动引起的所述至少一个器官的形状的改变的多个图像和所述至少一个器官的3D模型匹配来产生多个匹配图像；基于病人的当前身体状况选择所述多个匹配图像中的一个匹配图像；输出选择的匹配图像。
文档编号A61B5/055GK102727236SQ20121008914
公开日2012年10月17日 申请日期2012年3月29日 优先权日2011年3月29日
发明者方远喆, 金亭培, 金庸善, 黄英珪 申请人:三星电子株式会社