专利名称：信息处理装置、信息处理方法和程序的制作方法
技术领域：
本发明涉及用于处理通过使用诸如X射线计算断层(X射线CT)装置、磁共振成像 (MRI)装置、核医学诊断装置(单光子发射计算断层(SPECT)、正电子发射断层(PET))和超声诊断成像装置的各种类型的用于医用图像收集(模式)的装置捕获的医用图像的装置。
背景技术：
在医疗领域中，医生在监视器上显示病人的医用图像并且解释(读取)显示的医用图像以观察病变部的状态或病变部随时间的变化。被配置为产生这种医用图像的装置的例子包括简单的X射线成像装置、X射线计算断层(X射线CT)装置、磁共振成像(MRI)装置、核医学诊断装置(诸如SPECT和PET)和超声诊断成像装置(超声检查(US))。例如，在乳腺科领域中，可通过识别用MRI捕获的图像上的乳房病变部的位置并然后使用超声诊断成像装置观察病变部的状态的过程来执行诊断成像。这里，在乳腺科领域中的典型的放射线照相协议中，一般地，在伏卧位(身体面朝下的位置)执行MRI，并且， 在仰卧位(身体面朝上的位置)执行超声成像。医生在考虑由成像期间的身体的位置的差异导致的乳房的变形的同时从由伏卧位的MRI图像获得的病变部位置估计仰卧位的病变部位置之后执行病变部的超声成像。但是，由成像期间的身体位置的差异导致的乳房的变形会较大，使得医生估计的病变部的位置会偏离实际的位置。因此，医生希望观察的病变部的超声图像的提取会失败， 或者找到病变部会需要很长的时间。可通过在与超声成像期间的身体位置相同的仰卧位上执行MRI来克服该困难。但是，仰卧位的成像会受被检者的呼吸的影响，并且，会出现不能获得解释所需的锐利的MRI图像的另一困难。如果通过图像处理使通过伏卧位的成像获得的MRI图像变形并且成功地产生通过仰卧位的成像获得的假想的MRI图像，那么从变形的MRI图像识别病变部的位置，因此， 可以在不关注成像期间的身体位置的差异的情况下实现病变部的超声成像。例如，在解释通过伏卧位的成像获得的MRI图像并且获得图像上的病变部的位置之后，可基于关于从伏卧位到仰卧位的姿势变化的信息计算仰卧位的假想的MRI图像上的病变部的位置。作为替代方案，可以解释产生的仰卧位的假想的MRI图像，因此可直接确定该图像上的病变部的位置。为了实现这一点，通过使用在NPL 1中公开的方法，伏卧位的MRI图像可被变形为具有与仰卧位的MRI图像相同的形状。在公开的方法中，首先，使用物理模拟从伏卧位的MRI图像产生仰卧位的假想的MRI图像。然后，基于像素值的类似性执行仰卧位的假想的MRI图像与通过仰卧位的成像获得的实际的MRI图像之间的变形对准(deformation registration)。基于在以上的处理中获得的对应关系，执行使伏卧位的MRI图像变形为具有与仰卧位的MRI图像相同的形状的处理。NPL 2公开了用于通过下述方式来获得统计运动模型(SMM)的技术事先使用物理模拟获得关于对象物体的变形的参数(以下，称为变形参数)的各种设置的变形形状组，并对于结果应用主成分分析。NPL 2还公开了用于通过下述方式来使在变形前后获取的形状相关联的技术比较单独地获得的在变形后获取的形状数据与SMM的表面部分的形状并估计变形。为了使用在NPL 1中描述的方法来正确地执行处理，必须事先获得对象物体的变形参数的正确的值。即，如果没有获得变形参数，那么难以应用在NPL 1中描述的方法。当变形参数未知时，可以设想尝试基于变形参数的变化的所有模式应用变形的方法。但是，变形的许多的尝试会需要大量的时间。在NPL 2中描述的方法中，仅仅使用对象物体的轮廓形状估计变形，从而导致对诸如人乳房的表面的平滑曲线上的变形的模糊的估计。因此，变形的高精度估计会是不可行的。引文列表非专利文献NPL 1 T. J. Carter, C. Tanner, W. R. Crum, and D. J. Hawkes, " Biomechanical model initialized non-rigid registration for image-guided breast surgery," 9th Computational Biomechanics for Medicine,9th MICCAI Conference workshopNPL 2Y. Hu, D. Morgan, H. U. Ahmed, D. Pendse, M. Sahu, C. Allen, M. Emberton, and D.Hawkes, " A Statistical Motion Model Based on Biomechanical Simulations, “ MICCAI 2008, Part I，LNCS 5241，pp.737-744，2008
发明内容
本发明提供用于在对象物体的变形参数未知时实现对由变形条件的差异导致的变形的高精度和高速估计的机制。本发明的一个方面提供一种用于执行用于使原图像的形状变形为近似对象图像的形状的处理的信息处理装置，该信息处理装置包括被配置为通过使由原图像的变形导致的特征区域的移动与变形相关联来获得变形规则的获得单元；和被配置为使用关于对象图像的特征区域和原图像的对应区域的位置信息作为约束条件来根据变形规则使原图像变形的变形单元。结合附图考虑以下的描述，本发明的其它特征和优点将十分明显，在这些附图中， 类似的附图标记始终表示相同或类似的部分。
被包含于说明书中并构成其一部分的附图示出本发明的实施例，并与本描述一起用于解释本发明的原理。图1是示出根据第一实施例的信息处理装置的功能配置的示图。图2是示出根据第一实施例的信息处理装置的设备配置的示图。图3是示出根据第一实施例的信息处理装置的处理过程的流程图。图4A 4D是示出根据第一实施例的对象物体和对象物体的形状的获取的示图。图5是示出根据第一实施例的重力加速度的示图。图6是示出根据第一实施例的网格模型(mesh model)的示图。
图7是示出根据第一实施例的步骤S209的处理过程的流程图。图8是示出根据第二实施例的步骤S209的处理过程的流程图。图9是示出根据第二实施例的步骤S3101的处理过程的流程图。图10是示出根据第三实施例的步骤S209的处理过程的流程图。图11是示出根据第三实施例的步骤S4101的处理过程的流程图。图12是示出根据第三实施例的步骤S4103的处理过程的流程图。
具体实施例方式将根据附图详细描述根据本发明的示例性实施例的信息处理装置和方法。应当理解，本发明的范围不限于图中所示的例子。第一实施例图1示出根据本发明的第一实施例的信息处理装置1的功能配置。根据本实施例的信息处理装置1与用作图像捕获装置2的MRI装置和用作形状测量装置3的激光范围传感器连接。信息处理装置1获得通过用图像捕获装置2捕获第一变形条件下的对象物体的图像获得的第一三维图像数据(原图像数据)。信息处理装置1进一步获得通过用形状测量装置3测量第二变形条件下的对象物体获得的对象物体的表面形状作为对象图像的形状(以下，称为第二表面形状)。基于获得的信息，产生并显示通过使第一三维图像变形而获得的变形图像，使得在第一三维图像中出现的对象物体的形状(以下，称为第一形状)基本上与第二变形条件下的对象物体的形状(以下，称为第二形状)匹配。信息处理装置1包括以下的功能。第一图像获得单元100获得通过用图像捕获装置2捕获第一变形条件下的对象物体产生的第一三维图像(原图像)，并且将第一三维图像传送到第一形状获得单元101、第一特征点位置获得单元102和变形图像产生单元110。第一形状获得单元101处理由第一图像获得单元100获得的第一三维图像以提取关于第一变形条件下的对象物体的形状(第一形状)的信息，并且产生描述第一形状的形状模型(以下，称为第一形状模型)。然后，产生的第一形状模型被传送到第一特征点位置获得单元102。第一特征点位置获得单元102处理由第一图像获得单元100获得的第一三维图像，并且提取第一变形条件下的对象物体的预定特征区域。然后，第一特征点位置获得单元 102执行用于将关于特征区域的位置(以下，称为第一特征区域的位置)的信息加入到第一形状模型中的处理。然后，包含关于特征区域的信息的第一形状模型被传送到变形形状组产生单元104、位移矢量计算单元109和变形图像产生单元110。假想变形参数获得单元103使用以下描述的方法来获得以假想的方式设定可通过对象物体的变形参数取得的值的假想变形参数的np组，并且将假想变形参数的np组传送到变形形状组产生单元104。对象物体的变形参数的例子包括用于限定与对象物体的变形有关的特性的材料-机械物理量(诸如弹性模量)和关于施加在第一和第二变形条件下的对象物体上的外力的信息。变形形状组产生单元104基于从假想变形参数获得单元103接收的多个假想变形参数中的每一个对第一形状模型执行物理模拟。因此，变形形状组产生单元104产生第一形状被变形的多个变形形状(以下，称为变形形状组)，并且计算特征区域的位置的位移。 然后，以上的信息被传送到变形形状模型产生单元105。变形形状模型产生单元105基于变形的形状组产生变形形状模型，并且将变形形状模型传送到变形成分估计单元108，该变形形状模型可提供可由第二变形条件下的对象物体取得的各种变形形状和特征区域的位置位移的近似表示。第二形状获得单元106从形状测量装置3获得第二变形条件下的对象物体的表面形状(第二表面形状)。在本实施例中，可从形状测量装置3供给包含表示在物体的表面上紧密布置的点组的位置的三维坐标的集合的范围数据作为对象物体的表面形状。第二特征点位置获得单元107基于由第二形状获得单元106获得的第二表面形状 (范围数据)提取对象物体的特征区域的位置(第二特征区域的位置)，并且将第二特征区域的位置传送到变形成分估计单元108。变形成分估计单元108使用变形形状模型基于由第二特征点位置获得单元107提取的第二特征区域的位置计算用于描述第二形状的变形成分估计值。计算的估计值然后被传送到位移矢量计算单元109。位移矢量计算单元109基于变形成分估计值计算用于变形第一形状模型以使其与第二形状匹配的位移矢量，并且将位移矢量传送到变形图像产生单元110。变形图像产生单元110基于第一形状模型和位移矢量产生第二三维图像(变形图像)，并且将第二三维图像传送到图像显示单元111，在该第二三维图像中第一三维图像被变形为与第二形状匹配。图像显示单元111显示第二三维图像。图2是示出根据第一实施例的信息处理装置和与该信息处理装置连接的装置的配置的示图。信息处理装置1可通过例如个人计算机(PC)被实现，并且包括中央处理单元 (CPU) 10、主存储器11、磁盘12、显示存储器13、监视器14、鼠标15和键盘16。CPU 10主要控制信息处理装置1的各元件的操作。主存储器11存储由CPU 10执行的控制程序，或者当CPU 10执行程序时提供工作区域。磁盘12存储包含操作系统(OS)、 外设设备的设备驱动程序和用于执行以下描述的变形估计处理和其它适当的处理的程序的各种软件应用。显示存储器13暂时存储用于监视器14的显示数据。监视器14可以为例如阴极射线管(CRT)监视器或液晶显示监视器等，并且基于来自显示存储器13的数据显示图像。鼠标15和键盘16允许用户执行指向输入(pointing input)并输入文本等。以上的元件经由共用总线17相互连接，以相互通信。信息处理装置1经由诸如Khernet (注册商标)的局域网(LAN)与形状测量装置 3连接，并且可从形状测量装置3获得对象物体的表面形状。信息处理装置1还经由诸如 Ethernet (注册商标)的LAN与图像捕获装置2连接，并且可从图像捕获装置2获得图像数据。本发明的实施例不限于该配置，并且，信息处理装置1可经由诸如通用串行总线(USB) 接口或电气和电子工程师协会(IEEE) 1394接口的任何其它接口与形状测量装置3和图像捕获装置2连接。信息处理装置1还可被配置为从管理以上数据的数据服务器经由LAN等加载必要的数据。作为替代方案，信息处理装置1可与诸如软盘驱动器(FDD)、压缩盘可写 (CD-Rff)驱动器、磁光(MO)驱动器或Zip驱动器的存储设备连接，并且可从中加载必要的数据。根据本实施例的信息处理装置1估计从第一变形条件下的对象物体的形状向第二变形条件下的对象物体的形状的变形，相应地使第一三维图像变形并显示变形的三维图像。即，在第一三维图像上执行变形处理，并且，产生并显示第二变形条件下的假想三维图像。在本实施例中，作为例子，使用人乳房作为对象物体。在本实施例中，第一变形条件可以是病人的乳房沿重力的方向朝下(伏卧位)的状态。第二变形条件可以是病人的乳房沿重力的方向朝上(仰卧位)的状态。即，第一变形条件和第二变形条件下的乳房上的重力的方向不同。由于条件之间的差异，在第一形状和第二形状之间出现变形。根据本实施例的信息处理装置1使用第一变形条件和第二变形条件下的对象物体上的重力的不同的方向和对象物体的弹性模量(杨氏模量，泊松比)作为未知的变形参数来执行变形对准。下面，参照图3所示的流程图详细描述由根据本实施例的信息处理装置1执行的处理。作为例子，在图4A所示的捕获与不变形的胸壁面401连接的乳房400的图像的情形下描述各步骤的处理。应当注意，乳头402位于乳房400的顶部并与乳房400连接。在图4A中，为了便于图解，乳房400、胸壁面401和乳头402被示为二维平面物体。但是，在本实施例中，它们具有三维形状，并且，其断面在图4A中被示出。在本实施例中，杨氏模量和泊松比可以是标量，并且分别由Py和Pp表示。并且，重力加速度的差异是乳房400上的重力加速度的三维矢量量Pg，并且，矢量量pg的成分由pgx、 Pgy和Pgz表示。即，本实施例中的乳房400的变形参数ρ由在数学式1中给出的五维矢量表不。[数学式1]ρ = (py pp pgx pgy pgz)τ这里，为了帮助理解以下的描述，将参照图5详细描述重力加速度pg的差异的含义。图5是示出由于重力加速度而导致在对象物体的任意局部区域上施加的力的矢量的矢量图。这里，为了便于图解，将使用二维矢量图给出描述。但是，在本实施例中，由于1)8是三维矢量，因此，可对于三维应用扩展使用参照图5的描述。在图5中，第一重力条件500表示施加在第一变形条件下的对象物体上的重力加速度的矢量。在图5中，在矢量图的原点上绘制第一重力条件500，并且，以下描述的非重力条件501和第二重力条件502被表示为相对于第一重力条件500的相对矢量。非重力条件501表示在使用第一重力条件500作为基准时可由非重力状态下的重力加速度的矢量取得的值。这里，非重力条件501的重力加速度矢量的绝对值被唯一确定为地球上的重力加速度的大小。这里，绝对值由g表示。但是，矢量的方向不被确定。因此， 可由图5中的非重力状态下的力的矢量取得的值可以是以第一重力条件500为中心、半径为g的圆周上的任何点。第二重力条件502表示可由施加在第二变形条件的对象物体上的重力加速度矢量取得的值。如果使用非重力状态作为基准，那么施加在第二变形条件下的对象物体上的重力加速度矢量的绝对值也由g表示。但是，矢量的方向不被确定。因此，在使用非重力状态作为基准的矢量图的表示中，可取得以非重力状态为原点、具有半径g的圆上的任何矢量。另一方面，如果如图5所示的那样使用第一重力条件500作为基准，那么施加在第二变形条件下的对象物体上的重力加速度矢量可取得以非重力条件501的圆周上的任意点为中心、半径为g的圆周上的矢量。因此，在图5中，第二重力条件502可取得以第一重力条件500为中心、半径为2g的圆中的任何矢量。因此，本实施例中的关于外力的三维矢量量 Pg可取得具有2g或更小的绝对值的任意三维矢量量。步骤S200在步骤S200中，第一图像获得单元100获得在第一变形条件下由图像捕获装置2 捕获的乳房400的MRI图像作为第一三维图像(原图像)。这里，图4B示出由第一图像获得单元100获得的第一三维图像的例子。可作为在捕获范围内的三维空间中定义的捕获图像的亮度的函数由数学式2描述第一三维图像(1)403的信息。[数学式2]I^x, y, ζ)其中，χ、y和ζ是指捕获范围内的三维空间中的位置坐标，并且，在使用图像捕获装置或捕获图像作为基准的正交坐标系(以下，称为MRI坐标系)中，分别表示从原点平移 χ mm、y mm禾口 ζ mm的位置。步骤S2Ol在步骤S201中，第一形状获得单元101处理在步骤S200中获得的第一图像403， 以产生表示第一变形条件下的乳房400的形状的第一形状模型。将参照图4A 4D详细描述该处理。首先，第一形状获得单元101对第一三维图像403(图4B)执行轮廓提取处理，以获得图4C所示的轮廓形状404。轮廓提取处理可以是用于确定作为第一三维图像403中的乳房400的内部和外部之间的边界的轮廓的处理。在该处理的特定的例子中，可以计算第一三维图像403的亮度值的空间梯度，并且，可使用诸如执行阈值处理的方法来确定轮廓形状404。作为替代方案，可基于第一三维图像403中的乳房400的内部与外部的亮度值的直方图或亮度值的图案(纹理)的差异来执行图像区域分割，并且可确定区域的边界作为轮廓形状404。可使用以上方法中的任何一种或它们的组合或使用任何其它方法来执行用于确定轮廓形状404的处理。然后，第一形状获得单元101以适当的间隔将轮廓形状404分割成区段，并且布置图4D所示的轮廓节点组405。轮廓节点组405包含分别具有关于三维位置坐标的信息的轮廓节点。这里，假定轮廓节点组405由Hi1 ‘个轮廓节点构成，并且，各轮廓节点的位置坐标由三维位置坐标矢量sn(l彡i彡m/ )表示。然后，第一形状获得单元101将轮廓节点组405中的与乳房400邻接胸壁面401 的位置对应的节点组设定为固定节点组406。例如，可使用区域分割处理检测和识别胸壁面 401的区域，并且，可以确定该区域附近的节点(到区域的距离在预定的阈值内的节点)当中的连续节点组作为固定节点组406。然后，记录必要的信息，使得可相互区分固定节点组 406和其它的节点组(以下，称为表面节点组)。然后，第一形状获得单元101使用关于在以上的处理中获得的轮廓节点组405的信息来产生第一形状模型。在本实施例中，使用以下描述的网格模型表示第一形状模型。 将参照图6描述由第一形状获得单元101执行的网格模型产生处理。在图6中，轮廓节点组405和固定节点组406与参照图4D描述的那些相同。首先，第一形状获得单元101在被轮廓节点组405包围的区域中产生内部节点组700。在这种情况下，可以以这样的方式布置内部节点组700 例如，以相等的间隔将被轮廓节点组405包围的区域分割成多个部分。但是，在本发明的实施例中，可使用任何方法来布置内部节点组700。并且，第一形状获得单元101产生关于轮廓节点组405和固定节点组406的连接的信息。可使用诸如对于节点组应用Delaimay分割的方法来实现关于节点组的连接的信息的产生。表示在以上的处理中产生的关于轮廓节点组和内部节点组的连接的信息的数据以下被称为网格模型。 并且，构成网格模型的节点中的每一个被赋予以上获得的关于该节点的位置信息的模型 (即，被配置为表示第一变形条件下的乳房400的形状的网格模型)以下被称为第一形状模型。在以下的描述中，产生的内部节点组700中的各节点的位置坐标由三维位置坐标矢量 Sli(m/ +1 ^ i ^ Hl1)表示Oii1表示网格模型的节点的总数)。然后，如在数学式3中给出的那样，构成第一形状模型的节点组的位置信息由垂直地布置包含轮廓节点组405和内部节点组700的所有节点的位置坐标的(3Xffll)维矢量S1表示。[数学式3]
权利要求
1.一种用于执行用于将原图像的形状变形为近似对象图像的形状的处理的信息处理装置，包括被配置为通过使由原图像的变形导致的特征区域的移动与变形相关联来获得变形规则的获得单元；和被配置为使用关于对象图像的特征区域和原图像的对应区域的位置信息作为约束条件来根据变形规则使原图像变形的变形单元。
2.根据权利要求1的信息处理装置，其中，获得单元包含被配置为获得关于在第一变形条件下获得的原图像的形状的信息的第一形状获得单元；被配置为获得关于在第二变形条件下获得的对象图像的形状的信息的第二形状获得单元；被配置为获得关于第一变形条件下的原图像的特征区域的位置信息的第一特征点位置获得单元；被配置为获得关于第二变形条件下的对象图像的特征区域的位置信息的第二特征点位置获得单元；和被配置为从与多个参数对应的原图像的变形形状和关于与变形形状相关联的特征区域的位置信息产生原图像的变形形状模型的变形形状模型产生单元，并且，变形单元包含变形估计单元，该变形估计单元被配置为使用关于第一变形条件下的原图像的特征区域的位置信息和关于第二变形条件下的对象图像的特征区域的位置信息作为约束条件，基于变形形状模型估计第二变形条件下的原图像的形状到对象图像的形状的变形。
3.根据权利要求2的信息处理装置，其中，第二形状获得单元被配置为进一步获得关于对象图像的形状的一部分的信息，并且，变形估计单元进一步基于关于由第二形状获得单元获得的对象图像的形状的所述一部分的信息来估计到对象图像的形状的变形。
4.根据权利要求2或3的信息处理装置，还包括被配置为通过捕获第一变形条件下的对象物体的图像来获得图像作为原图像的图像获得单元；和被配置为基于由变形估计单元估计的变形来使由图像获得单元获得的图像变形的变形图像产生单元，其中，第一形状获得单元和第一特征点位置获得单元中的至少一个从由图像获得单元获得的图像获得预定信息。
5.根据权利要求2 4中的任一项的信息处理装置，其中，对象物体包含人乳房，并且， 对象物体的特征区域至少包含人乳头。
6.一种用于执行用于将原图像的形状变形为近似对象图像的形状的处理的信息处理方法，包括通过使由原图像的变形导致的特征区域的移动与变形相关联来获得变形规则的获得步骤；和使用关于对象图像的特征区域和原图像的对应区域的位置信息作为约束条件来根据变形规则使原图像变形的变形步骤。
7.一种用于执行用于将原图像的形状变形为近似对象图像的形状的处理的信息处理方法，包括获得关于原图像被分割成的多个区域的位置信息的获得步骤；和通过使对象图像的特征区域的位置和原图像的对应区域的位置匹配并通过改变关于所述多个区域的位置信息来使原图像变形的变形步骤。
8.一种用于使得计算机执行根据权利要求6或7的信息处理方法的程序。
全文摘要
一种用于使原图像变形的信息处理装置包括被配置为通过使由原图像的变形导致的特征区域的移动与变形相关联来获得变形规则的获得单元；和被配置为使用关于对象图像的特征区域和原图像的对应区域的位置信息作为约束条件来根据变形规则使原图像变形的变形单元。
文档编号G06T1/00GK102573650SQ201080047989
公开日2012年7月11日 申请日期2010年10月18日 优先权日2009年10月27日
发明者佐藤清秀, 石川亮, 远藤隆明 申请人:佳能株式会社