图像处理装置、图像诊断系统、图像处理方法和存储介质的制作方法
【专利摘要】一种图像处理装置，包括：医疗图像获得部件，该医疗图像获得部件用于获得第一形状状态下的被检体的医疗图像；变形信息获得部件，该变形信息获得部件用于获得指示所述被检体从所述第一形状状态到第二形状状态的变形的变形信息；成像区域设定部件，该成像区域设定部件用于设定所述第二形状状态下的被检体的成像区域；变形图像产生部件，该变形图像产生部件用于通过根据所述成像区域对基于所述变形信息变形的医疗图像进行转换来产生转换图像；以及显示图像产生部件，该显示图像产生部件用于通过使所述转换图像和成像区域重叠来产生显示图像。
【专利说明】
图像处理装置、图像诊断系统、图像处理方法和存储介质
技术领域
[0001]本发明涉及图像处理装置、图像诊断系统、图像处理方法和存储介质，并且特别涉及用于处理通过各种类型的医疗图像获取装置(医疗器械(modality))捕获的医疗图像的技术。
【背景技术】
[0002]近年来，在医疗领域中已开发了光声断层摄影(PAT)成像装置(PAT装置KPAT装置通过利用光学脉冲照射被检体来激励被检体内的吸收物质，并且检测通过吸收物质的热弹性膨胀产生的光声信号，以便形成与光学吸收有关的被检体的性质的图像。也就是说，形成相对于照射光的被检体内的光学能量沉积量分布(光学能量吸收密度分布)的图像。而且，基于此，形成与照射波长有关的被检体中的光学吸收系数分布的图像。并且，基于与多个波长有关的光学吸收系数分布，还可形成构成被检体的物质的状态(例如，血红蛋白的氧饱和度)的图像。这些图像有望使得与在诸如癌的肿瘤的内外产生的新血管有关的信息可视。以下，这些图像被统称为光声断层摄影图像(PAT图像)。
[0003]通过PAT装置，利用具有小的能量的近红外线脉冲执行照射，因此与X射线等的情况相比，难以形成被检体的深部的图像。鉴于此，在日本专利公开N0.2010-88627中，在使用乳房作为被检体的一种形式的PAT装置中，在乳房通过两个平板(以下，称为保持板)保持并且厚度被减小的状态下执行成像。
[0004]日本专利公开N0.2007-29353公开了用于将X射线照射场和X射线检测场以它们被重叠在通过利用照相机对被检体的体表成像所获得的外观图像上的这样的方式显示为可视觉区分的图片的技术。
[0005]然而，日本专利公开N0.2010-88627或日本专利公开N0.2007-29353的技术的问题在于，在被检体中的关注区域不在体表上而在被检体的体内的情况下，即使通过使用体表上的标记作为参照信息，关注区域的精确范围也是未知的，因此难以适当地设定成像区域。
[0006]鉴于以上问题，本发明提供用于设定成像区域使得被检体内的关注区域被适当地成像的技术。
【发明内容】
[0007]根据本发明的一个方面，提供一种图像处理装置，该图像处理装置包括:医疗图像获得部件，该医疗图像获得部件用于获得第一形状状态下的被检体的医疗图像;变形信息获得部件，该变形信息获得部件用于获得指示所述被检体从所述第一形状状态到第二形状状态的变形的变形信息；成像区域设定部件，该成像区域设定部件用于设定所述第二形状状态下的被检体的成像区域;变形图像产生部件，该变形图像产生部件用于通过根据所述成像区域对基于所述变形信息变形的医疗图像进行转换来产生转换图像；以及显示图像产生部件，该显示图像产生部件用于通过使所述转换图像和成像区域重叠来产生显示图像。
[0008]从以下(参照附图)的示例性实施例的描述，本发明的进一步的特征将变得清楚。
【附图说明】
[0009]图1示出根据第一实施例的图像诊断系统和图像处理装置的功能配置。
[0010]图2是示出被检体的MRI图像的示意图。
[0011 ]图3是示出根据第一实施例的通过PAT装置执行成像的情况的示意图。
[0012]图4是示出被检体的PAT图像的示意图。
[0013]图5是示出根据第一实施例的图像处理装置的处理过程的流程图。
[0014I图6是示出变形后的MRI图像的示意图。
[0015]图7是示出根据第一实施例的显示图像的示例的示意图。
[0016]图8示出根据第二实施例的图像诊断系统和图像处理装置的功能配置。
[0017]图9是示出根据第二实施例的通过PAT装置执行成像的情况的示意图。
[0018]图10是示出通过安装在PAT装置上的照相机捕获的外观图像的示意图。
[0019]图11是示出根据第二实施例的图像处理装置的处理过程的流程图。
[0020]图12是示出根据第二实施例的显示图像的示例的示意图。
[0021]图13示出根据第三实施例的图像诊断系统和图像处理装置的功能配置。
[0022]图14是示出根据第三实施例的通过PAT装置执行成像的情况的示意图。
[0023]图15是示出根据第三实施例的图像处理装置的处理过程的流程图。
[0024]图16是示出根据第三实施例的显示图像的示例的示意图。
[0025]图17是示出根据第三实施例的第二修改示例的通过安装在PAT装置上的照相机捕获的外观图像的示意图。
[0026]图18是示出根据第三实施例的第二修改示例的显示图像的示例的示意图。
【具体实施方式】
[0027]现在将参照附图详细描述本发明的示例性实施例。应当注意，除非另外特别声明，否则在这些实施例中阐述的部件的相对布置、数值表达式和数值不限制本发明的范围。
[0028](第一实施例:没有照相机图像)
[0029]根据本实施例的图像处理装置帮助设定其中乳房被视为被检体的PAT装置的成像区域。通过在乳房由两个平板(保持板)保持的成像状态下相对于乳房对MRI图像进行变形和定位来产生变形MRI图像(变形图像)，并且在显示变形MRI图像的成像区域设定画面上设定成像区域。现在将描述根据本实施例的图像处理装置。
[0030]〈图像诊断系统I的配置〉
[0031]图1示出根据本实施例的图像诊断系统I的配置。该图像诊断系统I包括图像处理装置100、第一医疗成像装置180、第二医疗成像装置182、显示单元184和数据服务器190。图像诊断系统I不限于包括这些装置等作为构成要素，并且可以另外地包括其它构成要素或者可以不包括它们中的一部分。
[0032]第一医疗成像装置180是MRI装置并且对处于俯卧位的被检者的乳房成像。图2是示出通过沿与被检者的头尾方向垂直的截面(轴向截面)切割由第一医疗成像装置180捕获的乳房的三维MRI图像所获得的二维图像的示意图。假定在本实施例中MRI图像坐标系C_MRI被定义如下:MRI图像200中的一个点为原点，代表从被检者的右手到左手的方向的轴为X轴，代表从被检者的前面到后面的方向的轴为Y轴，并且代表从被检者的脚到头的方向的轴为Z轴。
[0033]第二医疗成像装置182是光声断层摄影成像装置(PAT装置)，并且通过在由图像处理装置100的稍后描述的成像区域设定单元108设定的成像区域的范围内利用近红外线脉冲执行照射来对被检者的乳房成像。图3是示出通过第二医疗成像装置182执行成像的情况的示意图。如图3所示，被检者300在第二医疗成像装置182的上表面的床上呈俯卧位。被检体即一侧的乳房301被插入到第二医疗成像装置182的上表面的开口 302中。此时，为了照射光到达乳房的内部，乳房在它被两个透明保持板(脚侧的保持板303和头侧的保持板304)压迫(pressurize)的状态下被保持，并且在其厚度减小的状态下被成像。假定在本实施例中保持板303和保持板304均是平板并且其与乳房接触的表面(以下，称为保持表面)是平坦表面。
[0034]通过未示出的光源沿与保持板303、304的平坦表面正交的方向发射代表照射光的近红外线脉冲。响应于通过近红外线脉冲的照射在身体内产生的光声信号由被布置为与保持板303、304的平坦表面正交的未示出的超声探测器接收。在本实施例中，PAT装置坐标系C_PAT被定义如下。与保持板303、304平行的平面为XY平面，代表从被检者的右手到左手的方向的轴为X轴，并且代表从被检者的前面到后面的方向的轴为Y轴。而且，保持板303、304的法线方向为Z轴，并且从被检者的脚到头的方向为沿Z轴的正方向。另外，保持板303的内侧平坦表面的右手侧的下端位置为原点。图4是示出通过沿与人体的头尾方向垂直的截面(轴向截面)切割由第二医疗成像装置182捕获的乳房的三维PAT图像所获得的二维图像400的示意图。
[0035]显示单元184包括用于设定成像区域的成像区域设定画面，并且在该画面上显示通过图像处理装置100产生的显示图像。数据服务器190保持通过第一医疗成像装置180对处于俯卧位的被检者的乳房成像所获得的三维MRI图像200，并且这些MRI图像200经由图像处理装置100的稍后描述的医疗图像获得单元102被输入到图像处理装置100。
[0036]〈图像处理装置100的功能块的配置〉
[0037]图像处理装置100与数据服务器190、第二医疗成像装置182和显示单元184连接。图像处理装置100包括医疗图像获得单元102、变形信息获得单元104、变形图像产生单元106、成像区域设定单元108和显示图像产生单元110，并且功能块的操作由读取和执行程序的未示出的CPU控制。
[0038]医疗图像获得单元102获得输入到图像处理装置100的MRI图像200，并且将该MRI图像200输出到变形图像产生单元106。变形信息获得单元104通过相对于成像状态下的乳房对MRI图像200进行变形和定位来计算和获得变形信息，并且将该变形信息输出到变形图像产生单元106。
[0039]变形图像产生单元106通过基于MRI图像200和变形信息将MRI图像200变形为成像状态下的乳房的形状来产生变形MRI图像，并且将变形MRI图像输出到显示图像产生单元110。成像区域设定单元108基于对于显示单元184的成像区域设定画面的用户输入来设定成像区域，并且将设定的成像区域输出到第二医疗成像装置182和显示图像产生单元110。
[0040]显示图像产生单元110从变形MRI图像产生MIP(最大强度投影)图像(以下，称为变形MRI_MIP图像)，基于产生的图像和成像区域产生显示图像，并且将显示图像输出到显示单元184。应当注意，MIP图像也被称为最大值投影图像。
[0041]还应当注意，上述功能块的配置仅仅是说明性的；多个功能块可以组成一个功能块，并且功能块中的任一个可以进一步分成多个功能块。
[0042]〈由图像处理装置100执行的处理〉
[0043]下面，参照图5的流程图给出由根据本实施例的图像处理装置100执行的处理的过程的描述。
[0044][步骤S5000:获得MRI图像]
[0045]在步骤S5000中，医疗图像获得单元102获得从数据服务器190输入到图像处理装置100的处于俯卧位的乳房的MRI图像200。假定在本实施例中MRI图像200中的乳头位置已被事先指定。
[0046][步骤S5010:获得变形信息]
[0047]在步骤S5010中，变形信息获得单元104计算用于将MRI图像变形为成像状态下的乳房的形状的变形信息。假定在本实施例中通过对MRI图像施加物理变形模拟来获得代表从保持前的状态(第一形状状态，MRI状态)到保持后的状态(第二形状状态，成像状态)的变形的变形函数F(x，y，z)，并且该变形函数被用作变形信息。可通过使用例如在Angela Lee,et al./,Breast X-ray and MR image fus1n using finite element modeling,,，Proc.Workshop on Breast Image Analysis in conjunct1n with MICCAI 2011，pp.129-136,2011中公开的物理变形模拟技术来计算变形函数F(x，y，z)。应当注意，该文档公开了通过物理变形模拟来定位乳房的MRI图像和通过对被平板压迫的乳房进行成像所获得的X射线乳腺摄影图像的技术。
[0048]应当注意，本实施例基于被检者在PAT装置坐标系C_PAT中的姿势基本上匹配被检者在MRI图像坐标系C_MRI中的姿势的假设。也就是说，假定乳房沿MRI图像坐标系C_MRI的Z轴方向被两个保持板303、304压缩。还假定在物理变形模拟时，从第二医疗成像装置182输入两个保持板之间的距离(保持后的乳房的厚度)d的测量值。进一步假定变形函数F(x，y，z)被计算使得乳头位置在保持前的状态和保持后的状态下相同。
[0049][步骤S5020:计算刚体转换]
[0050]在步骤S5020中，变形图像产生单元106获得MRI图像坐标系C_MRI与PAT装置坐标€C_PAT之间的刚体转换。也就是说，导出从MRI图像坐标系C_MRI到PAT装置坐标系C_PAT的坐标转换矩阵T_MtoP。假定以下描述的所有坐标转换矩阵(包括T_MtoP)是代表坐标系的平移和旋转的4 X 4矩阵。本实施例基于被检者在PAT装置坐标系C_PAT中的姿势基本上匹配被检者在MRI图像坐标系C_MRI中的姿势的假设，并且假定从MRI图像坐标系C_MRI到PAT装置坐标系C_PAT的坐标转换可仅通过平移来表达。在该假设下，T_MtoP的平移分量被计算，使得在步骤S5000中获得的MRI图像中的乳头位置匹配PAT装置坐标系C_PAT中的被检者的乳头位置。
[0051]这里，可通过使用例如放置在可从第二医疗成像装置182的开口 302的下侧测量乳房的位置中的未示出的测距装置，获得PAT装置坐标系C_PAT中的乳头位置。也就是说，可由用户通过使用未示出的鼠标、键盘等手动指定由测距装置捕获的乳房的距离图像(rangeimage)中的乳头位置来获得PAT装置坐标系C_PAT中的乳头位置。假定此时测距装置已经在PAT装置坐标系C_PAT中被校准。应当注意，PAT装置坐标系C_PAT中的乳头位置不限于通过使用测距装置来获得，并且可以通过使用诸如数字化器和立体照相机的能够测量三维位置的装置和部件来获得。
[0052][步骤S5030:产生变形图像]
[0053]在步骤S5030中，基于MRI图像200，变形图像产生单元106产生已被变形为成像状态下的乳房的形状的变形MRI图像。具体而言，通过使用在步骤S5010中获得的变形函数F(x，y，z)对MRI图像200施加变形处理，并且然后通过使用在步骤S5030中计算的刚体转换(坐标转换矩阵1'_1^0?)执行向PAT装置坐标系C_PAT的转换。作为结果，产生PAT装置坐标系C_PAT中的变形MRI图像。图6是示出通过沿轴向截面切割变形MRI图像所获得的二维图像的示意图。如图6所示，600表示变形MRI图像，601表示变形后的乳房区域，并且602表示变形前的乳房形状。而且，604表示变形MRI图像中的肿瘤。比较变形后的乳房区域601与变形前的乳房形状602，清楚的是PAT装置坐标系C_PAT的Z轴方向上的压迫已使乳房区域沿XY平面扩展并且在Z轴方向上压缩。
[0054][步骤S5035:产生MIP图像(转换图像)]
[0055]在步骤S5035中，变形图像产生单元106产生已根据成像区域转换的转换图像。也就是说，变形图像产生单元106产生已根据用于设定成像区域的空间转换的转换图像。具体而言，出于在显示单元184的成像区域设定画面上显示的目的，变形图像产生单元106通过根据成像区域转换变形MRI_MIP图像来产生转换图像。例如，通过基于在步骤S5030中产生的变形MRI图像600将PAT装置坐标系C_PAT的Z轴方向上的最大像素值投影到XY平面(Z = O)上，产生图7所示的变形MRI_MIP图像700。
[0056][步骤S5040:成像区域的初始设定]
[0057]在步骤S5040中，成像区域设定单元108配置第二医疗成像装置182的成像区域的初始设定。例如，包括可通过第二医疗成像装置182进行成像的整个范围的长方形被设定为成像区域的初始值。假定在本实施例中成像区域在PAT装置坐标系C_PAT中被设定。
[0058][步骤S5050:产生显示图像]
[0059]在步骤S5050中，显示图像产生单元110通过在在步骤35035中产生的变形]\?1_11?图像700上重叠图7所示的成像区域703来产生显示图像，并且将显示图像输出到显示单元184。
[0060]这里，如图7所示成像区域703可以以框线显示，并且区域的内部可以用预定颜色和预定透明度的纹理填充。并且，可以使得用户能够通过使用未示出的鼠标、键盘等调整框线的类型、填充颜色和纹理、透明度等。
[0061 ][步骤S5060:结束确定]
[0062]在步骤S5060中，图像处理装置100确定是否结束用于设定成像区域的处理。例如，通过操作者使用未示出的鼠标点击布置在未示出的监视器上的结束按钮来输入结束处理的确定。如果处理被确定为结束，那么处理前进到步骤S5080。另一方面，如果处理不被确定为结束，那么处理前进到步骤S5070。
[0063][步骤S5070:调整成像区域]
[0064]在步骤S5070中，基于用户操作，成像区域设定单元108在显示图像上调整第二医疗成像装置182的成像区域。具体而言，在显示于显示单元184的成像区域设定画面上的图像上，通过用户使用未示出的鼠标、键盘等手动调整设定的成像区域703( 二维矩形区域)的范围。基于用户已在显示图像上视觉确认的信息，用户调整成像区域703，使得它包括例如整个肿瘤704 ο此后，处理返回到步骤S5050。
[0065][步骤S5080:输出成像区域]
[0066]在步骤S5080中，成像区域设定单元108将成像区域输出到第二医疗成像装置182。应当注意，考虑在步骤S5010中计算的变形信息的误差，输出到第二医疗成像装置182的成像区域可以被调整为比由用户指定的成像区域703大。例如，可以增加预定值作为余量(margin)。而且，在步骤S5010中计算的变形信息可以包括与变形信息计算中的误差有关的信息(例如，定位残差)，并且可以基于与误差有关的该信息决定增加的余量。此时，仅输出到第二医疗成像装置182的成像区域可以被调整为大，而不将输出到显示图像产生单元110的成像区域调整为大。图像处理装置100的处理次序以上述方式执行。
[0067]如上所述，根据本实施例的图像处理装置100包括获得第一形状状态(未保持状态)下的被检体(例如，乳房)的医疗图像(MRI图像200)的医疗图像获得单元102、获得指示被检体从第一形状状态(未保持状态)到第二形状状态(被检体被保持板303、304保持的保持状态)的变形的变形信息的变形信息获得单元104、设定第二形状状态下的被检体的成像区域(成像区域703)的成像区域设定单元108、通过根据成像区域(成像区域703)转换基于变形信息而变形的医疗图像(变形MRI图像600)来产生转换图像(变形MRI_MIP图像700)的变形图像产生单元106、和通过重叠转换图像(变形MRI_MIP图像700)和成像区域(成像区域703)来产生显示图像的显示图像产生单元110。
[0068]以这种方式，当设定PAT图像的成像区域时，根据本实施例的图像处理装置可参照其中被检体内的诸如肿瘤的关注区域被呈现的MRI图像。这使得能够设定成像区域，使得被检体内的诸如肿瘤的关注区域可被适当地成像。
[0069]尽管本实施例已描述了人体的乳房被视为被检体的示例性情况，但本发明不限于以这种方式被体现，并且可以使用任何被检体。
[0070]〈第一实施例的第一修改示例〉
[0071]尽管本实施例已描述了产生变形MRI_MIP图像作为转换图像的示例性情况，但本发明的实施例不限于这种方式，并且可产生变形MRI图像等的轴向截面(XY平面)作为转换图像。此时，可选择和显示包括肿瘤704的轴向截面，或者可依次显示Z = O与Z = d(保持后的平板之间的距离)之间的轴向截面，以便使得能够确认是否包括整个肿瘤704。而且，转换图像不限于变形MRI图像的轴向截面；可产生变形MRI图像的矢状截面(YZ平面)和冠状截面(XZ平面)作为转换图像，并且可使得能够在其上设定和确认成像区域。并且，成像区域的确认不限于使得能够在变形MRI图像的轴向截面、矢状截面和冠状截面上进行，并且可使得能够在包括弯曲截面的任何截面上进行。并且，根据本修改示例的截面图像可以是通过从截面将预定范围内的最大像素值投影到该截面上所获得的MIP图像(片状(slab)MIP图像)。
[0072]〈第一实施例的第二修改示例〉
[0073]尽管本实施例已描述了基于二维变形MRI_MIP图像和二维成像区域产生显示图像的示例性情况，但本发明的实施例不限于这种方式。例如，可以通过产生三维变形MRI图像的容积再现(volume rendering)图像作为转换图像并且通过重叠三维成像区域产生显示图像来使得能够从任何视线方向观察。也就是说，变形图像产生单元106可产生属于被检体的形状状态的医疗图像的容积再现图像或最大值投影图像(MIP图像)作为转换图像。应当注意，三维成像区域可被设定为例如通过将PAT装置坐标系C_PAT中Z = O的二维平面上的成像区域(矩形区域)从Z = O推到Z = d而形成的长方体区域。
[0074]〈第一实施例的第三修改示例〉
[0075]尽管本实施例已描述了MRI装置被用作第一医疗成像装置180的示例性情况，但本发明的实施例不限于这种方式。例如，X射线CT装置、PET/SPECT装置、三维超声装置等可被用作它。并且，任何其它医疗器械可以被用作它。当使用这些医疗器械时，通过不仅估计由通过平板的压迫造成的变形而且估计由用于成像的身体位置的差异导致的变形(例如，从仰卧位到俯卧位的重力变形)来获得变形函数F(x，y，z)就足够了。应当注意，可通过使用例如在 Y.Hu，et al.，"A statistical mot1n mode I based on b1mechanicalsimulat1ns",Proc.MICCAI 2008,Part I,LNCS 5241，pp.737_744，2008中公开的基于重力变形模拟的方法，估计从仰卧位到俯卧位的重力变形。而且，第一医疗成像装置180和第二医疗成像装置182可以是同一成像装置。并且，尽管本实施例已描述了 PAT装置被用作第二医疗成像装置182的示例性情况，但本发明的实施例不限于这种方式。例如，X射线乳腺摄影装置、超声诊断装置和任何其它医疗器械可以被用作它。
[0076]〈第一实施例的第四修改示例〉
[0077]尽管本实施例已描述了产生变形MRI图像600并且基于它产生变形MRI_MIP图像的示例性情况，但本发明的实施例不限于这种方式。例如，可以在不产生变形MRI图像600的情况下基于MRI图像200和变形信息产生变形MRI_MIP图像。
[0078](第二实施例:具有照相机图像)
[0079]根据本实施例的图像处理装置帮助在PAT装置上设定成像区域，该PAT装置被配置为利用安装在PAT装置上的照相机对乳房的外观成像并且在该图像(以下，称为外观图像)上设定成像区域。也就是说，MRI图像根据成像状态下的乳房变形，以便在成像状态下的乳房的外观图像上产生以透视(see-through)的方式示出乳房的内部(包括诸如肿瘤的关注区域)的图像，并且可在显示产生的图像的成像区域设定画面上设定成像区域。
[0080]在本实施例中，通过相对于外观图像对MRI图像进行变形和定位，也就是说，通过估计由通过平板的压迫造成的变形，产生变形MRI图像。而且，在本实施例中，在外观图像上设定不适合于PAT图像的捕获的区域(不适合区域)。以下，以与第一实施例的不同为中心，描述根据本实施例的图像处理装置。
[0081 ]〈图像诊断系统8的配置〉
[0082]图8示出根据本实施例的图像诊断系统8的配置。应当注意，具有与图1中相同的功能的处理单元被赋予与其相同的编号和符号，并且省略其描述。
[0083]图像诊断系统8包括图像处理装置800、第一医疗成像装置180、第二医疗成像装置882、显示单元184和数据服务器190。
[0084]第二医疗成像装置882以与已参照图3在第一实施例中描述的第二医疗成像装置182相同的方式被配置，并且另外包括用于捕获乳房的外观图像的照相机。图9是示出通过第二医疗成像装置882执行成像的情况的示意图。参照图9，905表示放置在可从脚侧通过保持板303对乳房的外观成像的位置中的照相机，并且C_CAM表示照相机905的焦点位置为原点的照相机坐标系。这里假定照相机905已经在PAT装置坐标系C_PAT中被校准。还假定已通过照相机校准获得的从照相机坐标€C_CAM到PAT装置坐标系C_PAT的坐标转换矩阵1'_以0?和照相机的内部参数作为已知的信息由图像处理装置800保持。
[0085]图10是示出由照相机905捕获的乳房的外观图像1000的示意图。假定在本实施例中外观图像1000的右下端为外观图像坐标系CJMG的原点，并且外观图像1000位于Z = O的平面上。应当注意，可通过使用一般的方法执行从照相机坐标系C_CAM到外观图像坐标系C_頂G的转换，并且因此省略其描述。
[0086]〈图像处理装置800的功能块的配置〉
[0087]图像处理装置800与数据服务器190、第二医疗成像装置882和显示单元184连接。图像处理装置800包括医疗图像获得单元102、变形信息获得单元804、变形图像产生单元106、成像区域设定单元808、显示图像产生单元810、外观图像获得单元812和不适合区域设定单元814。
[0088]变形信息获得单元804通过相对于外观图像1000对MRI图像200进行变形和定位来获得变形信息，并且将变形信息输出到变形图像产生单元106。
[0089]成像区域设定单元808在显示单元184的成像区域设定画面上设定成像区域，并且将设定的成像区域输出到第二医疗成像装置882和显示图像产生单元810。
[0090]显示图像产生单元810从变形MRI图像600产生变形MRI_MIP图像，基于产生的图像、外观图像1000、图10所示的不适合于PAT图像的捕获的不适合区域1001、以及成像区域产生显示图像，并且将显示图像输出到显示单元184。
[0091]外观图像获得单元812获得输入到图像处理装置800的外观图像，并且将外观图像输出到不适合区域设定单元814、变形信息获得单元804和成像区域设定单元808。
[0092]不适合区域设定单元814在显示于显示单元184的成像区域设定画面上的外观图像上设定不适合于PAT图像的捕获的区域(不适合区域)，并且将不适合区域输出到成像区域设定单元808。
[0093]应当注意，上述功能块的配置仅仅是说明性的；多个功能块可以组成一个功能块，并且功能块中的任一个可以进一步分成多个功能块。
[0094]〈由图像处理装置800执行的处理〉
[0095]下面，参照图11的流程图给出由根据本实施例的图像处理装置800执行的处理的过程的描述。
[0096]与已参照图5描述的由根据第一实施例的图像处理装置100执行的处理相比，根据本实施例的处理的不同在于，在步骤SI 1000的处理与步骤SI 1010的处理之间插入步骤S11002和步骤S11004。根据本实施例的处理的不同还在于，执行步骤S11010、步骤S11035?步骤511050和步骤511070的处理以分别代替步骤55010、步骤55035?步骤55050和步骤S5070的处理。以下描述以这些步骤的处理为中心。应当注意，步骤S11000、步骤S11020、步骤S11030、步骤S11060和步骤S11080的处理分别与步骤S5000、步骤S5020、步骤S5030、步骤S5060和步骤S5080的处理类似，并且因此省略其描述。
[0097][步骤S11002:获得外观图像]
[0098]在步骤S11002中，外观图像获得单元812获得从第二医疗成像装置882输入到图像处理装置100的被检者的乳房的外观图像1000。
[0099][步骤SI1004:设定不适合区域]
[0100]在步骤S11004中，不适合区域设定单元814在显示单元184的成像区域设定画面上显示外观图像1000，并且在显示图像上设定不适合于PAT图像的捕获的不适合区域。在本实施例中，PAT图像的适合捕获被假定由于例如乳房没有被适当压迫而失败(fail)的区域被设定为不适合区域。例如，作为虚线与实线之间的区域的图10中的1001表示不适合区域。用户可通过使用未示出的鼠标、键盘等手动设定这样的不适合区域。可替代地，可以通过使用图像处理等自动设定这样的不适合区域。
[0101][步骤SI1010:获得变形信息]
[0102]在步骤SllOlO中，变形信息获得单元804获得用于将MRI图像变形为成像状态下的乳房的形状的变形信息。假定在本实施例中通过相对于外观图像1000对MRI图像200进行变形和定位来获得变形函数F(x，y，z)，并且该变形函数被用作变形信息。可通过使用例如在C.Tanner , e t al.，〃 Breast Shapes on Real and Simulated Mammograms,,，Proc.1nt.Workshop on Digital Mammography 2010(IWDM 2010),LNCS 6136，pp.540_547,2010中公开的技术来执行这种定位，在该技术中，基于从X射线乳腺摄影图像提取的二维乳房形状评价通过向MRI图像施加由通过平板的压迫导致的物理变形的模拟而获得的变形后的乳房形状。
[0103][步骤SllO35:产生MIP图像]
[0104]在步骤S11035中，显示图像产生单元810产生已根据用于设定成像区域的空间(夕卜观图像的平面)转换的转换图像。首先，在步骤S11030中产生的PAT装置坐标系C_PAT中的变形MRI图像600针对照相机坐标系C_CAM被转换，并然后进一步针对外观图像坐标系CJMG被转换。接着，通过将外观图像坐标系CJMG的Z轴方向上的最大像素值投影到XY平面(Z = O)上，产生外观图像坐标系CJMG中的变形MRI_MIP图像1201作为转换图像(参见图12)。
[0105][步骤S11040:成像区域的初始设定]
[0106]在步骤S11040中，成像区域设定单元808配置第二医疗成像装置882的成像区域的初始设定。例如，包括可通过第二医疗成像装置882成像的整个范围的长方形被设定为成像区域的初始值。假定在本实施例中成像区域在外观图像坐标€C_IMG中被设定。
[0107]接着，基于外观图像坐标系(:_MG中的成像区域的初始值，获得PAT装置坐标系C_PAT中的成像区域。例如，设定的成像区域的四个顶点被转换为照相机坐标€C_CAM中的四个点，获得保持板303与连接这四个点和照相机坐标系的原点的四条直线之间的四个交点，并且所述四个交点被转换为PAT装置坐标系C_PAT中的四个点。然后，外接这四个点的矩形被视为PAT装置坐标系C_PAT中的成像区域1203(参见图12)。
[0108][步骤S11050:产生显示图像]
[0109]在步骤S11050中，显示图像产生单元810通过在外观图像1000上重叠在步骤S11035中产生的变形MRI_MIP图像1201、不适合区域1001和成像区域1203来产生显示图像，并且将显示图像输出到显示单元184。在这种情况下，用于设定成像区域的空间是外观图像1000的平面。应当注意，不适合区域1001可以不重叠。也就是说，显示图像产生单元810可以通过重叠外观图像1000、转换图像(变形MRI_MIP图像1201)和成像区域1203来产生显示图像。
[0110]应当注意，变形MRI_MIP图像1201可以以半透明的方式或者以0%的透明度覆在外观图像1000上面。可替代地，可以使得用户能够通过使用未示出的鼠标、键盘等调整透明度。
[0111][步骤SI1070:调整成像区域]
[0112]在步骤S11040中，成像区域设定单元808调整第二医疗成像装置882的成像区域。具体而言，首先，在显示于显示单元184的成像区域设定画面上的图像上，用户通过使用例如未示出的鼠标、键盘等手动调整设定的成像区域1203(二维矩形区域)的范围。用户调整成像区域1203，使得它包括例如整个肿瘤1202。然后，基于外观图像坐标系CJMG中的成像区域1203，通过与步骤S11040类似的处理获得PAT装置坐标系C_PAT中的成像区域。此后，处理返回到步骤S11050。图像处理装置800的处理次序以上述方式执行。
[0113]如上所述，当设定PAT图像的成像区域时，根据本实施例的图像处理装置可一起参照MRI图像和乳房的外观图像。这使得能够设定成像区域，使得被检体中的诸如肿瘤的关注区域可被更适当地成像。
[0114]〈第二实施例的第一修改示例〉
[0115]尽管本实施例已描述了照相机905被放置在可从脚侧通过保持板303对乳房的外观成像的位置中的情况，但本发明的实施例不限于这种方式。例如，它可以被布置在可从头侧通过保持板304对乳房的外观成像的位置、可侧向地对乳房的外观成像的位置等中。而且，放置的照相机的数量不限于一个，并且可以多于一个;此时，可以对由各照相机捕获的外观图像中的每一个产生显示图像。
[0116]〈第二实施例的第二修改示例〉
[0117]尽管本实施例已描述了在外观图像坐标系CJMG中的图像上设定不适合区域和成像区域的示例性情况，但本发明的实施例不限于这种方式，并且可以在PAT装置坐标系C_PAT中的图像上设定不适合区域和成像区域。在这种情况下，通过例如保持板303的四个角处的四个点的平面投影转换将外观图像1000和不适合区域1001从外观图像坐标系CJMG转换到照相机坐标系C_CAM中、并然后进一步将它们转换到PAT图像坐标系C_PAT中就足够了。应当注意，与第一实施例的修改示例类似的修改示例在本实施例中是适用的。
[0118](第三实施例)
[0119]尽管第一实施例和第二实施例已描述了用作第二医疗成像装置182的PAT装置采用被检体由两个平板保持的方案的示例性情况，但本发明的实施例不限于这种方式，并且可以使用任何保持方案。本实施例描述采用以下方案的PAT装置被使用的情况:通过该方案，被检体通过以被检体被压迫并因此变薄的这样的方式使一个保持部件压靠身体、而不是使得两个保持部件在其间保持被检体而被保持。特别地，本实施例描述可伸缩保持膜被用作保持部件的情况。以下，以与第一实施例的不同为中心，描述根据本实施例的图像处理
目.ο
[0120]〈图像诊断系统13的配置〉
[0121]图13示出根据本实施例的图像诊断系统13的配置。应当注意，具有与图1中相同的功能的处理单元被赋予与其相同的编号和符号，并且省略其描述。
[0122]图像诊断系统13包括图像处理装置1300、第一医疗成像装置180、第二医疗成像装置1382、显示单元184和数据服务器190。
[0123]第二医疗成像装置1382是光声断层摄影成像装置(PAT装置)，并且通过在由图像处理装置1300的稍后描述的成像区域设定单元108设定的成像区域的范围内利用近红外线脉冲执行照射来对被检者的乳房成像。图14是示出通过第二医疗成像装置1382执行成像的情况的示意图。被检者在第二医疗成像装置1382的上表面1402上的床上呈俯卧位。被检体即一侧的乳房1401被插入到第二医疗成像装置1382的上表面1402的开口 1403中。此时，为了从乳头向胸大肌的方向上的照射光到达乳房的内部，乳房在它沿从乳头到胸大肌的方向被透明保持膜1404压迫的状态下被保持，并且在其厚度减小的状态下被成像。这里，保持膜1404具有一定的张力，并且在乳房1401被插入之前具有平坦形状。保持膜1404通过插入的乳房1401向其施加压力而在变形和弯曲的状态下被放置。也就是说，在本实施例中，与乳房接触的表面(保持表面)是曲面。
[0124]第二医疗成像装置1382包括由照射单元1408和超声探测器1405组成的成像单元1409。成像单元1409被附接到可移动台架1407以便对其上方(从成像单元1409的视角看，与上表面1402正交的方向)的多个部分成像。照射单元1408利用代表照射光的近红外线脉冲照射被检体。超声探测器1405接收响应于近红外线脉冲的照射在被检体内产生的光声信号。也就是说，在可移动台架1407使成像单元1409在成像区域的范围内移动(扫描)的同时，第二医疗成像装置1382在成像区域的范围内对被检体成像。在本实施例中，PAT装置坐标系C_PAT被定义如下。与上表面1402平行的平面为XZ平面，代表从被检者的右手到左手的方向的轴为X轴，并且代表从被检者的脚到头的方向的轴为Z轴。而且，上表面1402的法线方向为Y轴，并且从被检者的前面到后面的方向为沿Y轴的正方向。另外，上表面1402的右手侧的下端位置为原点。
[0125]〈图像处理装置1300的功能块的配置〉
[0126]图像处理装置1300与数据服务器190、第二医疗成像装置1382和显示单元184连接。图像处理装置1300包括医疗图像获得单元102、变形信息获得单元1304、变形图像产生单元1306、成像区域设定单元108和显示图像产生单元110。
[0127]变形信息获得单元1304通过相对于正被保持膜1404压迫的乳房对MRI图像200进行变形和定位来计算和获得变形信息，并且将该变形信息输出到变形图像产生单元1306。
[0128]变形图像产生单元1306通过基于MRI图像200和变形信息将MRI图像200变形为正被保持膜1404压迫的乳房的形状来产生变形MRI图像，并且将变形MRI图像输出到显示图像产生单元110。
[0129]〈由图像处理装置1300执行的处理〉
[0130]下面，参照图15的流程图给出由根据本实施例的图像处理装置1300执行的处理的过程的描述。与已参照图5描述的由根据第一实施例的图像处理装置100执行的处理相比，在由根据本实施例的图像处理装置1300执行的处理中，步骤S15010、步骤S15030和步骤S15035的处理与步骤S5010、步骤S5030和步骤S5035的对应处理不同。
[0131][步骤S15010:获得变形信息]
[0132]在步骤S15010中，变形信息获得单元1304计算用于将MRI图像200变形为正被保持膜1404压迫的乳房的形状的变形信息。本实施例基于被检者在PAT装置坐标系C_PAT中的姿势基本上匹配被检者在MRI图像坐标系C_MRI中的姿势的假设。也就是说，假定乳房基本上沿MRI图像坐标系C_MRI的Y轴方向被保持膜1404压缩。还假定在物理变形模拟时输入乳房1401的外部形状(external shape)和MRI图像200中的胸大肌的形状。
[0133]这里，可通过使用例如放置在可测量第二医疗成像装置1382上的乳房的位置中的一个或多个测距装置1406(在图14的示例中，测距装置1406A、1406B)，获得PAT装置坐标系C_PAT中的乳房1401的外部形状。也就是说，可由用户通过使用未示出的鼠标、键盘等在由测距装置1406捕获的乳房的距离图像中手动指定乳房区域来获得乳房1401的外部形状。假定此时测距装置1406已经在PAT装置坐标系C_PAT中被校准。这里，还可通过使用测距装置1406来获得PAT装置坐标系C_PAT中的乳头位置。应当注意，代替乳房1401的外部形状，可通过使用测距装置1406获得并使用保持膜1404的形状。
[0134]而且，可通过相对于MRI图像200应用已知的图像分析方法或者使用未示出的鼠标、键盘等的用户的手动指定，获得MRI图像坐标系C_MRI中的胸大肌的形状。
[0135][步骤S15030:产生变形图像]
[0136]在步骤S15030中，变形图像产生单元1306基于MRI图像200产生已变形为正被保持膜1404压迫的乳房的形状的变形MRI图像。比较变形前的乳房形状与变形后的乳房形状，PAT装置坐标系C_PAT的Y轴方向上的压迫已使乳房区域沿XZ平面扩展并且在Y轴方向上压缩。
[0137][步骤S15035:产生Y轴方向上的MIP图像(转换图像)]
[0138]在步骤S15035中，变形图像产生单元1306产生已根据成像区域转换的转换图像。例如，通过基于在步骤S15030中产生的变形MRI图像将PAT装置坐标系C_PAT的Y轴方向上的最大像素值投影到XZ平面(Y = O)上，产生图16所示的变形MRI_MIP图像1600。
[0139][步骤S15050:产生显示图像]
[0140]在步骤S15050中，显示图像产生单元110通过在在步骤S15035中产生的沿Y轴方向的变形MRI_MIP图像1600上重叠图16所示的成像区域1603来产生显示图像，并且将显示图像输出到显示单元184。
[0141][步骤S15070:调整成像区域]
[0142]在步骤S15070中，基于用户操作，成像区域设定单元108在显示图像上调整第二医疗成像装置1382的成像区域。具体而言，在显示于显示单元184的成像区域设定画面上的图像上，用户通过使用未示出的鼠标、键盘等手动调整设定的成像区域1603(二维矩形区域)的范围。基于用户已在显示图像上视觉确认的信息，用户调整成像区域1603，使得它包括例如整个肿瘤1604。应当注意，1604表示变形MRI_MIP图像中的肿瘤，并且1605表示变形MRI_MIP图像中的乳头。此后，处理返回到步骤SI 5050。
[0143]如上所述，根据本实施例的图像处理装置1300包括获得第一形状状态(未保持状态)下的被检体(例如，乳房)的医疗图像(MRI图像200)的医疗图像获得单元102、获得指示被检体从第一形状状态(未保持状态)到第二形状状态(被检体被保持膜1404保持的保持状态)的变形的变形信息的变形信息获得单元1304、设定第二形状状态下的被检体的成像区域的成像区域设定单元108、通过根据成像区域转换基于变形信息而变形的医疗图像来产生转换图像(变形MRI_MIP图像)的变形图像产生单元1306、和通过重叠转换图像(变形MRI_MIP图像)和成像区域来产生显示图像的显示图像产生单元110。
[0144]以这种方式，当设定PAT图像的成像区域时，根据本实施例的图像处理装置可参照其中被检体内的诸如肿瘤的关注区域被呈现的MRI图像。这使得能够设定成像区域，使得被检体内的诸如肿瘤的关注区域可被适当地成像。与乳房从两侧被压迫的配置相比，本实施例还允许减轻被检者的负担。
[0145]〈第三实施例的第一修改示例〉
[0146]尽管本实施例已描述了以被检体被压迫并因此变薄的方式通过一个保持部件保持被检体的示例性情况，但本发明的实施例不限于这种方式。例如，可以通过将乳房放置在用作保持部件的弓状(arch-shaped)或碗状容器(保持容器)中在变薄的状态下保持乳房。如果保持容器的形状是已知的，那么估计MRI图像的变形使得MRI图像中的被检体的形状匹配保持容器的形状就足够了。另一方面，如果保持容器的形状是未知的，或者如果在保持容器与被检体之间存在匹配剂或者匹配液体，那么可根据通过测距装置获得的乳房的侧面的外部形状估计MRI图像的变形。而且，乳房可通过从乳头的方向向其压靠的平坦保持板保持。在这种情况下，通过测距装置获得的乳房的侧面的外部形状和乳房的平坦形状的组合可被用作乳房的外部形状。
[0147]〈第三实施例的第二修改示例〉
[0148]尽管本实施例描述了与第一实施例类似地在显示变形MRI图像的成像区域设定画面上设定成像区域的示例性情况，但是可以与第二实施例类似地在通过安装在PAT装置上的照相机捕获的乳房的外观图像上设定成像区域。将该照相机放置在例如可通过保持膜1204从被检者的前侧对乳房的外观成像的位置中并且在PAT装置坐标系C_PAT中校准该照相机就足够了。图17是示出从被检者的前侧通过照相机捕获的乳房的外观图像1700的示意图。CMG表示外观图像坐标系，1701表示外观图像中的开口 1703，并且1705表示外观图像中的乳头。
[0149]假定在本修改示例中外观图像1700位于Y= O的XZ平面上。图18是示出在外观图像1700上重叠沿Y轴方向的变形MRI_MIP图像1600的显示图像的示意图。与第二实施例类似，在该显示图像上，用户可手动设定成像区域1803，使得它包括例如变形MRI_MIP图像中的整个肿瘤1604。
[0150]〈第三实施例的第三修改示例〉
[0151]尽管本实施例已描述了成像区域1803是二维矩形区域的示例性情况，但本发明的实施例不限于这种方式。例如，取决于可移动台架1407使成像单元1409移动(扫描)的方法，成像区域1803可以是被圆或椭圆包围的区域。可替代地，它可以是被任何封闭曲线包围的区域。
[0152]本发明使得能够设定成像区域，使得被检体内的关注区域可被适当地成像。
[0153]其它实施例
[0154]也可通过读出并执行记录在存储介质(其也可被更完整地称为“非暂时性计算机可读存储介质”)上的计算机可执行指令(例如，一个或多个程序)以执行上述实施例中的一个或多个的功能并且/或者包括用于执行上述实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(ASIC))的系统或装置的计算机，或者通过由系统或装置的计算机通过例如从存储介质读出并执行计算机可执行指令以执行上述实施例中的一个或多个的功能并且/或者控制一个或多个电路以执行上述实施例中的一个或多个的功能而执行的方法，实现本发明的实施例。计算机可包括一个或多个处理器(例如，中央处理单元(CPU)、微处理单元(MPU))，并且可包含单独的计算机或单独的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可例如从网络或存储介质被提供给计算机。存储介质可包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)、分布式计算系统的存储器、光盘(诸如紧致盘(CD)、数字万用盘(DVD)或蓝光盘(BD)?)、闪速存储器设备、存储卡等中的一个或多个。
[0155]尽管已参照示例性实施例描述了本发明，但应理解，本发明不限于所公开的示例性实施例。随附权利要求的范围应被赋予最宽的解释以便包含所有这样的修改以及等同的结构和功能。
[0156]本申请要求2014年I月16日提交的日本专利申请N0.2014-006214和2014年11月12日提交的日本专利申请N0.2014-230104的权益，它们特此通过整体引用而并入本文。
【主权项】
1.一种图像处理装置，包括:医疗图像获得部件，该医疗图像获得部件用于获得第一形状状态下的被检体的医疗图像； 变形信息获得部件，该变形信息获得部件用于获得指示所述被检体从所述第一形状状态到第二形状状态的变形的变形信息； 成像区域设定部件，该成像区域设定部件用于设定所述第二形状状态下的被检体的成像区域； 变形图像产生部件，该变形图像产生部件用于通过根据所述成像区域对基于所述变形信息变形的医疗图像进行转换来产生转换图像;以及 显示图像产生部件，该显示图像产生部件用于通过使所述转换图像和成像区域重叠来产生显示图像。2.根据权利要求1所述的图像处理装置，其中， 所述成像区域设定部件基于用户操作在所述显示图像上调整成像区域。3.根据权利要求1或2所述的图像处理装置，其中， 所述变形图像产生部件产生所述第二形状状态下的医疗图像的容积再现图像或最大值投影图像作为转换图像。4.根据权利要求1?3中的任一项所述的图像处理装置，其中， 所述医疗图像是被检体的MRI图像。5.根据权利要求1?4中的任一项所述的图像处理装置，还包括: 外观图像获得部件，该外观图像获得部件用于获得所述第二形状状态下的被检体的外观图像，其中， 用于设定成像区域的空间是所述外观图像的平面，并且 所述显示图像产生部件通过使所述外观图像、转换图像以及成像区域重叠来产生显示图像。6.根据权利要求5所述的图像处理装置，还包括: 不适合区域设定部件，该不适合区域设定部件用于基于所述外观图像设定不适合区域，该不适合区域不适合于所述第二形状状态下的被检体的成像，其中， 所述显示图像产生部件通过使所述外观图像、转换图像、成像区域以及不适合区域重叠来产生显示图像。7.—种图像诊断系统，包括: 根据权利要求1?4中的任一项所述的图像处理装置;和 捕获医疗图像的第一医疗成像装置。8.—种图像诊断系统，包括: 根据权利要求5或6所述的图像处理装置； 捕获医疗图像的第一医疗成像装置；以及 捕获外观图像的第二医疗成像装置。9.一种图像处理方法，包括: 获得第一形状状态下的被检体的医疗图像的步骤； 获得指示所述被检体从所述第一形状状态到第二形状状态的变形的变形信息的步骤； 设定所述第二形状状态下的被检体的成像区域的步骤； 通过根据所述成像区域对基于所述变形信息变形的医疗图像进行转换来产生转换图像的步骤;以及 通过使所述转换图像和成像区域重叠来产生显示图像的步骤。10.—种计算机可读存储介质，该计算机可读存储介质存储用于使计算机执行根据权利要求9所述的图像处理方法的步骤的程序。
【文档编号】A61B5/055GK105899144SQ201480072924
【公开日】2016年8月24日
【申请日】2014年12月26日
【发明人】远藤隆明, 佐藤清秀
【申请人】佳能株式会社