信息处理设备的制作方法

信息处理设备的制作方法
【专利摘要】根据本发明的信息处理设备被配置为将三维图像(例如，MRI图像或X射线CT图像)中的给定区域(例如，关注区域或关注病变部)投影到包括被检体的二维图像(超声波图像)的平面上，并且使显示单元将包括投影区域的由投影引起的误差范围(关注区域在二维图像中的相应区域可能存在的范围、还称为搜索范围)以叠加在二维图像上的方式来进行显示。因此，用户能够在二维图像中高效地搜索与三维图像中的关注区域相对应的相应区域。
【专利说明】信息处理设备
【技术领域】
[0001]本发明涉及一种用于高效地搜索诸如医学影像、摄像位置以及摄像日期和时间等 的摄像条件不同的图像中的关注区域的相应区域的信息处理设备。
【背景技术】
[0002]在医疗领域，医生将被检体的医学图像(包括表示被检体内部的三维信息的断层 图像的三维图像数据)显示在监视器上并且解读(或读取)所显示的图像以诊断病变部。 医学摄像时使用的医学图像收集装置(以下称为“医学影像设备”)的示例包括超声波诊断 摄像设备、磁共振摄像(MRI)设备和X射线计算机断层扫描(CT)设备。
[0003]观察各医学影像设备所拍摄到的医学图像并不足以对病变部的状态作出正确诊 断。因此，已经尝试通过比较多个医学影像设备所拍摄到的医学图像中或按不同日期和时 间所拍摄到的医学图像中的病变部的相应区域来正确地诊断病变部的状态。
[0004]为了使用多个种类的医学图像来进行诊断，识别(或关联)各医学图像中的病变 部等的相应区域很重要。由于因诸如医学影像设备的差异和被检体变形等的原因而导致难 以通过使用图像处理来自动识别这些区域，因此诸如医生等的操作员通常在观看这些图像 的同时进行用于识别这些区域的手动操作。操作员在观看一个医学图像(以下称为“参考 图像”)中已经指出的要关注的关注病变部的图像的同时，基于病变部的形状、病变部的周 围的外观和其它特性的相似性，在另一医学图像(以下称为“对象图像”)中搜索并识别病 变部的相应区域(以下称为“相应病变部”)。在用于呈现医学图像的设备具有根据参考图 像的坐标系中的关注病变部的位置来估计对象图像的坐标系中所表示的相应病变部的位 置并且呈现该估计位置的功能的情况下，操作员能够基于该估计位置来搜索相应病变部。
[0005]因此，已经尝试测量超声波探测器的位置和姿势以确定对象图像或超声波断层图 像的坐标系与参考图像的坐标系之间的关系，并且估计超声波断层图像的坐标系(超声波 坐标系)中的相应病变部的位置以引导该探测器工作。例如，专利文献I公开了:计算从 当前超声波断层图像到参考图像(X射线CT设备或MRI设备等所获得的三维图像的断面图 像)中所设置的目标(关注病变部)的中心的距离和方向，并且显示基于所计算出的距离 和方向的三维箭头图像和数值。因而，操作员能够从视觉上确定从当前超声波断层图像到 目标的距离，因此容易地确定参考图像和超声波断层图像之间的对应关系(位置关系)。
[0006]专利文献2公开了:在根据过去获取到的超声波断层图像(体或片)给出所选择 的图像追踪点(关注病变部)的情况下，将大小和颜色基于相对于当前获取到的超声波断 层图像的距离和方向的正方形作为面内指示符以叠加方式显示在当前获取到的超声波断 层图像上。因此，在对甲状腺结节的数量、肝脏中的转移的数量或其它项的数量进行计数的 情况下，即使探测器针对被检体的角度或位置改变，用户也可以判断当前可视结构是新识 别的还是已经识别的并且进行计数。
_7] 引用文献列表 [0008] 专利文献[0009]专利文献1:日本特开2008-246264
[0010]专利文献2:日本特开2008-212680

【发明内容】

[0011]测量超声波探测器的位置和姿势的精度并不完美，并且在拍摄参考图像时和拍摄 超声波断层图像时之间被检体的形状可能改变。因此，超声波断层图像的坐标系中的相应 病变部的估计位置可能包含误差，并且可能偏离相应病变部的实际位置。
[0012]然而，专利文献I和专利文献2中所公开的基于距离和方向的指示符并没有考虑 到这种位置偏离。根据位置偏离的程度，用户可能甚至基于这些指示符也无法识别(或找 出)实际相应病变部。因此，用户不得不在整个超声波断层图像中搜索实际相应病变部，并 且搜索效率变低。
[0013]在本发明的方面中，一种信息处理设备，包括二维图像获取单元和显示控制单元。 所述二维图像获取单元用于获取被检体的二维图像。所述显示控制单元用于使显示单元将 误差范围以叠加在所述二维图像上的方式来进行显示。所述误差范围包括通过将所述被检 体的三维图像中的给定区域投影到包括所述二维图像的平面上所获得的投影区域并且所 述误差范围是由投影引起的。
[0014]根据本发明，可以将三维图像(例如，MRI图像或X射线CT图像)中的给定区域 (例如，关注区域或关注病变部)投影到包括被检体的二维图像(例如，超声波图像)的平 面上。还可以使显示单元以将包括投影区域的由投影引起的误差范围(关注区域在二维图 像中的相应区域可能存在的范围，还被称为搜索范围)叠加在二维图像上的方式显示该误 差范围。这使得用户能够确定对二维图像中的实际相应区域进行搜索的搜索范围，因此高 效地搜索并识别该实际相应区域。
【专利附图】

【附图说明】
[0015]图1是示出根据第一实施例的信息处理设备的处理过程的流程图。
[0016]图2是示出根据第二实施例的信息处理设备的结构的框图。
[0017]图3是示出根据第二实施例的信息处理设备的处理过程的流程图。
[0018]图4是示出根据第二实施例的信息处理设备中的用于在搜索模式中合成图像的 处理过程的流程图。
[0019]图5A是示出根据第一实施例的信息处理设备中的用于显示断层图像和存在范围 的方法的图。
[0020]图5B是示出根据第二实施例的信息处理设备中的用于显示断层图像和存在范围 的方法的图。
[0021]图6A是示出第一区域和第二区域的示例的图。
[0022]图6B是示出第一区域和第二区域的另一示例的图。
[0023]图7是示出根据第三实施例的信息处理设备的装置结构的图。
[0024]图8是示出根据第四实施例的信息处理设备的装置结构的图。
[0025]图9是示出根据第三实施例的信息处理设备的处理过程的流程图。
[0026]图10是示出根据第四实施例的信息处理设备的处理过程的流程图。[0027]图11是示出根据第五实施例的信息处理设备的装置结构的图。
[0028]图12是示出根据第五实施例的信息处理设备的处理过程的流程图。
[0029]图13是示出三维存在范围中的超声波断层图像的位置信息的图。
[0030]图14A是示出相对位置信息与颜色表的关联的图。
[0031]图14B是示出相对位置信息与颜色表的关联的图。
[0032]图15A是示出存在范围显示信息的图。
[0033]图15B是示出存在范围显示信息的图。
[0034]图15C是示出存在范围显示信息的图。
[0035]图15D是示出存在范围显示信息的图。
[0036]图16A是不出置加显不有存在范围显不"[目息的超声波断层图像的图。
[0037]图16B是示出叠加显示有存在范围显示信息的超声波断层图像的图。
[0038]图16C是不出置加显不有存在范围显不"[目息的超声波断层图像的图。
[0039]图16D是示出叠加显示有存在范围显示信息的超声波断层图像的图。
[0040]图17是示出能够利用软件来实现根据实施例的信息处理设备的各单元的计算机 的基本结构的图。
【具体实施方式】
[0041]以下将参考附图来详细说明根据本发明的信息处理系统(信息处理设备)的典型 实施例。应当注意，本发明不限于以下实施例。
[0042]第一实施例
[0043]根据第一实施例的信息处理设备被配置为将三维图像(例如，MRI图像或X射线 CT图像)中的特定区域(例如，关注区域或关注病变部)投影到包括被检体的二维图像(例 如，超声波图像)的平面上，并且将包括投影区域的由上述投影引起的误差范围(关注区域 在二维图像中的相应区域可能存在的范围，还被称为搜索范围)以叠加在二维图像上的方 式显示在显示单元上。这使得用户能够确定在二维图像中搜索实际相应区域的搜索范围， 并且高效地搜索并识别该实际相应区域。
[0044]本实施例提供了基于上述投影的技术。具体地，除非由于上述投影而产生了误差， 否则该投影使得能够将与给定区域相对应的区域连续地叠加显示在被检体的二维图像上。 然而，例如由于由以下所述的坐标变换引起的误差，因此并非必须将与给定区域相对应的 区域显示在被检体的二维图像上。将误差范围显示在二维图像上使得用户能够容易地搜索 与给定区域相对应的区域。
[0045]这里，给定区域的位置可能经过从三维图像的三维坐标系到二维图像的三维坐标 系(例如，位置姿势传感器的基准坐标系)的坐标变换(关联、位置对准)。因此，可以基于 由坐标变换引起的误差来计算由投影引起的误差范围。另外，可以通过在三维图像中设置 比给定区域(第一区域)大并且包括该给定区域的区域(第二区域)、然后对该区域(第二 区域)的位置进行坐标变换来计算由投影引起的误差范围。可以基于由坐标变换引起的误 差来设置第二区域的大小。例如，如图6A所示，在将第一区域701定义为无大小的点的情 况下，第二区域702可以是以第一区域701为中心并且半径等于由坐标变换引起的误差的 球体。此外，如图6B所示，在将第一区域703定义为具有大小的封闭区域的情况下，第二区域704可以是由如下封闭曲线包围的区域，其中该封闭曲线被定义成该封闭曲线和第一区 域703的最近邻点之间的距离等于由坐标变换引起的误差。
[0046]接着，将参考图1来说明根据本实施例的信息处理系统。图1是示出根据本实施 例的信息处理设备的处理过程的流程图。
[0047]首先，在步骤SI中，误差获取单元将误差原因信息输入至信息处理设备。误差原 因信息的示例包括超声波探测器与位置姿势传感器之间的距离。通常，该距离越长，由投影 (例如，坐标变换)引起的误差越大。
[0048]然后，在步骤S2中，断层图像获取单元获取断层图像(例如，超声波断层图像)。
[0049]在步骤S3中，误差获取单元获取误差(由上述投影引起的误差)。例如，在步骤 SI中获取到的误差原因信息是超声波探测器与位置姿势传感器之间的距离的情况下，可以 通过利用预先存储的表(以下称为“用于计算误差的信息”)，使用该距离来确定误差。
[0050]在步骤S4中，获取关注区域(关注病变部)可能存在的范围(由上述投影引起的 误差范围、搜索范围)。具体地，获取包括通过将三维图像中的给定区域投影到包括超声波 断层图像的平面上所获得的投影区域并且是由上述投影引起的误差范围。在这种情况下， 例如，绘制以投影区域为中心并且半径等于作为误差所确定的距离的圆，并且获取该圆与 超声波断层图像重叠的区域。
[0051]在步骤S5中，将该重叠区域以叠加在超声波断层图像上的方式显示在显示单元 上。例如，将图5A所示的图像显示在显示单元上。在这种情况下，可以利用圆来表示相应 病变部501可能存在的范围(存在范围)502，可以以包围该圆的方式应用半透明掩模，并且 可以正常显示该圆内侧的区域中的超声波断层图像。因而，可以清楚地识别对关注区域的 实际相应区域进行搜索的搜索范围。另外，用户可以容易地搜索该实际相应区域并且可以 实现高效搜索。还可以仅利用圆的线来绘制相应区域可能存在的范围。可以对相应区域可 能存在的范围内侧的区域着色。在这种情况下，该区域可以足够透明以进行搜索。
[0052]在图5A中，用户可以在由超声波断层图像上的投影所引起的误差范围内指定给 定位置作为相应区域的位置。例如，可以将表示相应区域(给定区域在二维图像中的相应 区域)的标记(例如，圆或十字形记号)以叠加在二维图像的给定位置上的方式显示在显 示单元上。这样使得能够容易地识别二维图像中的相应区域的位置，从而提高诊断效率。此 夕卜，可以基于所指定的给定位置和投影区域之间的差异来校正由二维图像中的投影所引起 的误差。因此，可以在与再次获取到的二维图像中的给定位置相对应的位置处连续显示标 记。
[0053]在图5A中，在用户没有指定给定位置的情况下，重复进行超声波断层图像的获 取。由投影引起的误差范围的大小根据各超声波断层图像的位置和姿势而改变。在给定区 域(第一区域)和投影区域(第一区域在超声波断层图像中的相应区域)处于同一位置的 情况下(在超声波断层图像的扫描部分通过给定区域的情况下)，由投影引起的误差范围 的大小变为最大。如图5B所示，可以始终将具有最大大小的误差范围804显示在超声波图 像503上，从而将误差范围804与实际误差范围502区分开。
[0054]第二实施例
[0055]根据第二实施例的信息处理系统被配置为将三维图像数据中的关注区域(例如， 关注病变部)可能存在的区域显示在实时拍摄到的超声波断层图像上。这使得操作员(诸如医生或工程师等)能够容易地将与三维图像数据中的关注区域相对应的相应区域(相 应病变部)绘制到超声波断层图像上。在本实施例中，将说明将表示被检体内部的三维信 息的断层图像群作为三维图像数据来处理的情况。现在将说明根据本实施例的信息处理系 统。
[0056]图2示出根据本实施例的信息处理系统的结构。如图2所示，根据本实施例的信 息处理系统100包括断层图像获取单元(还称为“二维图像获取单元”)110、位置姿势获取 单元112、三维图像数据获取单元(还称为“三维图像获取单元”)120、关注区域获取单元 122、误差获取单元123、断面图像生成单元(还称为“断面图像获取单元”)130、存在范围计 算单元135、图像合成单元140和显示控制单元150。信息处理设备100连接至用于保持三 维图像数据、以下所述的误差原因信息和任何其它适当数据的数据服务器190。信息处理设 备100还连接至用作用于拍摄被检体的超声波断层图像的第二医学图像收集装置180的超 声波诊断摄像设备。
[0057]三维图像数据的输入
[0058]数据服务器190中所保持的三维图像数据表示通过使用诸如MRI设备或X射线CT 设备等的第一医学图像收集装置170预先拍摄被检体的图像所获得的参考断层图像群。在 以下说明中，例如，使用MRI设备作为第一医学图像收集装置170，并且使用人体乳房作为 要拍摄图像的被检体。
[0059]利用三维图像数据来表示MRI设备所拍摄到的参考断层图像群，并且将各断层图 像的位置和姿势表示为MRI设备坐标系中的位置和姿势。如这里所使用的术语“MRI设备 坐标系”是指将原点定义为以MRI设备为基准的空间内的一个点的坐标系。使用MRI设备 坐标系所表示的三维图像数据被三维图像数据获取单元120获取并且被输入至信息处理 设备100。三维图像数据获取单元120根据参考断层图像群来生成以各三维体素表示亮度 值的三维体数据，并且保持所生成的三维体数据。三维图像数据获取单元120响应于来自 断面图像生成单元130的请求来将所保持的三维体数据输出至断面图像生成单元130。
[0060]数据服务器190还保持预先指定的病变部(关注病变部)的位置作为三维图像数 据中的关注区域。例如可以通过将参考断层图像群顺次显示在图像浏览器(未示出)上、 提示操作员选择这些参考断层图像中的关注病变部出现的参考断层图像、并且在该关注病 变部上点击鼠标(未示出)，来指定关注病变部的位置。数据服务器190中所保持的关注病 变部的位置被关注区域获取单元122获取并且被输入至信息处理设备100。关注区域获取 单元122还将所保持的关注病变部的位置输出至误差获取单元123、存在范围计算单元135 和图像合成单元140。在以下说明中，与三维图像数据相同，还使用MRI设备坐标系来表示 关注病变部的位置。
[0061]误差估计值的获取:第二实施例
[0062]数据服务器190还保持用于计算三维图像数据中的病变部的位置的误差的信息。 用于计算误差的信息是用于在投影期间计算超声波断层图像中的与三维图像数据中的病 变部相对应的相应区域(相应病变部)的位置所涉及的误差的程度的信息。换句话说，用于 计算误差的信息是用于计算三维图像数据和超声波断层图像之间的位置对准的误差(相 应病变部的存在范围)的信息。在本实施例中，位置姿势获取单元112计算MRI设备坐标 系中的超声波断层图像的位置和姿势，由此实现三维图像数据和超声波断层图像之间的位置对准。在以下说明中，将用于计算误差估计值的信息称为(以下将详细说明的)“误差 原因信息”。将数据服务器190中所保持的误差原因信息经由误差获取单元123输入至信 息处理设备100。误差获取单元123根据该误差原因信息来计算三维图像数据和超声波断 层图像之间的位置对准的误差估计值(相应病变部的存在范围)。误差获取单元123将所 计算出的误差估计值输出至存在范围计算单元135。在这种情况下，存在范围计算单元135 计算通过沿着超声波断面切割以关注病变部的位置为中心并且半径等于误差的球体所获 得的圆，并且将所计算出的圆作为表示相应病变部的存在范围的信息输出至图像合成单元 140。
[0063]断层图像的获取:第二实施例
[0064]用作第二医学图像收集装置180的超声波诊断摄像设备实时地拍摄被检体的超 声波断层图像。这些超声波断层图像被断层图像获取单元110获取并且被顺次输入至信息 处理设备100。断层图像获取单元110根据需要进一步将获取到的超声波断层图像转换成 数字数据，并且将这些超声波断层图像与从位置姿势获取单元112获取到的位置和姿势相 关联地进行保持。断层图像获取单元110响应于来自图像合成单元140的请求来将所保持 的超声波断层图像输出至图像合成单元140。
[0065]通常，操作员在根据期望移动用手把持的超声波探测器的同时利用该超声波探 测器拍摄被检体的图像。该超声波探测器用作超声波诊断摄像设备中的摄像单元(未 示出)。使用该超声波探测器，可以检测超声波并且可以获取超声波断层图像。在这 种情况下，超声波断层图像没有清楚地表示在以被检体为基准的空间中拍摄到的位置 和姿势。因此，在本实施例中，使用安装至超声波诊断摄像设备的位置姿势传感器(未 示出)来测量超声波探测器的位置和姿势。该位置姿势传感器例如可以是Polhemus Incorporated, Colchester, USA所研发的FASTRAK (注册商标)传感器。可以使用能够测量 超声波探测器的位置和姿势的任何类型的位置姿势传感器。
[0066]以上述方式获得的超声波探测器的位置和姿势被位置姿势获取单元112获取并 且被输入至信息处理设备100。例如可以将超声波探测器的位置和姿势表示为基准坐标系 中的位置和姿势。如这里所使用的术语“基准坐标系”是指将原点定义为以被检体为基准 的空间中的一个点的坐标系。此外，位置姿势获取单元112获取基准坐标系中的超声波探 测器的位置和姿势，并且根据获取到的位置和姿势来计算MRI设备坐标系中的超声波断层 图像的位置和姿势。位置姿势获取单元112响应于来自断面图像生成单元130的请求来将 所计算出的位置和姿势输出至断面图像生成单元130。该计算处理是基于超声波探测器和 超声波断层图像之间的相对位置关系以及基于基准坐标系和MRI设备坐标系之间的相对 位置关系、通过使用已知的坐标变换计算而进行的。在本实施例中，与以上相位位置关系有 关的信息(以下为校准数据)是使用已知的校准方法预先推导出的，并且作为已知值保持 在位置姿势获取单元112内的存储器中。
[0067]断面图像的牛成:第二实施例
[0068]断面图像生成单元130接收从三维图像数据获取单元120输出的三维体数据、从 位置姿势获取单元112输出的超声波断层图像的位置和姿势、以及从关注区域获取单元 122输出的关注病变部的位置。断面图像生成单元130基于接收到的数据来根据三维体数 据而生成断面图像(第二二维断面图像)，并且将该断面图像输出至图像合成单元140。断面图像生成单元130根据以下所述的两个操作模式进行不同的处理。图像合成单元140从 存在范围计算单元135获取表示相应病变部的存在范围(第二区域)的信息，并且将该第 二区域以叠加方式绘制在从断层图像获取单元110获取到的超声波断层图像上。图像合成 单元140进一步将由此得到的图像与从断面图像生成单元130获取到的断面图像进行合成 以生成合成图像，并且将该合成图像输出至显示控制单元150或外部装置。可以将相应病 变部的存在范围叠加在超声波断层图像上的图像和给定区域(第一区域)叠加在断面图像 上的图像并排显示在显示单元上。显示控制单元150获取从图像合成单元140输出的合成 图像，并且使该合成图像显示在显示单元160上。
[0069]可以将图2所示的各单元(即，断层图像获取单元110、位置姿势获取单元112、 三维图像数据获取单元120、关注区域获取单元122、误差获取单元123、断面图像生成单元 130、存在范围计算单元135、图像合成单元140和显示控制单元150)中的至少一部分作为 独立装置来实现。可选地，可以通过将各个体单元安装至一个或多个计算机中并且使用该 计算机中的中央处理单元(CPU)执行用于实现这些单元的功能的软件，利用该软件来实现 这些个体单元。在本实施例中，假定个体单元由软件来实现并且被安装到单个计算机中。
[0070]计算机的基本结构:第二实施例
[0071]图17是示出执行软件以实现断层图像获取单元110、位置姿势获取单元112、三维 图像数据获取单元120、关注区域获取单元122、误差获取单元123、断面图像生成单元130、 存在范围计算单元135、图像合成单元140和显示控制单元150各自的功能的计算机的基本 结构的图。
[0072]CPU1001使用存储在随机存取存储器(RAM) 1002或只读存储器(ROM) 1003中的程 序和数据来控制计算机的整体操作。CPU1001还控制软件的执行以实现断层图像获取单元 110、位置姿势获取单元112、三维图像数据获取单元120、关注区域获取单元122、误差获取 单元123、断面图像生成单元130、存在范围计算单元135、图像合成单元140和显示控制单 元150各自的功能。
[0073]RAM1002具有用于临时存储从外部存储装置1007或存储介质驱动器1008载入的 程序和数据的区域，并且还具有在CPU1001进行各种处理时使用的工作区域。
[0074]R0M1003通常存储计算机的程序、设置数据等。键盘1004和鼠标1005是输入装 置，并且操作员可以使用键盘1004和鼠标1005来向CPU1001输入各种指示。
[0075]显示单元1006可以由阴极射线管(CRT)显示器、液晶显示器或任何其它适当显示 器构成，并且与显示单元160相对应。显示单元1006可以显示诸如消息和图形用户界面 (⑶I)等的针对图像处理要显示的项、以及图像合成单元140所生成的合成图像。
[0076]外部存储装置1007是用作诸如硬盘驱动器等的大容量信息存储装置的装置，并 且存储操作系统(OS)和CPU1001要执行的程序等。在本实施例中，将“已知信息”存储在 外部存储装置1007中并且根据需要载入RAM1002。
[0077]存储介质驱动器1008根据来自CPU1001的指示来读取诸如致密盘ROM (⑶-ROM) 或数字多功能盘rom(dvd-rom)等的存储介质中所存储的程序和数据，并且将所读取的程 序和数据输出至RAM1002和外部存储装置1007。
[0078]接口(I/F) 1009包括模拟视频端口或诸如电气和电子工程师协会(IEEE) 1394 端口等的数字输入/输出端口、以及将诸如合成图像等的信息输出至外部所利用的Ethernet (注册商标)端口。输入至各端口的数据经由I/F1009被获取至RAM1002。断层 图像获取单元110、位置姿势获取单元112、三维图像数据获取单元120、关注区域获取单元 122、误差获取单元123的功能中的一部分由I/F1009来实现。
[0079]上述各结构元件经由总线1010彼此连接。
_0] 搜索模式和连动模式
[0081]上述的信息处理系统具有搜索模式(用于搜索相应病变部的模式)和连动模式 (用于观察并检查关联病变部的模式)这两个操作模式。在给出超声波断层图像的位置和 姿势以及关注病变部的位置的情况下，基于上述信息，根据当前模式，从MRI三维图像数据 生成(获取)断面图像。搜索模式中生成的断面图像是与包括上述超声波断层图像的平面 平行并且通过关注病变部的断面图像。通过以上述方式生成断面图像，可以与超声波探测 器的姿势无关地始终以对准方式显示超声波探测器相对于两个断面图像(超声波断层图 像和MRI断面图像)中的被检体的倾斜(姿势)。结果，操作员可以仅需使超声波探测器压 抵的位置与MRI数据中的位置一致。由于不再需要用于使倾斜彼此对准的费时费力操作， 因此操作员可以容易地实现位置对准。通过在超声波断层图像中指定相应病变部并且指出 该相应病变部的位置来进行搜索模式和连动模式之间的切换。在连动模式中，显示通过从 MRI三维图像数据中切出与超声波断层图像的断面相同的断面所获得的图像作为MRI断面 图像。在连动模式中，操作员能够在同时观看超声波断层图像以及与超声波探测器的位置 和姿势连动的关注病变部的周围的MRI断面图像的同时，观察病变部的扩散等。
[0082]将超声波断层图像和MRI断面图像显示在显示单元160上。在搜索模式中，操作 员能够通过在改变超声波探测器压抵的位置的同时比较各图像中出现的特征以判断这两 者是否一致来进行位置对准。在连动模式中，操作员能够在观看位置对准后的各图像的同 时观察病变部的周围。
[0083]图3是示出信息处理设备100的处理过程的流程图。在本实施例中，通过利用 CPU1001执行实现各单元的功能的程序来实现该流程图中的过程。在进行以下处理之前，基 于该流程图的程序代码已从例如外部存储装置1007被载入RAM1002。
[0084]S3000:数据的输入
[0085]在步骤S3000中，作为三维图像数据获取单元120的处理，信息处理设备100从数 据服务器190获取参考断层图像群作为三维图像数据。然后，信息处理设备100通过对各 断层图像的各像素进行三维配置和插值来根据参考断层图像群生成以各三维体素表示亮 度值的三维体数据。此外，作为关注区域获取单元122的处理，信息处理设备100从数据服 务器190获取关注病变部的位置。
[0086]S3005:误差原因信息的输入
[0087]在步骤S3005中，作为误差获取单元123的处理，信息处理设备100从数据服务器 190获取计算误差估计值要使用的(以下所述的)各种误差原因信息。
[0088]S3010:断层图像的获取
[0089]在步骤S3010中，作为断层图像获取单元110的处理，信息处理设备100从第二医 学图像收集装置180获取超声波断层图像。此外，作为位置姿势获取单元112的处理，信息 处理设备100从第二医学图像收集装置180获取在获得超声波断层图像时所获得的超声波 探测器的位置和姿势。然后，信息处理设备100通过使用作为已知值预先存储的上述校准数据，根据基准坐标系中的超声波探测器的位置和姿势来计算MRI设备坐标系中的超声波 断层图像的位置和姿势。在保持位置对准所用的校正参数的情况下，信息处理设备100利 用与该校正参数相对应的量来校正所计算出的超声波断层图像的位置值，以使关注病变部 与相应病变部精确对准。通过步骤S3000中的关注病变部的位置的获取以及步骤S3010中 的超声波断层图像的位置和姿势的计算，来估计关注病变部(关注区域)和断层图像之间 的相对关系。
[0090]S3015:误差估计值的获取
[0091]在步骤S3015中，作为误差获取单元123的处理，信息处理设备100基于步骤 S3005中获取到的计算误差所使用的各种数据来计算误差估计值。
[0092]在本实施例中，通过刚性体变换来表示MRI设备坐标系和基准坐标系之间的关 系。然而，在拍摄MRI图像时所获得的MRI设备坐标系中的被检体的位置和姿势与在进行超 声波摄像时所获得的基准坐标系中的被检体的位置和姿势之间并非必须设置准确的刚性 体变换。因此，在通过刚性体变换来表示这些坐标系之间的关系的情况下，可能存在误差。 在这些坐标系之间的被检体的位置和姿势的差异提供了准确的刚性体变换的情况下，实际 上难以正确地确定刚性体变换并且可能存在误差。可能存在的误差还包括位置姿势获取单 元112所获取到的位置姿势测量值的误差(位置姿势测量误差)。
[0093]例如可以基于被配置为测量第二医学图像收集装置180的超声波探测器的位置 和姿势的位置姿势传感器的特性来执行用于计算误差估计值的处理。例如，可以针对位置 姿势传感器的各测量方法预先确定误差基准值，并且可以根据要使用的传感器的测量方法 来选择值。例如，与光学传感器相比，磁性传感器的测量精度通常较低。因此，在从数据服 务器190获取到表示光学传感器处于使用中的信息作为误差原因信息的情况下根据获取 到的信息所计算出的误差估计值比使用磁性传感器的情况下所计算出的误差估计值小。另 夕卜，与位置姿势传感器的测量方法之间的差异无关地，可以根据相对于位置姿势传感器的 测量标准的空间位置和姿势的关系来计算误差估计值。例如，在位置姿势传感器是磁性传 感器的情况下，可以将误差估计值定义为磁性发生器或测量标准与超声波探测器之间的距 离的函数，并且在该距离大的情况下，可以计算出大的值作为误差估计值。此外，在位置姿 势传感器是光学传感器的情况下，可以根据测量标准和超声波探测器之间的距离、超声波 探测器的姿势等来计算误差估计值。
[0094]还可以基于被检体内的关注病变部存在的部位等来计算误差估计值。例如，在关 注病变部存在于被检体的乳房等的软组织中的情况下，预料到在MRI图像的拍摄时刻和超 声波图像的拍摄时刻之间的时间段内被检体的该部位可能变形。因此，在关注病变部存在 于上述部位中的情况下，可以计算出大的误差估计值。此外，针对由于心搏而导致位置大幅 改变的心脏区域或心脏附近区域或者由于呼吸而导致位置大幅改变的肺区域或肺附近区 域，可以计算出大的误差估计值。具体地，可以获取到表示被检体内的关注病变部存在的部 位(器官名称或器官内的位置)的信息、以及示出该部位和误差大小之间的对应关系的数 据(表)作为误差原因信息，并且可以基于以上信息来计算误差估计值。
[0095]另外，可以获取到与用作MRI设备坐标系和基准坐标系之间进行校准时的指标的 部位的位置等有关的信息作为误差原因信息，并且可以基于这些部位和关注病变部的位置 之间的关系来计算误差估计值。例如，在使用被检体的剑状突起作为校准所使用的指标的情况下，可以将误差估计值计算作为MRI图像中的剑状突起的位置与关注病变部之间的距 离的函数。此外，在使用乳头的位置作为校准所使用的指标的情况下，可以将误差估计值计 算作为MRI图像中的乳头的位置与关注病变部之间的距离的函数。可选地，可以通过使用 以上举例说明的方法中的多个方法以复合方式估计误差，来获取误差估计值。
[0096]S3020:搜索模式的判断
[0097]在步骤S3020中，信息处理设备100判断当前操作模式是搜索模式还是连动模式。 在操作模式是搜索模式的情况下，该处理进入步骤S3030 ;在操作模式是连动模式的情况 下，该处理进入步骤S3070。在本实施例中，假定初始操作模式是搜索模式。
[0098]S3030:搜索模式中的图像的生成和显示
[0099]在步骤S3030中，信息处理设备100在搜索模式中生成图像，并且显示所生成的图 像。以下将参考图4所示的流程图来说明步骤S3030的处理的详细内容。
[0100]在操作员在超声波断层图像中指定相应病变部的位置的情况下，信息处理设备 100进行以下处理(步骤S3040和S3050)以校正关注病变部的位置和相应病变部实际存在 的位置之间的偏移。
[0101]S3040:断层图像中的相应病变部的位置的指定
[0102]在步骤S3040中，作为位置姿势获取单元112的处理，信息处理设备100判断是 否指定了超声波断层图像中的相应病变部的位置。例如可以通过操作员在显示单元160 上所显示的超声波断层图像中的相应病变部的位置上点击鼠标1005来指定相应病变部的 位置。在指定了相应病变部的位置的情况下，信息处理设备100根据超声波断层图像中的 相应病变部的位置和超声波断层图像的位置和姿势来计算MRI设备坐标系中的相应病变 部的位置。然后，该处理进入步骤S3050。在没有指定这些位置的情况下，该处理进入步骤 S3100。例如，在超声波断层图像中没有显示相应病变部的情况下，在步骤S3010中，用户在 无需指定位置的情况下再次获取超声波断层图像。
[0103]S3050:校IH值的计算
[0104]在步骤S3050中，作为位置姿势获取单元112的处理，信息处理设备100计算步骤 S3040中获取到的相应病变部的位置和步骤S3000中获取到的关注病变部的位置之间的偏 移(校正值)。然后，将所获得的值作为位置对准所用的校正参数保持在存储器中。在保持 了校正参数的情况下，位置姿势获取单元112将S3010中新获取到的超声波断层图像转换 成MRI设备坐标系中的超声波断层图像，并且将所获得的坐标系中的超声波断层图像的位 置校正(减去)了与该校正参数(偏移)相对应的量。因此，可以校正位置姿势传感器的 测量误差、被检体的变形等的影响。
[0105]S3060:从搜索模式向着连动模式的切换
[0106]在步骤S3060中，信息处理设备100将系统的操作模式从搜索模式切换至连动模 式，并且该处理进入步骤S3100。在连动模式中，可以在无需进行从超声波断层图像中指定 位置的步骤的情况下连续获取以上述方式校正后的超声波断层图像。例如，用户可能希望 观察病变部的扩散从而获得要通过手术切除的病变部的大小。在这种情况下，可以使用校 正后的超声波断层图像来观察相应病变部的周围。
[0107]S3070:连动樽式中的图像的牛成和显示
[0108]在步骤S3070中，信息处理设备100在连动模式中生成图像，并且显示所生成的图像。具体地，作为断面图像生成单元130的处理，信息处理设备100根据断层图像的位置和 姿势，来生成通过从三维体数据中切出与步骤S3010中获得的超声波断层图像的断面相同 的断面所获得的断面图像。然后，作为图像合成单元140的处理，信息处理设备100将步骤 S3010中获得的超声波断层图像与步骤S3070中获得的断面图像进行合成。例如，可以生成 以上图像沿水平方向并排排列的图像。在断面图像的平面内存在关注病变部的位置的情况 下，可以将表示关注病变部的矩形标记等以叠加在各图像上的方式绘制在超声波断层图像 和断面图像中的相应位置处。此外，作为显示控制单元150的处理，信息处理设备100将合 成图像显示在显示单元160上。
[0109]S3080:针对从连动模式向着搜索模式的切换的判断
[0110]在步骤S3080中，信息处理设备100判断是否将系统的操作模式从连动模式切换 至搜索模式。例如，获取操作员通过例如按下键盘1004上的预定键(操作模式切换键)所 输入的切换指示。在判断为要切换操作模式的情况下，该处理进入步骤S3090 ;在判断为不 切换操作模式的情况下，该处理进入步骤S3100。例如，在正显示与相应病变部的图像相似 的图像的情况下，存在在S3040中用户指定了与实际相应病变部的区域不同的区域的可能 性。在这种情况下，用户可以使用在连动模式中再次获取到的超声波断层图像来观察相应 病变部的周围。在用户找出实际相应病变部的情况下，用户可以在步骤S3080中将操作模 式切换至搜索模式，并且可以再次获取相应病变部的位置。
[0111]S3090:从连动模式向着搜索模式的切换
[0112]在步骤S3090中，信息处理设备100将系统的操作模式从连动模式切换至搜索模 式，并且该处理进入步骤S3100。
[0113]S3100:针对糖个处理的终丨h的判断
[0114]在步骤S3100中，信息处理设备100判断是否终止整个处理。例如，获取操作员通 过例如按下键盘1004上的预定键(结束键)所输入的终止指示。在判断为要终止该处理 的情况下，信息处理设备100的整个处理结束。在判断为不终止该处理的情况下，该处理返 回至步骤S3010，并且对新拍摄到的超声波断层图像再次执行步骤S3010及其后续步骤的处理。
[0115]因此，执行了信息处理设备100的处理。
[0116]搜索模式中的图像的生成和显示
[0117]接着，将参考图4的流程图来说明步骤S3030中在信息处理设备100中进行的用 于在搜索模式中生成要显示的图像的处理的详细内容。
[0118]S4000:断面图像的获取
[0119]在步骤S4000中，作为断面图像生成单元130的处理，信息处理设备100根据步骤 S3000中获得的三维体数据及关注病变部的位置、以及步骤S3010中所获得的超声波断层 图像的位置和姿势，来生成搜索模式中的断面图像。
[0120]首先，断面图像生成单元130基于关注病变部的位置和超声波断层图像的姿势来 计算断面(平面)。具体地，首先，对断面坐标系(表示断面的位置和姿势的坐标系)的位 置和姿势进行初始化。然后，使断面转动以使得该断面的姿势与超声波断层图像的姿势一 致。然后，使断面平移以使得关注病变部位于该断面上。如此计算出的断面是包括关注病 变部(即，表示断面通过关注病变部的平面)并且具有与超声波断层图像的姿势相同的姿势(与超声波断层图像平行)的断面。最后，计算在断面上要生成断面图像的范围。例如， 基于超声波断层图像的位置和姿势来计算超声波断层图像的四个角处的点的位置，并且使 用包括从各点向着断面的垂线的垂足的四个点来确定要生成的断面图像的范围。因此，随 着超声波断层图像的姿势的移动，断面图像的姿势也相应地移动，由此使得用户能够实现 容易的观察。
[0121]最后，断面图像生成单元130通过从三维体数据切出与以上述方式确定的断面相 对应的图像来生成该图像。用于通过从三维体数据切出指定断面的图像来生成该图像的方 法是已知的，因而省略了针对该方法的详细说明。
[0122]S4010:关注病变部的存在范围的获取
[0123]在步骤S4010中，作为存在范围计算单元135的处理，信息处理设备100计算步骤 S3010中所获得的超声波断层图像中的相应病变部的存在范围。在本实施例中，将三维空间 中的相应病变部的存在范围定义为以步骤S3000中所获得的关注病变部的位置为中心并 且半径等于步骤S3015中所获得的误差估计值的球体。此外，将超声波断层图像中的相应 病变部的存在范围定义为作为表示三维空间中的相应病变部的存在范围的球体与断层图 像相交的区域(球体的断面)的圆。因此，图像合成单元140计算该圆在超声波断层图像 中的中心位置和半径。用于计算三维空间中所定义的球体与平面相交的区域的方法是已知 的，因而省略了针对该方法的说明。在表示存在范围的球体与超声波断层图像没有相交的 情况下，存储表示“在断面中无存在范围”的信息。
[0124]S4020:在断层图像中绘制关注病变部的存在范围
[0125]在步骤S4020中，作为图像合成单元140的处理，信息处理设备100将表示步骤 S4010中计算出的超声波断层图像中的相应病变部的存在范围的信息以叠加方式绘制在该 超声波断层图像上。在这种情况下，可以利用圆来表示相应病变部可能存在的范围，可以 以包围该圆的方式应用半透明掩模，并且可以正常显示该圆内侧的区域中的超声波断层图 像。因而，可以清楚地识别出对实际相应病变部进行搜索的搜索区域。另外，用户可以容易 地搜索到实际相应病变部，并且可以实现高效搜索。还可以仅利用圆的线来绘制相应病变 部可能存在的范围。可以对相应区域可能存在的范围内侧的区域着色。在这种情况下，该区 域可以足够透明以进行搜索。作为步骤S4020的处理的结果，生成了图5A所示的、相应病 变部501的存在范围502叠加在断层图像上的超声波断层图像503。要注意，在步骤S4010 中判断为“在断面中无存在范围”的情况下，不执行步骤S4020的处理。
[0126]S4030:断层图像和断面图像的合成
[0127]在步骤S4030中，作为图像合成单元140的处理，信息处理设备100将步骤S4000 中获得的断面图像与步骤S4020中获得的超声波断层图像(具体为相应病变部的存在范围 叠加在断层图像上的图像)进行合成以生成合成图像。例如，可以生成以上图像沿水平方 向并排排列的图像。然后，作为显示控制单元150的处理，信息处理设备100将该合成图像 显示在显示单元160上。还根据需要将该合成图像经由I/F1009输出至外部装置，并且还 存储在RAM1002中从而其它应用程序可利用。
[0128]因此，向操作员呈现如下合成图像，其中在该合成图像中，将具有与超声波断层图 像相同的姿势并且包括关注病变部的断层图像与绘制有相应病变部的存在范围的超声波 断层图像进行合成。[0129]因此，在根据本实施例的信息处理设备中，将考虑到位置对准的误差的相应病变 部的存在范围呈现在超声波断层图像上以帮助操作员搜索该相应病变部。呈现相应病变部 的存在范围可以减少在比所需范围大的范围内进行搜索的不期望工作并且可以减轻搜索 操作期间施加于操作员的负担。另外，由于可以限制搜索范围，因此可以降低操作员可能进 行误关联的风险。
[0130]在上述实施例中，在将相应病变部的存在范围以叠加方式呈现在超声波断层图像 上的情况下，呈现具有与超声波断层图像相同的姿势并且包括关注病变部的断面图像作为 MRI断面图像。然而，要呈现的MRI断面图像可以采用任何其它形式。例如，与根据本实施 例的连动模式相同，可以显示与超声波断层图像的位置和姿势这两者连动的(通过切出与 超声波断层图像相同的断面所获得的)断面图像。另外，可以将医生所指定的MRI断面图 像作为静止图像(而不存在姿势的连动)进行显示。例如，可以显示医生指出了关注病变 部的MRI断面图像。此外，并非必须显示MRI断面图像。
[0131]另外，在显示与超声波断层图像的位置和姿势这两者连动的断面图像的情况下， 关注病变部的数量可以是多个。在这种情况下，针对各关注病变部将三维空间中的相应病 变部的存在范围定义为球体。因而，可以确定各球体和超声波断层图像相交的区域，并且可 以显示该区域作为该断层图像中的相应病变部的存在范围。
[0132]第三实施例
[0133]根据第三实施例的信息处理系统被配置为将三维图像数据(参考图像)中的关注 区域(例如，关注病变部)的相应区域(相应病变部)可能存在的区域显示在实时拍摄到 的超声波断层图像(对象图像)中。这使得操作员(诸如医生或工程师等)能够在超声波 断层图像中容易地搜索并识别该相应区域。现在将说明根据本实施例的信息处理系统。
[0134]图7示出根据本实施例的信息处理系统的结构。如图7所示，根据本实施例的信 息处理设备900包括断层图像获取单元(还称为“二维图像获取单元”)910、位置姿势获取 单元912、三维图像数据获取单元(还称为“三维图像获取单元”)920、关注区域获取单元 922、误差获取单元923、断面图像生成单元(还称为“断面图像获取单元”)930、存在范围计 算单元935、图像合成单元940和显示控制单元950。信息处理设备900连接至用于保持三 维图像数据、以下所述的误差原因信息和任何其它适当数据的数据服务器990。信息处理设 备900还连接至用作用于拍摄被检体的超声波断层图像的第二医学图像收集装置980的超 声波诊断摄像设备。
[0135]三维图像数据的获取:第三实施例
[0136]数据服务器990中所保持的三维图像数据可以是通过使用诸如MRI设备或X射线 CT设备等的第一医学图像收集装置970预先拍摄被检体的图像所获得的图像。在以下说明 中，例如，使用MRI设备作为第一医学图像收集装置970。在本实施例中，将三维图像数据表 示为以各三维体素表示亮度值的三维体数据。另外，使用MRI设备坐标系来表示各体素的 坐标。数据服务器990中所保持的三维图像数据被三维图像数据获取单元920获取并且被 输入至信息处理设备900。
[0137]关注区域的获取:第三实施例
[0138]数据服务器990还保持(以下将详细说明的)表示三维图像数据中的关注区域的 信息。数据服务器990中所保持的表示关注区域的信息被关注区域获取单元922获取并且被输入至信息处理设备900。在以下说明中，例如，与三维图像数据相同，还使用MRI设备坐 标系来表现表示关注区域的信息。
[0139]断层图像的获取:第三实施例
[0140]用作第二医学图像收集装置980的超声波诊断摄像设备实时地拍摄被检体的超 声波断层图像。这些超声波断层图像被断层图像获取单元910获取并且被顺次输入至信息 处理设备900。超声波探测器的位置和姿势是使用位置姿势传感器(未示出)来测量的，被 位置姿势获取单元912获取到，并且被输入至信息处理设备900。将超声波探测器的位置和 姿势表示为例如以被检体为基准的基准坐标系中的位置和姿势。位置姿势获取单元912获 取基准坐标系中的超声波探测器的位置和姿势，并且根据获取到的位置和姿势来计算MRI 设备坐标系中的超声波断层图像的位置和姿势。
[0141]存在范围的计算:第三实施例
[0142]存在范围计算单元935基于关注区域获取单元922获取到的表示关注区域的信息 以及位置姿势获取单元912获取到的超声波断层图像的位置和姿势，在超声波坐标系中估 计与关注区域相对应的区域(相应区域)。如这里所使用的术语“超声波坐标系”是指以超 声波断层图像为基准的三维坐标系，并且例如可被定义为X轴和y轴设置在断层图像的平 面中并且z轴设置在与该平面垂直的方向上的、原点被定义为断层图像中的一个点的坐标 系。存在范围计算单元935基于估计出的相应区域和如以下将说明的误差获取单元923所 获取到的误差估计值来计算超声波断层图像中的相应区域的存在范围(第二区域)。
[0143]误差估计值的获取:第三实施例
[0144]除了上述信息以外，数据服务器990还保持用于计算相应区域的误差估计值的信 息(如以下将详细说明的误差原因信息)。换句话说，误差原因信息是用于计算超声波断层 图像中的相应区域的存在范围的信息。将数据服务器990中所保持的误差原因信息经由误 差获取单元923输入至信息处理设备900。误差获取单元923基于所获取到的误差原因信 息来计算相应区域的误差估计值。将所计算出的误差估计值输出至存在范围计算单元935。
[0145]断面图像的牛成:第三实施例
[0146]断面图像生成单元930接收从三维图像数据获取单元920输出的三维体数据以及 从位置姿势获取单元912输出的超声波断层图像的位置和姿势。断面图像生成单元930基 于接收到的数据来根据三维体数据生成与超声波断层图像相对应的断面图像，并且将所生 成的断面图像输出至图像合成单元940。图像合成单元940从存在范围计算单元935获取 表示相应病变部的存在范围(第二区域)的信息，并且将该第二区域以叠加方式绘制在从 断层图像获取单元910获取到的超声波断层图像上。图像合成单元940进一步将由此得到 的图像与从断面图像生成单元930获取到的断面图像进行合成(例如，沿水平方向并排排 列这些图像)以生成合成图像，并且将该合成图像输出至显示控制单元950或外部装置。显 示控制单元950获取从图像合成单元940输出的合成图像，并且将该合成图像显示在显示 单元960上。
[0147]可以将图7所示的各单元(即，断层图像获取单元910、位置姿势获取单元912、 三维图像数据获取单元920、关注区域获取单元922、误差获取单元923、断面图像生成单元 930、存在范围计算单元935、图像合成单元940和显示控制单元950)中的至少一部分作为 独立装置来实现。可选地，可以通过将各个体单元安装至一个或多个计算机中并且使用该计算机中的CPU执行用于实现这些单元的功能的软件，利用该软件来实现这些单元。在本 实施例中，假定个体单元由软件来实现并且被安装到单个计算机中。
[0148]计算机的基本结构:第三实施例
[0149]图17是示出执行软件以实现断层图像获取单元910、位置姿势获取单元912、三维 图像数据获取单元920、关注区域获取单元922、误差获取单元923、断面图像生成单元930、 存在范围计算单元935、图像合成单元940和显示控制单元950各自的功能的计算机的基本 结构的图。
[0150]CPU1001使用存储在RAM1002或R0M1003中的程序和数据来控制计算机的整体操 作。CPU1001还控制软件的执行以实现断层图像获取单元910、位置姿势获取单元912、三维 图像数据获取单元920、关注区域获取单元922、误差获取单元923、断面图像生成单元930、 存在范围计算单元935、图像合成单元940和显示控制单元950各自的功能。
[0151]RAM1002具有用于临时存储从外部存储装置1007或存储介质驱动器1008载入的 程序和数据的区域，并且还具有在CPU1001进行各种处理时使用的工作区域。
[0152]R0M1003通常存储计算机的程序、设置数据等。键盘1004和鼠标1005是输入装 置，并且操作员可以使用键盘1004和鼠标1005来向CPU1001输入各种指示。
[0153]显示单元1006可以由CRT显示器、液晶显示器或任何其它适当显示器构成，并且 与显示单元960相对应。显示单元1006可以显示诸如消息和⑶I等的针对图像处理要显 示的项、以及图像合成单元940所生成的合成图像。
[0154]外部存储装置1007是用作诸如硬盘驱动器等的大容量信息存储装置的装置，并 且存储OS和CPU1001要执行的程序等。在本实施例中，将“已知信息”存储在外部存储装 置1007中并且根据需要载入RAM1002。
[0155]存储介质驱动器1008根据来自CPU1001的指示来读取诸如⑶-ROM或DVD-ROM等 的存储介质中所存储的程序和数据，并且将所读取的程序和数据输出至RAM1002和外部存 储装置1007。
[0156]I/F1009包括模拟视频端口或诸如IEEE1394端口等的数字输入/输出端口、以及 将诸如合成图像等的信息输出至外部所利用的Ethernet(注册商标)端口。输入至各端口 的数据经由I/F1009被获取至RAM1002。断层图像获取单元910、位置姿势获取单元912、三 维图像数据获取单元920、关注区域获取单元922和误差获取单元923的功能中的一部分由 I/F1009来实现。
[0157]上述各结构元件经由总线1010彼此连接。
[0158]图9是示出信息处理设备900的整个处理过程的流程图。在本实施例中，通过利用 CPU1001执行实现各单元的功能的程序来实现该流程图中的过程。在进行以下处理之前，基 于该流程图的程序代码例如已从外部存储装置1007被载入RAM1002。
[0159]SllOOO:数据的输入
[0160]在步骤SllOOO中，作为三维图像数据获取单元920的处理，信息处理设备900从 数据服务器990获取三维图像数据。此外，作为关注区域获取单元922的处理，信息处理设 备900从数据服务器990获取表示关注区域的信息。表示关注区域的信息例如可以是关注 病变部的位置(该区域的重心)、或者位于关注病变部的边界区域的点群的坐标。
[0161]SllOlO:误差原因信息的输入[0162]在步骤SllOlO中，作为误差获取单元923的处理，信息处理设备900从数据服务 器990获取计算误差估计值要使用的(以下所述的)各种误差原因信息。
[0163]S11020:断层图像的获取
[0164]在步骤S11020中，作为断层图像获取单元910的处理，信息处理设备900从第二 医学图像收集装置980获取超声波断层图像。此外，作为位置姿势获取单元912的处理，信 息处理设备900从第二医学图像收集装置980获取在拍摄超声波断层图像时所获得的超声 波探测器的位置和姿势。然后，信息处理设备900通过使用作为已知值预先存储的校准数 据，根据基准坐标系中的超声波探测器的位置和姿势来计算MRI设备坐标系中的超声波断 层图像的位置和姿势。
_5] S11030:误差估计值的获取
[0166]在步骤S11030中，作为误差获取单元923的处理，信息处理设备900基于步骤 SllOlO中获取到的各种误差原因信息(计算误差所使用的各种数据)来计算误差估计值。
[0167]在本实施例中，通过刚性体变换来表示MRI设备坐标系和基准坐标系之间的关 系。然后，在拍摄MRI图像时所获得的MRI设备坐标系中的被检体的位置和姿势与在进行超 声波摄像时所获得的基准坐标系中的被检体的位置和姿势之间并非必须设置准确的刚性 体变换。因此，在通过刚性体变换来表示这些坐标系之间的关系的情况下，可能存在误差。 在这些坐标系之间的被检体的位置和姿势的差异提供了准确的刚性体变换的情况下，实际 上难以正确地确定刚性体变换并且可能存在误差。可能存在的误差还包括位置姿势获取单 元912所获取到的位置姿势测量值的误差(位置姿势测量误差)。
[0168]例如可以基于被配置为测量第二医学图像收集装置980的超声波探测器的位置 和姿势的位置姿势传感器的特性来执行用于计算误差估计值的处理。例如，可以针对位置 姿势传感器的各测量方法预先确定误差基准值，并且可以根据要使用的传感器的测量方法 来选择值。例如，与光学传感器相比，磁性传感器的测量精度通常较低。因此，在从数据服 务器990获取到表示光学传感器处于使用中的信息作为误差原因信息的情况下基于获取 到的信息所计算出的误差估计值比使用磁性传感器的情况下所计算出的误差估计值小。另 夕卜，与位置姿势传感器的测量方法之间的差异无关地，可以根据相对于位置姿势传感器的 测量标准的空间位置和姿势的关系来计算误差估计值。例如，在位置姿势传感器是磁性传 感器时，可以将误差估计值定义为磁性发生器或测量标准与超声波探测器之间的距离的函 数，并且在该距离大的情况下，可以计算出大的值作为误差估计值。
[0169]此外，在位置姿势传感器是光学传感器的情况下，使用该光学传感器来测量配置 在超声波探测器上的多个指标(标记)的位置，并且基于测量到的位置来计算超声波探测 器的位置和姿势。在多个指标的分布相对于用作测量标准的光学传感器存在偏移的情况 下，位置和姿势的误差大。因此，可以将误差估计值定义为光学传感器和超声波探测器之间 的距离的函数，并且在该函数的值大的情况下，可以计算出大的误差估计值。另外，可以将 误差估计值定义为从光学传感器指向超声波探测器的矢量与相对于多个指标所配置的平 面的法线之间的角度的函数，并且在该函数的值大的情况下，可以计算出大的误差估计值。
[0170]还可以基于被检体内的关注病变部存在的部位等来计算误差估计值。例如，在关 注病变部存在于被检体的乳房等的软组织中的情况下，预料到在MRI图像的拍摄时刻和超 声波图像的拍摄时刻之间的时间段内被检体的该部位可能变形。因此，在关注病变部存在于上述部位中的情况下，可以计算出大的误差估计值。此外，针对由于心搏而导致位置大幅 改变的心脏区域或心脏附近区域、或者由于呼吸而导致位置大幅改变的肺区域或肺附近区 域，可以计算出大的误差估计值。具体地，可以获取表示被检体内的关注病变部存在的部位 (器官名称或器官内的位置)的信息、以及示出该部位和误差大小之间的对应关系的数据 (表)作为误差原因信息，并且可以基于以上信息来计算误差估计值。
[0171]还可以以针对各轴方向具有不同值的方式计算误差估计值。例如，在关注病变部 存在于被检体的乳房等的软组织中的情况下，在超声波探测器的操作方向上有可能发生经 受按压力的变形。因而，(与针对垂直于操作方向的两个方向相比)，针对操作方向可以计 算出较大的误差估计值。可以基于超声波探测器的当前和过去(例如，100毫秒以前)的位 置和姿势、使用已知方法来计算超声波探测器的操作方向。在这种情况下，可以将误差估计 值表现为表不方向和大小的三个垂直矢量。
[0172]另外，可以获取到与用作MRI设备坐标系和基准坐标系之间进行校准所用的指标 的部位的位置等有关的信息作为误差原因信息，并且可以基于这些部位和关注病变部的位 置之间的关系来计算误差估计值。例如，在使用被检体的剑状突起作为校准所使用的指标 的情况下，可以将误差估计值计算作为MRI图像中的剑状突起的位置与关注病变部之间的 距离的函数。此外，在使用乳头的位置作为校准所使用的指标的情况下，可以将误差估计值 计算作为MRI图像中的乳头的位置与关注病变部之间的距离的函数。可选地，可以通过使 用以上举例说明的方法中的多个方法以复合方式估计误差，来获取误差估计值。
[0173]S11040:断面图像的获取
[0174]在步骤SI 1040中，作为断面图像生成单元930的处理，信息处理设备900生成与 步骤S11020中获得的超声波断层图像相对应的参考图像的断面图像。具体地，根据步骤 S11020中获得的超声波断层图像的位置和姿势，来生成通过从步骤SllOOO中获得的三维 体数据中切出与超声波断层图像相同的断面所获得的断面图像。
[0175]S11050:存在范闱的获取
[0176]在步骤S11050中，作为存在范围计算单元935的处理，信息处理设备900计算步 骤S11020中所获得的超声波断层图像中的相应区域的存在范围。
[0177]具体地，首先，存在范围计算单元935估计关注区域在超声波坐标系中的相应区 域。例如，在给出关注病变部的位置作为表示关注区域的信息的情况下，估计出超声波坐标 系中的相应病变部的位置作为表示相应区域的信息。在给出位于关注病变部的边界区域的 点群的坐标作为表示关注区域的信息的情况下，作为表示相应区域的信息，在超声波坐标 系中估计位于相应病变部的边界区域的点群的坐标。以上估计可以基于位置姿势获取单元 912所获取到的超声波断层图像的位置和姿势。
[0178]然后，存在范围计算单元935基于估计出的相应区域和步骤S11030中获取到的误 差估计值来计算超声波断层图像中的相应区域的存在范围。
[0179]在表示相应区域的信息是相应病变部的位置并且误差估计值不依赖于轴方向的 情况下，将超声波坐标系中的相应病变部的三维存在范围定义为以估计出的相应病变部的 位置为中心并且半径等于误差估计值的球体。另外，将超声波断层图像中的相应病变部的 存在范围定义为作为该球体和该断层图像相交的区域(球体的断面)的圆。因此，存在范 围计算单元935计算该圆在超声波断层图像中的中心位置和半径作为相应病变部的存在范围。用于计算三维空间中所定义的球体和平面相交的区域的方法是已知的，因而省略了 针对该方法的说明。在球体和断层图像没有相交的情况下，存储表示“在断面中无存在范 围”的信息。
[0180]在表示相应区域的信息是相应病变部的位置并且针对各轴方向给出误差估计值 的情况下，将超声波坐标系中的相应病变部的三维存在范围定义为以估计出的相应病变部 的位置为中心并且各轴方向上的半径等于相应轴方向上的误差估计值的椭圆体。因此，存 在范围计算单元935计算该椭圆体和该断层图像相交的区域(椭圆体的断面)作为超声波 断层图像中的相应病变部的存在范围。
[0181]另一方面，在表示相应区域的信息是位于相应病变部的边界区域的点群的坐标的 情况下，使用上述方法来针对各点确定半径是误差估计值的球体或椭圆体，并且可以将被 定义为该球体或椭圆体的集合并集的区域定义为相应区域的三维存在范围。因此，存在范 围计算单元935计算该区域和超声波断层图像相交的区域作为断层图像中的相应区域的 存在范围。
[0182]S11060:在断层图像中绘制存在范闱
[0183]在步骤SI 1060中，作为图像合成单元940的处理，信息处理设备900将表示步骤 SI 1050中计算出的超声波断层图像中的相应病变部的存在范围的信息以叠加方式绘制在 超声波图像上。在这种情况下，可以利用封闭曲线表示相应病变部可能存在的范围，可以以 包围该封闭曲线的方式应用半透明掩模，并且可以正常显示该封闭曲线内侧的区域中的超 声波断层图像。因而，可以清楚地识别对实际相应病变部进行搜索的搜索区域。另外，用户 可以容易地搜索实际相应病变部，并且可以实现高效搜索。还可以仅利用封闭曲线的线来 绘制相应病变部可能存在的范围。可以对相应病变部可能存在的范围的内侧的区域着色。 在这种情况下，该区域可以足够透明以进行搜索。作为步骤S11060的处理的结果，生成图 5A所示的、相应病变部501的存在范围502叠加在断层图像上的超声波断层图像503。要 注意，在步骤S11050中判断为“在断面中无存在范围”的情况下，不执行步骤S11060的处 理。
[0184]此外，可以判断断层图像与步骤S11050中所确定的相应区域是否相交，并且在断 层图像与相应区域相交的情况下，可以将断层图像中的交叉区域以重叠方式显示在该断层 图像上。
[0185]S11070:断层图像和断面图像的合成
[0186]在步骤SI 1070中，作为图像合成单元940的处理，信息处理设备900生成相应病 变部的存在范围叠加在步骤S11040中所获得的断面图像和步骤S11060中所获得的超声波 断层图像上的图像。例如，可以生成以上图像沿水平方向并排排列的图像。然后，作为显示 控制单元950的处理，信息处理设备900将合成图像显示在显示单元960上。还根据需要 将该合成图像经由I/F1009输出至外部装置，并且还存储在RAM1002中从而其它应用程序 可利用。
[0187]S11080:针对糖个处理的终丨h的判断
[0188]在步骤S11080中，信息处理设备900判断是否终止整个处理。例如，获取操作员 通过例如按下键盘1004上的预定键(结束键)所输入的终止指示。在判断为要终止该处 理的情况下，信息处理设备900的整个处理结束。在判断为不终止该处理的情况下，该处理返回至步骤S11020，并且对新拍摄到的超声波断层图像再次执行步骤S11020及其后续步 骤的处理。
[0189]因此，执行了信息处理设备900的处理。
[0190]因此，在根据本实施例的信息处理设备中，将考虑到位置估计的误差的相应病变 部的存在范围呈现在超声波断层图像上以帮助操作员搜索该相应病变部。呈现相应病变部 的存在范围可以减少在比所需范围大的范围内进行搜索的不期望工作并且可以减轻搜索 操作期间施加于操作员的负担。另外，由于可以限制搜索范围，因此可以降低操作员可能进 行误关联的风险。
[0191]在上述实施例中，将通过从用作参考图像的三维图像数据切出与超声波断层图像 相同的断面所获得的断面图像与该超声波断层图像并排呈现。然而，并非必须显示断面图 像。在这种情况下，并非必须进行用于获取用作参考图像的三维图像数据并且生成断面图 像的处理。
[0192]第四实施例
[0193]根据第三实施例的信息处理系统是基于在拍摄三维图像数据时和在进行超声波 摄像时之间被检体的形状没有改变(即，被检体是刚性体)这一假设。此外，通过测量超声 波探测器相对于被检体的位置和姿势来估计关注区域在超声波坐标系中的相应区域(及 其存在范围)。作为对比，根据第四实施例的信息处理系统被配置为通过估计从拍摄三维图 像数据时所获得的被检体的形状向着进行超声波摄像时所获得的被检体的形状的变形来 确定相应区域，其中考虑到变形估计的不确定性来估计相应区域的存在范围。将关注与第 三实施例的不同之处来说明根据本实施例的信息处理系统。
[0194]图8示出根据本实施例的信息处理系统的结构。在图8中，向与图7中的组件大 致相同的组件赋予相同的附图标记或符号，并且省略了针对这些组件的说明。如图8所示， 根据本实施例的信息处理设备1000连接至形状测量装置1085。
[0195]用作形状测量装置1085的范围传感器测量进行超声波摄像时所获得的被检体的 表面形状以获得表面形状数据。形状测量装置1085可以具有任何结构，只要形状测量装置 1085能够测量对象物体的形状即可，并且例如可以是立体图像测量装置。
[0196]形状获取单元1027获取输入至信息处理设备1000的被检体的表面形状数据，并 且将该表面形状数据输出至变形估计单元1028。
[0197]变形估计单元1028基于形状获取单元1027所获取到的表面形状数据来估计被检 体的变形状态。此外，变形估计单元1028计算(以下将详细说明的)变形参数的变化范 围，并且将所计算出的范围输出至存在范围计算单元1035。此外，变形估计单元1028使三 维图像数据变形为进行超声波摄像时所获得的被检体的形状以生成变形三维图像，并且将 该变形三维图像输出至断面图像生成单元1030。
[0198]存在范围计算单元1035基于关注区域获取单元922获取到的表示关注区域的信 息和变形估计单元1028估计出的变形参数的变化范围来计算超声波断层图像中的相应区 域的存在范围。
[0199]断面图像生成单元1030基于从变形估计单元1028输出的变形三维图像以及从位 置姿势获取单元912输出的超声波断层图像的位置和姿势、根据变形三维图像来生成与该 超声波断层图像相对应的断面图像，并且将所生成的断面图像输出至图像合成单元940。[0200]图10是示出根据本实施例的信息处理设备1000的整个处理过程的流程图。
[0201]S12000:数据的输入
[0202]在步骤S12000中，信息处理设备1000进行与根据第三实施例的步骤S11000的处 理相同的处理以获取三维图像数据和表示关注区域的信息。此外，作为形状获取单元1027 的处理，信息处理设备1000从形状测量装置1085获取被检体的表面形状数据。
[0203]S12005:夺形估计
[0204]在步骤S12005中，作为变形估计单元1028的处理，信息处理设备1000基于步骤 S12000中获取到的表面形状数据来估计被检体的变形状态。信息处理设备1000例如使用 日本特开2011-092263所述的变形估计方法来根据三维图像数据生成被检体的变形模型， 并且将该变形模型应用于形状数据以估计变形参数。信息处理设备100根据估计出的变形 参数来进一步使三维图像数据变形为进行超声波摄像时所获得的被检体的形状，以生成变 形三维图像。
[0205]S12010:变形参数的变化范围的计算
[0206]在步骤S12010中，作为变形估计单元1028的处理，信息处理设备1000计算变形 参数的变化范围。该变形参数的变化范围是指如下参数范围，其中该参数范围被定义成:在 变形参数的值在估计值附近改变的情况下，形状数据和变形形状之间的相似性的评价值落 在特定范围内。该变化范围表示变形参数的估计值的不确定性。
[0207]S12015:三维宇间中的存在范闱的计算
[0208]在步骤S12015中，作为存在范围计算单元1035的处理，信息处理设备1000基于 变形估计的解的不确定性来计算三维空间中的相应区域的存在范围。具体地，信息处理设 备1000使变形参数在步骤S12010中所确定的变化范围内改变，并且计算由于改变变形参 数所引起的相应区域的移位。此外，使用包含作为移位的结果所获得的所有区域的区域作 为三维空间中的相应区域的存在范围。例如，推导出包含作为移位的结果所获得的所有区 域的最小椭圆体，并且使用该最小椭圆体作为相应区域的存在范围。
[0209]S12020:断层图像的获取
[0210]在步骤S12020中，信息处理设备1000进行与根据第三实施例的步骤SI 1020的处 理相同的处理以获取超声波断层图像及其位置和姿势。
[0211]S12040:断面图像的获取
[0212]在步骤S12040中，作为断面图像生成单元1030的处理，信息处理设备1000生成 与步骤S12020中所获得的超声波断层图像相对应的变形三维图像的断面图像。
[0213]S12050:断面图像中的存在范围的获取
[0214]在步骤S12050中，作为存在范围计算单元1035的处理，信息处理设备1000计算 超声波断层图像中的相应区域的存在范围。具体地，步骤S12015中所计算出的三维空间中 的相应区域的存在范围是沿着超声波断面所截取的以计算二维平面中的相应区域的存在 范围。
[0215]步骤S12060、S12070和S12080的处理分别与根据第三实施例的步骤S11060、 S11070和S11080的处理相同，因而省略了针对这些处理的说明。
[0216]因此，根据本实施例的信息处理设备被配置为通过估计从拍摄三维图像数据时所 获得的被检体的形状向着进行超声波摄像时所获得的被检体的形状的变形来确定相应区域，其中考虑到变形估计的不确定性来估计该相应区域的存在范围。因而，即使关注病变部 存在于被检体的乳房等的软组织中，用户也能够获得针对二维图像中的实际相应区域的更 加精确的搜索范围，从而对该实际相应区域进行更加高效的搜索。
[0217]第四实施例的第一变形例
[0218]在本实施例中，已经在基于估计变形参数时所获得的解周围的参数的变化范围的 方法的情形下说明了用于通过考虑到变形估计的不确定性来计算相应区域的存在范围的 方法。然而，本发明不限于该实施例。
[0219]例如，可以基于通过多个变形模拟所获得的关注区域的移位的变化来计算相应区 域的存在范围。例如，在关注病变部的重心因各种变形模拟而移位之后，可以计算包括作为 移位的结果所获得的所有位置的多面体(例如，所有位置的凸包)或者封闭面(例如，椭圆 体)，并且可以使用该多面体或封闭面作为相应病变部的存在范围。
[0220]第四实施例的第二变形例
[0221]另外，即使在与第四实施例相同考虑到变形的情况下，与第三实施例相同，也可以 获取到误差估计值，并且可以基于该误差估计值来计算相应区域的存在范围。
[0222]例如，可以基于针对过去病例的变形估计的误差分布来计算相应区域的存在范 围。例如，可以分别针对乳房的各大小和病变部的存在部位，将误差的统计值保持在数据服 务器中。在这种情况下，可以从图像获取与被检体的乳房的大小和病变部的存在部位有关 的信息，可以基于获取到的信息来获取相关统计值，并且可以使用获取到的统计值作为误 差估计值来计算存在范围。
[0223]还可以基于变形估计单元1028估计变形参数时所获得的残差(或者进行超声波 摄像时所获得的被检体的形状和变形三维图像的形状之间的偏差量)来计算误差估计值。 例如，在残差大的情况下，可以计算出大的误差估计值。
[0224]还可以根据要使用的变形估计方法来改变误差估计值。例如，在要使用高精度的 变形估计方法的情况下可以计算出小的误差估计值，并且在要使用简易的变形估计方法的 情况下可以计算出大的误差估计值。
[0225]可选地，可以计算超声波探测器的表面位置和断面图像中的体表位置之间的差 异，并且可以基于该差异来计算误差估计值。例如，在该差异大的情况下，可以计算出大的 误差估计值。
[0226]还可以基于作为变形估计的预处理要进行的诸如体表检测等的图像分析的可靠 度来计算误差估计值。例如，在图像分析的可靠度低的情况下，可以计算出大的误差估计值。
[0227]在本变形例中，在要计算一个误差估计值的情况下，与第三实施例相同，可以将相 应病变部的存在范围定义为以关注病变部的位置为中心并且半径等于误差估计值的球体。
[0228]第五实施例
[0229]根据上述实施例，可以通过考虑到位置估计的误差来计算包括与三维图像(参考 图像)数据中的给定部位(关注区域、关注病变部)相对应的部位(相应部位、相应病变 部)的三维存在范围内的、超声波断层图像中的相应病变部可能存在的范围(二维区域)。 如这里所使用的术语“三维存在范围”是指相应病变部可能存在的三维区域，并且使用与超 声波断层图像(对象图像)的空间相同的空间(坐标系)来进行表示。将该存在范围呈现在超声波断层图像上从而帮助用户搜索相应病变部。这使得用户能够获得对相应病变部进 行搜索的范围(搜索范围)，并且高效地搜索并识别相应病变部。
[0230]然而，在上述实施例中，仅显示相应病变部的三维存在范围的一个断面。因此，难 以容易地识别截取了三维存在范围的哪部分。例如，在以球体的形式给出三维存在范围的 情况下，与超声波断层图像与三维存在范围中的哪部分相交无关地，始终以圆形显示断层 图像中的二维存在范围。因此，对于不了解球体的大小的用户而言，进行当前相交位置是位 于球体的中心附近的部分还是球体的边缘附近的部分的判断并不容易。
[0231]因此，除了表示二维区域(相交区域)的信息(显示形态)以外，根据第五实施例 的信息处理系统被配置为还显示表示已经截取三维存在范围中的哪个位置作为超声波断 层图像的信息(例如，与断层图像的位置信息相关联的颜色信息)。在这种情况下，根据断 层图像的位置信息，显示形态改变单元(显示信息生成单元1137的示例)将当前显示形态 改变为表示与该位置信息相关联的二维区域的显示形态。这使得用户能够容易地掌握三维 存在范围(三维区域)的整体视图并且高效地搜索并识别相应病变部。可以设置被配置为 手动或自动指定三维图像中的关注区域的指定单元(未示出)。另外，可以设置被配置为确 定与关注区域相对应的相应区域存在的存在范围作为给定区域的确定单元(显示信息生 成单元1137的示例)。
[0232]图11示出根据本实施例的信息处理系统的结构。根据本实施例的信息处理设 备1100包括断层图像获取单元1110、位置姿势获取单元1112、三维图像数据获取单元 1120(还称为“三维图像获取单元”)、关注区域获取单元1122、误差获取单元1123、断面图 像生成单元1130、三维存在范围计算单元(还称为“三维区域获取单元”)1135、二维存在范 围获取单元(还称为“二维区域获取单元”或“相交区域获取单元”)1134、位置信息计算单 元1136、图像合成单元1140和显示控制单元1150。信息处理设备1100连接至用于保持三 维图像数据、以下所述的误差原因信息和任何其它适当数据的数据服务器1190。信息处理 设备1100还连接至用作用于拍摄被检体的超声波断层图像的第二医学图像收集装置1180 的超声波诊断摄像设备。
[0233]三维图像数据的获取:第五实施例
[0234]数据服务器1190中所保持的三维图像数据可以是通过使用诸如MRI设备或X射 线CT设备等的第一医学图像收集装置1170预先拍摄被检体的图像所获得的图像。在以下 说明中，例如，使用MRI设备作为第一医学图像收集装置1170。在本实施例中，将三维图像 数据表示为以各三维体素表示亮度值的三维体数据。另外，使用MRI设备坐标系来表示各 体素的坐标。数据服务器1190中所保持的三维图像数据被三维图像数据获取单元1120获 取并且被输入至信息处理设备1100。
[0235]关注区域的获取:第五实施例
[0236]数据服务器1190还保持(以下将详细说明的)表示三维图像数据中的关注区域 的信息。数据服务器1190中所保持的表示关注区域的信息被关注区域获取单元1122获取 并且被输入至信息处理设备1100。在以下说明中，例如，与三维图像数据相同，还使用MRI 设备坐标系来表现表示关注区域的信息。
[0237]断层图像的获取:第五实施例
[0238]用作第二医学图像收集装置1180的超声波诊断摄像设备实时地拍摄被检体的超声波断层图像。这些超声波断层图像被断层图像获取单元1110获取并且被顺次输入至信 息处理设备1100。超声波探测器的位置和姿势是使用位置姿势传感器(未示出)来测量 的，被位置姿势获取单元1112获取到，并且被输入至信息处理设备1100。将超声波探测器 的位置和姿势表示为例如以被检体为基准的基准坐标系中的位置和姿势。位置姿势获取单 元1112获取基准坐标系中的超声波探测器的位置和姿势，并且根据获取到的位置和姿势 来计算MRI设备坐标系中的超声波断层图像的位置和姿势。
[0239]S维存在范围的计算
[0240]三维存在范围计算单元1135基于关注区域单元1122获取到的表示关注区域的信 息以及位置姿势获取单元1112获取到的超声波断层图像的位置和姿势，在超声波坐标系 中估计与关注区域相对应的区域(相应区域)。如这里所使用的术语“超声波坐标系”是指 以超声波断层图像为基准的三维坐标系，并且例如可被定义为X轴和y轴设置在断层图像 的平面中并且z轴设置在与该平面垂直的方向上的、原点被定义为断层图像中的一个点的 坐标系。三维存在范围计算单元1135基于估计出的相应区域和以下将说明的误差获取单 元1123获取到的误差估计值来计算超声波坐标系中的相应区域的三维存在范围(本实施 例中的三维区域)。
[0241]二维存在范围的计算
[0242]二维存在范围获取单元1134基于三维存在范围计算单元1135所计算出的三维存 在范围来确定超声波断层图像和三维存在范围之间的相交区域，并且将所确定的相交区域 作为超声波断层图像中的相应区域的二维存在范围输出至显示信息生成单元1137。
[0243]位置信肩、的计算
[0244]位置信息计算单元1136基于从三维存在范围计算单元1135获取到的表示超声波 坐标系中的相应区域的三维存在范围的信息以及与超声波断层图像的位置和姿势有关的 信息来计算超声波断层图像相对于三维存在范围的相对位置信息。位置信息计算单元1136 将所计算出的相对位置信息输出至显示信息生成单元1137。
[0245]与存在范围有关的显示信肩、的生成
[0246]显示信息生成单元1137基于从二维存在范围获取单元1134获取到的与二维存在 范围有关的信息以及从位置信息计算单元1136获取到的与超声波断层图像有关的相对位 置信息，来生成添加有相对位置信息的二维存在范围的显示信息。
[0247]误差估计值的获取:第五实施例
[0248]除了上述信息以外，数据服务器1190还保持用于计算相应区域的误差估计值的 信息(如以下将详细说明的误差原因信息)。换句话说，误差原因信息是用于计算超声波断 层图像中的相应区域的三维存在范围的信息。将数据服务器1190中所保持的误差原因信 息经由误差获取单元1123输入至信息处理设备1100。误差获取单元1123基于获取到的误 差原因信息来计算相应区域的误差估计值。将所计算出的误差估计值输出至三维存在范围 计算单元1135。
[0249]断面图像的牛成:第五实施例
[0250]断面图像生成单元1130接收从三维图像数据获取单元1120输出的三维体数据 以及从位置姿势获取单元1112输出的超声波断层图像的位置和姿势。断面图像生成单元 1130基于接收到的数据来根据三维体数据生成与超声波断层图像相对应的断面图像，并且将所生成的断面图像输出至图像合成单元1140。图像合成单元1140从显示信息生成单元 1137获取与二维存在范围有关的显示信息，并且将该二维存在范围以叠加方式绘制在从断 层图像获取单元1110获取到的超声波断层图像上。图像合成单元1140进一步将由此得到 的图像与从断面图像生成单元1130获取到的断面图像进行合成(例如，沿水平方向并排排 列这些图像)以生成合成图像，并且将该合成图像输出至显示控制单元1150或外部装置。 显示控制单元1150获取从图像合成单元1140输出的合成图像，并且将该合成图像显示在 显示单元1160上。
[0251]可以将图11所示的各单元(S卩，断层图像获取单元1110、位置姿势获取单元 1112、三维图像数据获取单元1120、关注区域获取单元1122、误差获取单元1123、断面图像 生成单元1130、三维存在范围计算单元1135、二维存在范围获取单元1134、位置信息计算 单元1136、显示信息生成单元1137、图像合成单元1140和显示控制单元1150)中的至少一 部分作为独立装置来实现。可选地，可以通过将各个体单元安装至一个或多个计算机中并 且使用该计算机中的CPU执行用于实现这些单元的功能的软件，利用该软件来实现这些单 元。在本实施例中，假定个体单元由软件来实现并且被安装到单个计算机中。
[0252]计算机的基本结构:第五实施例
[0253]图17是示出执行软件以实现断层图像获取单元1110、位置姿势获取单元1112、 三维图像数据获取单元1120、关注区域获取单元1122、误差获取单元1123、断面图像生成 单元1130、三维存在范围计算单元1135、二维存在范围获取单元1134、位置信息计算单元 1136、显示信息生成单元1137、图像合成单元1140和显示控制单元1150各自的功能的计算 机的基本结构的图。
[0254]CPU1001使用存储在RAM1002或R0M1003中的程序和数据来控制计算机的整体操 作。CPU1001还控制软件的执行以实现断层图像获取单元1110、位置姿势获取单元1112、 三维图像数据获取单元1120、关注区域获取单元1122、误差获取单元1123、断面图像生成 单元1130、三维存在范围计算单元1135、二维存在范围获取单元1134、位置信息计算单元
1136、显示信息生成单元1137、图像合成单元1140和显示控制单元1150各自的功能。
[0255]RAM1002具有用于临时存储从外部存储装置1007或存储介质驱动器1008载入的 程序和数据的区域，并且还具有CPU1001进行各种处理时使用的工作区域。
[0256]R0M1003通常存储计算机的程序、设置数据等。键盘1004和鼠标1005是输入装 置，并且用户可以使用键盘1004和鼠标1005来向CPU1001输入各种指示。
[0257]显示单元1006可以由CRT显示器、液晶显示器或任何其它适当显示器构成，并且 与显示单元1160相对应。显示单元1006可以显示诸如消息和⑶I等的针对图像处理要显 示的项、以及图像合成单元1140所生成的合成图像。
[0258]外部存储装置1007是用作诸如硬盘驱动器等的大容量信息存储装置的装置，并 且存储OS和CPU1001要执行的程序等。在本实施例中，将“已知信息”存储在外部存储装 置1007中并且根据需要载入RAM1002。
[0259]存储介质驱动器1008根据来自CPU1001的指示来读取诸如⑶-ROM或DVD-ROM等 的存储介质中所存储的程序和数据，并且将所读取的程序和数据输出至RAM1002和外部存 储装置1007。
[0260]I/F1009包括模拟视频端口或诸如IEEE1394端口等的数字输入/输出端口、以及将诸如合成图像等的信息输出至外部所利用的Ethernet(注册商标)端口。输入至各端口 的数据经由I/F1009被获取至RAM1002。断层图像获取单元1110、位置姿势获取单元1112、 三维图像数据获取单元1120、关注区域获取单元1122和误差获取单元1123的功能中的一 部分由I/F1009来实现。
[0261]上述各结构元件经由总线1010彼此连接。
[0262]图12是示出信息处理设备1100的整个处理过程的流程图。在本实施例中，通过 利用CPU1001执行实现各单元的功能的程序来实现该流程图中的过程。在进行以下处理之 前，基于该流程图的程序代码例如已从外部存储装置1007被载入RAM1002。
[0263]S13000:数据的输入
[0264]在步骤S13000中，作为三维图像数据获取单元1120的处理，信息处理设备1100 从数据服务器1190获取三维图像数据。此外，作为关注区域获取单元1122的处理，信息处 理设备1100从数据服务器1190获取表示关注区域的信息。表示关注区域的信息例如可以 是关注病变部的位置(区域的重心)、或者位于关注病变部的边界区域的点群的坐标。
[0265]S13010:误差原因信息的输入
[0266]在步骤S13010中，作为误差获取单元1123的处理，信息处理设备1100从数据服 务器1190获取计算误差估计值要使用的各种误差原因信息。误差原因信息可以是用于计 算超声波断层图像中的相应区域的存在范围的信息。例如，从数据服务器1190获取表示测 量超声波探测器的位置和姿势要使用的位置姿势传感器(诸如传感器A或传感器B等)的 类型的信息作为误差原因信息。
[0267]S13020:断层图像的获取
[0268]在步骤S13020中，作为断层图像获取单元1110的处理，信息处理设备1100从第 二医学图像收集装置1180获取超声波断层图像。此外，作为位置姿势获取单元1112的处 理，信息处理设备1100从第二医学图像收集装置1180获取拍摄超声波断层图像时所获得 的超声波探测器的位置和姿势。然后，信息处理设备1100通过使用作为已知值预先存储的 校准数据，根据基准坐标系中的超声波探测器的位置和姿势来计算MRI设备坐标系中的超 声波断层图像的位置和姿势。
[0269]S13030:误差估计值的获取
[0270]在步骤S13030中，作为误差获取单元1123的处理，信息处理设备1100基于步骤 S13010中获取到的各种误差原因信息(计算误差所使用的各种数据)来计算误差估计值， 并且将所计算出的误差估计值输出至三维存在范围计算单元1135。
[0271]例如可以基于被配置为测量超声波探测器的位置和姿势的位置姿势传感器的特 性来执行用于计算误差估计值的处理。可以针对位置姿势传感器的各类型预先确定误差基 准值，并且可以根据要使用的传感器的类型来选择值。例如，在步骤S13010中所获得的误 差原因信息是表示作为光学传感器的传感器A处于使用中的信息的情况下，与在作为磁性 传感器的传感器B处于使用中的情况下所计算出的误差估计值相比，可以计算出较小的误 差估计值。可以使用任何其它方法来进行用于估计误差的处理。
[0272]S13040:断面图像的获取
[0273]在步骤S13040中，作为断面图像生成单元1130的处理，信息处理设备1100生成 与步骤S13020中所获得的超声波断层图像相对应的参考图像的断面图像。具体地，根据步骤S13020中所获得的超声波断层图像的位置和姿势，来生成通过从步骤S13000中所获得 的三维体数据中切出与超声波断层图像相同的断面所获得的断面图像。
[0274]S13050:三维存在范闱的获取
[0275]在步骤S13050中，作为三维存在范围计算单元1135的处理，信息处理设备1100 计算步骤S13020所获得的超声波断层图像的超声波坐标系中的相应区域的三维存在范围 (三维区域)。
[0276]具体地，首先，三维存在范围计算单元1135估计关注区域在超声波坐标系中的相 应区域。例如，在给出关注病变部的位置作为表示关注区域的信息的情况下，估计超声波坐 标系中的相应病变部的位置作为表示相应区域的信息。
[0277]然后，三维存在范围计算单元1135基于估计出的相应区域和步骤S13030中获取 到的误差估计值来计算超声波坐标系中的相应区域的三维存在范围。例如，在表示相应区 域的信息是相应病变部的位置并且误差估计值不依赖于轴方向的情况下，可以将超声波坐 标系中的相应病变部的三维存在范围计算作为以估计出的相应病变部的位置为中心并且 半径等于误差估计值的球体。
[0278]S13051: 二维存在范闱的获取
[0279]在步骤S13051中，作为二维存在范围获取单元1134的处理，信息处理设备1100 基于三维存在范围计算单元1135所计算出的三维存在范围来确定超声波断层图像和三维 存在范围之间的相交区域(二维存在范围)，并且将该相交区域输出至显示信息生成单元
1137。在三维存在范围是球体的情况下，将二维存在范围定义为作为该球体和断层图像相 交的区域(该球体的断面)的圆。因此，二维存在范围获取单元1134计算该圆在超声波断 层图像中的中心位置和半径，作为二维存在范围。用于计算三维空间中所定义的球体与平 面之间的相交区域的方法是已知的，因为省略了针对该方法的说明。在球体和断层图像没 有相交的情况下，存储表示“在断面中无存在范围”的信息。
[0280]S13052:断层图像上的位置信息的计算
[0281]在步骤S13052中，作为位置信息计算单元1136的处理，信息处理设备1100从三 维存在范围计算单元1135获取三维存在范围和超声波断层图像的位置信息，并且计算超 声波断层图像相对于三维存在范围的相对位置信息。要注意，在步骤S13051中判断为“在 断面中无存在范围”的情况下，不执行步骤S13052的处理。现在将说明具体计算方法。
[0282]图13是示出超声波断层图像在三维存在范围中的位置信息的图。附图标记301 表示步骤S13050中所计算出的三维存在范围，附图标记302表示超声波断层图像，并且附 图标记303表示通过利用超声波断层图像302截取三维存在范围301所获得的二维存在范 围。
[0283]信息处理设备1100在三维空间中设置与超声波断层图像302平行的平面(以下 称为“平行平面”)。在所设置的平行平面沿着与超声波断层图像302垂直的轴平移的情况 下，计算该平行平面开始与三维存在范围301相交的位置和该相交结束的位置。将相交开 始的位置定义为开始位置(给定位置的示例)，并且将相交结束的位置定义为结束位置(给 定位置的示例)。附图标记304表示开始位置并且附图标记305表示结束位置。
[0284]然后，信息处理设备1100沿着与超声波断层图像302垂直的轴标绘与超声波断层 图像302相对应的位置、与开始位置相对应的位置和与结束位置相对应的位置，并且将这些位置分别定义为断层图像相应位置、开始相应位置和结束相应位置。附图标记Ax表示与 超声波断层图像302垂直的正交轴，附图标记Ps表示断层图像相应位置，附图标记PO表示 开始相应位置，并且附图标记Pl表示结束相应位置。计算位于开始相应位置PO和结束相 应位置Pl之间的断层图像相应位置Ps的相对位置(位置关系)作为相对位置信息。在本 实施例中，在进行标准化以使得例如沿着轴Ax的位置PO和Pl的坐标分别等于0和I的情 况下，将这两者之间的断层图像相应位置Ps的坐标(例如，0.3)定义为相对位置信息。
[0285]这样，沿着与超声波断层图像302垂直的轴来确定三维存在范围301的开始位置 304和结束位置305，并且计算位置304和305之间的超声波断层图像302的相对位置信息。 这意味着:在使当前显示的超声波断层图像302的姿势固定的同时使超声波探测器平移的 情况下，用户确定当前的超声波断层图像302相对于超声波探测器开始与三维存在范围相 交的位置和该相交结束的位置的相对位置信息。因此，用户能够容易地确定在使超声波断 层图像302的姿势固定的状态下使超声波探测器平移时，通过沿哪个方向并以何种程度平 移超声波探测器而使得该超声波探测器到达三维存在范围301的哪一侧的端部。
[0286]应当理解，用于计算开始位置和结束位置的方法不限于使平行平面沿着与超声波 断层图像垂直的轴平移的方法。例如，可以通过使平行平面沿着任意轴平移并且计算平行 平面开始与三维存在范围301相交的位置和该相交结束的位置，来确定开始位置和结束位 置。
[0287]将所计算出的相对位置信息发送至显示信息生成单元1137。
[0288]S13054:与具有位置信肩、的存在范围有关的显示信肩、的生成
[0289]在步骤S13054中，作为显示信息生成单元1137的处理，信息处理设备1100基于 从二维存在范围获取单元1134获取到的表示二维存在范围的轮廓的形状信息和从位置信 息计算单元1136获取到的与超声波断层图像有关的相对位置信息，来生成将相对位置信 息添加至二维存在范围的显示信息。要注意，在步骤S13051中判断为“在断面中无存在范 围”的情况下，不执行步骤S13054的处理。现在将说明具体生成方法。
[0290]首先，信息处理设备1100使超声波断层图像的相对位置信息与颜色表相关联，由 此获得与三维存在范围中的超声波断层图像的位置相对应的颜色信息。
[0291]图14A是不出相对位置信息与颜色表的关联的图。附图标记Ax、Ps、Pl和P2表 示与图13所示的项相同的项。设置沿着轴Ax在位置PO和Pl之间颜色根据位置而改变的 颜色表。在本实施例中，例如，设置特定颜色的强度连续改变的颜色表，以使得离位置PO越 近，颜色越浅，并且离位置Pl越近，颜色越深。然后，获取颜色表上的与步骤S13054中在位 置PO和Pl之间的范围内进行了标准化的超声波断层图像的相对位置信息相对应的颜色信 息。附图标记Tl表不颜色表,并且附图标记Cl表不与相对位置信息相对应的颜色信息。例 如，在颜色表Tl表示蓝色的强度改变的颜色表(在从位置PO向着位置Pl的方向上，浅蓝 色变为深蓝色)并且位置Ps的相对位置信息是0.3的情况下，将位置Ps映射到颜色表Tl 上的位置PO附近的位置。因此，以略浅的蓝色表示颜色信息Cl。通过参考该颜色信息，用 户可以直观地理解断层图像相应位置Ps相对接近位置PO。
[0292]然而，用于设置颜色表的方法不限于上述方法。例如，可以使用特定颜色的强度不 是连续改变而是逐级改变(例如，10级)的颜色表。可选地，可以使用如下颜色表，其中在 该颜色表中，代替单个颜色，将多个典型颜色按特定间隔配置在位置PO和Pl之间，并且在相邻颜色之间发生连续变化(例如，在从位置PO向着位置Pl的方向上，黑色一蓝色一绿色 —黄色一红色一白色)。还可以使用将位置PO和Pl之间的距离分割成各自分配有不同颜 色的多个区段的颜色表。
[0293]然后，信息处理设备1100基于与获取到的超声波断层图像的相对位置信息相对 应的颜色信息，来生成与二维存在范围的形状信息相关联的显示信息。将所生成的显示信 息称为存在范围显示信息。在本实施例中，获得将获取到的颜色信息添加至二维存在范围 的轮廓形状的显示信息。
[0294]图15A?I?是示出存在范围显示信息的图。图15A示出将颜色信息添加至存在 范围的轮廓形状(轮廓线)的显示信息。在图15A中，附图标记SI表示添加有颜色信息的 存在范围的轮廓形状(轮廓线)。例如，在相对位置信息是0.3并且如上所述被映射到略浅 的蓝色上的情况下，轮廓形状(轮廓线)SI被着色成略浅的蓝色。
[0295]然而，用于生成存在范围显示信息的方法不限于上述方法。例如，代替将超声波断 层图像的相对位置信息作为颜色信息添加至二维存在范围的形状信息，表示形状的曲线可 以利用点线来表示，并且可以利用点线的密度来表示。在这种情况下，代替颜色表，预先设 置点线的密度根据位置而在位置PO和Pl之间改变的表(例如，在从位置PO向着位置Pl 的方向上，粗的点线改变为细的点线)，并且将位置Ps映射到该表上。图15B示出将点线密 度信息添加至存在范围的轮廓形状的显示信息。在图15B中，附图标记S2表示添加有点线 密度信息的存在范围的形状。例如，在相对位置信息也为0.3并且被映射到略粗的点线上 的情况下，利用略粗的点线来绘制轮廓形状S2。
[0296]添加有超声波断层图像的相对位置信息的对象不限于二维存在范围的轮廓形状。 例如，可以对二维存在范围的内部区域着色。图15C示出将颜色信息添加至存在范围的内 部区域的显示信息。在图15C中，附图标记Rl表示添加有颜色信息的存在范围的内部区 域。例如，如上所述，在将相对位置信息映射到呈略浅的蓝色上的情况下，内部区域Rl是略 带浅蓝色的区域。另一方面，也可以对二维存在范围的外部区域着色。图MD示出将颜色 信息添加至存在范围的外部区域的显示信息。在图15D中，附图标记R2表示添加有颜色信 息的存在范围的外部区域。映射到与上述颜色相同的颜色上将会使得能够将外部区域R2 着色成略浅的蓝色。将所生成的存在范围显示信息发送至图像合成单元1140。
[0297]S13060:在断层图像中绘制存在范闱
[0298]在步骤S13060中，作为图像合成单元1140的处理，信息处理设备1100将向从显 示信息生成单元1137获取到的相应病变部的二维存在范围添加超声波断层图像的相对位 置信息的存在范围显示信息以叠加方式绘制在超声波图像上。要注意，在步骤S13051中判 断为“在断面中无存在范围”的情况下，不执行步骤S13060的处理。
[0299]图16A?16D是不出置加显不有存在范围显不"[目息的超声波断层图像的图。图 16A示出其上叠加显示有将相对位置信息作为颜色信息添加至二维存在范围的轮廓形状的 显示信息的超声波断层图像。在图16A中，附图标记601表示超声波断层图像，附图标记 602表示相应病变部,并且附图标记SI表示与图15A所示相同的存在范围显示信息。由于 存在范围显示信息SI叠加在超声波断层图像601上，因此可以清楚地识别对实际的相应病 变部进行搜索的搜索区域。另外，用户可以容易地搜索实际相应病变部，并且可以实现高效 搜索。[0300]通过参考添加至存在范围的轮廓形状的颜色信息，用户可以直观地理解超声波断 层图像601在三维存在范围中的相对位置信息。与图15A相同，在以略浅的蓝色表示颜色 信息的情况下，可以容易地判断出超声波断层图像601相对于三维存在范围位于图13所示 的开始位置304附近的位置。
[0301]要以叠加方式绘制在超声波断层图像上的存在范围显示信息不限于以上参考图 16A所述的显示信息。例如，可以将利用表示二维存在范围的轮廓形状的曲线的密度来表示 相对位置信息的显示信息以叠加方式绘制在超声波断层图像上。图16B示出其上叠加显示 有利用轮廓形状的密度来表示相对位置信息的二维存在范围的超声波断层图像。在图16B 中，附图标记601和602分别表示与图16A所示相同的超声波断层图像和相应病变部，并且 附图标记S2表示与图15B所示相同的存在范围的形状。
[0302]如从图16B可以发现，通过参考添加至存在范围的轮廓形状的点线密度信息，用 户可以直观地理解超声波断层图像601在三维存在范围中的相对位置信息。在对轮廓形状 着色的情况下，颜色变得越浅，轮廓形状可能越不太可见。在这种情况下，可以将表示轮廓 形状的颜色设置为可见性高的颜色，由此使得即使点线的密度改变、用户也能够容易地识 别点线。与图15B相同，在使用略粗的点线的情况下，可以容易地判断出超声波断层图像 601相对于三维存在范围位于图13所示的开始位置304附近的位置。
[0303]可以通过将对二维存在范围的内部区域着色的显示信息以叠加方式绘制在超声 波断层图像来获得表示相对位置信息的颜色信息。图16C示出其上叠加有内部区域中绘制 了相对位置信息的二维存在范围的超声波断层图像。在图16C中，附图标记601和602分 别表示与图16A所示相同的超声波断层图像和相应病变部,并且附图标记Rl表示与图15C 所示相同的内部区域。
[0304]如从图16C可以发现，通过参考存在范围的内部区域内的以彩色示出的颜色信 息，用户可以直观地理解超声波断层图像601的相对位置信息。另外，对内部区域着色使得 颜色信息与通过对轮廓形状着色所获得的颜色信息相比更加可见。在这种情况下，内部区 域对于用户而言可以是足够透明的以搜索相应病变部602。
[0305]与图16C相反，可以通过将对二维存在范围的外部区域着色的显示信息以叠加方 式绘制在超声波断层图像上来呈现表示相对位置信息的颜色信息。图16D示出其上叠加有 将相对位置信息绘制在外部区域中的二维存在范围的超声波断层图像。在图16D中，附图 标记601和602分别表示与图16A所示相同的超声波断层图像和相应病变部，并且附图标 记R2表示与图1?所示相同的区域。
[0306]如从图16D可以发现，通过参考对存在范围的外部区域着色的颜色信息，用户可 以直观地理解超声波断层图像601的相对位置信息。另外，由于没有对内部区域着色，因此 与对内部区域着色的情况相比，用户可以更加容易地观察该内部区域，并且可以容易地搜 索相应病变部。在这种情况下，外部区域对于用户而言可以是足够透明的以观察在二维存 在范围的外部区域中超声波断层图像呈现何种状态。
[0307]可以判断断层图像与步骤S1350中所确定的相应区域是否相交，并且在断层图像 与该相应区域相交的情况下，可以将断层图像上的相交区域叠加显示在断层图像上。
[0308]S13070:断层图像和断面图像的合成
[0309]在步骤S13070中，作为图像合成单元1140的处理，信息处理设备1100将步骤S13040中所获得的断面图像与步骤S13060中所获得的相应病变部的存在范围叠加在超声 波断层图像上的图像进行合成。例如，可以生成以上图像沿水平方向并排排列的图像。然 后，作为显示控制单元1150的处理，信息处理设备1100将合成图像显示在显示单元1160 上。还根据需要将该合成图像经由I/F1009输出至外部装置，并且还存储在RAM1002中从 而其它应用程序可利用。
[0310]S13080:针对糖个处理的终丨h的判断
[0311]在步骤S13080中，信息处理设备1100判断是否终止整个处理。例如，获取用户通 过例如按下键盘1004上的预定键(结束键)所输入的终止指示。在判断为要终止该处理 的情况下，信息处理设备1100的整个处理结束。在判断为不终止该处理的情况下，该处理 返回至步骤S13020，并且对新拍摄到的超声波断层图像再次执行步骤S13020及其后续步 骤的处理。因此，执行了信息处理设备1100的处理。
[0312]因此，根据本实施例的信息处理设备将添加有当前显示的超声波断层图像的相对 位置信息的二维存在范围显示在超声波断层图像上，由此使得用户能够在关注超声波断层 图像上的二维存在范围的状态下容易地确定超声波断层图像相对于三维存在范围的当前 位置。因此，用户可以容易地确定要搜索的存在范围剩余的程度，并且可以高效地搜索并识 别相应病变部。
[0313]第六实施例
[0314]根据第五实施例的信息处理系统被配置为根据三维存在范围的开始位置和结束 位置来将超声波断层图像的位置信息映射到颜色表上。作为对比，根据第六实施例的信息 处理系统被配置为除了上述的开始位置和结束位置以外，还根据表示三维存在范围的位置 信息(还称为作为给定位置的示例的代表位置)来将超声波断层图像的位置信息映射到颜 色表上。除了第五实施例中的显示信息生成单元1137的处理中的一部分以外，根据本实施 例的信息处理系统具有与图11所示相同的结构。除了第五实施例中的步骤S13054的处理 中的一部分以外，根据本实施例的信息处理系统的处理流程与图12所示的处理流程相同。 将关注与第五实施例的不同之处来说明根据本实施例的信息处理系统。
[0315]在步骤S13054中，作为显示信息生成单元1137的处理，根据第六实施例的信息处 理设备1200基于从三维存在范围计算单元1135获取到的表示二维存在范围的轮廓的形状 信息、从位置信息计算单元1136获取到的超声波断层图像的位置信息、以及表示三维存在 范围的位置信息，来生成将相对位置信息添加至二维存在范围的显示信息。将说明具体生 成方法。在本实施例中，将通过使用三维存在范围的重心相应位置来说明表示三维存在范 围的位置信息。
[0316]首先，显示信息生成单元1137设置用于反映三维存在范围的重心位置的颜色表， 并且使超声波断层图像的相对位置信息与该颜色表相关联。
[0317]图14B是示出相对位置信息和反映重心相应位置的颜色表之间的关联的图。附图 标记Ax、PO、Pl和Ps表示与图13所示相同的项。附图标记Pg表示上述的重心相应位置。 沿着轴Ax在位置PO和Pl之间设置颜色表，其中在位置PO和Pg之间以及位置Pg和Pl之 间，颜色根据位置而连续改变。具体地，设置如下颜色表，其中在该颜色表中，颜色强度在位 置Pg处变为最大，并且在从位置Pg向着位置PO和从位置Pg向着位置Pl的方向上减小。 在步骤S13054中，获取颜色表中的与位置PO和Pl之间进行了标准化的断层图像相应位置Ps的相对位置信息相对应的颜色信息。
[0318]附图标记T2表示反映重心相应位置Pg的位置的颜色表，并且附图标记C2表示与 相对位置信息相对应的颜色信息。例如，在颜色表T2是蓝色的强度改变的颜色表并且断层 图像相应位置Ps的相对位置信息为0.3的情况下，将断层图像相应位置Ps映射到颜色表 上的重心相应位置PG的0.5的位置附近的位置上。因而，以略深蓝色表示颜色信息C2。通 过参考颜色信息C2，用户可以直观地理解超声波断层图像相对接近三维存在范围的重心位 置。
[0319]还可以设置如下颜色表，其中在该颜色表中，针对位置PO、Pg和Pl设置不同的典 型颜色，并且在位置P0、Pg和Pl之间颜色根据位置而连续改变。例如，设置如下颜色表，其 中在该颜色表中，针对位置PO设置红色，针对位置Pg设置绿色，针对位置Pl设置蓝色，并 且颜色在位置PO和Pg之间从红色改变为绿色并且在位置Pg和Pl之间从绿色改变为蓝色。 因而，用户可以直观地理解超声波断层图像接近位置PO、Pg和Pl中的哪个位置。另外，由 于在位置PO和Pg以及位置Pg和Pl之间设置不同的颜色，因此用户可以容易地确定超声 波断层图像相对于三维存在范围的重心位置位于位置PO还是Pl侧。在位置Ps的相对位 置信息是0.3的情况下，以红色和绿色之间的接近绿色的颜色来表示颜色信息C2。应当理 解，还可以使用将位置PO和Pg之间以及位置Pg和Pl之间的距离分割成各自分配有不同 颜色的多个区段的颜色表。
[0320]然后，与第五实施例相同，信息处理设备1200基于与获取到的超声波断层图像的 相对位置信息相对应的颜色信息来生成与二维存在范围的形状信息相关联的存在范围显 不f目息。
[0321]表示三维存在范围的位置信息不限于重心位置。例如，在使与超声波断层图像302 平行的平面沿着正交轴Ax平移的情况下，可以确定三维存在范围301和超声波断层图像 302相交的区域(二维存在范围303)的面积最大的情况下所获得的平面的位置，并且可以 使用通过将所确定的平面的位置标绘到正交轴Ax上所获得的位置作为表示三维存在范围 的位置信息。
[0322]因此，用户可以读取三维存在范围中的超声波断层图像的位置与三维存在范围的 重心位置的接近程度，并且可以更直观地掌握该位置。
[0323]夺形例
[0324]上述的第五实施例和第六实施例已经通过相应病变部可能存在的三维存在范围 是三维区域的示例进行了说明。然而，这些实施例不限于该示例。例如，可以使用X射线CT 图像或MRI图像中的表示诸如病变部或器官等的关注部位的区域作为三维区域。这可以通 过利用当前显示的切片图像替换前述实施例中的步骤S13020获取到的超声波断层图像、 并且进一步利用关注部位的三维区域替换步骤S13050获取到的三维存在范围来实现。
[0325]因此，在解读(或读取)X射线CT图像或MRI图像时，医生可以直观地理解当前显 示的切片图像中出现的关注部位位于切片图像的垂直方向上的关注部位的三维区域中的 哪个位置。由于可以容易地识别要解读(或读取)的关注部位的三维区域残留的程度，因 此可以高效地解读(或读取)X射线CT图像或MRI图像。
[0326]其它实施例
[0327]本发明还可以通过执行以下处理来实现:将实现前述实施例的功能的软件(程序)经由系统或各种存储介质供给至系统或设备，并且该系统或设备中的计算机(CPU或微 处理单元(MPU)等)读取并执行该程序。
[0328]尽管已经参考典型实施例说明了本发明，但是应该理解，本发明不限于所公开的 典型实施例。所附权利要求书的范围符合最宽的解释，以包含所有这类修改、等同结构和功 倉泛。
[0329]本申请要求2011年4月6日提交的日本专利申请2011_084495、2012年I月18日 提交的日本专利申请2012-008205和2012年2月24日提交的日本专利申请2012-038883 的优先权，在此通过引用包含这些专利申请的全部内容。
【权利要求】
1.一种信息处理设备,包括:二维图像获取单元，用于获取被检体的二维图像；以及显示控制单元，用于使显示单元将误差范围以叠加在所述二维图像上的方式来进行显示，其中所述误差范围包括通过将所述被检体的三维图像中的给定区域投影到包括所述二维图像的平面上所获得的投影区域并且所述误差范围是由投影引起的。
2.根据权利要求1所述的信息处理设备，其中，由投影引起的所述误差范围包括所述给定区域在所述二维图像中的相应区域可能存在的范围。
3.根据权利要求1或2所述的信息处理设备，其中，还包括:坐标变换单元，用于对所述给定区域的位置进行从所述三维图像的三维坐标系向着所述二维图像的三维坐标系的坐标变换；以及计算单元，用于根据由所述坐标变换引起的误差来计算由投影引起的所述误差范围。
4.根据权利要求3所述的信息处理设备，其中，还包括:设置单元，用于在所述三维图像中，设置比所述给定区域大、并且包括所述给定区域的区域，其中，所述坐标变换单元对该区域的位置进行从所述三维图像的三维坐标系向着所述二维图像的三维坐标系的坐标变换。
5.根据权利要求1至4中任一项所述的信息处理设备，其中，还包括:指定单元，用于在由投影引起的所述误差范围中指定给定部位；以及校正单元，用于根据所述给定部位和所述投影区域之间的差异来对所述二维图像中的由投影引起的误差进行校正。
6.根据权利要求5所述的信息处理设备，其中，所述显示控制单元使所述显示单元将表示所述给定区域在所述二维图像中的相应区域的标记以叠加在所述二维图像中的所述给定部位上的方式来进行 显示。
7.根据权利要求6所述的信息处理设备，其中，还包括:切换单元，用于将所述信息处理设备的操作模式切换为如下的模式，其中在该模式中， 在利用所述校正单元对由投影引起的误差进行了校正时，再次获取所述被检体的二维图像并且不将由投影引起的所述误差范围显示在所获取到的二维图像上，而在将所述给定部位显示在该二维图像上时，将所述标记以叠加在该二维图像上的方式显示在所述显示单元上。
8.根据权利要求1至7中任一项所述的信息处理设备，其中，还包括:断面图像获取单元，用于根据所述三维图像中的所述给定区域的位置和所述二维图像的姿势来获取所述三维图像的断面图像，其中所述断面图像是通过所述给定区域并且与所述姿势相对应的图像。
9.根据权利要求8所述的信息处理设备，其中，还包括:超声波探测器，用于检测来自所述被检体的超声波以获取所述二维图像；以及位置姿势获取单元，用于获取所述超声波探测器的位置和姿势，其中，根据所述超声波探测器的位置和姿势来获取所述二维图像的姿势。
10.根据权利要求8或9所述的信息处理设备，其中，所述显示控制单元使所述显示单元显示如下的两个图像:通过将由投影引起的所述误差范围叠加在所述二维图像上所获得的图像；以及通过将所述给定区域叠加在所述断面图像上所获得的图像。
11.一种信息处理设备，包括:指定单元，用于指定被检体的三维图像中的给定部位；断层图像获取单元，用于获取所述被检体的断层图像；以及显示控制单元，用于根据所述断层图像的位置信息，使显示单元显示如下的显示形态， 其中利用该显示形态来表现位于包括与所述给定部位相对应的部位的三维区域内的所述断层图像中的二维区域。
12.根据权利要求11所述的信息处理设备，其中，所述显示控制单元使所述显示单元使用表示与所述位置信息相关联的颜色信息的显示形态来显示所述二维区域。
13.根据权利要求11所述的信息处理设备，其中，所述显示控制单元使所述显示单元显示与所述位置信息相关联的所述二维区域的轮廓线。
14.根据权利要求11所述的信息处理设备，其中，还包括:显示形态改变单元，用于根据所述断层图像的位置信息来改变与所述断层图像的位置信息相关联的显示形态，其中，所述显示控制单元使所述显示单元使用与所述位置信息相关联的显示形态来显示所述二维区域。
15.根据权利要求11至14中任一项所述的信息处理设备，其中，还包括:计算单元，用于根据所述二维区域中的给定位置与所述断层图像之间的位置关系来计算所述断层图像的位置信息。
16.根据权利要求15所述的信息处理设备，其中，`所述计算单元指定所述二维区域中的包括所述二维区域的开始位置、所述二维区域的结束位置和所述二维区域的代表位置的所述给定位置，并且根据所述开始位置、所述结束位置、所述代表位置和所述断层图像之间的位置关系来计算所述位置信息。
17.根据权利要求11至16中任一项所述的信息处理设备，其中，使用所述断层图像的坐标系来表示与所述给定部位相对应的部位，并且所述显示控制单元根据所述断层图像的坐标系中的所述断层图像的位置信息，使所述显示单元将表示所述二维区域的显示形态以叠加在所述断层图像上的方式进行显示。
18.—种信息处理设备,包括:二维图像获取单元，用于获取被检体的二维图像；以及显示控制单元，用于使显示单元显示如下的显示形态，其中利用该显示形态来表现位于包括与所述被检体的三维图像中的给定部位相对应的部位的三维区域内的所述二维图像中的二维区域。
【文档编号】G06T11/00GK103460245SQ201280017555
【公开日】2013年12月18日 申请日期:2012年3月30日 优先权日:2011年4月6日
【发明者】远藤隆明, 佐藤清秀, 石川亮, 石田卓也, 宫狭和大 申请人:佳能株式会社