图像处理装置、图像处理方法和存储介质与流程

本发明涉及对于三维医学图像数据的图像处理技术。

背景技术：

存在作为产生三维医学图像数据(体数据(volumedata))的医疗器械(modality)装置中的一种的光声捕获装置。光声捕获装置可以基于由于利用光照射被检体而产生的光声波获取关于被检体的特性值的信息作为三维医学图像数据。

日本专利申请公开no.2013-150787讨论了从基于光声信号产生的体数据来产生并且显示截面图像的声学图像产生装置。日本专利申请公开no.2013-150787讨论了根据初始设定或来自用户的输入来设定定义截面图像的二维平面的声学图像产生装置。

在期望的截面对于每个成像操作不同的情况下，难以借助于初始设定产生期望的截面的截面图像。并且，关于借助于来自用户的输入设定定义截面图像的截面的方法，每次执行成像时可能需要复杂的操作以设定期望的截面。

技术实现要素：

本发明的一些实施例针对的是提供能够容易地产生对应于期望的截面的三维医学图像数据的截面图像数据的图像处理装置。

根据一个方面的图像处理装置包括：数据获取单元，所述数据获取单元被配置为获取其中三维医学图像数据和补充信息彼此相关联的数据；截面信息获取单元，所述截面信息获取单元被配置为从所述数据获取补充信息并且基于所述补充信息获取表示截面的截面信息；截面图像产生单元，所述截面图像产生单元被配置为基于所述三维医学图像数据和截面信息产生对应于所述截面的截面图像数据；以及显示控制单元，所述显示控制单元被配置为使显示单元显示基于所述截面图像数据的图像。

从以下参考附图的示例性实施例的描述，各实施例的进一步的特征将变得清楚。

附图说明

图1是根据第一示例性实施例的系统中包括的装置和装置之间交换的数据的框图。

图2是根据第一示例性实施例的系统执行的图像处理方法的流程图。

图3示出根据第一示例性实施例的照相机图像。

图4示出根据第一示例性实施例的定义截面图像的截面。

图5示出根据第一示例性实施例的显示装置上产生的显示数据。

图6是根据第二示例性实施例的系统中包括的装置和装置之间交换的数据的框图。

图7示出根据第二示例性实施例的显示装置上产生的显示数据。

图8是根据第三示例性实施例的系统中包括的装置和装置之间交换的数据的框图。

图9是根据第三示例性实施例的系统执行的图像处理方法的流程图。

具体实施方式

在以下的描述中，将参考附图描述第一示例性实施例。图1示出根据第一示例性实施例的系统中包括的装置和装置之间交换的数据的框图。

根据本示例性实施例的系统包括医疗器械装置(医学图像捕获装置)110、存储装置120、图像处理装置130和显示装置140。

医疗器械装置110捕获被检体，产生被检体的三维医学图像数据(下文也称为体数据)1010，并且将数据1010输出到存储装置120。存储装置120在其中存储接收的体数据1010。表示捕获部位的信息(捕获部位信息)作为补充信息与体数据1010相关联。

医疗器械装置110是诸如光声捕获装置、超声诊断装置、磁共振成像(mri)装置和x射线计算机化断层摄影(ct)装置的装置。在以下的描述中，将参考其中利用光声捕获装置作为医疗器械装置110的示例描述本示例性实施例。光声捕获装置是通过使用当接收由于光照射产生的光声波时所获取的接收信号来产生关于对应于被检体中的多个位置中的每一个的特性值的信息的装置。换句话说，光声捕获装置是产生从光声波导出的特性值信息的三维空间分布作为三维医学图像数据的装置。

通过光声捕获装置产生的三维医学图像数据反映光能量的吸收量和吸收率。通过光声捕获装置产生的三维医学图像数据的示例包括产生的声波的声压(初始声压)、光能量的吸收密度、光吸收系数和关于形成组织的物质的浓度的信息。关于物质的浓度的信息例如为血液中的氧饱和度、血红蛋白的总浓度、或者氧合血红蛋白或脱氧血红蛋白的浓度。并且，关于物质的浓度的信息可以是葡萄糖浓度、胶原浓度、黑色素浓度、或者脂肪或水的体积分数等。

存储装置120可以是诸如只读存储器(rom)、磁盘和闪速存储器的存储介质。并且，存储装置120可以是经由网络的存储服务器，诸如图片存档和通信系统(pacs)。

图像处理装置130从存储装置120读出体数据1010，由此获取体数据1010。图像处理装置130基于体数据1010产生要被作为截面图像显示的截面图像数据1030，并且将数据1030输出到显示装置140。显示装置140显示基于接收的截面图像数据1030的截面图像。图像处理装置130可以用作使显示装置140显示基于截面图像数据1030的截面图像的显示控制单元。

此时，图像处理装置130获取表示多个捕获部位中的每一个与截面之间的关系的信息1020。图像处理装置130基于与体数据1010相关联的捕获部位信息和表示捕获部位与截面之间的关系的信息1020从体数据1010产生截面图像数据1030。下面将描述用于产生截面图像数据1030的方法的细节。例如，表示捕获部位与截面之间的关系的信息1020被构造为表示多个捕获部位中的每一个与对应于每个捕获部位的截面之间的关系的查找表。换句话说，表示捕获部位与截面之间的关系的信息1020是表达对于每个捕获部位预先确定的截面的信息。

由于该配置，用户可以在图像处理装置130读入体数据1010时在不执行用于产生截面图像数据1030的复杂操作的情况下确认对应于期望的截面的图像。

形成根据本示例性实施例的系统的装置中的每一个可以由彼此不同的硬件装置实现，或者所有的装置可以由一个硬件装置实现。根据本示例性实施例的系统的功能可以由任何硬件实现。

根据本示例性实施例的系统中执行运算功能的单元可以由诸如中央处理单元(cpu)和图形处理单元(gpu)的处理器或诸如现场可编程门阵列(fpga)芯片的运算电路实现。这些单元可以不仅由单个处理器或运算电路实现，而且还可以由多个处理器或运算电路实现。

根据本示例性实施例的系统中执行存储功能的单元可以由诸如rom、磁盘和闪速存储器的非暂时性存储介质实现。并且，执行存储功能的单元可以是诸如随机存取存储器(ram)的易失性介质。存储程序的存储介质是非暂时性存储介质。执行存储的单元可以不仅由单个存储介质实现，而且还可以由多个存储介质实现。

根据本示例性实施例的系统中执行控制功能的单元由诸如cpu的运算单元实现。执行控制功能的单元控制系统中的每个构成元件的操作。执行控制功能的单元可以响应于来自输入单元的、根据诸如测量的开始的各种类型的操作发出的指示信号，控制系统中的每个构成元件。另外，执行控制功能的单元读出存储在存储单元中的程序代码，并且控制医疗器械的每个构成元件的操作。

显示装置140是诸如液晶显示器、有机电致发光(el)显示器、场发射显示器(fed)、眼镜型显示器和头戴显示器的显示器。显示装置140显示基于体数据的图像、特定位置处的数值等。显示装置140可以显示用于操作装置和基于体数据的图像的图形用户界面(gui)。

数据的发送/接收可以经由有线通信执行，或者可以无线地执行。

在以下的描述中，将描述根据本示例性实施例的系统执行的图像处理方法的流程。图2是根据本示例性实施例的系统执行的图像处理方法的流程图。下面将描述的根据本示例性实施例的光声捕获装置主要意图用于在人或动物的血管疾病的诊断中、恶性肿瘤的诊断中和化学治疗之后的后续监测中使用。因此，根据本示例性实施例的光声捕获装置被假定将活体的一部分作为被检体处理。

(步骤s401：用于获取捕获部位信息的过程)

用户通过使用输入单元作为指示向系统通知要被捕获的被检体的部位的类别。作为部位信息获取单元的医疗器械装置110获取表示基于来自用户的指示确定的捕获部位的信息(捕获部位信息)。用户可以根据诊断的目的指示系统以各种捕获部位(诸如乳房、手臂、手掌、手的背部、大腿、胫骨和脚踝)为目标。

可以利用由用户可操作的包括鼠标、键盘等的操作控制台作为输入单元。并且，可以通过使用触摸面板配置显示装置140，由此允许显示装置140被用作输入单元。并且，作为输入方法，输入单元可以被配置为允许用户输入文本或者允许用户操作输入单元以从gui上的列表选择和输入期望的项目。输入单元可以被配置为允许用户输入用户想要观察的位置和深度信息。输入单元可以与其它装置分开地提供。

可以包括在捕获部位信息中的信息不仅是指定捕获部位本身的信息，而且还是任何信息，只要该信息使得能够识别捕获部位即可。例如，在捕获部位可以考虑诊断的目的而被识别的情况下，表示诊断的目的的信息可以作为表示捕获部位的信息被处理。

(步骤s402：用于通过医疗器械装置捕获被检体的过程)

作为捕获单元的医疗器械装置110根据基于在步骤s401中获取的捕获部位信息的捕获参数捕获被检体。光声捕获装置中的捕获参数的示例包括照射光的参数(光强度、波长等)和探测器的参数(增益等)。除了这些参数以外，医疗器械装置110可以基于捕获部位信息设定任何类型的捕获参数。

并且，在典型情况下，被检体根据捕获部位以被检体的预先确定的捕获姿势被捕获。捕获姿势指的是被检体与医疗器械装置110的相对位置关系，并且，例如，如图3中所示的那样定义被检体相对于装置的参考坐标系的姿势。例如，医疗器械装置110可以基于捕获部位信息使显示装置140在通过照相机捕获的被检体的照相机图像上将捕获姿势显示为轮廓线。操作者可以设定被检体以便使被检体与在显示装置140上显示的轮廓线对准。

可以利用包括诸如对可见光区域敏感的互补金属氧化物半导体(cmos)传感器和电荷耦合器件(ccd)传感器的图像传感器的捕获装置作为照相机。照相机可以捕获静止图像和运动图像。图3示出根据捕获装置的姿势引导(guide)被叠加在其上显示的照相机图像。在本示例性实施例中，将参考其中用户出于诊断伴随有手指的关节部位处的炎症的疾病的目的而指示系统以包括手指的手的背部作为捕获部位的目标的示例描述照相机图像。通过照相机捕获的被检体的图像(未示出)实时地显示在照相机图像200上。并且，医疗器械装置110的捕获区域201显示在照相机图像200上。捕获区域201是表示医疗器械装置110可以捕获图像的范围的区域，并且被检体的捕获部位应当设定在该区域内。并且，表示预先确定的捕获姿势的轮廓线图像202作为引导被叠加在照相机图像200上显示。轮廓线图像202与装置的坐标系具有有保证的位置关系。操作者可以在查看照相机图像200的同时设定被检体以便使被检体的图像与轮廓线图像202对准。在该功能的帮助下，以对应于捕获部位的姿势捕获被检体。

此外，可以通过任何其他可适用的方法(诸如在保持被检体的单元上显示表示姿势的标记)实现以根据捕获部位的捕获姿势的捕获。

在被检体被设定于指定的姿势之后，医疗器械装置110(本实施例中的光声捕获装置)利用来自医疗器械装置110的光照射单元的脉冲光照射被检体。脉冲光由被检体中的吸收物吸收，并且从吸收物产生光声波。产生的光声波被医疗器械装置110的接收单元接收。

光照射单元包括产生光的光源和将从光源发出的光引导到被检体的光学系统。光包括诸如所谓的方波和三角波的脉冲光。由光源产生的光的脉冲宽度可以为1ns或更宽，并且由光源产生的光的脉冲宽度可以为100ns或更窄。并且，光的波长可以落在从近似400nm到1600nm的范围内。在血管被以高分辨率捕获的情况下，医疗器械装置110可以利用在血管中高度可吸收的波长(400nm或更长且700nm或更短)。在活体中的深部位被捕获的情况下，医疗器械装置110可以利用具有在活体的背景组织(水、脂肪等)处在小程度上可吸收的典型波长(700nm或更长且1100nm或更短)的光。

可以使用激光器或发光二极管作为光源。并且，在使用具有多个波长的光束测量被检体的情况下，光源可以是可改变波长的光源。利用多个波长照射被检体的情况下的另一配置是分别产生具有彼此不同的波长的光束的多个光源，并且可以交替地照射被检体。即使当使用多个光源时，这里它们也将被统一描述为光源。作为激光器，可以使用各种类别的激光器，诸如固态激光器、气体激光器、染料激光器和半导体激光器。可以使用诸如掺钕钇铝石榴石(nd:yag)激光器和翠绿宝石激光器的脉冲激光器作为光源。并且，可以使用使用nd:yag激光作为激发光的钛蓝宝石(ti:sa)激光器或光学参量振荡器(opo)激光器作为光源。并且，可以使用闪光灯或发光二极管作为光源。并且，可以使用微波源作为光源。

诸如透镜、镜子和光纤的光学元件可以用于光学系统。例如，在乳房等作为被检体被处理的情况下，光学系统的发光单元可以由扩散照射被检体的光并扩展脉冲光的射束直径的扩散板等形成。又例如，在使用光声显微镜作为医疗器械装置110的情况下，光学系统的发光单元可以由照射被检体并聚焦射束以便提高分辨率的透镜等形成。光照射单元可以在不包括光学系统的情况下利用来自光源的光直接照射被检体。

接收单元包括当接收到声波时输出电信号的换能器和支撑换能器的支撑部件。并且，换能器也可以用作发送声波的发送单元。作为接收单元的换能器和作为发送单元的换能器可以是单个(共用)换能器，或者可以被配置为不同的换能器。

可以使用压电陶瓷材料(例如锆钛酸铅(pzt))和聚合物压电膜材料(例如聚偏氟乙烯(pvdf))作为形成换能器的部件。此外，可以使用除压电元件之外的元件。例如，可以使用静电电容型换能器(电容微机械超声换能器(cmut))或使用fabry–perot干涉仪的换能器。可以利用任何换能器，只要该换能器可以在接收到声波时输出电信号即可。

(步骤s403：用于产生体数据的过程)

作为图像数据产生单元的医疗器械装置110处理由接收单元接收的光声波的接收信号，以产生体数据(三维医学图像数据)1010。在本示例性实施例中，医疗器械装置110产生与在步骤s401中获取的捕获部位信息相关联的体数据1010，并将体数据1010输出到存储装置120。存储装置120存储与捕获部位信息相关联的体数据1010。输出到存储装置120的数据可以符合例如医学数字成像和通信(dicom)标准，该标准是医学图像和通信的标准规范。通过各种类型的医疗器械装置获取的三维医学图像数据被转换成dicom格式，并存储到服务器或存储设备中。此后，期望的图像被图像处理装置产生并且被显示。除了三维医学图像数据之外，dicom文件还可以包括关于三维医学图像数据的元数据。三维医学图像数据被记录在数据设定部分中，并且元数据作为补充信息被记录在文件头部分中。dicom文件在各种类型的医学图像管理系统中被管理和操作。

在本示例性实施例中，三维医学图像数据被记录在dicom文件的数据设定部分中，并且捕获部位信息作为补充信息被记录在dicom文件的文件头部分中。

作为用于将接收信号数据转换成作为三维空间分布的体数据1010的重构算法，医疗器械装置110可以利用任何可适用的方法，诸如时域中的反投影方法、傅立叶域中的反投影方法和基于模型的方法(迭代计算方法)。时域中的反投影方法的示例包括通用反投影(ubp)、滤波反投影(fbp)和延迟求和。

(步骤s404：用于读出体数据的过程)

作为图像数据获取单元的图像处理装置130通过读出存储在存储装置120中的体数据1010来获取体数据1010。在存储装置120是pacs的情况下，图像处理装置130可以经由网络从服务器获取体数据1010。用户可以通过操作显示在显示装置140上的gui来指定要通过图像处理装置130获取的体数据1010。

在本示例性实施例中，被描述的系统参考其中医疗器械装置110捕获被检体并产生体数据1010的示例，但是本示例性实施例可以从图像处理装置130从存储装置120读出体数据1010的步骤开始。换句话说，根据本示例性实施例的图像处理方法不是必须包括医疗器械装置110对被检体的捕获。

(步骤s405：用于获取截面信息的过程)

作为截面信息获取单元的图像处理装置130基于体数据1010的补充信息获取表示截面的信息(截面信息)。截面信息是用于从体数据1010产生截面图像数据1030的信息。截面信息是表示例如定义在显示装置140上显示的截面图像的截面的位置和姿势的信息。截面信息是表示截面的中心位置的坐标、截面的方向、截面的范围和产生截面图像数据1030时的切片厚度等的信息。截面信息可以通过诸如截面的坐标和表达截面的函数的任何可适用的技术来表达。

在许多情况下，期望观察的截面的位置根据被检体的捕获部位的类别被预先确定。例如，在出于诊断伴随有手指的关节处的炎症的疾病对捕获被检体的情况下，期望选择手的背侧作为被检体的捕获部位，并且沿着每个手指的纵向方向的垂直截面被设定为截面。

因此，图像处理装置130可以基于存储在dicom文件的头部分中的作为补充信息的捕获部位信息和表示捕获部位与截面之间的关系的信息确定对应于与体数据1010相关联的捕获部位的截面。换句话说，图像处理装置130可以获取表示对应于由捕获部位信息表示的捕获部位的截面的截面信息。表示捕获部位和截面之间的关系的信息可以由查找表形成，在该查找表中，多个成像部位中的每一个和对应于捕获部位中的每一个的截面的位置和姿势彼此相关联。该查找表可以存储在存储装置120中，或者可以存储在与存储装置120不同的存储装置(例如，图像处理装置130的存储单元)中。图像处理装置130可以通过参考该查找表确定对应于捕获部位的截面。

例如，如果在步骤s401中指定包括手指的右手的背部作为捕获部位以用于诊断伴随有手指的关节部位处的炎症的疾病，那么像图4中所示的示例那样，图像处理装置130可以获取表示对应于包括手指的右手的背部的截面204的截面信息205。截面信息205是产生各自对于每个手指沿着手指的纵向方向并且在垂直于手掌的方向上延伸的五个部位的截面所需要的参数信息。截面信息205包括表示关于装置的坐标系的截面的中心位置的坐标(x，y)、角度θ、截面的长度l和切片厚度dt的参数信息。截面的长度l和切片厚度dt对于每个手指可以是不同的值，并且，在对每个手指预先确定适当的范围和厚度的情况下，可以对每条截面图像数据1030准备适当的值。体数据1010对应于装置的坐标系，因为体数据以取决于捕获部位的姿势被捕获，并且截面信息205的坐标系对应于体数据1010的坐标系。

作为数据产生单元的图像处理装置130可以产生与在步骤s405中获取的截面信息相关联的体数据1040。并且，作为存储控制单元的图像处理装置130可以将体数据1040输出到存储装置120，由此使存储装置120存储体数据1040。图像处理装置130可以通过将已经存储在存储装置120中的体数据1010用体数据1040替换来使存储装置120存储添加有截面信息的体数据1040。

(步骤s406：用于产生截面图像数据的过程)

作为截面图像产生单元的图像处理装置130基于在步骤s405中获取的截面信息确定用于产生截面图像数据的关于截面的参数，诸如位置、方向、范围和切片厚度。图像处理装置130基于对应于确定的关于截面的参数的体数据来产生截面图像数据。图像处理装置130识别满足由截面信息定义的位置、方向和范围的体数据中的截面。然后，图像处理装置130定义其中体数据中的截面通过切片厚度变厚的三维空间(体积)。图像处理装置130对包括在三维空间中的体数据进行绘制(render)，由此产生要在显示装置140上显示的截面图像数据。换句话说，截面图像数据不仅包括表达具有如一个体素那样厚的厚度的空间的图像数据，而且还包括表达具有由截面信息定义的厚度的空间的图像数据。

可利用的绘制方法可以是任何可适用的方法，诸如最大强度投影(mip)、最小强度投影(minip)、平均强度投影(aip)、体绘制和面绘制。

并且，图像处理装置130可以从体数据产生除截面图像数据之外的图像数据，诸如其中体数据中的整个区域被设定为绘制目标区域的图像数据。并且，图像处理装置130可以对体数据进行绘制，同时从绘制目标排除体数据中的部分数据。

(步骤s407：用于产生和显示显示数据的过程)

作为显示控制单元的图像处理装置130基于在步骤s406中产生的截面图像数据产生要在显示装置140上显示的显示数据。图像处理装置130将产生的显示数据输出到显示装置140，由此使显示装置140显示该显示数据。

图5示出在显示装置140上显示的显示数据的一个示例。在诊断伴随有手指的关节部位处的炎症的疾病时，因为手指的各截面图像301a-301e被并行地显示，所以可以高效地进行诊断。并且，截面位置显示线303a-303e(表示手指的轴的图像)可以在被叠加在体数据的整个图像302(手掌的图像)上的同时被显示，以表示体数据中的截面图像301a-301e中的每一个的位置、方向和范围。产生整个图像302时的视线方向和产生截面图像301a-301e时的视线方向可以彼此不同。例如，整个图像302可以是沿着垂直于显示为截面图像301的平面的方向的二维mip图像。并且，多个截面图像301a-301e的视线方向可以彼此不同。例如，在捕获部位是手指的情况下，当手掌被放置并固定在平板上时，拇指垫倾向于以不同于其它手指垫的方向定向。因此，可以以这样的方式设定视线方向：即，视线方向在对应于食指、中指、无名指和小指的截面之间彼此匹配，而对应于拇指的截面的视线方向被设定为与其它手指不同的方向。体数据不是一定必须被全部显示，而是可以被部分显示，只要显示的图像在允许用户理解对应于截面图像301的位置的范围上延伸即可。并且，对应于定义多个截面图像301a-301e的每个截面的绘制区域可以彼此不同。例如，图像处理装置130可以通过以不同的切片厚度绘制五个手指中的每一个来产生多个截面图像301a-301e。用于产生截面图像301a-301e的绘制有关的上述参数可以包括在截面信息中。并且，可以在截面位置显示线303和截面图像301附近显示有助于容易理解截面位置显示线303与截面图像301之间的对应性的信息(图5的情况下的(a)-(e))。

即，图像处理装置130可以使显示装置140在其上显示以被设定为第一方向的视线方向所获取的整个图像302(第一图像)。并且，图像处理装置130可以使显示装置140并排显示整个图像302(第一图像)和多个截面图像301a-301e(一个或多个第二图像)，多个截面图像301a-301e中的每一个是以被设定为与第一方向不同的第二方向的视线方向获取的。并且，图像处理装置130可以使表示多个截面的图像(截面位置显示线303a-303e)被叠加在整个图像302上显示。并且，图像处理装置130可以使截面图像301中的每一个被以比整个图像302小的尺寸显示。并且，图像处理装置130可以被配置为改变整个图像302或截面图像301的视线方向。视线方向可以改变为基于来自用户的指示确定的方向，或者可以自动地改变。

在用户选择体数据并且图像处理装置130读入体数据之后，这些显示可以作为初始图像自动地呈现在显示装置140上。此外，通过用户通过使用输入单元执行用于呈现这些显示的操作，这些显示可以呈现在显示装置140上。以这种方式，截面图像被显示，而不需要用户关于截面信息的指定(诸如指定截面位置)执行复杂的操作。

该配置允许用户容易理解显示的截面图像301中的每一个相对于获取的被检体的体数据在位置、方向和范围方面表示什么类型的截面。

(步骤s408：用于确定是否结束图像的显示的过程)

如果通过输入单元从用户接收到表示图像显示的结束的信息(在步骤s408中为是)，则图像处理装置130结束到显示装置140上的图像显示。此外，如果图像处理装置130没有接收到结束图像显示的指示(在步骤s408中为否)，则处理继续进行到步骤s409。

(步骤s409：用于调整截面的过程)

用户可以通过输入单元调整在步骤s405中确定的截面。例如，用户可以通过在确认显示在显示装置140上的截面图像301的同时在gui上调整截面位置显示线303来改变显示的截面。换句话说，图像处理装置130可以基于在截面图像301正被显示时发出的改变截面的用户的指示来更新截面信息。图像处理装置130可以基于来自用户的指示更新截面信息，诸如截面的位置、方向和切片厚度。

图像处理装置130可以向存储装置120输出向其加入了调整之后的截面信息的体数据。此时，图像处理装置130可以通过将已经存储在存储装置120中的体数据用添加了调整之后的截面信息的体数据替换来使存储装置120存储添加了调整之后的截面信息的体数据。

已参考其中出于诊断伴随有手指的关节处的炎症的疾病的目的将包括手指的手的背侧是被检体的示例描述了本示例性实施例。然而，被检体不限于手的背侧，并且可以是人体的另一部位。并且，诸如截面的方向、位置和切片厚度的截面信息可以根据诊断目标变化。例如，当上臂的皮肤表面周围的血管是诊断的目标时，截面方向可以与皮肤平行地延伸以产生截面信息，使得截面的位置可以沿着由捕获姿势定义的手臂的纵向方向放置。

以上述方式，根据与本示例性实施例相关的系统，可以从与体数据相关联的补充信息获取截面信息。并且，根据与本示例性实施例相关的系统，通过基于从补充信息获取的截面信息产生截面图像，可以在不需要用户执行用于显示截面图像的复杂操作的情况下显示期望的截面图像。

将描述实时地将从医疗器械装置输出的体数据转换成截面图像数据并且实时地显示截面图像的第二示例性实施例。

图6示出根据本示例性实施例的系统中包括的装置和装置之间交换的数据的框图。与第一示例性实施例类似的配置或数据将由相同的附图标记标识，并且将省略其详细描述。并且，与图2中所示的过程类似的过程将由相同的附图标记标识，并且将省略其详细描述。可以提供其中医疗器械装置110、图像处理装置130和显示装置140被集成的系统，以实时地捕获被检体并显示截面图像。

在本示例性实施例中，医疗器械装置110捕获被检体，并将体数据1050输出到图像处理装置130。图像处理装置130接收从医疗器械装置110输出的体数据1050。可以利用与步骤s402和步骤s403类似的方法捕获被检体并产生体数据1050。

图像处理装置130获取表示通过医疗器械装置110捕获的被检体的部位的捕获部位信息1060。在本示例性实施例中，即使当捕获部位信息作为补充信息不与体数据1050相关联时，图像处理装置130也通过不同的方法获取捕获部位信息1060。

图像处理装置130可以基于来自用户的指示获取捕获部位信息1060。例如，如图7中所示，图像处理装置130可以使显示装置140显示gui601，在该gui601上，用户可以通过使用输入单元从多个捕获部位选择捕获部位。在图7中所示的gui601上，用户可以从手指、脚趾、乳房和皮肤选择捕获部位。图7示出用户选择手指作为捕获部位时的示例。

并且地，图像处理装置130可以通过分析体数据1050并识别捕获部位来获取捕获部位信息1060。例如，图像处理装置130可以检测包含在体数据1050中的特性结构，并获取表示对应于该特性结构的部位的捕获部位信息1060。并且，图像处理装置130可以使用表示每个捕获部位的特性结构的信息作为模板执行与包括在体数据1050中的结构的模板匹配，并获取表示产生高匹配度的捕获部位的捕获部位信息1060。可以利用任何可适用的方法作为用于从体数据1050识别捕获部位的方法。

此外，图像处理装置130可以从从医院信息系统(his)或放射信息系统(ris)输出的检查订单(order)信息读出并获取表示捕获部位的捕获部位信息1060。

随后，图像处理装置130基于以上述方式获取的捕获部位信息1060获取截面信息。可以利用与根据第一示例性实施例的步骤s405类似的方法，作为用于从捕获部位信息1060获取截面信息的方法。

图像处理装置130可以以与根据第一示例性实施例的步骤s406和s407类似的方式基于截面信息使截面图像被显示。在本示例性实施例中，截面还可以以与根据第一示例性实施例的步骤s409类似的方式被调整。

图像处理装置130不仅将截面图像数据1030输出到显示装置140，而且还可以将与获取的截面信息相关联的体数据1040输出到存储装置120。换句话说，图像处理装置130可以使存储装置120存储体数据1040。并且，如果在步骤s409中调整截面，则图像处理装置130可以向存储装置120输出与被调整的截面信息相关联的体数据。此时，图像处理装置130可以通过将已经存储在存储装置120中的体数据用添加了被调整的截面信息的体数据替换来使存储装置120存储添加了调整之后的截面信息的体数据。

以上述方式，根据本示例性实施例的系统，即使当补充信息与体数据不相关联时，也可以从获取的捕获部位信息获取截面信息。并且，根据本示例性实施例的系统，通过基于从捕获部位信息获取的截面信息产生截面图像，可以在不需要用户执行用于显示截面图像的复杂操作的情况下显示期望的截面图像。并且，根据本示例性实施例的系统，可以与被检体的捕获相结合地实时显示期望的截面的截面图像。

在下面的描述中，将参考附图描述本发明的第三示例性实施例。本示例性实施例与第一示例性实施例的不同之处在于使用由与医疗器械装置不同的捕获装置产生的捕获图像获取截面信息。图8示出根据本示例性实施例的系统中包括的装置和装置之间交换的数据的框图。与第一示例性实施例类似的配置将由相同的附图标记标识，并且将省略其详细描述。

根据本示例性实施例的系统包括医疗器械装置110、存储装置120、图像处理装置130、显示装置140和捕获装置150。医疗器械装置110捕获被检体，产生被检体的三维医学图像数据(下文也称为体数据)1050，并将数据1050输出到存储装置120。捕获装置150是用于产生被检体的捕获图像数据1070的装置。作为捕获装置150，可以利用包括诸如对可见光区域敏感的cmos传感器和ccd传感器的图像传感器的光学照相机。

捕获图像数据1070是出于确认被检体相对于装置的位置和被检体的状态的目的而捕获的图像。捕获图像数据1070也可以被用作在通过医疗器械装置110捕获时对准被检体的位置时的参考图像，或者可以在放射学解读时被使用。因此，可以在通过捕获装置150产生的捕获图像数据1070与通过医疗器械装置110产生的体数据1050之间预先建立位置对应性。捕获装置150可以安装在医疗器械装置110上，以建立捕获图像数据1070与体数据1050之间的位置对应性。

在已预先通过另一医疗器械检查被检体并且已经从截面的显示知道观察目标(即期望被观察的部位)的情况下，可以在被检体的表面上标记观察目标的位置。例如，观察目标在乳房癌的诊断中是乳房中的肿瘤，并且在对于皮肤移植手术的皮瓣手术中是皮肤下的穿透支。

通过在被检体的表面上标记观察目标的位置，可以从捕获图像数据1070确认要产生的截面图像的位置。标记观察目标的位置可以减小医疗器械装置110上的捕获的影响，并且可以在分析捕获图像数据1070时容易检测标记的位置。例如，在其中利用光声捕获装置作为医疗器械装置110的情况下，可以使用利用红墨水等进行的标记。

图像处理装置130可以从捕获图像数据1070检测标记的位置。对于标记的位置的检测可以使用常用的图像处理技术，并且可以利用诸如边缘检测处理和图案搜索处理的特征检测技术。并且，图像处理装置130从表示检测的标记的位置的信息确定截面信息。

图像处理装置130将截面信息作为补充信息与三维医学图像数据相关联，并且与截面信息1040一起输出三维医学图像数据(体数据)。从输出的截面图像数据1030，基于作为补充信息而记录的截面信息，产生并且在显示装置140上显示在观察目标的位置处的三维医学图像数据的截面图像。

在以下的描述中，将参考图9描述根据本示例性实施例的用于显示截面图像的流程。图9是示出根据本示例性实施例的系统执行的用于确定截面信息的方法和用于显示截面图像的方法的流程图。

在步骤s601中，捕获装置150捕获被检体并产生捕获图像数据1070。在本示例性实施例中，表示已从另一医疗器械的信息获取的观察目标的位置的标记被放置在被检体的表面上。

在步骤s602，图像处理装置130从在步骤s601中获取的捕获图像数据1070检测放置在被检体的表面上的标记的位置，并确定截面信息。从检测的标记的位置确定用于产生包括观察目标的截面图像的截面信息。在步骤s603中，在体数据1040中输出所确定的截面信息，所述体数据1040将截面信息与体数据1050相关联。

在本示例中，已参考其中表示观察目标的位置的标记被预先放置在被检体的表面上的示例描述了系统，但是当没有放置标记时可以通过分析捕获图像数据1070来确定截面信息。例如，当用户指定手掌作为被检体时，图像处理装置130可以从捕获图像数据1070检测手指的形状并确定截面信息。

并且，在本示例性实施例中，已参考其中捕获装置150是提供在光声捕获装置中的光学照相机的示例描述了系统，但是捕获装置150可以与光声捕获装置不同，并且可以是任何捕获装置。例如，捕获装置150可以是向被检体发送超声波并从反射的超声波捕获被检体信息的超声装置。

以上述方式，根据本示例性实施例的系统，即使当关于截面信息的补充信息不与体数据相关联，也可以从通过与医疗器械装置不同的捕获装置获得的捕获图像数据获取截面信息。并且，根据本示例性实施例的系统，通过基于从捕获图像数据获取的截面信息产生截面图像，可以在不需要用户执行用于显示截面图像的复杂操作的情况下显示期望的截面图像。

其它实施例

一些实施例也可以通过读出并执行记录在存储介质(其也可以被更完整地称为'非暂时性计算机可读存储介质')上的计算机可执行指令(例如，一个或多个程序)以执行上述实施例中的一个或多个的功能和/或包括用于执行上述实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(asic))的系统或装置的计算机，以及通过由系统或装置的计算机通过例如读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或多个的功能和/或控制所述一个或多个电路以执行上述实施例中的一个或多个的功能而执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(cpu)、微处理单元(mpu))，并且可以包括单独的计算机或单独的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算系统的存储设备、光盘(诸如紧致盘(cd)、数字多功能盘(dvd)或蓝光盘(bd)^tm)、闪速存储器设备、存储卡等中的一个或多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。

尽管已参考示例性实施例描述了本发明，但要理解，本发明不限于公开的示例性实施例。以下权利要求的范围要被赋予最宽的解释以便包含所有这样的修改以及等同的结构和功能。