用于显示超声图像和光声图像的装置、方法和程序与流程

本发明涉及用于显示超声图像和光声图像的装置或方法。

背景技术：

作为非侵入性地对生物体的内部状态进行成像的图像诊断装置，已知通过发送和接收超声波来产生超声图像的超声诊断装置。超声诊断装置基于发送超声波的透射波或反射波(超声回波)的接收信号来产生超声图像。

另一方面，作为非侵入性地对生物体的内部状态进行成像的图像诊断装置，已知应用由被光照射并且由于照射光的光能而绝热膨胀的生物组织产生的超声波(光声波)的光声装置。这样的光声装置可以基于光声波的接收信号来产生光声图像。

ptl1公开了用于选择检测反射的超声波的操作模式或检测光声波的操作模式的开关。ptl1公开了通过使用开关来选择超声图像的显示或光声图像的显示。

引用列表

专利文献

ptl1：日本专利特开no.2012-196430

技术实现要素：

技术问题

对于使用超声图像和光声图像的诊断，假定需要使用超声图像作为基础诊断图像并且显示光声图像以用于辅助基于超声图像的诊断，像过去的超声诊断装置一样。在这种情况下，当如ptl1中所公开的那样超声图像的显示改变为光声图像或叠加图像的显示时，基于超声图像的基础诊断可能被妨碍。

本发明提供了一种装置，该装置包括：第一获得单元，被配置为获得通过向被检体发送超声波并从所述被检体接收超声波而产生的超声图像；第二获得单元，被配置为获得基于从照射到所述被检体的光产生的光声波而产生的光声图像；以及显示控制单元，被配置为进行控制以在显示单元中的第一显示区域上显示超声图像，其中所述显示控制单元进行控制以基于表示当正在显示超声图像的运动图像(movingimage)时给出的显示指示(instruction)的信息，在所述显示单元中不同于所述第一显示区域的第二显示区域上、显示与所述显示指示的时间点对应的超声图像和光声图像的叠加图像的静止图像(stillimage)，并且另一方面，继续在所述第一显示区域上显示超声图像的运动图像。

从以下参考附图对示例性实施例的描述，本发明的进一步的特征将变得清楚。

附图说明

图1是图示根据第一实施例的检查系统的框图。

图2是图示根据第一实施例的探测器的示意图。

图3是图示根据第一实施例的计算机及其外围设备的配置图。

图4是图示根据第一实施例的保存方法的流程图。

图5图示了根据第一实施例的保存的数据的数据结构。

图6是根据第一实施例的定时图。

图7是根据第一实施例的另一个定时图。

图8是根据第一实施例的另一个定时图。

图9是根据第一实施例的另一个定时图。

图10是图示根据第二实施例的保存方法的流程图。

图11图示了根据第二实施例的定时图。

图12是根据第二实施例的另一个定时图。

图13是根据第二实施例的另一个定时图。

图14是根据第二实施例的另一个定时图。

图15图示了根据第三实施例的检查单(examinationorder)信息

的数据结构。

图16a图示了根据第四实施例的显示单元的显示示例。

图16b图示了根据第四实施例的显示单元的显示示例。

图16c图示了根据第四实施例的显示单元的显示示例。

图17a图示了根据第四实施例的显示单元的另一个显示示例。

图17b图示了根据第四实施例的显示单元的显示示例。

图17c图示了根据第四实施例的显示单元的显示示例。

图18a图示了根据第四实施例的显示单元的另一个显示示例。

图18b图示了根据第四实施例的显示单元的显示示例。

图19a图示了根据第四实施例的显示单元的另一个显示示例。

图19b图示了根据第四实施例的显示单元的显示示例。

图20a图示了根据第四实施例的显示图像示例。

图20b图示了根据第四实施例的另一个显示图像示例。

图20c图示了根据第四实施例的另一个显示图像示例。

图21图示了根据第四实施例的gui的示例。

图22图示了根据第四实施例的gui的另一个示例。

具体实施方式

为了便于描述，在下文中，由被光照射的光吸收体的热膨胀产生的声波将被称为光声波。此外，为了便于描述，在下文中，从换能器发送的声波或反射波(回波)将被称为超声波。

第一实施例

下面将参考附图详细描述本发明的实施例。同样的编号原则上始终指同样的部分，并且将省略任何重复的描述。

使用超声图像和光声图像的叠加图像被认为对于诊断是有效的。因此，以其间较小的时间差获得并保存超声图像和光声图像并且以叠加或并行的布置显示彼此相关联的图像也可以被认为对于诊断是有效的。

另一方面，像过去的超声诊断装置一样，诸如医生或技师的用户可能更喜欢通过核查(check)超声图像的显示图像来指示保存该超声图像。在这种情况下，如果光声图像叠加在超声图像上，那么存在光声图像可能阻碍用户确定是否要指示保存的可能性。

过去用于超声诊断装置的保存方法可以要求首先保存超声图像，然后将显示图像从超声图像改变为光声图像，并且保存光声图像。

因此，当在没有显示光声图像时显示超声图像的运动图像的时候给出保存的指示(下文中，保存指示)时，除了与保存指示对应的超声图像之外，这个实施例还保存与保存指示对应的光声图像。即，响应于保存指示，将光声图像和超声图像存储在存储单元中。例如，在给出保存指示时显示的超声图像和与获得超声图像的时间点在时间上邻近的光声图像被相关联地保存。然后，显示相关联的超声图像和光声图像的叠加图像的静止图像。因此，当用户在核查超声图像时需要保存光声图像时，用户可以相关联地保存光声图像和超声图像，而不需要将显示图像改变为光声图像。因此，即使在检查之后，用户也可以核查以其间小的时间差获得的光声图像和超声图像的叠加图像。此外，根据这个实施例，当从用户给出指示时，显示叠加图像的静止图像，并且另一方面，继续超声图像的运动图像的显示。这可以抑制对基于超声图像的基本诊断的妨碍，并且允许显示光声图像的静止图像。

检查系统的配置

将参考图1示意性地描述根据第一实施例的检查系统。图1是图示整个检查系统的示意性框图。根据这个实施例的检查系统包括信号数据收集单元140、计算机150、显示单元160、输入单元170和探测器180。

图2是根据这个实施例的探测器180的示意图。探测器180具有光照射单元110、包括把持部分的壳体120、以及发送/接收单元130。被检体100是测量对象。

光照射单元110将脉冲光113照射到被检体100，使得声波可以在被检体100内发生。由于光声效应由光导致的声波也将被称为光声波。发送/接收单元130被配置为接收光声波并输出模拟电信号(光声信号)。发送/接收单元130还被配置为将超声波发送到被检体100并接收发送的超声波的回波以输出模拟电信号(超声信号)。

信号数据收集单元140被配置为将从发送/接收单元130输出的模拟信号转换成数字信号并将它输出到计算机150。计算机150将从信号数据收集单元140输出的数字信号存储为从超声波或光声波导出的信号数据。

计算机150被配置为对存储的数字信号执行信号处理，以产生表示超声图像或光声图像的图像数据。计算机150对所得到的图像数据执行图像处理，并然后将图像数据输出到显示单元160。显示单元160被配置为显示超声图像或光声图像。作为用户的医生或技师可以通过核查显示在显示单元160上的超声图像和光声图像来执行诊断。基于来自用户或计算机150的保存指示，显示图像被保存在通过网络连接到检查系统或计算机150内的存储器的数据管理系统中。

计算机150被配置为对包括在检查系统中的组件执行驱动控制。显示单元160可以显示在计算机150中产生的图像和gui。输入单元170被配置为可由用户使用以输入信息。用户可以使用输入单元170来执行诸如指示保存显示图像的操作。

根据这个实施例的检查系统获得的光声图像是包括从由照射光产生的光声波导出的图像的概念。光声图像包括表示关于例如用于产生光声波的声压(初始声压)、光吸收能量密度、光吸收系数以及被检体中包含的物质的浓度的信息的至少一个空间分布的图像数据。关于物质的浓度的信息可以是例如氧合血红蛋白浓度、脱氧血红蛋白浓度、总血红蛋白浓度或氧饱和度。总血红蛋白浓度是氧合血红蛋白浓度与脱氧血红蛋白浓度的和。氧饱和度是氧合血红蛋白与全血红蛋白的比。光声图像不限于表示空间分布的图像，而可以是表示数值的图像。例如，光声图像是包括表示从例如诸如光声信号(raw数据)、被检体中包含的物质的平均浓度、空间分布中的特定位置处的像素值、或空间分布中的像素值的统计(诸如平均值或中值)的光声信号导出的信息的图像的概念。作为光声图像，例如，被检体中包含的物质的平均浓度的数值可以显示在显示单元160上。

根据这个实施例的检查系统获得的超声图像包括b模式图像、多普勒图像和弹性成像图像中的至少一个的图像数据。超声图像是包括通过发送和接收超声波获得的图像的概念。

下面将详细描述根据这个实施例的被检体信息获得装置的组件。

光照射单元110

光照射单元110包括被配置为发出脉冲光113的光源和被配置为将从光源发出的脉冲光113引导到被检体100的光学系统。这里的脉冲光包括所谓的方波或三角波光。

从光源发出的光可以具有范围从1ns至100ns的脉冲宽度。光可以具有范围从400nm至1600nm的波长。为了以高分辨率对邻近生物体的表面的血管进行成像，可以使用具有被血管大量吸收的波长(范围从400nm至700nm)的光。另一方面，为了对生物体的深部进行成像，可以使用具有通常被生物体的背景组织(诸如水或脂肪)较少吸收的波长(范围从700nm至1100nm)的光。

光源可以是例如激光器或发光二极管。替代地，光源可以能够执行波长转换以使用具有多个波长的光进行测量。当具有多个波长的光照射到被检体时，可以提供发出具有彼此不同的波长的光束的多个光源，使得可以从光源交替地照射光束。多个光源(如果使用的话)的集合也被统称为光源。这里可以应用各种激光器，诸如固态激光器、气体激光器、染料激光器和半导体激光器。例如，可以使用诸如nd：yag激光器和翠绿宝石激光器的脉冲激光器作为光源111。替代地，可以使用应用nd：yag激光作为激发光的ti：sa激光器或opo(光学参量振荡器)激光器作为光源111。代替地可以使用微波源作为光源。

光学系统可以包括光学元件，诸如透镜、反射镜和光纤。在例如乳房是被检体100的情况下，具有增加的射束直径的脉冲光要被照射。因此，光学系统可以包括具有被配置为扩散光的扩散板的光发出单元。另一方面，光声显微镜可以具有增加的分辨率，其中光学系统具有包括透镜的光发出单元来照射聚焦射束。

替代地，脉冲光113可以在没有光学系统的情况下由光照射单元110从光源直接照射到被检体100。光照射单元110的组件(诸如光源)可以在壳体120的外部提供。

发送/接收单元130

发送/接收单元130包括被配置为根据接收的声波输出电信号的换能器131和被配置为支撑换能器131的支撑部件132。换能器131还能够发送声波。为简单起见，图2仅图示了一个换能器131，发送/接收单元130可以包括多个换能器。

换能器131可以由例如诸如pzt(锆钛酸铅)的压电陶瓷材料或诸如pvdf(聚偏二氟乙烯)的聚合物压电膜材料形成。替代地可以使用不包括压电元件的元件。例如，可以使用电容式微机械超声换能器cmut或应用fabry-perot干涉仪的换能器。可以采用任何类型的换能器，如果它能够根据接收的声波输出电信号的话。由换能器获得的信号是时间分辨率信号。换句话说，由接收元件获得的信号具有表示基于由换能器在不同时间接收的声压的值(诸如与声压成比例的值)的幅度。

光声波包含通常范围从100khz至100mhz的频率分量，并且换能器131能够检测这些频率。

支撑部件132可以由具有高机械强度的金属材料形成。对于用户把持壳体120以扫描探测器180的情况，从重量减小的观点来看，支撑部件132可以由诸如塑料的聚合物材料形成。为了将更多的照射光发射到被检体中，支撑部件132可以具有被处理成更靠近被检体100光散射的表面或镜面。根据这个实施例，支撑部件132具有半球形外壳形状并且被配置为在半球形外壳上支撑多个换能器131。在这种情况下，布置在支撑部件132上的换能器131具有紧密地聚集到半球的曲率中心的指向轴。通过使用从多个换能器131输出的一组电信号获得的图像在由来自曲率中心周围的换能器的电信号生成的部分处具有高的图像质量。支撑部件132可以具有任何配置，如果它可以支撑换能器131的话。支撑部件132可以在其平面或曲面上具有多个换能器，诸如1d阵列、1.5d阵列、1.75d阵列、以及二d阵列。

支撑部件132可以用作被配置为贮存声学匹配材料的容器。换句话说，支撑部件132可以是用于在换能器131和被检体100之间布置声学匹配材料的容器。

发送/接收单元130可以包括被配置为放大从换能器131输出的时间序列模拟信号的放大器。发送/接收单元130可以包括被配置为将从换能器131输出的时间序列模拟信号转换成时间序列数字信号的a/d转换器。换句话说，发送/接收单元130可以包括信号数据收集单元140，这将在下面描述。

为了在各种角度处检测声波，换能器131可以布置为围绕被检体100的整个周边。然而，在难以将换能器布置为围绕被检体100的整个周边的情况下，换能器可以如图2中所示布置在半球支撑部件上以围绕整个周边。

可以根据被检体优化换能器的布置和数量以及支撑部件的形状，并且针对本发明可以采用任何种类的发送/接收单元130。

发送/接收单元130和被检体100之间的空间填充有光声波可以在其中传播的介质。介质可以由声波可以在其中传播并且在被检体100和换能器131之间的界面处具有声学特性匹配且具有尽可能高的光声波透过率的材料制成。例如，介质可以是水或超声凝胶。

应当注意的是，可以单独地提供被配置为发送超声波的换能器和被配置为接收声波的换能器。替代地，可以提供一个被配置为发送超声波并接收声波的换能器。可以单独地提供被配置为发送和接收超声波的换能器和被配置为接收光声波的换能器。替代地，可以提供一个被配置为发送和接收超声波并接收光声波的换能器。

信号数据收集单元140

信号数据收集单元140包括被配置为放大作为从换能器131输出的模拟信号的电信号的放大器和被配置为将从放大器输出的模拟信号转换成数字信号的a/d转换器。信号数据收集单元140可以是例如fpga(现场可编程门阵列)芯片。从信号数据收集单元140输出的数字信号存储在计算机150内的存储单元152中。信号数据收集单元140也被称为数据获取系统(das)。本文的术语“电信号”是指包括模拟信号和数字信号的概念。信号数据收集单元140连接到被附连到光照射单元110中的光发出单元的光检测传感器，并且可以通过由来自光照射单元110的脉冲光113的发出触发并与其同步来开始处理。信号数据收集单元140可以通过由使用冻结(freeze)按钮而给出的保存指示触发并与其同步来开始处理，这将在下面描述。

计算机150

计算机150包括计算单元151、存储单元152和控制单元153。这些组件具有将参考处理流程描述的功能。

作为计算单元151负责计算功能的单元可以具有诸如cpu和gpu(图形处理单元)的处理器和诸如fpga(现场可编程门阵列)芯片的计算电路。这些单元可以包括多个处理器和计算电路，而不是单个处理器和单个计算电路。计算单元151可以根据来自输入单元170的诸如被检体的声速和保持杯的参数来处理接收信号。

存储单元152可以是非瞬态存储介质，诸如rom(只读存储器)、磁盘和闪速存储器。存储单元152可以是易失性介质，诸如ram(随机存取存储器)。存储程序的存储介质是非瞬态存储介质。

控制单元153由诸如cpu的计算元件配置。控制单元153被配置为控制由光声装置的组件执行的操作。控制单元153可以响应于基于通过输入单元170给出的诸如开始测量的操作的指示信号而控制检查系统的组件。控制单元153可以读出存储在存储单元152中的程序代码并控制由检查系统的组件执行的操作。

计算机150可以是专门设计的工作站。计算机150的组件可以由不同的硬件模块配置。替代地，计算机150的至少部分组件可以由单个硬件模块配置。

图3图示了根据这个实施例的计算机150的具体配置示例。根据这个实施例的计算机150包括cpu154、gpu155、ram156、rom157和外部存储设备158。作为显示单元160的液晶显示器161以及作为输入单元170的鼠标171和键盘172连接到计算机150。

计算机150和多个换能器131可以容纳在共同的壳体中。替代地，部分信号处理可以由容纳在壳体中的计算机执行，而信号处理的其余部分可以由在壳体外部提供的计算机执行。在这种情况下，在壳体内部和外部提供的计算机可以被统称为根据这个实施例的计算机。

显示单元160

显示单元160是诸如液晶显示器和有机el(电致发光)的显示器。显示单元160被配置为显示基于由计算机150获得的被检体信息的图像和与其中的特定位置对应的数值。显示单元160可以显示可用于操作图像或系统的图形用户界面(gui)。为了显示被检体信息，显示单元160或计算机150可以对其执行图像处理(诸如亮度值的调整)。

输入单元170

输入单元170可以是操作控制台，其可以由用户操作并且可以包括鼠标和键盘。显示单元160可以包括触摸面板，使得显示单元160也可以用作输入单元170。输入单元170可以包括可由用户使用以给出诸如保存指示的指示的冻结按钮，这将在下面描述。

检查系统的组件可以作为单独的装置提供，或者可以集成到一个系统。替代地，检查系统的至少部分组件可以集成到一个装置。

被检体100

下面将描述被检体100，但是它不是检查系统的组件。根据这个实施例的检查系统可用于诸如人或动物恶性肿瘤和血管疾病的诊断以及化学治疗的跟进的目的。因此，被检体100被假定为要被诊断的部位，诸如生物体，更具体而言，包括人体或动物的乳房、颈部、腹部、手指和脚趾的肢体。例如，在人体是测量对象的情况下，氧合血红蛋白或脱氧血红蛋白或主要包括它们的血管或在肿瘤的附近形成的新生血管可以是光吸收体。颈动脉壁的斑块可以是光吸收体。替代地，诸如亚甲基蓝(mb)、吲哚菁绿(icg)的色素、金微粒子或集成或化学改性它们的外部引入的物质可以是光吸收体。

接下来，参考图4，将描述根据这个实施例的用于保存光声图像和超声图像的控制方法。

s100：确定是否指示捕获的开始

控制单元153可以接收开始捕获超声图像的指示。如果控制单元153接收到开始捕获的指示，那么处理移动到s200。

当用户通过使用输入单元170指示开始捕获超声图像时，控制单元153从输入单元170接收表示开始捕获的指示(下文中，捕获开始指示)的信息。例如，当用户按下在探测器180中提供的用于捕获开始的开关时，控制单元153从输入单元170接收表示捕获开始指示的信息。

在这个处理中，不仅可以接收捕获超声图像的指示，而且还可以接收捕获超声图像和光声图像这两者的指示。

s200：显示超声图像

控制单元153响应于表示捕获开始的信息执行以下设备控制。

探测器180向被检体100发送超声波并从被检体100接收超声波，以输出超声信号。信号数据收集单元140对超声信号执行模数(ad)转换处理，并将经处理的超声信号发送到计算机150。作为数字信号的超声信号存储在存储单元152中。计算单元151可以对超声信号执行包括整相相加(延迟和求和)的重构处理，以产生超声图像。当产生超声图像时，可以删除保存在存储单元152中的超声信号。作为显示控制单元的控制单元153将产生的超声图像发送到显示单元160，并执行显示控制以控制显示单元160显示超声图像。重复执行这个处理，使得可以更新要由显示单元160显示的超声图像。因此，超声图像可以被显示为运动图像。

在这种情况下，将由显示单元160显示为运动图像的所有超声图像保存在存储单元152中可能大大增加保存的数据量。为了避免该问题，当更新显示图像时，可以从存储单元152中删除先前显示的超声图像。然而，在将在下面描述的与保存指示对应的超声图像是基于在保存指示之前产生的超声图像的情况下，可以保存超声图像，因为它可能要被保存。

在这个处理中，不在超声图像上显示光声图像。光声图像可以在显示单元160上显示，如果可以单独地观察超声图像的话。例如，可以并排显示超声图像和光声图像，使得可以单独地观察超声图像。然而，在显示单元160的显示区域由于光声图像的显示而变得不足的情况下，可以仅显示超声图像而不显示光声图像。

除了如前述处理中那样光声图像不叠加在超声图像上的显示模式之外，还可以提供另一种显示模式，在该显示模式中，超声图像和光声图像被叠加以使它们显示为运动图像。在这种情况下，控制单元153可以被配置为响应于由用户通过输入单元170给出的切换指示而切换显示模式。例如，控制单元153可以被配置为在作为防止光声图像被叠加在超声图像上的显示模式的并行显示模式与叠加模式之间切换。

s300：确定是否指示检查的结束

控制单元153可以接收完成检查的指示(下文中，检查结束指示)。控制单元153响应于检查结束指示而完成检查。控制单元153可以从用户或从诸如医院信息系统(his)和放射信息系统的外部网络接收指示。控制单元153可以在从s100中接收的检查开始指示起经过预定的时间段之后的时间确定检查的结束。

s400：确定是否给出保存指示

控制单元153可以接收保存指示。当控制单元153接收到保存指示时，处理移动到s500。

用户可以观察在显示单元160上显示为运动图像的超声图像，并且当在超声图像中发现要被保存的被检体时可以通过使用输入单元170给出保存指示。在这种情况下，例如，当显示单元160显示静止图像时，用户可以通过按下作为输入单元170的操作控制台中提供的冻结按钮来指示保存图像。这里，控制单元153从输入单元170接收表示保存指示的信息。

计算单元151可以对在s200中产生的超声图像执行图像处理，以便如果超声图像包括感兴趣的部位就产生表示保存指示的信息，并且可以将该信息发送到控制单元153。例如，当基于用户的指示或检查单确定感兴趣的部位时，计算单元151从存储单元152读出与感兴趣的部位对应的预先存储的图像图样(pattern)，并将图像图样与在s100中产生的超声图像相关。如果计算出的相关性高于阈值，那么计算单元151确定要保存超声图像，并产生表示保存指示的信息。

控制单元153可以从诸如his和ris的外部网络接收保存指示。

s500：产生光声图像

如果控制单元153接收到表示保存指示的信息，那么控制单元153可以执行以下设备控制。

首先，如果控制单元153接收到表示保存指示的信息，那么控制单元153将表示光照射的信息(控制信号)发送到探测器180。已接收到表示光照射的信息的探测器180向被检体100照射光，接收由光照射导致的光声波并输出光声信号。信号数据收集单元140可以对光声信号执行ad转换处理，并将经处理的光声信号发送到计算机150。作为数字信号的光声信号存储在存储单元152中。计算单元151可以对光声信号执行重构处理(诸如通用背投影(ubp))，以产生光声图像。这里，光声图像的重构区域可以是在给出保存指示时显示的超声图像显示区域。换句话说，计算单元151可以接收关于在给出保存指示时显示的超声图像显示区域的信息，并基于该信息确定重构区域。当产生光声图像时，可以删除保存在存储单元152中的光声信号。然而，如果要在处理中使用光声信号，那么这不适用，这将在下面描述。可以触发根据这个实施例的检查系统，以通过表示保存指示的信息执行光照射，从而产生与保存指示的时间点对应的光声图像。探测器180可以在保存指示的时间点或者在从保存指示起经过预定的时间点之后执行光照射。

控制单元153可以控制组件在可以确定由于呼吸或脉动引起的身体运动的影响较小的时段期间、而不是响应于保存指示来执行光照射，以产生光声图像。例如，控制单元153可以控制光照射单元110在从保存指示起250ms内执行光照射。控制单元153可以控制光照射单元110在从保存指示起100ms内执行光照射。从保存指示到光照射的时间段可以等于预定值，或者可以由用户通过使用输入单元170指定。控制单元153可以控制光照射的时间点，使得可以满足t1<t2且|t1-t2|小于或等于α的条件，其中t1是超声图像保存指示的时钟时间，t2是用于获得光声信号的光照射的时钟时间，并且α是预定值。替代地，控制单元153可以控制光照射的时间点，使得可以满足t1>t2且|t1-t2|小于或等于α的条件。预定值α可以由用户通过使用输入单元170指定。

除了表示保存指示的信息之外，控制单元153还可以控制在接收到描述检测到探测器180和被检体100接触的信息时执行光照射。这可以防止在探测器180和被检体100没有接触时发生光照射，使得可以禁止冗余的光照射。

s600：相关联地保存超声图像和光声图像

当作为保存控制单元的控制单元153接收到表示保存指示的信息时，控制单元153保存与保存指示的时间点对应的超声图像和在s500中通过由保存指示触发而产生的光声图像。在s500中通过由保存指示触发而产生的光声图像对应于与保存指示的时间点对应的光声图像。下面将描述与保存指示的时间点对应的超声图像。

存储单元152可以保存在接收到保存指示时在显示单元160上显示的超声图像，作为与保存指示的时间点对应的超声图像。存储单元152可以保存与在接收到保存指示时在显示单元160上显示的超声图像在时间上邻近的帧中的超声图像，作为与保存指示的时间点对应的超声图像。

在可以确定由于呼吸或脉动引起的身体运动的影响较小的时段期间、而不是响应于保存指示所产生的超声图像可以被保存，作为在时间上邻近的帧中的超声图像。例如，存储单元152可以保存从保存指示起小于或等于±250ms的帧中的超声图像，作为在时间上邻近的帧中的超声图像。存储单元152可以保存从保存指示起小于或等于±100ms的帧中的超声图像，作为在时间上邻近的帧中的超声图像。可以参考帧数来确定要被保存的目标。例如，存储单元152可以保存从保存指示起小于或等于±5帧的超声图像，作为在时间上邻近的帧中的超声图像。存储单元152可以保存从保存指示起±1帧内的超声图像(即，相邻的超声图像)，作为在时间上邻近的帧中的超声图像。如上所述的保存指示的时间点与用于获得要被保存的图像的时间点之间的时间差或帧差可以等于预定值，或者可以由用户通过使用输入单元170指定。换句话说，用户可以使用输入单元170来指定“时间上邻近”的范围。

已描述了这个处理相关联地保存超声图像和光声图像，补充信息可以附加地与它们相关联地保存。例如，在s600中，如图5中所示的保存的数据300可以存储在存储单元152中。保存的数据300可以包括补充信息310和图像数据320。图像数据320可以包括彼此相关联的超声图像321和光声图像322。补充信息310可以包括作为关于被检体100的信息的被检体信息311和作为关于探测器180的信息的探测器信息312。补充信息310包括作为关于s600中要保存的超声图像321或光声图像322的获得时间点(获得时钟时间)的信息的获得时间点信息313。

被检体信息311可以包括例如以下中的至少一个信息片段(piece)：被检体id、被检体姓名、年龄、血压、心率、体温、身高、体重、病史、怀孕周数和检查目标部位。检查系统可以具有心电图装置或脉搏血氧计(未图示)，并且将在保存指示的时间点从心电图装置或脉搏血氧计输出的信息与其相关联地保存为被检体信息。此外，关于被检体的所有信息可以被保存为被检体信息。

探测器信息312包括关于探测器180的信息，诸如探测器180的位置和倾斜度。例如，探测器180可以具有位置传感器(诸如磁传感器)，并且与保存指示的时间点对应的来自位置传感器的输出有关的信息可以被保存为探测器信息312。

关于用于超声波的发送或接收的控制信号的发送时间点的信息可以被保存为超声图像获得时间点信息313。关于用于光照射的控制信号的发送时间点的信息可以被保存为光声图像获得时间点信息。检查系统可以具有被配置为检测从光照射单元110喷出的脉冲光113的光检测单元，使得关于来自光检测单元的信号的输出时间点的信息可以被保存为光声图像获得时间点信息。

已参考图5描述了包括彼此相关联的一对图像数据片段320的保存的数据300，多对图像数据片段可以包括在一个保存的数据集中。在这种情况下，关于多对图像数据的补充信息也可以保存在一个保存的数据集中。替代地，可以将多对图像数据片段保存为不同的保存的数据集。要被关联的多个图像数据片段可以存储在一个数据文件中，以关联这多个图像数据片段。表示哪些图像要被关联的补充信息可以附到图像数据片段，使得多个图像数据片段可以被关联。

保存的数据可以具有例如基于dicom标准的数据格式。根据本发明的保存的数据的格式不限于dicom，而可以是任何数据格式。

根据这个实施例，响应于在不显示光声图像时给出的保存指示，可以相关联地保存与保存指示对应的超声图像和与保存指示对应的光声图像。因此，不需要从超声图像显示切换到光声图像显示，就可以保存光声图像。这可以减少从确认超声图像中的感兴趣的部位到保存光声图像的时间迟滞。因为，根据这个实施例，通过保存指示触发光照射，可以禁止冗余的光照射。这进一步可以抑制由于冗余的光照射引起的电力消耗。

根据这个实施例，与超声图像相关联地保存光声图像。然而，不限于作为表示空间分布的信息的光声图像，从光声信号导出的信息可以与其相关联地保存。例如，光声信号(raw数据)本身、被检体中包含的物质的平均浓度、空间分布中的特定位置处的像素值或空间分布中的像素值的统计值(诸如平均值或中值)可以作为从光声信号导出的信息与超声图像相关联。

在基于保存指示关联超声图像和光声图像之后，可以叠加相关联的图像以供在显示单元160上显示。所得到的叠加图像的显示可以由保存指示触发或者可以基于来自用户的指示而执行。

接下来，参考图6至8，将描述根据这个实施例的测量序列。图901至905中的每一个在水平上具有时间轴，其中随着它向右时间经过。

图901图示了用于产生超声图像的定时。超声波的发送在图901中的上升处开始，并且超声图像的产生在图901中的下降处完成。图902图示了超声图像显示定时。当超声图像的产生完成时，超声图像的显示能够进行。s200中的处理与图901和902对应。

图903图示了保存指示的定时。图903中的上升表示接收到保存指示的时间点。s400中的处理与图903对应。

图904图示了用于产生光声图像的定时。光照射在图904中的上升处开始，并且光声图像的产生在图904中的下降处完成。s500中的处理与图904对应。

图905图示了用于显示光声图像的定时。当光声图像的产生完成时，光声图像的显示能够进行。

图6是没有给出保存指示的定时图。当没有给出保存指示时，发送并接收超声波，并且当超声图像的产生完成时，重复更新所显示的超声图像的处理。换句话说，超声图像u1、u2、u3和u4以超声图像u1、u2、u3和u4的次序显示为运动图像。在这种情况下，既不执行光照射也不执行光声图像产生。

图7是当正在显示超声图像u1时接收到保存指示的定时图。在这种情况下，在接收到保存指示之后中断超声图像u2的产生，并且开始光声图像p1的产生。在光声图像p1的产生完成之后，相关联地保存超声图像u1和光声图像p1。因此，从产生要被保存的超声图像u1起不需要长的时间就可以产生光声图像p1，并且可以相关联地保存超声图像u1和光声图像p1。

如上所述，可以与除超声图像u1之外的超声图像相关联地保存与保存指示的时间点对应的超声图像。这在以下情况中也是如此。

在时段910期间可以多次照射光，以产生具有高s/n的光声图像p1，并且可以使用与多次光照射对应的光声信号来产生光声图像p1。这在以下情况中也是如此。因为超声图像u2的产生在中途中断，所以超声图像u1的显示可以在产生光声图像p1时以及在产生超声图像u3时继续。

图8是当正在显示超声图像u1时接收到保存指示的情况下的另一个定时图。与图7不同，超声图像u2的产生在接收到保存指示时继续，而不是中断超声图像u2的产生。在超声图像u2的产生完成之后，开始光声图像p1的产生。同样在这种情况下，可以相关联地保存光声图像p1和超声图像u1。可以相关联地保存作为与保存指示的时间点对应的超声图像的超声图像u2和光声图像p1。在这种情况下，与和超声图像u1相关联地保存相比，可以相关联地保存时间上更接近的图像。

图9是当正在显示超声图像u1时接收到保存指示的情况下的另一个定时图。在这种情况下，当接收到保存指示时，叠加超声图像u1和光声图像p1以显示静止图像。更具体而言，当接收到保存指示时，超声图像p1的显示继续，并且同时，保存指示触发开始光声图像p1的产生。当光声图像p1的产生完成时，超声图像u1和光声图像p1被彼此相关联地保存，并且与正在被显示的超声图像u1相关联的光声图像p1被叠加在其上以供显示。因此，用户可以通过观看具有相关联地保存的超声图像u1和光声图像p1的静止图像来执行诊断。

在如参考s300所描述的叠加超声图像和光声图像以显示为运动图像的显示模式下给出保存指示的情况下，当给出保存指示时显示在显示单元160上的超声图像和光声图像可以被彼此相关联地保存。

第二实施例

根据第一实施例，保存指示触发开始光照射和光声图像的产生，并且所得到的光声图像与超声图像相关联地保存。另一方面，根据第二实施例，与超声图像相关联地保存基于在预定时间点产生的光声图像而获得并且与保存指示的时间点对应的光声图像。

也将参考根据第一实施例的检查系统来描述这个实施例。同样的编号原则上指同样的部分，并且将省略任何重复的描述。

参考图10中所示的流程图，将描述根据第二实施例的用于保存超声图像和光声图像的方法。同样的编号指同样的步骤，并且将省略任何重复的描述。

s700：产生光声图像

根据这个实施例的检查系统，在预定时间点执行光照射，并且获得光声信号，使得光声信号可以用于产生光声图像。例如，检查系统根据光源的重复频率执行光照射，并且以该重复频率产生光声图像。检查系统还可以通过多次执行光照射来产生一个光声图像。

为了防止保存的数据量的增加，存储单元152可以仅保存一个光声图像。换句话说，每次产生新的光声图像时，利用其更新要保存在存储单元152中的光声图像。最后保存的光声图像可以从存储单元152中删除。然而，在将在下面描述的与保存指示的时间点对应的光声图像是基于在保存指示的时间点之前产生的光声图像的情况下，可以保存光声图像，因为它可能要被保存。当更新要在显示单元160上显示的超声图像时，可以更新要保存在存储单元152中的光声图像。

当产生光声图像时，可以删除保存在存储单元152中的光声信号。然而，除了在将在下面描述的处理中要使用光声信号的情况下外，可以执行删除。

可以在s200中的处理之前执行s700中的处理。同样在这种情况下，在s200中不执行光声图像在超声图像上的叠加。

这个处理可以获得从光声信号导出的信息，而不限于用作表示被检体信息的空间分布的信息的光声图像。换句话说，这个处理可以产生用作表示被检体信息的空间分布的信息的光声图像。例如，光声信号(raw数据)本身、被检体中包含的物质的平均浓度、空间分布中的特定位置处的像素值或空间分布中的像素值的统计值(诸如平均值或中值)可以作为从光声信号导出的信息而获得。用于获得光声图像的时间点与用于获得光声信号的光照射时间点对应。下文中假定保存光声图像包括保存从光声信号导出的信息。

s900：相关联地保存超声图像和光声图像

当根据这个实施例的控制单元153接收到表示保存指示的信息时，控制单元153将相关联地保存与保存指示的时间点对应的超声图像和光声图像。对与保存指示的时间点对应的超声图像执行与第一实施例的处理相同的处理。下面将描述与保存指示的时间点对应的光声图像。

根据这个实施例，控制单元153基于在s700中产生的光声图像当中与保存指示的时间点在时间上邻近的光声图像来获得与保存指示的时间点对应的光声图像。例如，控制单元153可以响应于保存指示而使用在可以确定由于呼吸或脉动引起的身体运动的影响较小的时段期间产生的光声图像，作为在时间上邻近的帧中的光声图像。例如，存储单元152可以保存从保存指示起±250ms内的帧中的光声图像，作为在时间上邻近的帧中的光声图像。存储单元152可以保存从保存指示起±100ms内的帧中的光声图像，作为在时间上邻近的帧中的光声图像。可以参考帧数来确定要被保存的光声图像。例如，存储单元152可以保存从保存指示起±5帧内的光声图像，作为在时间上邻近的帧中的光声图像。存储单元152可以保存从保存指示起±1帧内的光声图像或与保存指示相邻的光声图像，作为在时间上邻近的帧中的光声图像。如上所述的保存指示的时间点与用于获得要被保存的图像的时间点之间的时间差或帧差可以是预定值，或者可以由用户通过使用输入单元170指定。换句话说，用户可以使用输入单元170来指定“时间上邻近”的范围。控制单元153可以确定要被保存的光声图像，使得可以满足t1<t2且|t1-t2|小于或等于α的条件，其中t1是图像保存指示的时钟时间，t2是用于获得要被保存的光声图像的时间点的时钟时间，并且α是预定值。替代地，控制单元153可以确定要被保存的光声图像，使得可以满足t1>t2且|t1-t2|小于或等于α的条件。预定值α可以由用户通过使用输入单元170指定。

可以合成在时间上邻近的多个帧中的光声图像，以获得要被关联地保存的光声图像。控制单元153可以通过例如简单相加、相加平均、加权相加或加权相加平均合成多个帧中的光声图像来获得要被保存的光声图像。如其它类型的处理中那样，一些类型的合成处理可以由计算单元151执行。

这个处理不仅可以获得要被保存的光声图像，而且还可以获得从与保存指示的时间点对应的光声信号导出的信息。与保存指示的时间点对应的超声图像和从与保存指示的时间点对应的光声信号导出的信息然后可以彼此相关联地保存。计算单元151可以合成从与多次光照射对应的光声信号导出的信息片段以产生合成信息，像合成处理一样。

本发明可以不在检查系统中的存储单元中保存彼此相关联的光声图像和超声图像。控制单元可以在连接到外部网络的诸如pacs(图片存档和通信系统)的图像管理系统中保存彼此相关联的光声图像和超声图像。

接下来，参考图11至14，将描述根据这个实施例的测量序列。图901图示了用于产生超声图像的定时。图902图示了超声图像显示定时。当超声图像的产生完成时，超声图像的显示能够进行。图903图示了保存指示的定时。图904图示了用于产生光声图像的定时。s700中的处理与图904对应。图905图示了用于显示光声图像的定时。当光声图像的产生完成时，光声图像的显示能够进行。

图11是没有给出保存指示的定时图。当没有给出保存指示时，发送并接收超声波，并且当超声图像的产生完成时，重复更新所显示的超声图像的处理。换句话说，超声图像u1、u2、u3和u4以超声图像u1、u2、u3和u4的次序显示为运动图像。另一方面，在超声图像的产生之间产生光声图像。换句话说，交替地执行超声图像的产生和光声图像的产生。在这种情况下，产生光声图像，但是不保存和显示光声图像。

图12是当正在显示超声图像u2时接收到保存指示的情况下的定时图。在这种情况下，在接收到保存指示时显示的超声图像u2和与超声图像u2在时间上相邻的光声图像p1或光声图像p2可以相关联地保存。可以与超声图像u2相关联地保存与用于产生超声图像u2的超声波的发送和接收在时间上更接近的光照射对应的光声图像。替代地，可以相关联地保存光声图像p1与光声图像p2的组合图像和超声图像u1。

可以保存与超声图像u2在时间上邻近的超声图像u1或超声图像u3。在这种情况下，可以保存与超声图像u1或超声图像u3在时间上邻近的光声图像。

已描述了在时段920期间产生光声图像p1，在时段920期间可以仅获得光声信号而不产生光声图像p1。在这种情况下，计算单元151可以在接收到保存指示之后使用在时段920期间获得的光声信号以产生光声图像p1并且将光声图像p1与超声图像u2相关联地保存。在时段920期间，代替光声图像p1，可以产生从光声信号导出的信息并且与超声图像u2相关联地保存该信息。这些对于其它光声图像也是如此。

图13是当正在显示超声图像u2时接收到保存指示的情况下的另一个定时图。在这种情况下，当接收到保存指示时，可以相关联地保存超声图像u2和作为光声图像p1与光声图像p2的组合图像的光声图像p1+p2。

此外，在这种情况下，在接收到保存指示时显示的超声图像u2的静止图像持续地显示。超声图像u3的产生中断。换句话说，保存指示触发从运动图像显示切换到静止图像显示。此外，在这种情况下，与超声图像u2相关联地保存的光声图像p1+p2的静止图像被叠加在超声图像u2的静止图像上以供显示。

图14是当正在显示超声图像u2时接收到保存指示的情况下的另一个定时图。在这种情况下，超声图像u2的静止图像显示在接收到保存指示时继续。当接收到保存指示时，超声图像u3的产生中断，并且光声图像p3的产生开始。当光声图像p3的产生完成时，超声图像u2和光声图像p1+p2+p3被相关联地保存。然后，与超声图像u2相关联的光声图像p1+p2+p3被叠加在当前显示的超声图像u2上以供显示。这里，光声图像p1+p2+p3是光声图像p1、光声图像p2和光声图像p3的组合图像。

在图14中所示的情况下，光声图像的s/n比可以比图13中的情况改善得多。因为保存指示触发中断超声波的发送和接收以优先接收光声波，所以可以减小从获得超声图像u2到获得光声图像p3的时间间隔。

第三实施例

根据第三实施例的检查系统基于从诸如his或ris的外部网络发送的检查单信息来确定要被彼此相关联地保存的图像。图15图示了根据这个实施例的检查系统获得的检查单信息600的数据结构。

包括在检查单信息600中的信息由医生直接输入，例如，通过使用his或ris。替代地，例如his或ris可以基于例如由医生输入的信息产生要包括在检查单信息600中的信息。

检查单信息600包括获得时间点信息610。获得时间点信息610是表示参考保存指示的时间点要在哪个时间点获得超声图像或光声图像的信息。获得时间点信息610包括超声图像获得时间点信息611和光声图像获得时间点信息612。例如，获得时间点信息610与表示保存指示与要被保存的超声图像或光声图像之间的关系的信息对应，如第一或第二实施例中那样。

控制单元153从检查单信息600读出超声图像获得时间点信息611。控制单元153在接收到表示保存指示的信息时基于超声图像获得时间点信息611设置与保存指示的时间点对应的超声图像获得时间点。控制单元153确定在设置的获得时间点获得的超声图像以进行保存。

控制单元153从检查单信息600读出光声图像获得时间点信息612。控制单元153在接收到表示保存指示的信息时基于光声图像获得时间点信息612设置与保存指示的时间点对应的光声图像获得时间点。根据第一实施例，控制单元153控制探测器180在设置的获得时间点向被检体100照射光。然后，确定由于光照射而获得的光声图像以进行保存。另一方面，根据第二实施例，控制单元153确定在设置的获得时间点获得的光声图像以进行保存。

因此，基于包括在检查单信息600中的获得时间点信息610而获得的超声图像和光声图像被存储在存储单元152中。从检查单信息600读取的获得时间点信息610被保存为针对保存的数据300的获得时间点信息313。

检查单信息600可以包括检查部位信息620，该检查部位信息620是关于诸如头部和乳房的要被检查的部位的信息。控制单元153可以从检查单信息600读出检查部位信息620，并且可以基于检查部位信息620对每个检查部位设置预定的超声图像或光声图像获得时间点。在这种情况下，当获得时间点信息610不包括在检查单信息600中时，控制单元153可以基于检查单信息600设置超声图像或光声图像获得时间点。例如，控制单元153可以参考描述检查部位与获得时间点之间的对应关系的关系表读出与检查部位对应的获得时间点，该关系表存储在存储单元152中。控制单元153可以基于检查单信息中包括的任何信息(如果该信息与获得时间点相关联的话)、而不是关于检查部位的信息来获得获得时间点。

控制单元153可以基于检查部位信息620设置要产生的光声图像的类型，诸如基于附到检查单信息600的检查部位信息620，将氧饱和度分布设置为要产生的光声图像的类型。

例如，检查单信息600可以包括关于要捕获的超声图像或光声图像的类型以及要使用的造影剂的类型的信息，而不是获得时间点信息610。附加地或替代地，检查单信息600可以包括关于用于捕获超声图像或光声图像的探测器的类型、探测器的位置、对探测器的输出(诸如电压)以及被检体的性别、年龄、物理尺寸、病史、怀孕周数和体温的信息。

控制单元153可以比较关于先前检查的被检体的保存的数据与检查单信息600，并且例如，如果其中的被检体匹配，那么基于先前的检查结果设置获得时间点。

第四实施例

将描述根据第四实施例的要在显示单元160中显示的图像的显示示例。如上所述，根据这个实施例的光声图像是包括从由照射光产生的光声波导出的图像的概念。换句话说，光声图像不限于表示空间分布的图像，而可以是表示数值或文字的图像。下面将描述的显示控制由作为显示控制单元的控制单元153执行。

显示形式1

图16a至16c图示了响应于在显示超声图像的运动图像时给出的保存指示而显示与保存指示的时间点对应的超声图像和光声图像的叠加图像的缩略图的形式。

首先，参考图16a，在显示单元160中的第一显示区域1610上显示超声图像的运动图像(s200)。换句话说，与通过探测器180向被检体100发送和接收超声波同时地，在第一显示区域1610上显示与超声波的发送和接收对应的超声图像的运动图像。

响应于在显示超声图像的运动图像时的保存指示(s400)，在显示单元160中的第二显示区域1620上显示超声图像和光声图像的叠加图像的静止图像1621，如图16b中所示。这里，在第二显示区域1620上显示的静止图像1621是与在s400中给出保存指示的时间点对应的超声图像和光声图像的叠加图像的静止图像。作为缩略图的静止图像1621可以以比在第一显示区域1610上显示的超声图像的运动图像的尺寸小的尺寸显示。与保存指示的时间点对应的超声图像和光声图像对应于要利用s600或s900相关联地保存的图像。

当给出下一个保存指示时，在第二显示区域1620上显示与保存指示对应的超声图像和光声图像的叠加图像的静止图像1622，如图16c中所示。因此，在第二显示区域1620上水平地显示与多个保存指示的时间点对应的叠加图像。

这个显示形式使得超声图像的运动图像能够被持续地显示，而不在整个显示区域中大量占用光声图像的显示范围。这可以抑制对利用超声图像的运动图像进行诊断的妨碍，并且允许利用光声图像进行辅助诊断。已描述了，根据这个实施例，响应于静止图像显示指示而显示叠加图像的静止图像，可以显示光声图像的静止图像而不是叠加图像。这对于以下显示形式也是如此。

显示形式2

图17a至17c图示了各自响应于在显示超声图像的运动图像时给出的保存指示而长达预定的时间段显示叠加图像的静止图像而不是超声图像的运动图像的形式。

首先，参考图17a，在显示单元160中的第一显示区域1710上显示超声图像的运动图像(s200)。

响应于在显示超声图像的运动图像时的保存指示(s400)，显示在第一显示区域1710上的图像被改变为与保存指示对应的叠加图像的静止图像，如图17b中所示。然后，从保存指示的时间点起长达预定的时间段在第一显示区域1710上显示叠加图像的静止图像。因为假定超声图像的运动图像基本上被显示以用于诊断，所以第一显示区域1710上的叠加图像的静止图像可以被限制地显示长达预定的时间段。

换句话说，在从保存指示起经过预定的时间段之后，在第一显示区域1710上显示的图像被改变为超声图像的运动图像，如图17c中所示，同时与保存指示对应的叠加图像的静止图像1721在第二显示区域1720上显示。换句话说，在从保存指示起经过预定的时间段之后，第一显示区域1710上的超声图像的运动图像的显示重新开始，同时在第一显示区域1710上显示的叠加图像的静止图像1721在第二显示区域1720上被显示为缩略图。作为缩略图的静止图像1721可以以比在第一显示区域1710上显示的超声图像的运动图像的尺寸小的尺寸显示。

用于在第一显示区域1710上显示叠加图像的静止图像的预定的时间段可以是不妨碍超声图像的运动图像的显示、同时提供用于核查叠加图像的静止图像的时间的时间段。例如，预定的时间段可以是短于或等于两秒的时间。在对超声图像的运动图像的显示给予优先的情况下，预定的时间段可以是短于或等于一秒或0.5秒的时间。

替代地，当给出保存指示时，可以在第一显示区域1710上显示光声图像的静止图像，而不是叠加图像的静止图像。然后，在从保存指示的时间点起经过预定的时间段之后，可以在第二显示区域1720上显示光声图像或叠加图像的静止图像。

根据这个显示形式，因为光声图像仅长达预定的有限时间段占据显示区域的大部分，所以可以持续地显示超声图像的运动图像。这可以抑制对利用超声图像的运动图像进行诊断的妨碍，并且允许利用光声图像进行辅助诊断。

显示形式3

图18a和18b图示了各自在不同的显示区域上显示超声图像的运动图像和叠加图像的运动图像并且在显示超声图像的运动图像的同时响应于保存指示而将叠加图像的显示改变为静止图像的显示的形式。

首先，参考图18a，在显示单元160中的第一显示区域1810上显示超声图像的运动图像(s200)。此外，如图18a中所示，超声图像和光声图像的叠加图像的运动图像显示在显示单元160中的第二显示区域1820上。例如，超声波发送和接收或光照射在如图11至14中所示的时间点执行，使得产生光声图像和超声图像的运动图像以顺序地更新图像。

响应于在显示超声图像的运动图像时给出的保存指示(s400)，提供如图18b中所示的显示。换句话说，响应于保存指示，在第二显示区域1820上显示超声图像和光声图像的叠加图像的静止图像，同时在第一显示区域1810上继续显示超声图像的运动图像。这里，叠加图像的静止图像是与保存指示的时间点对应的超声图像和光声图像的叠加图像的静止图像。替代地，响应于保存指示，当可以在不同于第二显示区域的第三显示区域上显示叠加图像的静止图像时，可以继续第二显示区域1820上的叠加图像的运动图像的显示。

第二显示区域1820可以显示光声图像的运动图像或静止图像，而不是叠加图像的运动图像或静止图像。

根据这个显示形式，可以与超声图像的运动图像独立地、响应于保存指示而控制光声图像的运动图像或静止图像的显示。这可以抑制对利用超声图像的运动图像进行诊断的妨碍，并且允许利用光声图像进行辅助诊断。

显示形式4

图19a和19b图示了除了超声图像的运动图像的显示之外还显示光声图像的运动图像和叠加图像的运动图像、并且响应于保存指示在与用于运动图像的显示区域不同的显示区域上显示光声图像、超声图像和叠加图像的静止图像的形式。

首先，参考图19a，在显示单元160中的第一显示区域1910上显示超声图像的运动图像(s200)。参考图19a，在显示单元160中的第二显示区域1920上显示光声图像的运动图像1921以及超声图像和光声图像的叠加图像的运动图像1922。

当正在显示超声图像的运动图像时给出保存指示(s400)时，显示图像，如图19b中所示。换句话说，响应于保存指示，除了运动图像1921和1922之外，第二显示区域1920还显示光声图像的静止图像1923、叠加图像的静止图像1924和超声图像的静止图像1925。这里，静止图像1924是与保存指示的时间点对应的超声图像和光声图像的叠加图像的静止图像。为了在彼此对应的运动图像与静止图像之间容易地进行比较，可以水平地显示光声图像的运动图像1921和静止图像1923，并且可以水平地显示叠加图像的运动图像1922和静止图像1924。参考图19b，可以竖直地显示运动图像和静止图像。可以水平或竖直地显示超声图像的运动图像和静止图像。

为了防止对利用超声图像的运动图像进行诊断的妨碍，可以在第二显示区域1920上显示比在第一显示区域1910上显示的超声图像的运动图像小的图像。

在第二显示区域1920上显示的运动图像可以包括光声图像和叠加图像中的至少一个的运动图像。在第二显示区域1920上显示的静止图像可以仅包括光声图像和叠加图像中的至少一个的静止图像。

根据这个显示形式，可以与超声图像的运动图像独立地显示光声图像的运动图像，并且可以响应于保存指示而与超声图像的运动图像独立地显示光声图像的静止图像。这可以抑制对利用超声图像的运动图像进行诊断的妨碍，并且允许利用光声图像进行辅助诊断。

根据这个实施例，第一显示区域和第二显示区域可以被分配给一个显示装置的显示区域，并且显示区域可以被分配给彼此不同的多个显示装置。

已根据这个实施例描述了响应于保存指示的显示形式的改变，可以响应于除涉及保存的指示之外的指示改变显示形式。例如，响应于用于显示静止图像的静止图像显示指示，可以如上所述响应于保存指示而执行显示形式的改变。

接下来，将描述用于显示如图20a至20c中所示的图像的gui(图形用户界面)示例。图20a图示了超声图像，图20b图示了光声图像，并且图20c图示了超声图像和光声图像的叠加图像。虽然图20a至20c图示了呈现二维空间分布的图像，但是可以显示呈现三维空间分布的图像。所示的超声图像被假定为b模式图像，但是要显示的超声图像不限于此。所示的光声图像被假定为呈现光吸收系数的空间分布的图像(诸如血管图像)，但是要显示的光声图像可以不限于此。

图21图示了要在显示单元160中显示的gui的具体示例。

显示区域2110是显示超声图像的运动图像的显示区域。基础地假定用户可以通过核查显示在显示区域上的超声图像的运动图像来执行诊断。

显示区域2120是显示与通过使用冻结图标2140给出的静止图像显示指示的时间点对应的缩略图图像的区域。在所示的显示示例中，与静止图像显示指示的时间点对应的超声图像的静止图像2121、光声图像的静止图像2122以及超声图像和光声图像的叠加图像的静止图像2123显示在显示区域2120上。在这个显示示例中，响应于一个静止图像显示指示，三个静止图像在显示区域2120上显示为缩略图。当用户使用输入单元170点击冻结图标2140时，给出静止图像显示指示。这样的静止图像显示指示可以不通过使用gui上的图标来给出，而可以通过使用诸如机械开关的硬件来给出。替代地，例如，可以在显示单元160中使用触摸屏。当用户触摸显示区域2110以给出静止图像显示指示时，静止图像显示指示也可以用作保存指示。换句话说，可以相关联地保存与静止图像显示指示对应的超声图像和光声图像。

在难以在显示区域2020上显示所有的缩略图图像的情况(诸如给出多个静止图像显示指示的情况)下，用户可以通过操作前进图像(forwardimage)图标2124来改变要显示的缩略图图像。为了在超声图像、光声图像和叠加图像的静止图像之间进行比较，可以响应于每个静止图像显示指示而改变要显示的缩略图图像组。例如，如果当正在显示与第一静止图像显示指示对应的缩略图图像组时给出图像前进指示，那么可以在显示区域2120上显示与第二静止图像显示指示对应的缩略图图像组。然而，用于图像前进的规则不限于此，而是可以在任何规则下执行图像前进。例如，可以显示与第一静止图像显示指示对应的超声图像和光声图像的静止图像，但是可以仅将叠加图像的静止图像改变为与第二静止图像显示指示对应的静止图像。通过前进图像图标给出的用户的操作指示可以与切换指示对应。

显示区域2130是显示可用于设置关于检查目标的信息及其显示参数的图像的显示区域。部位显示区域2131显示要捕获的部位。在所示的显示示例中，显示要捕获的部位是腹部。可以基于检查单信息来设置在部位显示区域2131上显示的要捕获的部位。

类型显示区域2132被配置为显示在显示区域2110或2120上显示的超声图像的图像类型。用户可以使用输入单元170从显示在类型显示区域2132上的多个图像类型中选择要显示的超声图像的图像类型。根据所示的显示示例，它被配置为使得用户可以从b模式图像、多普勒图像和弹性成像图像中选择图像类型。该显示示例假定b模式图像被选择的情况并且显示使得可以识别b模式图像的选择。基于在类型显示区域2132上选择的图像类型，可以改变用于超声波的发送和接收的控制参数(诸如发送超声波的脉冲重复频率(prf)和脉冲宽度)。

类型显示区域2133被配置为显示在显示区域2120上显示的光声图像的图像类型。用户可以使用输入单元170从显示在类型显示区域2133上的多个图像类型中选择要显示的光声图像的图像类型。在所示的显示示例中，它被配置为使得用户可以从初始声压图像、光吸收系数图像和氧饱和度图像中选择图像类型。该显示示例假定光吸收系数图像被选择的情况并且显示使得可以识别光吸收系数图像的选择。基于在类型显示区域2133上选择的图像类型，可以改变用于光照射的控制参数(诸如波长、脉冲宽度和光的强度)。

超声图像和光声图像可以在显示单元160上以彼此不同的颜色显示。例如，在以重叠方式显示超声图像和光声图像的情况下，可以将光声图像设置为以超声图像的颜色的互补色显示，以便在超声图像与光声图像之间容易地进行区分。例如，在超声图像和光声图像具有同一像素处的图像值的情况下，可以以不同的颜色显示其重叠部分中的超声图像和光声图像。用户可以使用输入单元170点击作为用于改变超声图像或光声图像的着色的图标的着色改变区域2134，使得可以改变对应的着色。可以响应于以除在显示在显示单元160上的着色改变区域2134上进行点击之外的方式给出的用户的指示来改变图像的着色。

它可以被配置为使得可以改变叠加图像中的超声图像和光声图像的透过率。例如，用户可以使用输入单元170水平地操作滑动条2135以改变超声图像或光声图像的透过率。在所示的显示示例中，它被配置为使得可以基于滑动条2135的位置改变透过率。

具有已通过信号滤波器或图像滤波器经受强调处理的超声图像和光声图像中的至少一个图像的叠加图像可以显示在另一个之上。例如，可以对超声图像执行边缘强调处理，并且可以将具有强调的轮廓的超声图像叠加在光声图像上以供显示。替代地，可以对光声图像执行血管强调处理，并且可以将示出强调的血管的光声图像叠加在超声图像上以供显示。

在通过发送和接收超声波执行的捕获处理完成之后，可以在显示区域2110上显示超声图像的最后一帧的静止图像或另一个图像，而不需要接收用户的指示。例如，基于在部位显示区域2131上显示的要捕获的部位，可以在完成捕获处理之后设置要在显示区域2110上显示的图像。

可以通过使用输入单元170从显示在图像显示区域2120上的缩略图图像中选择图像，使得可以在显示区域2110上显示所选择的缩略图的放大图像。例如，静止图像2121至2123中的一个可以通过显示单元160中的触摸屏被触摸，以选择要放大的图像。可以在显示区域2110上轻扫或轻拂静止图像2121至2123中的一个，以选择要放大的图像。

为了便于说明，所示的显示示例显示表示显示区域的边界的实线，这样的边界可以不显示。

图22图示了要在显示单元160上显示的gui的另一个具体示例。因为显示区域2210、显示区域2230和冻结图标2240以与图21中的显示区域2110、显示区域2130和冻结图标2140的方式相同的方式起作用，所以将省略重复的细节描述。对其它的与图21中的功能相同的功能的重复的细节描述也将被省略。

显示区域2220与显示区域2120的相同之处在于，它显示与静止图像显示指示的时间点对应的缩略图图像，但是要显示的缩略图图像与图21中的缩略图图像不同。所示的显示示例在显示区域2220中显示超声图像和呈现光吸收系数的空间分布的光声图像的叠加图像的静止图像2221以及超声图像和呈现氧饱和度的空间分布的光声图像的叠加图像的静止图像2222。静止图像2221和静止图像2222这两者是与对于共同的静止图像的显示指示的时间点对应的缩略图图像。换句话说，这个gui响应于对于一个静止图像的显示指示而水平地显示不同图像类型的光声图像的叠加图像。因此，用户可以通过使用具有彼此不同的诊断指标的多个光声图像与超声图像的叠加图像来执行综合诊断。具有彼此不同的诊断指标的多个光声图像与超声图像的叠加图像可以在显示区域2220上水平地显示为缩略图图像。在这种情况下，例如，b模式图像和光声图像的叠加图像以及多普勒图像和光声图像的叠加图像可以在显示区域2220上水平地显示为缩略图图像。例如，用户可以响应于每个静止图像显示指示而操作前进图像图标2223，以使缩略图图像组前进。

响应于当正在显示光声图像的运动图像时给出的显示指示，可以显示超声图像的静止图像，但是另一方面可以继续光声图像的运动图像的显示。前述第一至第四实施例基于利用超声图像进行诊断，并且假定提供光声图像作为附加信息。另一方面，这个形式基于利用光声图像进行诊断，并且假定使用超声图像作为附加信息。根据这个形式，当正在显示光声图像的运动图像时，可以接收保存指示，像根据第一至第四实施例当正在显示超声图像的运动图像时给出保存指示一样。换句话说，根据这个形式，根据第一至第四实施例的超声图像和光声图像(从光声信号导出的信息)互换。根据这个形式，可以防止对利用光声图像进行基本诊断的妨碍，并且同时可以显示超声图像的静止图像。

其它实施例

本发明的实施例还可以通过读出并执行记录在存储介质(其也可以被更完整地称为'非瞬态计算机可读存储介质')上的计算机可执行指令(例如，一个或多个程序)以执行上述实施例中的一个或多个的功能和/或包括用于执行上述实施例中的一个或多个的功能的一个或多个电路(例如，专用集成电路(asic))的系统或装置的计算机来实现，以及通过由系统或装置的计算机通过例如从存储介质读出并执行计算机可执行指令以执行上述实施例中的一个或多个的功能和/或控制所述一个或多个电路以执行上述实施例中的一个或多个的功能而执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(cpu)、微处理单元(mpu))，并且可以包括单独的计算机或单独的处理器的网络，以读出并执行计算机可执行指令。计算机可执行指令可以例如从网络或存储介质提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算系统的存储装置、光盘(诸如紧凑盘(cd)、数字多功能盘(dvd)或蓝光盘(bd)^tm)、闪速存储器设备、存储卡等中的一个或多个。

虽然已参考示例性实施例描述了本发明，但是要理解的是，本发明不限于所公开的示例性实施例。以下权利要求的范围要被赋予最广泛的解释，以便涵盖所有这样的修改以及等同的结构和功能。

本申请要求2016年7月8日提交的日本专利申请no.2016-136104的权益，该专利申请特此通过引用整体并入本文。