图像显示系统、图像显示方法和程序与流程

本发明涉及图像显示系统和图像显示方法。

背景技术：

为了医学诊断中改善的可诊断性，通过使用显示应用使彼此不同的多个图像叠加以用于显示，使得得到的叠加图像可以用于诊断。ptl1公开了光声图像和超声图像的叠加。

引文列表

专利文献

ptl1:日本专利公开no.2005-218684

技术实现要素：

例如，为了在普通查看器上显示彼此不同的多个图像的叠加图像，可能需要操作者在显示应用上调整细节显示参数。在这种情况下，操作者可能需要针对每个诊断设置适合于要叠加的图像的图像类型的显示参数，从而使得操作者的操作复杂化。

因此，本发明提供了一种图像显示系统，其可以简化用于显示适合于诊断的图像的操作者的操作。

根据本发明的图像显示系统包括：第一获得单元，被配置为获得第一图像数据；第二获得单元，被配置为获得关于第一图像数据的第一元信息；第三获得单元，被配置为获得第二图像数据；第四获得单元，被配置为获得关于第二图像数据的第二元信息；以及显示控制单元，被配置为基于第一元信息和第二元信息来确定与第一元信息和第二元信息的组合相对应的叠加样式以及在显示单元上以所述叠加样式显示第一图像数据和第二图像数据的叠加图像。

参考附图，根据示例性实施例的以下描述，本发明的其它特征将变得清楚。

附图说明

图1是示出了根据第一实施例的图像显示系统的配置的示意图。

图2是根据第一实施例的探头的示意图。

图3是示出了根据第一实施例的计算机及其外围设备的配置图。

图4示出了根据第一实施例的文件选择窗口。

图5示出了根据第一实施例的显示单元上的显示画面。

图6是示出了根据第一实施例的图像类型组合与显示图像之间的关系的表。

图7是示出了根据第一实施例的图像类型组合与叠加样式之间的关系的表。

图8示出了根据第一实施例的显示单元上的显示区域的布局示例。

图9示出了根据示例5的显示单元上的显示画面。

图10示出了根据示例5的显示单元上的显示画面。

图11示出了根据示例5的显示单元上的显示画面。

图12示出了根据第六示例的通知消息。

图13示出了根据示例7的显示单元上的显示画面示例。

图14示出了根据示例7的解释性说明。

图15示出了根据示例7的显示单元上的显示画面。

图16示出了根据示例7的显示单元上的显示画面。

图17示出了根据示例7的显示单元上的显示画面。

图18是示出了根据第三实施例的图像显示系统的配置的示意图。

图19示出了根据示例9的显示单元上的显示画面。

图20示出了根据示例9的显示单元上的显示画面。

图21示出了根据示例9的显示单元上的显示画面。

图22示出了根据示例9的显示单元上的显示画面。

图23示出了his、ris、模态和pacs之间的数据流。

具体实施方式

本发明可以基于关于图像数据的元信息来确定叠加样式，以便显示多个图像数据的叠加图像。换句话说，本发明可以基于关于多个图像数据的元信息的组合来确定叠加样式。这里，术语“图像类型”是指图像数据的类型，即，图像数据中包括的图像值之间的含义差异。

例如，超声诊断装置中的图像类型可以包括例如b模式、多普勒和弹性成像。换句话说，可以从一种模态生成多种图像类型的图像数据。

光声诊断装置中的图像类型可以包括例如初始声压、光吸收系数、总血红蛋白量和氧饱和度。

为了便于描述，在下文中，由用光照射的光学吸收体的热膨胀生成的声波将被称为光声波。此外，为了便于描述，在下文中，从换能器发射的声波或反射波(回波)将被称为超声波。

另外，图像类型被分配给从诸如ct、mri和pet之类的模态获得的每个医学图像数据。

在医学领域中，dicom(医学中的数字成像和通信)是定义在例如用于读影和诊断的应用中广泛使用的医学图像格式以及这种图像的医学图像装置之间的通信协议的标准。

对于dicom数据文件，与图像文件相对应的装置信息以及关于患者id和其它图像文件的信息可以作为元信息被详细地保存。例如，关于诸如x射线图像和超声图像之类的各种类型的医疗装置图像的信息可以被保存。因此，由不同医疗装置捕获的信息可以用于基于dicom标准的一个图像显示系统的读影和诊断。

根据本发明，表示图像类型的信息可以被保存在dicom数据文件的标签中，使得表示图像类型的信息可以与对应的图像数据相关联。同样根据本发明，表示图像类型的字符串可以被保存在dicom数据文件的文件名中，使得表示图像类型的信息可以与图像数据相关联。

要与图像数据相关联的这种元信息可以包括关于捕获时间的信息，诸如包括在一般dicom标签中的实例创建日期。要与图像数据相关联的元信息可以包括关于图像捕获装置的信息，诸如模态。要与图像数据相关联的元信息可以包括关于被检体的信息，诸如患者id。要与图像数据相关联的元信息可以包括用于嵌套元素的项目，诸如与图像数据有关的图像区域和图像数据单位。要与图像数据相关联的元信息可以包括表示显示图像的颜色图、透射率和亮度范围的信息。要与图像数据相关联的元信息可以包括表示可以在多个图像类型的dicom数据文件之间叠加的图像类型、图像数据的叠加顺序(叠加顺序)和要叠加的图像的帧数的信息。与图像数据有关的任何其它信息可以作为元信息相关联。

图23是示出了典型医院内的医疗信息的数据流的示意图。这里，医院信息系统(his)处理诸如自动接收系统和电子记录系统的医院中的信息。放射线科信息系统(ris)管理医疗装置的检查和治疗的预约、患者信息和检查信息。图片存档和通信系统(pacs)从模态接收dicom文件并将其保存在数据库中。术语“pacs”指的是服务器及其系统，其可以响应于来自显示应用的请求搜索和传送dicom文件。参考图23，由箭头和图像数据指示的信息通信是基于dicom标准的。

术语“dicom”是定义医学图像格式和在医学图像装置之间的通信协议的标准的名称。dicom文件是包括基于这里的dicom的元信息和图像数据的组合的文件。dicom图像表示保存在dicom文件的图像数据部分中的信息。术语“dicom通信”指的是要基于dicom标准执行的通信。

dicom文件通常是当患者的图像被模态捕获并从模态发送和保存到pacs服务器时要生成的图像文件。由模态生成的dicom文件可以被直接发送到控制装置(诸如具有显示应用的pc)的存储器中并保存在存储器中，而不被发送到pacs服务器。

模态可以是可以生成并传送dicom文件的医疗装置或者是包括在医疗装置或pc中并且可以生成dicom文件的图像处理应用。被配置为生成dicom文件的医疗装置可以是现有模态或新模态。现有模态可以是例如被配置为生成b模式图像或多普勒图像的超声诊断装置，例如被配置为生成t1强调图像或t2强调图像的mri(磁共振成像装置)，例如x射线诊断装置、spect或pet。新模态可以是被配置为检测由照射的激光生成的光声波以用于成像的光声诊断装置。

例如，模态可以经由线缆被连接到pacs服务器或pc。当通过使用模态来执行图像捕获时，可以自动地将dicom文件从模态发送到pacs服务器或pc，或者操作者可以选择存储在模态中的目录以保存dicom文件。

与通过这种模态获得的医学图像数据相关联地保存的元信息可以被保存为dicom文件的私有标签，或者可以是标准化的。

下面将描述基于dicom生成的图像数据，但是可以以任何格式生成任何图像数据，而不限于dicom。

根据本发明的显示控制适用于在与模态集成的图像显示系统上运行的显示应用(如根据第一实施例描述的)。根据本发明的显示控制适用于可用于查看保存在pacs中的服务器中的图像数据的显示应用(如将根据第三实施例描述的)。

根据本发明的显示控制可以基于关于多个图像数据的元信息的组合来确定显示布局(如将根据第二实施例描述的)。

根据本发明的显示控制可以被配置为不仅显示基于两个图像数据的叠加图像，还显示基于三个或更多个图像数据的叠加图像。

将参考附图描述本发明的实施例。相同的标号在原则上始终表示相同的组成元件，并且将省略任何重复的描述。

第一实施例

下面将描述根据第一实施例的图像显示系统的配置和处理。

根据第一实施例，操作者可以在文件选择画面上为dicom图像选择两个dicom文件。根据该实施例，基于在dicom文件的标签中描述的信息(诸如表示图像类型的信息)来确定适合于两个所选dicom文件的叠加样式。根据该实施例，基于多个dicom文件的图像类型的组合来确定显示颜色图(颜色方案)、叠加的顺序(叠加顺序)、透射率和亮度范围的叠加样式中的至少一个。基于所确定的叠加样式，所选择的两个dicom文件的图像被叠加以用于显示。

在根据本实施例的显示控制下，即使当操作者不知道适合于dicom文件的图像类型的叠加样式时，也可以在显示应用中设置适合于诊断的叠加样式。当操作者知道用于图像类型的叠加样式时，在显示应用中执行适合于诊断的叠加处理，这可以简化用于显示适当的叠加图像的操作者的操作。

根据该实施例，光声诊断装置和超声诊断装置被用作模态。参考图1，将描述根据该实施例的图像显示系统的配置。图1是示出了整个图像显示系统的示意框图。根据该实施例的图像显示系统包括信号收集单元140、计算机150、显示单元160、输入单元170和探头180。信号收集单元140、探头180和计算机150的部分可以用作用于生成dicom文件的图像数据的模态。

图2是根据该实施例的探头180的示意图。探头180具有光照射单元110，包括把持部分的壳体120，以及发送/接收单元130。被检体100是测量对象。

光照射单元110将脉冲光113照射到被检体100，使得可以在被检体100内产生声波。由于光声效应由光引起的声波也将被称为光声波。发送/接收单元130被配置为接收光声波并输出模拟电信号(光声信号)。发送/接收单元130还被配置为将超声波发送到被检体100并接收发送的超声波的回波以输出模拟电信号(超声信号)。

信号收集单元140被配置为将从发送/接收单元130输出的模拟信号转换为数字信号并将其输出到计算机150。计算机150将从信号收集单元140输出的数字信号存储为从超声波或光声波导出的信号数据。

计算机150被配置为对存储的数字信号执行信号处理以生成表示超声图像或光声图像的图像数据。计算机150对得到的图像数据执行图像处理，并且然后将图像数据输出到显示单元160。显示单元160被配置为显示超声图像或光声图像。作为操作者的医生或技师可以通过检查显示在显示单元160上的超声图像和光声图像来执行诊断。基于来自操作者或计算机150的保存指令，显示图像被保存在连接到计算机150内的存储器的数据管理系统中或者通过网络保存到模态。

计算机150被配置为对包括在图像显示系统中的部件执行驱动控制。显示单元160可以显示在计算机150中生成的图像和gui。输入单元170被配置为可由操作者用于输入信息。操作者可以使用输入单元170来执行诸如指示保存显示图像之类的操作。

通过根据该实施例的图像显示系统获得的光声图像是包括从由照射的光生成的光声波导出的图像的概念。光声图像包括表示关于例如用于生成光声波的声压(初始声压)、光吸收能量密度、光吸收系数和被检体中包含的物质的浓度的信息的至少一个空间分布的图像数据。关于物质浓度的信息可以是例如氧合血红蛋白浓度、脱氧血红蛋白浓度、总血红蛋白量或氧饱和度。总血红蛋白量是氧合血红蛋白量和脱氧血红蛋白量的总和。氧饱和度是氧合血红蛋白与全部血红蛋白的比率。光声图像不限于表示空间分布的图像，而可以是表示数值或文本的图像。例如，光声图像是包括表示从诸如像光声信号(raw数据)、被检体中包含的物质的平均浓度、空间分布中特定位置处的像素值，或者空间分布中的像素值的统计值(诸如平均值或中值)之类的光声信号导出的信息的图像的概念。作为光声图像，例如，被检体中包含的物质的平均浓度的数值可以被显示在显示单元160上。

由根据该实施例的图像显示系统获得的超声图像包括b模式图像、多普勒图像和弹性成像图像中的至少一个的图像数据。超声图像是包括通过发送和接收超声波获得的图像的概念。

下面将详细描述根据该实施例的被检体信息获得装置的部件。

光照射单元110

光照射单元110包括：光源，被配置为发射脉冲光113；以及光学系统，被配置为将从光源发射的脉冲光113引导到被检体100。这里的脉冲光包括所谓的方波或三角波光。

从光源发射的光可以具有范围从1ns到100ns的脉冲宽度。光可以具有范围从400nm到1600nm的波长。为了以高分辨率对与活体的表面相邻的血管成像，可以使用具有被血管大量吸收的波长(范围从400nm到700nm)的光。另一方面，为了对活体的深部进行成像，可以使用具有通常被活体的背景组织(诸如水或脂肪)较少吸收的波长(范围从700nm到1100nm)的光。

例如，光源可以是激光器或发光二极管。可替代地，光源可以能够执行波长转换以用于使用具有多个波长的光的测量。当具有多个波长的光被照射到被检体时，可以提供发射具有彼此不同波长的光束的多个光源，使得可以从光源交替地照射光束。如果使用的话，一组多个光源也统称为光源。这里可以应用各种激光器，诸如固态激光器、气体激光器、染料激光器和半导体激光器。例如，诸如nd：yag激光器和翠绿宝石激光器之类的脉冲激光器可以用作光源111。可替代地，可以使用施加nd：yag激光作为激发光的ti：sa激光器或opo(光学参量振荡器)激光器作为光源。替代地，可以使用微波源作为光源。

光学系统可以包括光学元件，诸如透镜、镜子和光纤。在乳房是被检体100的情况下，例如，要照射具有增大的光束直径的脉冲光。因此，光学系统可以包括发光单元，该发光单元具有被配置为扩散光的扩散板。另一方面，通过具有包括透镜的发光单元的光学系统以照射聚焦光束，光声显微镜可以具有增加的分辨率。

可替代地，脉冲光113可以在没有光学系统的情况下通过光照射单元110从光源直接照射到被检体100。光照射单元110的部件(诸如光源)可以被设置在壳体120的外部。

发送/接收单元130

发送/接收单元130包括：换能器131，被配置为从接收的声波输出电信号；以及支撑构件132，被配置为支撑换能器131。换能器131还能够发送声波。为简单起见，图2仅示出了一个换能器131，发送/接收单元130可以包括多个换能器。

换能器131可以例如由诸如pzt(锆钛酸铅)之类的压电陶瓷材料形成或由诸如pvdf(聚偏二氟乙烯)之类的聚合物压电膜材料形成。可以替代地使用不包括压电元件的元件。例如，可以使用电容式微机械超声换能器、cmut或应用法布里-珀罗干涉仪的换能器。可以采用任何类型的换能器，如果该换能器能够从接收的声波输出电信号的话。由换能器获得的信号是时间分辨信号。换句话说，由接收元件获得的信号具有表示基于换能器在不同时间接收的声压的值(诸如与声压成比例的值)的幅度。

光声波包含通常范围从100khz到100mhz的频率分量，并且换能器131能够检测这些频率。

支撑构件132可以由具有高机械强度的金属材料形成。对于操作者握住壳体120以扫描探头180的情况，从重量减轻的观点来看，支撑构件132可以由诸如塑料之类的聚合物材料形成。为了将更多的照射光发射到被检体中，支撑构件132的更靠近被检体100侧可以具有镜面或被处理成进行光散射的表面。根据该实施例，支撑构件132具有半球形外壳形状并且被配置为在半球形外壳上支撑多个换能器131。在这种情况下，布置在支撑构件132上的换能器131具有向半球的曲率中心紧密聚集的方向轴。通过使用从多个换能器131输出的一组电信号获得的图像在由来自曲率中心周围的换能器的电信号产生的部分处具有高图像质量。支撑构件132可以具有任何配置，如果支撑构件132可以支撑换能器131的话。支撑构件132可在其平面或曲面上具有多个换能器，诸如1d阵列、1.5d阵列、1.75d阵列和2d阵列。

支撑构件132可以用作被配置为保留声学匹配材料的容器。换句话说，支撑构件132可以是用于在换能器131和被检体100之间布置声学匹配材料的容器。

发送/接收单元130可以包括放大器，该放大器被配置为放大从换能器131输出的时间序列模拟信号。发送/接收单元130可以包括a/d转换器，该a/d转换器被配置为将从换能器131输出的时间序列模拟信号转换为时间序列数字信号。换句话说，发送/接收单元130可以包括信号收集单元140，这将在下面描述。

为了以各种角度检测声波，换能器131可以被布置成围绕被检体100的整个周边。然而，在难以将换能器布置成围绕被检体100的整个周边的情况下，换能器可以被布置在半球形支撑构件上以围绕整个周边，如图2所示。

可以根据被检体优化换能器的布置和数量以及支撑构件的形状，并且可以针对本发明采用任何类型的发送/接收单元130。

发送/接收单元130和被检体100之间的空间填充有光声波可以传播的介质。介质可以由如下的材料制成：其中可以传播声波，并且在被检体100和换能器131之间的界面处具有匹配的声学特性，并且具有尽可能高的光声波的透射率。例如，介质可以是水或超声凝胶。

应当注意，可以单独提供被配置为发射超声波的换能器和被配置为接收声波的换能器。可替代地，可以提供一个换能器，其被配置为发射超声波并接收声波。可以单独提供被配置为发射和接收超声波的换能器以及被配置为接收光声波的换能器。可替代地，可以提供一个换能器，其被配置为发送和接收超声波并接收光声波。

信号收集单元140

信号收集单元140包括：放大器，被配置为放大作为从换能器131输出的模拟信号的电信号；以及a/d转换器，被配置为将从放大器输出的模拟信号转换为数字信号。例如，信号收集单元140可以是fpga(现场可编程门阵列)芯片。从信号收集单元140输出的数字信号被存储在计算机150内的存储单元152中。信号收集单元140也被称为数据采集系统(das)。这里的术语“电信号”是指包括模拟信号和数字信号的概念。信号收集单元140被连接到附接到光照射单元110中的发光单元的光检测传感器，并且可以通过来自光照射单元110的脉冲光113的发射被触发并与脉冲光113的发射同步地开始处理。信号收集单元140可以通过由使用停止按钮给出的指令被触发并与给出的指令同步地开始处理。

计算机150

计算机150包括计算单元151、存储单元152和控制单元153。这些部件具有功能，这将参考处理流程进行描述。

作为计算单元151的负责计算功能的单元可以具有诸如cpu和gpu(图形处理单元)之类的处理器和诸如fpga(现场可编程门阵列)芯片之类的计算电路。这些单元可以包括多个处理器和计算电路，而不是单个处理器和单个计算电路。计算单元151可以根据诸如来自输入单元170的被检体的声速和保持杯之类的参数来处理接收信号。

存储单元152可以是非暂时性存储介质，诸如rom(只读存储器)、磁盘和闪存。存储单元152可以是诸如ram(随机存取存储器)之类的易失性介质。存储程序的存储介质是非暂时性存储介质。存储单元152可以包括多个存储介质，而不限于一个存储介质。

存储单元152可以保存例如通过应用下面将描述的方法由计算单元151生成的表示超声波图像或光声图像的图像数据。存储单元152可以保存由与根据该实施例的图像显示系统不同的模态装置获得的图像。

控制单元153由诸如cpu之类的计算元件配置。控制单元153被配置为控制由光声装置的部件执行的操作。控制单元153可以响应于基于诸如通过输入单元170给出的测量开始之类的操作的指令信号来控制检查系统的部件。控制单元153可以读出存储在存储单元152中的程序代码，并控制由检查系统的部件执行的操作。

计算机150可以是专门设计的工作站。计算机150的部件可以由不同的硬件模块配置。可替代地，计算机150的至少部分部件可以由单个硬件模块配置。

图3示出了根据该实施例的计算机150的具体配置示例。根据该实施例的计算机150包括cpu154、gpu155、ram156、rom157和外部存储设备158。作为显示单元160的液晶显示器161以及作为输入单元170的鼠标171和键盘172被连接到计算机150。

计算机150和多个换能器131可以容纳在共同的壳体中。可替代地，部分信号处理可以由容纳在壳体中的计算机执行，而其余的信号处理可以由设置在壳体外部的计算机执行。在这种情况下，根据该实施例，在外壳内部和外部提供的计算机可以统称为计算机。

显示单元160

显示单元160是诸如液晶显示器和有机el(电致发光)之类的显示器。显示单元160被配置为显示基于由计算机150获得的被检体信息的图像和与其中的特定位置对应的数值。显示单元160可以显示可用于操作图像或系统的图形用户界面(gui)。为了显示被检体信息，可以在显示单元160或计算机150上执行图像处理(诸如亮度值的调整)。

输入单元170

输入单元170可以是操作控制台，其可以由用户操作并且可以包括鼠标和键盘。显示单元160可以包括触摸面板，使得显示单元160也可以用作输入单元170。输入单元170可以包括用户可用于给出诸如保存指令之类的指令的停止按钮，这将在下面描述。

图像显示系统的部件可以作为单独的装置提供，或者可以集成到一个系统。可替代地，图像显示系统的至少部分部件可以集成到一个装置。

被检体100

下面将描述被检体100，尽管它不是图像显示系统的部件。根据该实施例的图像显示系统可用于诸如人或动物恶性肿瘤和血管疾病的诊断以及化学治疗的随访的目的。因此，被检体100被假定为诸如活体之类的待诊断区域，更具体地，包括人体或动物的乳房、颈部、腹部、器官、血管网、头部、手指和脚趾的肢体。例如，在人体是测量对象的情况下，氧合血红蛋白或脱氧血红蛋白或主要包括它们的血管或在肿瘤附近形成的新血管可以是光学吸收体。颈动脉壁的斑块可以是光学吸收体。可替代地，诸如亚甲基蓝(mb)、吲哚菁绿(icg)之类的色素、金微粒或者聚集或化学改性它们的外部引入的物质可以是光学吸收体。

图像生成流程

探头180可以发送并从被检体100接收超声波以输出超声信号。信号收集单元140可以对超声信号执行ad转换处理，并将处理后的超声信号发送到计算机150。作为数字信号的超声信号被存储在存储单元152中。计算单元151对超声信号执行诸如相位相加(延迟和求和)之类的重构处理以生成超声图像。在从超声信号生成超声波图像之后，可以删除保存在存储单元152中的超声信号。首先，控制单元153将表示光照射的信息(控制信号)发送到探头180。接收表示光照射的信息的探头180将光照射到被检体100，接收由于光照射而生成的光声波并输出光声信号。信号收集单元140对光声信号执行ad转换处理，并将处理后的光声信号发送到计算机150。作为数字信号的光声信号被存储在存储单元152中。计算单元151对光声信号执行诸如通用背投影(ubp)之类的重构处理以生成光声图像。在生成光声图像之后，可以删除保存在存储单元152中的光声信号。

显示控制流程

根据该实施例，控制单元153执行以下显示控制。也就是说，以下显示应用的操作由控制单元153控制。

首先，当操作者使用输入单元170给出激活指令时，控制单元153激活显示应用。

接下来，在显示单元160上显示要显示的dicom文件的选择画面。可以通过在显示应用中执行模式选择操作来显示选择画面。例如，操作者可以在显示应用中选择dicom文件选择按钮，使得在用户界面中显示dicom文件存储目录。接下来，操作者可以选择要在用户界面中显示的dicom文件。控制单元153可以获得关于与dicom文件相关联地保存的图像类型的元信息，识别作为适合于被叠加的要组合的图像类型的dicom文件，并且显示适合于被叠加的dicom文件的组合使得它们可以被识别。图4示出了dicom文件的示例选择画面。文件名可以用彩色虚线或实线包围，例如，如图4所示，或者可以闪烁以用于强调显示，使得操作者可以识别适合于叠加的图像类型的组合。图4示出了用于在显示应用中选择dicom文件的选择窗口101。选择窗口101显示表示dicom文件的图像数据的图标102至107。对应于图标102到105的图像类型的dicom文件对应于适合于叠加的dicom文件的组合，并且由虚线表示。对应于图标105和106的图像类型的dicom文件对应于适合于叠加的组合，并由实线表示。对应于图标107的图像类型的dicom文件不适合与任何文件叠加，并且不用线强调。已经描述了通过包围线指示文件叠加的适当性的示例，但是可以以任何方式指示叠加的适当性。已经使用图标描述了作为表示图像数据的图像类型的项的示例，但是图像类型可以由任何其它项表示。例如，可以基于诸如包含图像数据的图像类型的列表框之类的项来识别图像类型。

控制单元153可以基于与图像数据相关联的图像类型的组合来确定用于叠加的适当性。控制单元153可以参考示出了图像类型的组合与叠加的适当性之间的关系的表来确定要叠加的图像类型的组合是否适合于叠加。图像数据可以与表示适合于与图像数据叠加的图像类型的信息相关联。在这种情况下，控制单元153可以基于该信息确定目标图像数据的组合是否适合于叠加，并且可以将确定结果通知给诸如显示单元160之类的通知单元。通知单元可以提供视觉指示或音频通知。

控制单元153可以基于用于获得图像的同步方法或捕获的时间来确定用于叠加图像数据的适当性。例如，控制单元153可以将基于相同的同步方法的图像数据或者在相邻时间捕获的图像数据确定为适合于叠加的组合。

控制单元153还可以基于与图像数据相关联的患者id来确定叠加的适当性。患者id可以是分配给医疗装置捕获了其图像的患者的id。例如，控制单元153可以确定具有相同患者id的图像适合于叠加，并且可以确定具有不同患者id的图像不适合于叠加。当在多个医院中捕获了患者的图像时，不同的患者id可能与相同的患者相关联。在这种情况下，不同的患者id可以与相同的患者相关联，使得具有不同的患者id的图像数据可以被确定为相同患者的图像数据并且适合于叠加。

接下来，操作者可以通过使用光标选择要叠加的多个dicom文件以用于显示。根据该实施例，将参考图5描述用于选择图像数据的用户界面示例。图5示出了选择b模式图像和总血红蛋白量图像的示例。当激活显示应用以选择文件时，出现用于选择dicom文件的弹出窗口206。dicom文件组207包括用粗线强调以用于显示的当前选择的b模式图像和总血红蛋白量图像的dicom文件。图像显示区域208位于图像显示应用的图像查看器中。操作者可以通过使用输入单元170将目标文件从图像数据组207拖放到图像显示区域208，使得文件可以在查看器上叠加。通过箭头209指示要对所选文件执行的拖放操作。可以通过使用显示的光标将多个所选文件共同拖放到图像显示区域208，例如，以用于叠加它们。可以将文件一个接一个地拖放到图像显示区域208以叠加它们。可以通过按下响应于对所选文件的右击而出现的选择列表中的文件读取按钮来选择要读取的文件。当文件被拖放到图像显示区域208以外的区域时，可以确定图像被选择，并且可以显示所选目标dicom文件的叠加图像。任何方法都是适用的，如果操作者可以选择要叠加的图像数据的话。

控制单元153可以读出诸如与被拖动到图像显示区域208中的dicom文件相关联地保存的图像类型之类的元信息，并且可以基于拖动的dicom文件的元信息的组合来设置叠加样式。控制单元153可以参考表示元信息的组合和叠加样式的关系的信息(参考信息)来设置与关于多个图像数据的元信息的组合相对应的叠加样式。

图6和图7是示出了表示图像类型的组合和叠加样式之间的关系的信息的表示例。图6和图7中最左边的列示出了表示图像类型的组合的变化的数字。

图6是示出了针对每种图像类型的组合要显示哪个显示图像的表。例如，当选择b模式和总血红蛋白量的图像类型时，显示图像1和显示图像2被显示，其对应于组合no.1。

图7示出了针对每种图像类型的组合要显示的显示图像的叠加样式。例如，图7示出了对于组合no.1，灰度b模式图像作为显示图像1被显示在显示单元160中对应于(1，1)的显示区域上。图7示出了对于组合no.1，其中顺序叠加b模式图像(基本图像)和总血红蛋白量图像的显示图像2也被显示在显示单元160中的对应于(1，2)的显示区域上。图7还示出了包括在显示图像2中的b模式图像以灰度显示，并且其中的总血红蛋白量图像以黄色色阶显示。因此，控制单元153可以基于图像类型的组合来确定叠加样式。图8示出了显示单元160中的显示区域的布局示例，其中图7中示出的显示区域对应于图8中示出的显示单元160中的显示区域(1，1)至(2，3)。

操作者可以使用输入单元170来改变与图像类型的组合相对应的叠加样式的参数。

控制单元153可以通过如上所述的方法来确定所选择的dicom文件是否适合于叠加，并且可以通过使用通知单元将结果通知给操作者。

可以基于与图像数据相关联的元信息来设置图7中的表中未示出的显示参数。例如，因为图7未示出透射率和亮度范围，所以可以基于关于与图像数据相关联的透射率和亮度范围的信息来设置显示参数。

透射率是为颜色图的颜色的透射率设置的比例的值，该颜色图要在要叠加的图像的一个或多个图像数据中被显示。根据本实施例的显示被设置为以0％的透射率显示b模式图像，并在其上以叠加的需要设置的透射率来显示总血红蛋白量图像。换句话说，根据叠加的需要设置至少要在前景中布置的图像的透射率。

在总血红蛋白量图像h是二维图像的情况下，可以通过以下表达式(1)来计算h(i，j)处的像素的透射率t(i，j)(％)。

其中minh是h(i，j)的最小值，maxh是h(i，j)的最大值，而表达式(1)右侧的第二项使h(i，j)的强度归一化到100。可以从100减去该值以计算透射率。换句话说，在具有最高强度h(i，j)的像素处，t(i，j)等于0％并且在颜色图中以与总血红蛋白量的值对应的颜色显示。尽管通过使用血红蛋白量的最大值和最小值来归一化透射率，但是当在整个图像中存在最大像素值时透射率等于0％，从而妨碍了看到要被叠加的图像。因此，透射率不在0％至100％的范围内计算。可以在从最小透射率20％到最大透射率100％的范围内计算透射率，使得可以通过其看到要叠加的图像。

控制单元153可以读出表示与图像数据相关联的透射率的表达式，并且可以计算每个像素和体素的透射率。控制单元153可以读出关于与图像数据相关联的所有像素和体素的透射率的信息。

亮度的范围为从图像数据的强度的最大值到最小值。基于亮度范围，为显示的图像强度设置显示颜色、透射率和窗口水平(windowlevel)。

术语“捕获时间”指的是捕获图像时的时钟时间。可以存在在多个捕获时间处捕获的多种类型的dicom文件。在这种情况下，有时可以叠加在不同时钟时间捕获的或在基本相等的捕获时间捕获的dicom图像以进行比较。在这种情况下，标签可以具有关于在捕获时间捕获的dicom图像的信息(诸如名称和uid)以被叠加以用于显示，使得可以基于其捕获的时间叠加多个捕获时间处的dicom图像以用于显示。

术语“切片的数量”指的是dicom文件的切片的数量，并且存在具有一个帧的单帧dicom文件和具有多个切片的多帧dicom文件。术语“切片间隔”指的是多个切片之间的间隔。为了叠加两个多帧dicom文件，所有对应的切片可以被叠加以用于显示，如果它们在切片之间具有相等的间隔和相等数量的切片的话。然而，当要叠加具有不同切片数量和不同切片间隔的dicom文件时，不能将一个dicom文件的不同切片分配给另一个dicom文件的所有切片。在这种情况下，可以将最近的相邻坐标处的另一个dicom图像的切片分配给所述一个dicom图像的切片的坐标(切片数量增加的方向轴中的切片位置切片)以被叠加以用于显示。可替代地，可以通过在坐标位置的相邻坐标处从另一个dicom图像的多个切片进行插值来生成与要叠加的所述一个dicom图像的切片的坐标对应的切片。通过插值获得的在切片的特定位置处的图像的像素强度可以是在至少一个其它空间相邻切片的对应位置处的图像的像素强度。

当通过同步显示每个切片以在查看器上的多个图像显示区域中显示多个多帧dicom图像时，同步显示可以基于具有最小切片宽度的切片的切片宽度。在这种情况下，当在一个dicom图像中显示的切片在位置上与另一个dicom图像的切片不匹配时，例如，可以执行处理以显示最近的相邻切片，或者可以通过插值从相邻的切片获得匹配的切片。

不管单帧和多帧dicom文件如何，包括在除dicom文件的图像数据部分之外的元信息中的数据可用于在一个dicom文件中生成叠加图像。例如，当dicom文件的图像数据部分保持氧饱和度图像并且当对应于氧饱和度图像的像素和体素的总血红蛋白量数据被保持在标签中时，可以在不准备多个dicom文件的情况下叠加图像。同样在这种情况下，可以关联地存储表示标签中保持的图像数据的图像类型(在这种情况下为总血红蛋白量)的信息。例如，dicom文件的图像数据部分可以保持氧饱和度图像，并且向每个像素或体素分配1或0的掩模图像可以被保持在其标签中。在这种情况下，可以从标签读出掩模图像，并且掩模图像可以被用于掩蔽保持在图像数据部分中的氧饱和度图像以用于此后的显示。

为了同步或叠加不同图像类型的多帧dicom图像以用于显示，可以在显示之前尽可能地匹配要叠加的两个dicom图像的状态。换句话说，为了同步和叠加保持为具有不同状态(诸如不同朝向或尺寸)的图像，可以在叠加显示之前三维地转换至少一个图像的朝向或尺寸以用于变形和定位。在这种情况下，变形条件可以与要保持的叠加图像相关联。

控制单元153可以读取多个dicom文件及其元信息，并且可以根据元信息的组合在显示单元160上设置布局。可以通过显示应用在弹出窗口上呈现基于元信息的组合的可显示布局，并且操作者可以从呈现的布局中选择一个布局。

控制单元153可以不叠加所选择的dicom图像。即使作为由操作者执行的dicom文件的拖放的结果，也可以不基于由操作者选择的布局在任何画面上生成叠加图像。可以同时将所有多个所选文件拖放到特定显示区域，或者可以将所选文件一个接一个地拖放到特定显示区域。可以叠加三个不同的图像以用于显示。

控制单元153可以基于其元信息自动叠加在匹配的时间捕获的dicom图像。控制单元153可以基于它们的元信息叠加在不同时间捕获的一种类型的多个dicom图像和在不同时间捕获的另一种类型的多个dicom图像以用于显示。在这种情况下，具有在相同位置或相邻位置处的对象的图像或者在相同时间或在相邻时间捕获的图像可以被叠加以用于显示。控制单元153可以在一个画面上顺序地更新和显示在不同时间捕获的多个叠加图像，或者可以基于其经过的时间在多个画面上显示它们。

操作者可以使用输入单元170来改变被设置为默认的叠加样式。

可以基于与图像数据相关联地保存的元信息(不包括图像类型)来确定与图像类型的组合相对应的不包括叠加样式的显示参数。例如，当未提供与图像类型的组合对应的颜色方案或叠加顺序时，控制单元153可基于表示在目标图像的标签中描述的颜色方案或叠加顺序的信息来确定颜色方案或叠加顺序。

可以提供描述与图像类型对应的显示模式的表，使得图像数据可以以与其图像类型对应的显示模式被叠加。因此，叠加图像可以以与图像类型的组合对应的叠加样式被显示。例如，对于多普勒图像的图像类型的图像，可以应用如下的显示模式，其中朝向探头移动的血流显示为红色，并且远离探头移动的血流显示为蓝色。对于b模式图像的图像类型的图像，图像可以以灰度显示模式叠加。然而，以这种方式设置叠加样式可能导致所得叠加图像中的问题。例如，当基于根据其图像类型推荐的颜色图叠加图像并且图像具有相似的色调时，可能难以区分图像，这可能妨碍诊断。在这种情况下，检查图像数据之一是否具有描述可接受的颜色图的标签。如果是并且当可接受的颜色图是易于识别的颜色图时，可以使用可接受的颜色图。例如，将描述如下的情况，其中要叠加的一个dicom图像具有与其图像类型对应的红色-绿色-蓝色的颜色图，并且要叠加的另一个dicom图像具有与其图像类型对应的蓝色-白色-红色的颜色图。在这种情况下，如果其中一个的可接受的颜色图是基于灰度的，则可以以灰度显示该一个颜色图。如果对应于dicom图像的图像类型的颜色图是基于灰度的，并且当其中一个的可接受的颜色图显示除黑色和白色之外的颜色时，可以应用该颜色图来显示图像。为了实现这些显示形式，模态可以将图像数据与表示可接受的颜色图的元信息相关联地保存。

当一个dicom图像具有红色-绿色-蓝色的颜色图，而另一个dicom图像具有蓝色-白色-红色的颜色图时，其中一个颜色图可以被转换为单色，或者两个颜色图可以转换为更清楚的颜色图以用于显示。不基于通常使用的颜色图的图像类型的标签可以描述没有特定的颜色图。在这种情况下，显示应用可以设置颜色图，以防止关于要叠加的颜色图的解释混淆。可以以一种颜色显示图像，或者可以对其应用其中颜色基于图像的强度而改变的颜色图。由表达式表示的颜色和图像值之间的关系可以被保持在图像数据的标签中，并且控制单元153可以基于该表达式计算并生成颜色图。

当图像在图像显示区域上被叠加时，如果仅显示叠加图像，则可能无法识别图像的图像类型或细节。可以在图像显示区域附近显示所显示的图像的细节作为解释性说明。可替代地，可以右击所显示的图像，或者可以在所显示的图像被选择的状态下选择信息显示按钮，使得弹出窗口可以出现以显示所选图像的细节。

根据该实施例的显示方法可以简化用于设置用于显示适于诊断的图像的显示参数的操作者的操作。

示例1

下面将描述具体示例。根据示例1，通过显示应用在显示单元上显示从光声诊断装置输出的总血红蛋白量图像和从超声诊断装置输出的b模式图像。在这种情况下，总血红蛋白量图像被叠加在超声b模式图像上，其中b模式图像以基于0到255的强度的灰度进行显示，而总血红蛋白量图像被以基于黄色的颜色图进行显示。

在该示例中，操作者首先在pc中激活显示应用，启动图像查看器，并按下显示应用中的dicom文件选择按钮。当操作者按下dicom文件选择按钮时，出现作为选择画面的弹出窗口，并且操作者可以选择要显示的dicom文件。根据该示例，操作者选择总血红蛋白量dicom文件和b模式图像dicom文件，并将它们拖动到查看器上。当拖动两个dicom文件时，控制单元153读出表示在dicom文件的标签中描述的图像类型的信息。控制单元153获得关于与所读取的图像类型的组合相对应的适合于读影和诊断的颜色图、强度、透射率和叠加目标的类型名称的信息。然后，控制单元153设置用于叠加的信息，诸如关于与图像类型相对应的适合于读影和诊断的颜色图、强度、透射率和叠加目标的类型名称的信息，并叠加它们。

根据该示例，显示应用将基于0到255的强度的灰度的b模式图像设置为第一层(背景)中的基本图像，并将作为黄色图的总血红蛋白量图像设置为第二层(前景)。显示应用基于第二层中的总血红蛋白量图像的图像类型的组合来设置透射率，并将其叠加在第一层中的b模式图像上。对于较低的总血红蛋白量，透射率增大，而对于较高的总血红蛋白量，透射率降低，使得具有较高血液量和较高总血红蛋白量的部分可以以高强度显示为黄色。

因此，当操作者使用显示应用来选择要显示的多个dicom文件时，可以基于在其标签中描述的信息在适于读影和诊断的条件下显示图像。

示例2

根据示例2，从光声诊断装置输出的氧饱和度图像和从超声诊断装置输出的b模式图像被显示在显示单元上。在这种情况下，氧饱和度图像被叠加在b模式图像上，其中b模式图像以基于0到255的强度的灰度进行显示，而氧饱和度图像以蓝色到红色的颜色图进行显示。

在该示例中，操作者首先在pc中激活显示应用并按下显示应用中的dicom文件选择按钮。当操作者按下dicom文件选择按钮时，出现作为选择画面的弹出窗口，并且操作者可以选择要显示的dicom图像。根据该示例，操作者选择氧饱和度dicom文件和b模式图像dicom文件。当选择两个dicom文件时，控制单元153读出表示在dicom文件的标签中描述的图像类型的信息。控制单元153获得关于与图像类型的组合对应的适合于读影和诊断的颜色图、强度、透射率和叠加目标的类型名称的信息。然后，控制单元153设置用于显示的信息，诸如关于与图像类型的组合对应的适合于读影和诊断的颜色图、强度、透射率和叠加目标的类型名称的信息，并显示它们。

根据该示例，b模式图像被设置在第一层中，从而以基于0-255的强度的灰度显示它，并且将氧饱和度图像设置在第二层中，从而以颜色图显示它，其中该颜色图以红色显示100％的氧饱和度并且以蓝色显示0％的氧饱和度。在这种情况下，对于图像的每个像素，氧饱和度dicom文件的一个标签描述基于来自关于用于的氧饱和度计算的吸收系数的信息中的吸收系数分布的最大值对吸收系数进行归一化所获得的权重。通过归一化吸收系数获得的权重用于第二层中的氧饱和度图像的透射率设置，并且在第一层中的b模式图像上，所得到的图像被叠加并且以红色到蓝色的颜色图显示。

在这种情况下，随着归一化吸收系数值的权重减小，透射率降低，并且随着归一化吸收系数值的权重增大，透射率增大，使得可以以更高的强度显示具有较高吸收系数的具有大量血液的部分。

标签还描述了每个体素的吸收系数值的权重，并且控制单元153可以从标签读取透射率的分布。

因此，可以提供一种技术，当操作者选择要在显示应用中显示的氧饱和度值和b模式图像dicom文件时，该技术可以基于dicom文件的标签中描述的信息在适于读影和诊断的条件下显示它们。

在该示例中，在标签中描述了透射率的权重。代替该方案，可以通过一次操作读取吸收系数dicom文件、氧饱和度dicom文件和b模式dicom文件。然后，基于表示dicom文件的图像类型的组合的信息，显示应用可以从吸收系数dicom文件计算针对透射率归一化的权重分布。然后，通过权重分布加权的氧饱和度图像可以被叠加在显示应用中的b模式图像上。归一化的最大值可以是图像中的最大亮度值，或者可以是预先输入的值或由操作者通过用户界面设置的值。

示例3

根据示例3，从光声诊断装置输出的氧饱和度图像和总血红蛋白量图像的dicom图像被叠加，以用于以对应于图像类型的显示模式进行显示。将在对应于dicom文件的图像类型的颜色图不基于灰度的情况下描述该示例。

在该示例中，操作者首先在pc中激活显示应用并按下显示应用中的dicom文件选择按钮。当按下dicom文件选择按钮时，出现作为选择画面的弹出窗口，并且操作者可以选择要显示的dicom文件。根据该示例，操作者选择氧饱和度图像和总血红蛋白量图像，并将它们拖放到一个画面上的查看器上。当拖动两个dicom文件时，控制单元153读出表示标签中描述的图像类型的信息。控制单元153获得关于与图像类型对应的适合于读影和诊断的颜色图、强度、透射率和叠加目标的类型名称的信息。然后，控制单元153设置用于显示的信息，诸如关于与图像类型对应的适合于读影和诊断的颜色图、强度、透射率和类型名称的信息，并显示它们。

在该示例中，对应于从两个dicom文件读取的图像类型的颜色图以红色到蓝色显示氧饱和度并且以黄色显示总血红蛋白量。直接叠加它们可能会妨碍它们之间的清楚区分。在这种情况下，控制单元153可以从标签读取dicom文件的可接受的颜色图，以确定叠加是否产生适当的颜色图。在该示例中，氧饱和度图像不具有可接受的颜色图，但是总血红蛋白量图像具有作为可接受的颜色图的灰度设置。总血红蛋白量图像可以以灰度显示，使得叠加图像可以导致叠加图像之间的清楚区分。然而，当叠加图像的颜色使得叠加部分清楚时，不一定要改变它们的颜色图。

因此，在难以使用与其图像数据的图像类型对应的颜色图来区分叠加的图像的情况下，可以基于除了图像类型之外的在标签中描述的信息来设置适合于读影和诊断的颜色图。

第二实施例

下面将描述根据第二实施例的图像显示系统的配置和处理。因为根据该实施例的图像显示系统具有与根据第一实施例的图像显示系统的配置基本相同的配置，所以将省略对配置的任何重复描述。将主要描述与第一实施例的不同之处。

根据该实施例的控制单元153可以在操作者选择dicom文件之前或者在文件选择画面上选择多个dicom文件时自动地或基于操作者的选择来设置画面的布局。术语“画面的布局”指的是确定用于显示图像的区域的数量以及如何布置它们。

将参考图9和图10描述基于由操作者设置的画面的布局来布置图像的方法。图9示出了用于选择布局的方法。布局选择画面301包括与画面的数量对应的图像显示区域302。布局选择按钮303可以用于与四个或更多个画面对应的布局，并且按钮304可以用于选择图像显示区域相对于画面是垂直还是水平布置。参考图9，图像显示区域被水平布置。图10示出了图像布局方法。图像显示区域306被显示在查看器中。显示应用的文件选择窗口307显示表示彼此不同的多个dicom文件的图标308。文件选择窗口307显示图标308，使得操作者可以通过图标308选择任意文件。箭头309表示用于拖放图像显示区域的操作，在该图像显示区域上操作者通过相应的图标308选择目标dicom文件以用于显示。显示了三个图像显示区域306(左、中和右区域)。b模式图像被拖放到左图像显示区域。b模式图像和总血红蛋白量图像被拖放到中间图像显示区域。b模式图像和氧饱和度图像被被拖放到右图像显示区域。这里假设将多个dicom文件拖动到中间和右图像显示区域，并且对应于dicom文件的图像被叠加。

参考图10，dicom文件被拖放到图像显示区域，使得操作者可以选择要叠加哪些文件以用于显示。在选择布局之后可以点击图像显示区域中的一个，使得图像显示区域出现用于选择要显示的图像的文件选择画面307。

作为由操作者对多个dicom文件执行拖放操作到一个图像显示区域的结果，dicom文件的标签可能没有描述它们可以被叠加或者可能描述了与它们的图像类型对应的颜色图使图像难以区分。在某些情况下，可以将三个或更多dicom文件拖放到一个图像显示区域。在这些情况下，可以呈现弹出窗口以通知操作者图像不能被叠加，或者可以呈现选择窗口以用于选择另一个dicom文件。

根据该实施例，操作者可以选择画面布局，选择要叠加的图像并拖放它们，使得可以基于其图像数据中的元信息在显示应用中适当地叠加图像。

示例4

下面将描述更具体的示例。根据示例4，操作者可能没有选择三个或更多个所选dicom文件的布局，并且显示应用设置用于显示它们的显示布局。

在该示例中，操作者首先在pc中激活显示应用，启动图像查看器，并按下显示应用中的dicom文件选择按钮。当操作者按下dicom文件选择按钮时，出现作为选择画面的弹出窗口，使得操作者可以选择要显示的dicom文件。根据该示例，操作者在文件选择画面上选择氧饱和度dicom文件、总血红蛋白量dicom文件和b模式dicom文件这三个。

例如，显示应用可以读出表示dicom文件的图像类型的信息，并从如图6或图7所示的表中读出与所选择的dicom文件的图像类型的组合对应的显示模式。根据该示例，因为图像类型的组合对应于no.2，所以显示图像3、显示图像4和显示图像5被显示在显示设备上。

可以基于除了关于图像类型的信息之外的元信息的组合来确定三个或更多个图像数据的显示模式。例如，根据该示例，b模式图像dicom文件的标签可以将氧饱和度图像和总血红蛋白量图像描述为叠加目标。另一方面，氧饱和度图像dicom文件的标签可以仅将b模式图像描述为叠加目标，并且总血红蛋白量图像dicom文件的标签可以仅将b模式图像描述为叠加目标。控制单元153读出关于三个文件的元信息，以确定文件的叠加目标。在该示例中，氧饱和度图像和b模式图像的组合以及总血红蛋白量图像和b模式图像的组合可以用于叠加。将双画面图像显示区域设置为图像布局，并且从dicom文件的元信息中读出细节。然后，基于这些信息，这些组合被显示在图像显示区域上。

根据该示例，当操作者选择要显示的三个图像数据时，显示应用可以自动确定布局和叠加组合，并在适合于读影和诊断的条件下显示叠加图像。

示例5

根据示例5，操作者选择用于图像显示的布局，并且操作者选择要针对所选布局中的图像显示区域显示的dicom文件。显示应用读取所选的dicom文件，并根据读取的详细元信息来显示它们。

根据该示例，操作者首先在pc中激活显示应用并启动图像查看器。当操作者按下显示应用中的dicom文件选择按钮时，出现作为布局选择画面的弹出窗口。操作者可以从布局选择画面中选择目标布局。然后，出现文件选择画面，并且要显示的dicom文件可以被拖放到操作者选择的布局中的图像显示区域。

在该示例中，操作者可以在布局选择画面上选择包括三个图像显示区域的布局，并将要显示的图像的dicom文件拖放到图像显示区域，如图9和图10所示。同样在该示例中，如图9所示，b模式图像被拖放到左图像显示区域。b模式图像和总血红蛋白量图像被拖放到中间图像显示区域。b模式图像和氧饱和度图像被拖放到右图像显示区域。

控制单元153读出三个文件中的元信息，并在适合于显示dicom图像的条件下显示图像。

根据该示例，在显示应用中，操作者可以选择要显示的布局，选择要在图像显示区域上显示的图像，并在适于读影和诊断的条件下显示图像。

根据该示例，操作者可以首先选择布局并选择要显示的dicom文件，然后可以显示布局选择画面。这些操作可以以任何顺序执行。

已经描述了操作者每次按下布局选择按钮以用于布局选择时改变要选择的布局的示例，可以以任何其它方法确定用于显示的布局。例如，如图11所示，可以在查看器的一部分上显示用于选择布局的布局条，并且可以选择其中的布局按钮来设置所选择的布局。布局条310还具有用于选择除显示的布局之外的其它布局的按钮。

示例6

根据示例6，操作者可以选择用于图像显示的布局，并且操作者可以选择要在所选布局中的图像显示区域上显示的dicom文件。例如当基于与关于图像的元信息对应的颜色图叠加图像时，可能难以区分图像，因为颜色图是相似的。在这种情况下，显示应用可以将其通知给操作者，然后使得操作者可以选择另一图像。

根据该示例，操作者首先激活pc中的显示应用并启动图像查看器。当操作者按下显示应用中的布局选择按钮时，出现操作者可以在其上选择布局的作为布局选择画面的弹出窗口。然后，出现文件选择画面，并且要显示的dicom文件可以被拖放到操作者选择的布局中的图像显示区域。

在该示例中，操作者可以在布局选择画面上选择包括三个图像显示区域的布局，并将要显示的图像的dicom文件拖放到图像显示区域，如图9和图10所示。在该实施例中，b模式图像被拖放到左图像显示区域。b模式图像和总血红蛋白量图像被拖放到中间图像显示区域。总血红蛋白量图像和氧饱和度图像被拖放到右图像显示区域。

控制单元153读出三个文件中的元信息，并在适合于dicom图像的显示的条件下设置显示模式。当两个文件被拖放到右图像显示区域时，基于文件的元信息设置图像的颜色图。如果确定与图像文件的元信息对应的颜色图的叠加妨碍了图像的区分，则如图12所示出现弹出窗口以将其通知给操作者。如下所述，当可以获得能够区分图像的可接受的颜色图时，可以通过通知它(例如，总血红蛋白量以灰度显示)来基于可接受的颜色图叠加图像。

在该示例中，与氧饱和度图像的元信息对应的颜色图为蓝色到红色，并且标签没有描述可接受的颜色图。另一方面，与总血红蛋白量图像的元信息对应的颜色图是黄色，并且标签将灰度描述为可接受的颜色图。在这种情况下，可以将总血红蛋白量图像的颜色图改变为灰度，使得可以显示其中可以区分两个图像的叠加图像。因此，显示应用将总血红蛋白量图像的颜色图设置为灰度，并且叠加两个图像。

通过在弹出窗口上通知所选图像的组合不适合于叠加，可以在弹出窗口上显示是否要叠加它们，或者可以在其上显示用于设置显示模式(诸如颜色图)的gui。

示例7

根据示例7，选择在不同时间捕获并具有不同图像类型的多个dicom文件，显示应用确定图像之间的时间对应性，使得与在时间上相邻的捕获时间对应的图像被叠加以用于显示。

根据该示例，操作者首先激活pc中的显示应用并启动图像查看器。当操作者按下显示应用中的布局选择按钮时，出现作为布局选择画面的弹出窗口，操作者可以在其上选择具有一个图像显示区域的布局。然后，出现文件选择画面，并且操作者可以选择要显示的dicom文件。

图13示出了查看器上的文件选择画面和图像显示区域。图13示出了文件选择画面401。画面401包括在不同时间捕获的三个b模式图像，由光声诊断装置在不同时间捕获的三个氧饱和度图像，以及一个ct图像的dicom文件。这里，通过粗线强调选择的b模式图像和氧饱和度图像。给予每个dicom文件的数字表示作为与文件相关联的元信息的捕获的时间(年、月、日、小时、分钟、秒)。控制单元153可以基于表示捕获时间的元信息来确定叠加目标。图13还示出了查看器上的图像显示区域标志402。图13还示出了b模式图像中的肿瘤403a和氧饱和度图像中的血管403b。解释性说明404与图像相关联。图14示出了解释性说明404的细节。

为了在此叠加图像，要叠加的目标dicom文件的捕获时间不必完全匹配。在时间上相邻的时间处捕获的图像可以被叠加。控制单元153可以基于其dicom文件的元信息来确定要叠加的图像类型。图13示出了具有表示其捕获时间的最小数字的b模式图像和具有表示捕获时间的最高数字的氧饱和度图像的叠加图像。这里具有表示其捕获时间的最小数字的b模式图像表示在文件选择画面401上布置在顶部的b模式图像。具有表示捕获时间的最高数字的氧饱和度图像表示文件选择画面401中从顶部开始的第四个氧饱和度图像。在图13所示的示例中，对应于一个捕获时间的叠加图像被显示在一个图像显示区域中，并且响应于用鼠标点击或对轮的操作而被改变为与不同捕获时间对应的另一叠加图像。已经描述了要叠加的图像是基于它们的捕获时间来确定的，但是它们可以基于坐标位置(诸如相对于装置的坐标位置或者相对于内部器官的坐标位置)来确定。

图15示出了以在相邻时间捕获的图像的并行叠加图像进行显示的模式。图15示出了与彼此不同的多个捕获时间对应的叠加图像405(或在彼此相邻的时间捕获的叠加图像)和解释性说明404。可以将解释性说明呈现为弹出窗口，以响应于在选择和激活目标图像之后的右击或者在应用上选择信息显示按钮而被显示。在图15中示出了所显示的三个叠加图像，可以显示其数量等于可能组合的数量的叠加图像，或者可以定义要显示的叠加图像的数量和尺寸，使得操作者可以在视觉上识别查看器上的图像。可替代地，可以对查看器上显示的三个图像中的一个执行点击或滚轮操作，以通过保持三个图像显示范围来从右到左馈送按照捕获时间的顺序布置的叠加图像。因此，可以显示比显示区域的数量多的叠加图像。操作者可以从选择画面选择布局。当操作者选择多个文件时，可以选择这种基于捕获时间的馈送模式和并行显示模式中的一个。可以以重叠的方式显示多个叠加图像，如图16所示。图16示出了以时间序列显示的重叠叠加图像406。操作者可以点击或操作鼠标滚轮以改变在时间序列叠加图像406的最前面显示的图像。可以显示多个叠加图像，使得可以识别捕获时间的顺序。

根据该示例，已经描述了多个单帧dicom文件被选择并被叠加在相应的dicom文件上以用于显示，但是可以选择不同图像类型的多帧dicom文件，并且其中的对应图像可以被叠加以用于显示。所选择的不同图像类型的多帧dicom文件的帧数可能彼此不对应。可以从第一帧开始叠加帧以用于显示，或者可以仅根据由操作者执行的馈送操作来显示具有关于其标签的对应信息的帧。

示例8

根据示例8，在不同时间捕获的并且具有不同图像类型的多个dicom文件被叠加，以与来自例如心电图仪的其它数据同步地显示图像。

在该示例中，操作者首先激活pc中的显示应用并启动图像查看器。操作者可以激活文件选择画面并选择要叠加的dicom文件(在这种情况下为氧饱和度图像的dicom文件和b模式图像的dicom文件)。接下来，操作者可以选择要同步的其它数据(诸如心电图数据)。然后，基于文件的捕获时间，同步显示叠加图像和心电图数据。根据该示例的显示应用，可以基于dicom文件的图像类型和数据(心电图数据)的组合来确定显示模式以与文件同步。

图17示出了根据该示例的显示应用的查看器。图17示出了来自心电图仪的心跳数据407、从在心电图数据中的某个峰值处定义的0开始的由数值表示的时钟时间(ms)408、由虚线表示的叠加图像的捕获时间409以及b模式图像和氧饱和度图像的叠加图像410。基于要叠加的多个图像中的一个的捕获时间或捕获时间的中间时钟时间来确定捕获时间409中的每一个。

参考图17，氧饱和度图像和b模式图像被叠加，并且按照捕获时间的顺序并行显示其叠加图像。参考图17，心电图数据被与捕获的时间相关联地保存，并且由虚线表示的捕获时间409中的每个表示心电图数据的心跳数据的捕获时间与叠加图像的捕获时间之间的对应性。在图17中，右上端图像和左下端图像是相同的叠加图像。因此，即使在有限的显示区域中，操作者也可以容易地视觉识别图像之间的时间关系。

可以改变心电图仪的显示周期(时间长度)，使得可以基于心电图仪的显示周期来更新要显示的叠加图像。可能不是所有的叠加图像与心电图仪的一些显示周期并行显示。在这种情况下，可以改变要显示的叠加图像的数量，使得可以显示与心电图仪的显示周期相对应的图像的数量。

第三实施例

下面将描述根据第三实施例的图像显示系统的配置和处理。在根据本实施例的图像显示系统中，可以从各种pc查看并搜索保存在用作存储单元的服务器中的来自多个模态的dicom文件。下面将主要描述与第一实施例的不同之处。

图18是示出了根据该实施例的图像显示系统的配置的示意图。与第一实施例不同，根据该实施例的图像显示系统不具有与模态功能对应的探头180和信号收集单元140。另一方面，根据该实施例的图像显示系统包括服务器200，服务器200被配置为存储由模态获得的图像数据。具有要由计算机150执行的显示控制的功能的系统可以被称为图像显示系统。

服务器200从具有发送dicom文件的功能的模态接收数据并存储该数据。响应于来自控制单元153的请求，服务器200可以搜索对应的dicom文件并且可以发送信息。可以从连接到网络的终端访问通过网络从服务器200保存到数据中心中的服务器的信息。

控制单元153可与服务器200通信，并且可以搜索存储在服务器200中的dicom文件。当操作者选择一个dicom文件时，控制单元153可以读取关于dicom文件的元信息并获得患者id，使得可以在服务器200上搜索患者id。在这种情况下，控制单元153可以获得具有相同患者id的dicom文件或者关于相关联的dicom文件的元信息。控制单元153可以读出关于一个患者的多个dicom文件的元信息，并且可以基于元信息的组合以叠加方式在显示单元160上显示叠加图像。

可替代地，操作者可以不指定一个dicom文件，而是可以通过显示应用中的搜索窗口指定诸如患者id、捕获日期、图像类型和捕获的医院之类的信息，使得可以在服务器200上搜索相应的图像数据。换句话说，操作者可以使用输入单元170来输入诸如患者id之类的元信息，并且控制单元153基于输入的元信息在服务器200上进行搜索以获得关联的dicom文件。即使dicom文件由于是在不同的医院被捕获的而具有不同的患者id，如果表示患者与具有该患者id的患者相同的信息被写入dicom文件的标签中，也可以获得与一个患者相关联的dicom文件。

根据该实施例，已经描述了一个计算机150在服务器200上查看和搜索图像数据，但是多个计算机可以在服务器200上查看和搜索图像数据。

示例9

下面将描述更具体的示例。根据示例9，操作者可以选择预先保存在存储单元152中的dicom文件，使得控制单元153可以读取dicom文件的患者id，搜索服务器200上的相关dicom文件，并将其发送到控制单元153。控制单元153可以将从服务器200发送的dicom文件与文件名和叠加图像一起显示为与所选择的dicom文件相关的文件。

图19示出了如下的画面，操作者可以在该画面上双击以选择预先存储在存储单元152中的一个dicom文件，并响应于按下图像布局按钮将其显示在显示单元160上。可以通过双击来选择dicom文件501。当选择dicom文件501时，控制单元153读取dicom文件的患者id并在服务器200上搜索患者id。通过搜索找到具有相同患者id的dicom文件502。在查看器上显示布局选择画面503。在该示例中，为了显示四个画面，操作者可以按下按钮504以显示四个或更多个画面，并选择用于四个画面的图像显示区域的布局。

图20示出了四画面布局的选择操作和对要显示到图像显示区域的图像的随后的拖放操作的结果。对所选dicom文件的拖放操作由标号504指代。在该示例中，在查看器中提供四个图像显示区域505。图像被显示在图像显示区域上。b模式图像仅被显示在左上画面上，b模式图像和总血红蛋白量图像的叠加图像被显示在左下画面上。b模式图像和氧饱和度图像的叠加图像被显示在右上画面上，并且mri图像仅显示在右下画面上。因此，当b模式图像叠加在作为功能信息的氧饱和度图像或总血红蛋白量图像上时，可以识别单独显示的b模式图像中不存在的组织的显示位置。还可以将这些图像与来自诸如mri的另一模态的图像输出进行比较。

在该示例中，操作者首先激活pc中的显示应用并启动图像查看器。当操作者按下文件选择按钮时，控制单元153选择并读取预先存储在存储单元152中的dicom文件。

控制单元153读取所选择的dicom文件的元信息以获得患者id。在服务器200上搜索所获得的患者id，并且服务器200将通过搜索获得的dicom文件发送到控制单元153。

控制单元153在显示单元160上的文件选择画面上显示发送的dicom。操作者可以从显示的文件选择画面中选择除了已经显示的图像以外的要显示的dicom，并将所选择的图像叠加在已经显示的图像上。在这种情况下，如同前述实施例那样，可以基于由控制单元153读取的元信息来设置图像显示设置。叠加以外的显示形式也是适用的。例如，所选图像可以与已经显示的图像一起并排显示。

示例10

根据示例10，通过在查看器上改变其尺寸和方向来定位不同类型的多个多帧dicom图像中的一个，并且将其它图像叠加在其上以用于同步显示。

图21示出了根据该示例的查看器。查看器中的一个图像显示区域601显示了如下的一个截面，在该截面中，切片数量等于帧数的b模式图像和氧饱和度图像被叠加。查看器中的另一图像显示区域602显示了尺寸和切片的数量与氧饱和度图像的尺寸和切片的数量不同的多帧mri图像的截面。图像中的相同的活体组织603在图像之间具有不同的尺寸和方向。箭头604表示拖放操作。

这里，通过在图像查看器中的右图像显示区域上点击和拖动(或点击和拉动图像)来执行定位，以改变图像的朝向并放大图像的尺寸。图22示出了可以定位活体组织的尺寸和朝向的定位结果。然后，总血红蛋白量图像dicom文件被拖放到查看器中的右图像显示区域，以将总血红蛋白量图像dicom文件叠加在具有定位的形状和方向的活体组织图像上。在该状态下馈送切片的情况下，如果在图像显示区域中显示的图像中的切片间隔不同，则可以显示所显示的dicom图像中的一个的切片坐标的最近的相邻切片。

在该示例中，多帧图像的一个截面被用于更改尺寸和朝向。然而，可以在查看器中显示三维图像，并且可以改变其尺寸和截面。在这种情况下，三维图像可以通过体绘制例如从作为一组二维切片的多帧图像生成，并且可以改变尺寸和截面，并且可以根据与叠加目标图像对应的切片的数量和像素节距而被显示或叠加。

因此，可以通过操作者改变它们的朝向和尺寸来定位从各种模态输出的、各种类型和条件的dicom图像，使得它们可以在适于读影和诊断的条件下自由地显示。

其它实施例

本发明的一个或多个实施例也可以由读出并执行在存储介质(其也可被更完整地称作‘非瞬时计算机可读存储介质’)上记录的计算机可执行指令(例如，一个或多个程序)以执行上述实施例中的一个或多个实施例的功能和/或包括用于执行上述实施例中的一个或多个实施例的功能的一个或多个电路(例如，专用集成电路(asic))的系统或装置的计算机来实现，以及通过由系统或装置的计算机例如通过读出并执行来自存储介质的计算机可执行指令以执行上述实施例中的一个或多个实施例的功能并且/或者控制一个或多个电路以执行上述实施例中的一个或多个实施例的功能来执行的方法来实现。计算机可以包括一个或多个处理器(例如，中央处理单元(cpu)、微处理单元(mpu))并且可以包括用来读出并执行计算机可执行指令的单独计算机或单独处理器的网络。计算机可执行指令可以例如从网络或者存储介质被提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(ram)、只读存储器(rom)、分布式计算系统的存储装置、光盘(诸如紧凑盘(cd)、数字多用途盘(dvd)或者蓝光盘(bd)^tm)、闪存装置、存储卡等中的一个或多个。

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。

虽然已经参考示例性实施例描述了本发明，但是应该理解，本发明不限于所公开的示例性实施例。所附权利要求的范围应被赋予最广泛的解释，以包含所有这些修改以及等同的结构和功能。

本申请要求2016年10月7日提交的日本专利申请no.2016-198891的权益，其全部内容通过引用包含于此。