图像处理装置及图像显示方法与流程

本发明涉及图像处理装置及图像显示方法。

背景技术：

以往，将医疗器具插入于心脏等脏器或血管(以下适当记载为“脏器等”)内来治疗脏器等。例如在专利文献1中，公开了一种生成脏器等的三维图像的技术。通过利用这样生成的脏器等的三维图像，而能够掌握脏器等的状况。

现有技术文献

专利文献

专利文献1：国际公开第2016/140116号

技术实现要素：

另外，为了对脏器等实施恰当的治疗，掌握医疗器具在脏器等的内部的经时位置是重要的。但是，通过插入于脏器等的内部的超声波振子等周围信息获取设备所能够观测到的区域受到限制，难以显示在脏器等的内部移动的医疗器具的经时位置。

本发明的目的在于鉴于上述问题而提供能够显示医疗器具在脏器等内部的经时位置的图像处理装置及图像显示方法。

作为本发明的一个方案的图像处理装置具备：驱动部，其与位于筒状部件的内部的作为周围信息获取设备的超声波振子或摄像元件连结；和图像处理部，其基于上述超声波振子或上述摄像元件获取的脏器、血管或医疗器具的信息，依次生成脏器、血管或医疗器具的二维图像，并基于上述二维图像，生成脏器、血管或医疗器具的三维图像，上述驱动部使上述超声波元件或上述摄像元件沿着上述筒状部件的延伸方向移动，上述图像处理部具备：存储部，其存储位置对应信息及/或图像对应信息，该位置对应信息是示出与上述驱动部的位置相对应的、上述三维图像内的沿规定坐标轴的位置的信息，该图像对应信息是将上述三维图像内的沿规定坐标轴的位置和多个二维图像建立对应的信息；以及控制部，其基于上述位置对应信息或上述图像对应信息，确定与上述超声波元件或上述摄像元件的当前位置相对应的上述三维图像内的位置，实时地生成在上述三维图像内识别显示所确定的三维图像内的位置的显示信息。

在作为本发明的一个实施方式的图像处理装置中，上述存储部存储上述位置对应信息、和示出相对于上述驱动部的位置的上述超声波元件或上述摄像元件的位置的相关位置对应信息，上述控制部基于上述位置对应信息及上述相关位置对应信息，确定与上述超声波元件或上述摄像元件的当前位置相对应的、上述三维图像内的沿上述规定坐标轴的位置，上述超声波元件或上述摄像元件的当前位置是根据上述驱动部的当前位置确定的。

在作为本发明的一个实施方式的图像处理装置中，上述驱动部等速移动，上述控制部基于上述超声波元件或上述摄像元件在当前位置处获取到的上述信息，以规定时间间隔依次生成上述脏器或血管的内部的当前的二维图像，并以升序生成与该当前的二维图像建立了对应的取号信息，上述位置对应信息包含上述驱动部的移动速度的信息及上述规定时间间隔的信息。

在作为本发明的一个实施方式的图像处理装置中，上述存储部存储上述图像对应信息，上述控制部基于上述超声波元件或上述摄像元件在当前位置处获取到的上述信息，生成上述脏器或血管的内部的当前的二维图像，从上述图像对应信息所包含的多个二维图像抽取与该当前的二维图像相类似的二维图像，将所抽取的二维图像所对应的、上述三维图像内的沿上述规定坐标轴的位置确定为与上述超声波元件或上述摄像元件的当前位置相对应的上述三维图像内的位置。

在作为本发明的一个实施方式的图像处理装置中，上述控制部基于上述超声波元件或上述摄像元件在当前位置处获取到的上述信息，生成上述脏器或血管的内部的当前的二维图像，将该二维图像追加到上述显示信息。

作为本发明的一个方案的图像处理装置具备：驱动部，其与位于筒状部件的内部的超声波元件或摄像元件连结；和图像处理部，其基于上述超声波元件或上述摄像元件获取的脏器、血管或医疗器具的信息，依次生成脏器、血管或医疗器具的二维图像，并基于上述二维图像，生成脏器、血管或医疗器具的三维图像，上述驱动部使上述超声波元件或上述摄像元件沿着上述筒状部件的延伸方向往复移动，上述图像处理部基于上述超声波元件或上述摄像元件一边通过上述驱动部而往复移动一边经时地获取的上述信息，依次生成上述二维图像。

在作为本发明的一个实施方式的图像处理装置中，上述图像处理部具备存储上述二维图像及上述三维图像的存储部。

在作为本发明的一个实施方式的图像处理装置中，上述图像处理部基于上述驱动部在上述筒状部件的延伸方向上的位置，对上述超声波元件或上述摄像元件在上述筒状部件的延伸方向上的位置进行确定。

在作为本发明的一个实施方式的图像处理装置中，上述驱动部还使上述超声波元件或上述摄像元件沿着上述筒状部件的周向旋转。

在作为本发明的一个实施方式的图像处理装置中，上述存储部还存储上述超声波元件或上述摄像元件的往复范围的信息，上述驱动部基于上述往复范围的信息，使上述超声波元件或上述摄像元件往复移动。

在作为本发明的一个实施方式的图像处理装置中，上述图像处理部还具备能够受理起点位置信息及终点位置信息的输入的输入部，上述存储部将所输入的起点位置信息及终点位置信息存储为上述往复范围的信息。

在作为本发明的一个实施方式的图像处理装置中，上述超声波元件或上述摄像元件能够获取沿着与上述延伸方向正交的平面的、上述筒状部件的周围的周围信息，上述存储部还存储指定上述延伸方向上的规定位置的位置指定信息，上述图像处理部具备控制部，该控制部基于上述超声波元件或上述摄像元件在与上述位置指定信息相对应的位置处获取到的上述周围信息，生成上述二维图像。

作为本发明的一个方案的图像显示方法具备：驱动部，其与位于筒状部件的内部的超声波元件或摄像元件连结；和图像处理部，其基于上述超声波元件或上述摄像元件获取的脏器、血管或医疗器具的信息，依次生成脏器、血管或医疗器具的二维图像，并基于上述二维图像，生成脏器、血管或医疗器具的三维图像，上述驱动部使上述超声波元件或上述摄像元件沿着上述筒状部件的延伸方向移动，上述图像处理部具备显示部，该显示部能够显示上述三维图像、上述三维图像的截面位置信息、和与上述截面位置信息相对应的位置处的二维图像，上述显示部同时显示上述三维图像、上述截面位置信息、上述二维图像。

在作为本发明的一个实施方式的图像显示方法中，上述显示部显示：作为上述截面位置信息的、沿上述三维图像的规定坐标轴不同的位置处的多个截面位置信息；和作为上述二维图像的、与上述多个截面位置信息分别相对应的多个二维图像。

在作为本发明的一个实施方式的图像显示方法中，上述显示部将上述超声波元件或上述摄像元件的当前位置显示到上述三维图像上。

发明效果

根据本发明的图像处理装置及图像显示方法，能够显示医疗器具在脏器等的三维图像内的经时位置。

附图说明

图1是表示作为本发明的一个实施方式的图像处理装置的概略结构的框图。

图2是图1所示的图像处理装置的概略图。

图3是插入有超声波振子的医疗设备的立体图。

图4是图3所示的医疗设备的剖视图。

图5是图3所示的医疗设备的从远位侧观察到的主视图。

图6是表示使用了超声波振子的脏器等信息获取方法的流程图。

图7是表示在右心房固定了导管的状态的图。

图8是表示在图7所示的状态下所得到的脏器等的三维图像的图。

图9是表示在左心房固定了导管的状态的图。

图10是表示在图9所示的状态下所得到的脏器等的三维图像的图。

图11是表示图像处理装置所执行的第1显示处理的流程图。

图12是表示图像处理装置所执行的第1往复范围设定处理的流程图。

图13是表示图像处理装置所执行的第2往复范围设定处理的流程图。

图14是表示图像处理装置所执行的第2显示处理的流程图。

图15是表示伴随着第2显示处理的显示信息的一个例子的示意图。

图16是表示三维图像内的沿规定坐标轴的位置的一个例子的图。

图17是表示驱动部的位置的一个例子的图。

图18是表示位置对应信息的一个例子的图。

图19是表示图像对应信息的一个例子的图。

图20是表示图像处理装置所执行的第3显示处理的流程图。

图21是表示伴随着第3显示处理的显示信息的一个例子的示意图。

图22是表示伴随着第3显示处理的显示信息的一个例子的示意图。

具体实施方式

以下，参照附图来说明本发明的一个实施方式。在各图中对共同的结构部标注相同的附图标记。另外，在本说明书中，将医疗设备2的插入于脏器等的内部的一侧称为“远位侧”或“前端侧”，将进行操作的手边侧称为“近位侧”或“基端侧”。

[图像处理装置1]

图1是表示作为本发明的一个实施方式的图像处理装置1的概略结构的框图。图2是图像处理装置1的概略图。如图1及图2所示，图像处理装置1具备驱动部50、台座59和图像处理部60。图像处理部60具备显示部51、输入部52、存储部53、控制部54和信息输入部55。详情将在后叙述，图像处理部60基于后述的超声波振子21等周围信息获取设备获取的脏器、血管或医疗器具的信息，生成三维图像。

如图1所示，信息输入部55与外部的超声波检查器20的超声波振子21电连接。超声波检查器20具备超声波振子21、轴22和管23。

作为周围信息获取设备的超声波振子21获取心脏等脏器或血管(以下适当记载为“脏器等”)、或者位于脏器等的内部的医疗器具的信息。具体地说，超声波振子21朝向脏器等或位于脏器等的内部的医疗器具发射超声波，将从该脏器等或该医疗器具反射的超声波作为信息接收。图像处理装置1经由信息输入部55，基于作为该超声波振子接收到的信息的超声波，依次生成脏器等或医疗器具的二维图像。而且，图像处理装置1基于依次生成的多个二维图像，生成及显示脏器等或医疗器具的三维图像。

如图1所示，驱动部50内置马达，经由轴22与超声波振子21连结，使该超声波振子21沿着后述的导管40的延伸方向往复移动。具体地说，如图2所示，驱动部50固定超声波检查器20，并被载置于台座59。驱动部50能够相对于台座59沿着超声波检查器20的延伸方向(即后述的导管40的延伸方向)往复移动。因此，驱动部50通过驱动部50自身沿着超声波检查器20的延伸方向往复移动，而能够使超声波振子21沿着导管40的延伸方向往复移动。而且，驱动部50也可以使超声波振子21一边往复移动，一边沿着导管40的周向旋转。在该情况下，驱动部50可以使超声波振子21向一个朝向连续地旋转，也可以使其一边反复改换旋转的朝向一边摆动。

显示部51显示输出由控制部54生成的显示信息。显示部51包含例如液晶显示器或有机el显示器等显示设备。

输入部52受理基于操作者对信息或指示的输入，将受理的输入信息或输入指示输出到控制部54。输入部52包含例如键盘、鼠标或触摸面板等输入设备。在输入部52包含触摸面板的情况下，触摸面板也可以与显示部51一体地设置。

存储部53存储用于使控制部54执行特定的功能的各种信息及程序。另外，存储部53存储由控制部54生成的被检者的脏器等的三维图像。存储部53包含例如ram(randomaccessmemory，随机存取存储器)或rom(readonlymemory，只读存储器)等存储装置。

控制部54控制构成图像处理装置1的各结构部的动作。控制部54通过读入特定的程序而执行特定的功能。控制部54例如包含处理器。

信息输入部55受理作为周围信息获取设备的超声波振子21所获取的脏器等或位于脏器等的内部的医疗器具等的周围信息的输入。具体地说，信息输入部55经由在轴22内延伸的信号线与超声波振子21电连接，获取与超声波振子21所获取的周围信息相关的信号，将该信号向控制部54发送。控制部54基于所输入的信息生成二维图像，并基于该二维图像生成脏器等或医疗器具的位置或区域的信息。

超声波振子21例如位于超声波检查器20的远位端，收发超声波。超声波振子21能够将超声波照射到对象物，并基于从该对象物反射的超声波获取至该对象物为止的距离等的信息。轴22是在前端部固定超声波振子21、在基端部与驱动部50连结的具有挠性的线状部件。管23是将轴22的周向覆盖的具有挠性的筒状部件。超声波振子21例如被插入于后述的医疗设备2的导管40而使用。也可以是超声波检查器20及后述的医疗设备2一起构成一个超声波导管。

[医疗设备2]

图3是插入有超声波振子21的医疗设备2的立体图。图4是医疗设备2的剖视图，图5是医疗设备2的从远位侧观察到的主视图。

如图3～图5所示，医疗设备2具备导丝10、电极30a～30j和作为筒状部件的导管40。导管40在内部划分出能够内插超声波检查器20的第1腔管41、和能够内插导丝10的第2腔管42。在图3～图5中，示出超声波检查器20被内插于第1腔管41、导丝10被内插于第2腔管42的状态。以下只要没有特别告知，则设为超声波检查器20及导丝10分别被内插于第1腔管41及第2腔管42的状态进行说明。

导丝10从近位侧向远位侧延伸。导丝10具有直线状部11、和与直线状部11连结的设于远位侧的端部的环状扩张部12。环状扩张部12由例如形状记忆合金等金属构成，以在作用一定以下的外力的环境下扩张成环状的方式进行形状记忆。

在图3及图5所示的状态下，环状扩张部12与第2腔管42的远位端(后述的远位侧连通孔44)相比位于远位侧，扩张成环状。环状扩张部12朝向导丝10的直线状部11的径向a外侧扩张，沿着导丝10的直线状部11的周向b延伸。环状扩张部12在扩张成环状的状态下，比导管40的外径大。另外，如图3所示，在从导丝10的前端侧进行观察的情况下，导丝10的直线状部11和导管40位于扩张成比导管40的外径大的环状的环状扩张部12的环状内部。以下，即使在环状扩张部12扩张成环状的状态下，也将导丝10的直线状部11的径向简记为“径向a”，将导丝10的直线状部11的周向简记为“周向b”。另外，以下只要没有特别告知，则设为环状扩张部12扩张成环状的状态进行说明。

电极30a～30j固定于环状扩张部12，沿着环状扩张部12的延伸方向、即导丝10的周向b，分别固定于不同的位置。以下，在不对电极30a～30j进行区分的情况下，统一记载为电极30。

通过使电极30与脏器等的内壁接触，而能够检测该脏器等的内壁的电气特性。作为电气特性，例如能够使用电极30与接触于脏器等的其他部位的其他电极之间的电位差等。电极30以从环状扩张部12的远位端13露出的方式配置，通过将环状扩张部12的远位端13推抵于脏器等的内壁，而能够使之与脏器等的内壁接触。

如图3及图4所示，超声波检查器20的中心轴o沿着导管40的延伸方向延伸。超声波振子21通过绕中心轴o旋转并收发超声波，而获取与中心轴o正交的平面中的周围信息。而且，由超声波振子21获取到的周围信息经由信息输入部55被发送到控制部54，控制部54生成与中心轴o正交的平面的二维图像。控制部54能够基于所得到的二维图像，生成例如脏器等的内壁面的位置及区域的信息(以下记载为“脏器等位置信息”)等、脏器等的内壁面的位置及区域的信息。控制部54能够生成位于导管40的外侧且位于脏器等的内部的医疗器具的位置及区域的信息(以下记载为“器具位置信息”)。在此，超声波振子21也可以从径向倾斜规定角度、例如3°～18°地发送超声波。通过像这样从径向倾斜规定角度地发送超声波，而能够抑制检测到从第1腔管41的内周面反射的超声波(振铃信号(ringdown))。

超声波振子21通过接收从导丝10的直线状部11反射的超声波，而能够获取以中心轴o为中心的周向上的与导丝10的器具相应的超声波信息。超声波振子21获取到的周围信息经由信息输入部55被发送到控制部54。控制部54能够在基于所输入的周围信息生成了二维图像后，基于该二维图像，推定导丝10的位置及区域。

如图4所示，轴22在沿中心轴o的远位端固定超声波振子21。轴22能够以中心轴o为中心沿着导管40的周向旋转。超声波振子21通过与轴22的旋转连动地绕中心轴o旋转，而能够获取中心轴o周围的周围信息。另外，轴22能够沿着中心轴o即导管40的延伸方向移动。超声波振子21通过与轴22的沿中心轴o的移动连动地沿着中心轴o移动，而能够沿着中心轴o获取周围信息。在此所得到的周围信息被依次发送到控制部54。控制部54生成与中心轴o正交的平面的二维图像。在轴22沿着中心轴o移动时，管23也与轴22的移动连动地移动。轴22的外径比超声波振子21的外径小。

如图4所示，管23为将轴22的周向覆盖的具有挠性的筒状部件。管23由于与轴22密接，所以能够不阻碍轴22的旋转及移动地、相对于导管40在延伸方向上滑动。另外，为了使超声波检查器20的基端侧的手边的推入力容易传递到超声波检查器20的前端侧，管23的基端部比管23的前端部硬。

如图3及图4所示，导管40具有作为远位侧的端部的前端部45、和作为近位侧的端部的未图示的基端部，第2腔管42是仅被在前端部45划分出的、快速交换(rx)型的导管。导管40的第1腔管41从导管40的前端部45连通至未图示的基端部。换言之，第1腔管41从设于基端部的未图示的开口与外部连通，为了能够进行预充而从设于前端部45的开口46与外部连通。开口46的内径优选比超声波振子21的外径小。由此，由于抑制了内插于第1腔管41的超声波振子21通过开口46被排出到外部，所以超声波振子21的位置与导丝10的环状扩张部12相比被限制在基端侧。超声波振子21能够相对于导丝10在导丝10的延伸方向上移动。另外，由于第1腔管41与导丝10的环状扩张部12相比被划分在导丝10的径向a内侧，所以超声波振子21与环状扩张部12相比配置在导丝10的径向a内侧。导管40并不限定于rx型的导管，也可以为其他形状的导管，例如整体交换(otw)型的导管。但是，从容易如上述那样构成的方面考虑，优选rx型的导管。

如图4所示，导管40的第2腔管42在前端部45位于与第1腔管41的延伸方向正交的方向。另外，第2腔管42沿着第1腔管41的延伸方向延伸。在本例中，第2腔管42从形成于导管40的侧面的近位侧连通孔43延伸至形成于导管40的远位端的远位侧连通孔44。通过使第1腔管41和第2腔管42为上述位置关系，而能够使超声波振子21与导丝10的环状扩张部12相比沿着基端侧的直线状部11的延伸方向配置。另外，导丝10以贯穿第2腔管42的状态被内插，能够相对于导管40在延伸方向上自由地移动。此时，导丝10的直线状部11位于与超声波振子21的轴向正交的方向。第2腔管42的内径比第1腔管41的内径小。

[脏器等信息获取方法]

图6是表示使用了位于导管40的内部的第1腔管41中的超声波振子21的脏器等信息获取方法的流程图。如图6所示，脏器等信息获取方法按时序包括插入工序(步骤s10)、固定工序(步骤s20)和信息获取工序(步骤s30)。

首先，说明在作为脏器等的心脏的作为内腔的右心房内获取脏器等信息的方法。图7是表示在右心房ra固定了导管40的状态的图。如图7所示，在步骤s10的插入工序中，医疗从业人员等操作者通过第1导引鞘83将导管40从前端侧经由直径比被检者的右心房ra小的作为第1血管的下腔静脉ivc插入到右心房ra内。此时，操作者通过第2导引鞘84将作为医疗器具的房间隔穿刺(brockenbrough)针80经过下腔静脉ivc插入到右心房ra内。房间隔穿刺针80用于贯穿将右心房ra和左心房la隔离的卵圆窝h而从右心房ra开通到左心房la。

如图7所示，在步骤s20的固定工序中，操作者将导管40的前端部45插入到从右心房ra连通的直径比右心房ra小的作为第2血管的上腔静脉svc。具体地说，能够首先将导丝10插入到上腔静脉svc、然后再沿着导丝10将导管40的前端部45插入到上腔静脉svc。由此，抑制了导管40的前端部45的振动。而且，由于导管40的基端侧进入到直径比右心房ra小的下腔静脉ivc，所以导管40跨着直径比右心房ra小的上腔静脉svc和下腔静脉ivc而延伸，抑制了导管40的位于右心房ra内的部分的振动及移动。另外，通过使导管40的位于右心房ra内的部分弯曲，而能够使供超声波振子21通过的第1腔管41弯曲。通过像这样使第1腔管41弯曲，而能够使超声波振子21沿着导管40的延伸方向移动时所通过的位置发生变化，因此，能够接近例如脏器等的内壁面的尤其想要观察的部位(例如心脏的卵圆窝h)。另外，通过将直径比导管40的前端部45大的位于导丝10的前端的环状扩张部12插入到上腔静脉svc内，而能够进一步固定导管40的前端部45的位置。

如图7所示，在步骤s30的信息获取工序中，在抑制了导管40的位于右心房ra内的部分的振动及移动的状态下，超声波振子21一边在导管40的第1腔管41内移动，一边获取右心房ra的内壁面的脏器等的周围信息。并且，控制部54基于超声波振子21获取的周围信息，依次生成二维图像，并基于该二维图像，生成右心房ra的内壁面的脏器等位置信息。由于像这样，在抑制了导管40的位于右心房ra内的部分的振动及移动的状态下，在导管40内移动超声波振子21，所以即使使超声波振子21沿着导管40的周向旋转，其也会稳定地旋转，即使使超声波振子21沿着导管40的延伸方向移动，其也会稳定地移动。因此，能够稳定地获取右心房ra的内壁面的脏器等位置信息。在步骤s30的信息获取工序中，超声波振子21也获取作为医疗器具的房间隔穿刺针80的器具信息。此时，存储部53随时存储在超声波振子21沿着导管40的延伸方向移动时控制部54所生成的二维图像、和当时的超声波振子21的位置。

控制部54使用存储于存储部53的信息，根据在步骤s30的位置获取工序中获取的右心房ra的内壁面的脏器等位置信息、以及获取到该脏器等位置信息时的超声波振子21的位置及区域，生成脏器等(在此为心脏的右心房ra)的三维图像。图8是表示在图7所示的状态下得到的作为脏器等的心脏的三维图像的图。如图8所示，得到包含右心房ra的内壁面中的、作为由房间隔穿刺针80贯穿的目标部位的卵圆窝h的三维图像。脏器等的三维图像的生成方法的详情将在后叙述。

脏器等信息获取方法也可以还包括调整工序。如图7所示，在调整工序中，操作者一边维持导管40的前端部45被插入于作为第2血管的上腔静脉svc的状态，一边使导管40变形，使超声波振子21的移动路径发生变化。例如，当操作者推入导管40后，导管40发生变形，由此导管40的第1腔管41的路径的形状发生变化。由于超声波振子21在第1腔管41内移动，所以当第1腔管41的路径的形状发生变化时，超声波振子21所移动的路径也发生变化。由此，由于由超声波振子21获取的右心房ra的内壁面的周围信息发生变化，所以基于该周围信息生成的脏器等(在此为心脏的右心房ra)的三维图像也发生变化。因此，例如即使在作为医疗器具的房间隔穿刺针80在三维图像上隐藏于第2导引鞘84等而没有被显示的情况下，通过操作者进一步推入导管40，而也能够使房间隔穿刺针80显示于三维图像。

接下来，说明在作为脏器等的心脏的作为内腔的左心房内获取脏器等位置信息的方法。图9是表示在左心房la固定了导管40的状态的图。如图9所示，在步骤s10的插入工序中，操作者通过第1导引鞘83将导管40从前端侧经由下腔静脉ivc(参照图7)、右心房ra(参照图7)、及由房间隔穿刺针80贯穿的直径比左心房la小的卵圆窝h，插入到左心房la内。此时，操作者通过第2导引鞘84将作为医疗器具的消融导管(ablationcatheter)81经由右心房ra及卵圆窝h插入到左心房la内。消融导管81用于对肺静脉pv的开口周围进行烧灼而进行消融治疗。

如图9所示，在步骤s20的固定工序中，操作者将导管40的前端部45插入到从左心房la连通的直径比左心房la小的作为第2血管的肺静脉pv。具体地说，能够首先将导丝10插入到肺静脉pv、然后再沿着导丝10将导管40的前端部45插入到肺静脉pv。由此，抑制了导管40的前端部45的振动。而且，由于导管40的基端侧进入到直径比左心房la小的卵圆窝h，所以导管40跨着直径比左心房la小的肺静脉pv和卵圆窝h而延伸，抑制了导管40的位于左心房la内的部分的振动及移动。

如图9所示，在步骤s30的信息获取工序中，在抑制了导管40的位于左心房la内的部分的振动及移动的状态下，超声波振子21一边在导管40的第1腔管41内移动一边获取左心房la的内壁面的周围信息。并且，控制部54基于该周围信息，依次生成二维图像，并基于该二维图像，生成左心房la的内壁面的脏器等位置信息。由于像这样，在抑制了导管40的位于左心房la内的部分的振动及移动的状态下，在导管40内移动超声波振子21，所以即使使超声波振子21沿着导管40的周向旋转，其也会稳定地旋转，即使使超声波振子21沿着导管40的延伸方向移动，其也会稳定地移动。因此，能够稳定地获取左心房la的内壁面的脏器等位置信息。在步骤s30的信息获取工序中，超声波振子21也获取作为医疗器具的消融导管81的周围信息。此时，存储部53随时存储在超声波振子21沿着导管40的延伸方向移动时控制部54所生成的二维图像、和当时的超声波振子21的位置。

控制部54使用存储于存储部53的信息，根据在步骤s30的信息获取工序中获取的左心房la的内壁面的脏器等位置信息、以及获取到该脏器等位置信息时的超声波振子21的位置及区域，生成左心房la的三维图像。图10是表示在图9所示的状态下得到的左心房la的三维图像的图。如图10所示，得到包含左心房la的内壁面中的、作为由消融导管81烧灼的目标部位的肺静脉pv的开口周围的三维图像。

另外，脏器等信息获取方法也可以还包括再固定工序。如图7及图9所示，在再固定工序中，操作者一边维持导管40经由作为第1血管的下腔静脉ivc被插入于作为心脏内腔的右心房ra内的状态，一边将前端部45从作为第2血管的上腔静脉svc拔掉，并插入到从右心房ra经由卵圆窝h连通的作为第3血管的肺静脉pv。通过再固定工序，在于右心房ra(参照图7)内获取到脏器等位置信息后于左心房la(参照图9)内获取脏器等位置信息的情况下，能够顺利地从于右心房ra内获取脏器等位置信息的操作向于左心房la内获取脏器等位置信息的操作转移。

在超声波振子21在沿中心轴o(参照图3及图4)的方向上具有多个超声波发送部的情况下，只要使超声波振子21沿着导管40的周向旋转，则即使不使超声波振子21沿着导管40的延伸方向移动，也能够得到图8及图10所示的三维图像。另一方面，在超声波振子21在沿中心轴o的方向上具有一个超声波发送部的情况下，通过使超声波振子21一边沿着导管40的周向旋转，一边沿着导管40的延伸方向移动，而能够得到图8及图10所示的三维图像。

[第1显示处理]

图11是表示图像处理装置1所执行的第1显示处理的流程图。第1显示处理作为图6所示的步骤s30的信息获取工序中的处理而被执行。另外，图像处理装置1在执行第1显示处理之前，将被检者的脏器等的三维图像存储于存储部53。

如图11所示，例如当输入部52(参照图1等)受理了开始指示的输入后，图像处理装置1开始超声波振子21(参照图3等)的往复移动(步骤s41)。详细地说，超声波振子21通过驱动部50(参照图2等)的驱动，开始沿着导管40(参照图3等)的延伸方向往复移动。以后，超声波振子21继续往复移动，直至在后述的步骤s45的处理中输入部52受理了结束指示。图像处理装置1在通过后述的第1往复范围设定处理(参照图12)或第2往复范围设定处理(参照图13)预先将往复范围的信息存储于存储部53的情况下，使用驱动部50，在基于该往复范围的信息的往复范围内，使超声波振子21往复移动。

图像处理装置1基于由超声波振子21获取的周围信息，使用控制部54，获取医疗器具的器具位置信息(步骤s42)。在此，医疗器具位于导管40的外侧、且位于脏器等的内部的规定范围。超声波振子21一边沿着导管40的延伸方向往复移动，一边获取沿着与导管40的延伸方向正交的平面的周围信息。控制部54基于该周围信息，获取医疗器具的器具位置信息。

然后，图像处理装置1实时地、即以实时处理生成并存储将所获取的医疗器具的器具位置信息通过重叠显示等而识别显示于脏器等的三维图像的显示信息(步骤s43)。详细地说，超声波振子21一边沿着导管40的延伸方向往复移动，一边获取周围信息，控制部54基于该周围信息，与器具位置信息一起同时获取脏器等位置信息。图像处理装置1使用控制部54(参照图1等)从存储部53(参照图1等)读出脏器等的三维图像，分别对与经时地获取到的脏器等位置信息相对应的三维图像内的位置进行确定。并且，图像处理装置1生成将在步骤s42的处理中获取到的医疗器具的器具位置信息重叠显示于三维图像的所确定出的位置的显示信息。然后，图像处理装置1将所生成的显示信息存储于存储部53。此时，在存储部53中已经存储有显示信息的情况下，图像处理装置1取代已经存储的显示信息，而存储新生成的显示信息。例如，在如图7所示在右心房ra固定了导管40的状态下执行图11所示的第1显示处理的情况下，如图8所示，生成将作为医疗器具的房间隔穿刺针80的器具位置信息重叠于右心房ra的三维图像的显示信息。另外，例如，在如图9所示在左心房la固定了导管40的状态下执行图11所示的第1显示处理的情况下，如图10所示，生成将作为医疗器具的消融导管81的器具位置信息重叠于左心房la的三维图像的显示信息。

图像处理装置1实时地、即以实时处理显示所生成的显示信息(步骤s44)。详细地说，图像处理装置1使用控制部54，读出存储于存储部53的显示信息，使其显示于显示部51(参照图1等)。此时，在显示部51上已经显示有显示信息的情况下，图像处理装置1将其更新成新生成的显示信息的显示。

图像处理装置1判定输入部52是否受理了结束指示(步骤s45)。图像处理装置1在输入部52受理了结束指示的情况下(步骤s45的是)，结束第1显示处理。另一方面，图像处理装置1在输入部52没有受理结束指示的情况下(步骤s45的否)，返回到步骤s42的处理，再次获取医疗器具的器具位置信息。

如上述那样，超声波振子21通过驱动部50而沿着导管40的延伸方向往复移动，由此获取经时的周围信息。而且控制部54基于该周围信息，获取医疗器具的经时的器具位置信息。并且，控制部54生成在脏器等的三维图像内识别显示了医疗器具的经时的器具位置信息的显示信息。由此，由于能够在治疗中显示医疗器具在脏器等的三维图像内的经时位置，所以能够有助于脏器等的妥当的治疗。

图12是表示图像处理装置1所执行的第1往复范围设定处理的流程图。第1往复范围设定处理在执行图11所示的第1显示处理之前被执行。

如图12所示，图像处理装置1显示脏器等的三维图像(步骤s51)。详细地说，图像处理装置1使用控制部54(参照图1等)，从存储部53(参照图1等)读出脏器等的三维图像，并使所读出的三维图像显示于显示部51(参照图1等)。

图像处理装置1使用输入部52(参照图1等)，受理起点位置信息的输入(步骤s52)。起点位置信息是将显示于显示部51的脏器等的三维图像的任意位置指定为超声波振子21(参照图3等)的往复范围的起点的信息。

图像处理装置1使用输入部52，受理终点位置信息的输入(步骤s53)。详细地说，终点位置信息是将显示于显示部51的脏器等的三维图像的任意位置指定为超声波振子21的往复范围的终点的信息。起点位置信息及终点位置信息的输入例如通过使用作为输入部52的与显示部51一体地设置的触摸面板、或作为输入部52的鼠标，指定显示于显示部51的脏器等的三维图像的任意两点来进行。步骤s53的处理可以在步骤s52的处理之前执行，也可以与步骤s52的处理同时执行。

图像处理装置1使用控制部54，判定输入部52是否受理了决定指示(步骤s54)。图像处理装置1在输入部52受理了决定指示的情况下(步骤s54的是)，进入步骤s55的处理。另一方面，图像处理装置1在输入部52没有受理决定指示的情况下(步骤s54的否)，返回到步骤s52的处理，再次受理起点位置信息的输入。

图像处理装置1在输入部52受理了决定指示的情况下(步骤s54的是)，将所输入的起点位置信息及终点位置信息作为超声波振子21的往复范围的信息存储于存储部53(步骤s55)，结束第1往复范围设定处理。然后，图像处理装置1在图11所示的第1显示处理的步骤s41的处理中，读出存储于存储部53的往复范围的信息，使用驱动部50，在基于该往复范围的信息的往复范围内，使超声波振子21往复移动。

如上述那样，图像处理装置1能够一边参照三维图像，一边以简易的操作在视觉上设定图11所示的第1显示处理中的超声波振子21的往复范围。

图13是表示图像处理装置1所执行的第2往复范围设定处理的流程图。第2往复范围设定处理在执行图11所示的第1显示处理之前被执行。

如图13所示，图像处理装置1使用输入部52(参照图1等)，受理起点设定指示的输入(步骤s61)。

图像处理装置1基于输入了起点设定指示的时间点下的驱动部50(参照图2等)的位置，存储往复范围的起点位置(步骤s62)。在此，由于根据输入了起点设定指示的时间点下的驱动部50的位置而确定了将驱动部50和超声波振子21(参照图3等)连结的轴22(参照图4)的沿往复移动的方向的位置，所以能够确定输入了起点设定指示的时间点下的超声波振子21的位置。因此，能够基于该驱动部50的位置，对该时间点下的超声波振子21的位置进行确定，并将该超声波振子21的位置设为往复范围的起点位置。

图像处理装置1使用输入部52，受理终点设定指示的输入(步骤s63)。

图像处理装置1使用控制部54，基于输入了终点设定指示的时间点下的驱动部50的位置，存储往复范围的终点位置(步骤s64)。在此，由于根据输入了终点设定指示的时间点下的驱动部50的位置而确定了将驱动部50和超声波振子21连结的轴22的沿往复移动的方向的位置，所以能够确定输入了终点设定指示的时间点下的超声波振子21的位置。因此，能够基于该驱动部50的位置，对该时间点下的超声波振子21的位置进行确定，并将该超声波振子21的位置设为往复范围的终点位置。

图像处理装置1使用控制部54，判定输入部52是否受理了决定指示(步骤s65)。图像处理装置1在输入部52受理了决定指示的情况下(步骤s65的是)，结束第2往复范围设定处理，将往复范围的信息存储于存储部53。另一方面，图像处理装置1在输入部52没有受理决定指示的情况下(步骤s65的否)，返回到步骤s61的处理，再次受理起点设定指示的输入。图像处理装置1在返回到步骤s61的处理的情况下，取代已经存储的往复范围的信息而将在步骤s61～s64的处理中新设定的往复范围的信息存储于存储部53。在结束第2往复范围设定处理后，图像处理装置1在图11所示的第1显示处理的步骤s41的处理中，读出存储于存储部53的往复范围的信息，使用驱动部50，在基于该往复范围的信息的往复范围内，使超声波振子21往复移动。

如上述那样，图像处理装置1能够基于驱动部50的位置，一边确认超声波振子21实际移动的距离，一边以简易的操作设定图11所示的第1显示处理中的超声波振子21的往复范围。

[第2显示处理]

图14是表示图像处理装置1所执行的作为第1显示处理(参照图11)的变形例的第2显示处理的流程图。第2显示处理作为图6所示的步骤s30的位置获取工序中的处理而被执行。第2显示处理是在图11所示的第1显示处理中的显示信息的基础上将作为被检者的脏器等的三维图像上的任意位置的截面的二维图像设为显示信息的处理。另外，图像处理装置1在执行第2显示处理之前，将被检者的脏器等的三维图像存储于存储部53(参照图1等)。

如图14所示，图像处理装置1显示脏器等的三维图像(步骤s301)。详细地说，图像处理装置1使用控制部54(参照图1等)，从存储部53读出脏器等的三维图像，使所读出的三维图像显示于显示部51(参照图1等)。

图像处理装置1使用输入部52(参照图1等)，受理位置指定信息的输入(步骤s302)。位置指定信息是将显示于显示部51的脏器等的三维图像的任意位置指定为使作为截面的二维图像显示的位置的对象的信息。

图像处理装置1使用控制部54，将所输入的位置指定信息存储于存储部53(步骤s303)。

图像处理装置1使用控制部54，判定输入部52是否受理了输入结束指示(步骤s304)。图像处理装置1在输入部52受理了输入结束指示的情况下(步骤s304的是)，进入步骤s305的处理。另一方面，图像处理装置1在输入部52没有受理输入结束指示的情况下(步骤s304的否)，返回到步骤s302的处理，再次受理位置指定信息的输入。图像处理装置1在返回到步骤s302的处理的情况下，将在步骤s302及s303的处理中新设定的位置指定信息与已经存储的位置指定信息一起存储于存储部53。换言之，图像处理装置1能够将多个位置指定信息存储于存储部53。

图像处理装置1在步骤s305的处理中，开始超声波振子21(参照图3等)的往复移动(步骤s305)。详细地说，超声波振子21通过驱动部50(参照图2等)的驱动，沿着导管40(参照图3等)的延伸方向开始往复移动。以后，超声波振子21继续往复移动，直至在后述的步骤s311的处理中输入部52受理了结束指示。同样地，图像处理装置1在后述的步骤s306～310的处理的基础上，也并行地执行第1显示处理(参照图11)的步骤s42～s44的处理，直至在步骤s311的处理中输入部52受理了结束指示。换言之，图像处理装置1除了基于第2显示处理对二维图像的显示、更新以外，还执行基于第1显示处理对三维图像的显示、更新。另外，图像处理装置1在通过上述的第1往复范围设定处理(参照图12)或第2往复范围设定处理(参照图13)预先将往复范围的信息存储于存储部53的情况下，使用驱动部50，在基于该往复范围的信息的往复范围内，使超声波振子21往复移动。

图像处理装置1在步骤s306的处理中，基于在与位置指定信息相对应的位置处获取到的周围位置信息，生成二维图像。详细地说，首先，图像处理装置1使用超声波振子21，经时地获取沿着与导管40的延伸方向正交的平面的周围信息。图像处理装置1使用控制部54，基于超声波振子21在与位置指定信息相对应的位置处获取到的周围信息，生成二维图像。在此，所生成的二维图像是沿着与导管40的延伸方向正交的平面的、相对于脏器等的三维图像的截面图像。

图像处理装置1使用控制部54，判定存储于存储部53的显示信息中是否已经包含与位置指定信息相对应的二维图像(步骤s307)。图像处理装置1通过第1显示处理的步骤s43的处理，将显示信息存储于存储部53。图像处理装置1在存储于存储部53的显示信息中不包含与位置指定信息相对应的二维图像的情况下(步骤s307的否)，将本次生成的二维图像追加到存储于存储部53的显示信息，并存储于存储部53(步骤s309)。另一方面，图像处理装置1在存储于存储部53的显示信息中已经包含与位置指定信息相对应的二维图像的情况下(步骤s307的是)，以本次生成的二维图像对存储于存储部53的显示信息所包含的二维图像进行更新并存储于存储部53(步骤s308)。

图像处理装置1使用控制部54，使存储于存储部53的显示信息显示于显示部51(步骤s310)。

图像处理装置1使用控制部54，判定输入部52是否受理了结束指示(步骤s311)。图像处理装置1在没有受理结束指示的情况下(步骤s311的否)，返回到步骤s306的处理。另一方面，图像处理装置1在受理了结束指示的情况下(步骤s311的是)，结束第1显示处理的变形例中的处理。

如上述那样，图像处理装置1能够一边获取医疗器具的经时的器具位置信息并使其重叠显示于脏器等的三维图像，一边也使作为在脏器等的三维图像中任意指定的位置的截面的二维图像经时地显示。因此，由于能够在治疗中以三维图像和二维图像显示位于脏器等的内部的医疗器具的经时位置，所以能够进一步有助于脏器等的妥当的治疗。

图15是表示伴随着第2显示处理的显示信息的一个例子的示意图。在图15中，示意地以简单的圆柱表示脏器等的三维图像111。如图15所示，显示信息100包含三维图像显示区域110和二维图像显示区域120。在三维图像显示区域110中示出了脏器等的三维图像111、和位于脏器等的内部的医疗器具的器具位置信息112。另外，在三维图像显示区域110中，示出了作为表示根据位置指定信息指定的位置的信息的截面位置信息113a～113c。在二维图像显示区域120中，基于在与截面位置信息113a～113c相对应的位置处获取到的周围位置信息生成的二维图像分别在二维图像显示区域120a～120c被示出。具体地说，在二维图像显示区域120a中仅示出了脏器等的二维图像121。在二维图像显示区域120b及120c中，示出了脏器等的二维图像121和位于脏器等的内部的医疗器具的二维图像122。像这样，由于经时地显示作为在脏器等的三维图像中任意指定的位置的截面的二维图像，所以只要判别医疗器具显示于哪个二维图像，就能够容易对沿导管40的延伸方向的位置中的、医疗器具的位置进行确定。

[第3显示处理]

以下，说明图像处理装置1所执行的第3显示处理。图像处理装置1在执行第3显示处理之前，将被检者的脏器等的三维图像预先存储于存储部53(参照图1等)。另外，图像处理装置1在执行第3显示处理之前，将能够基于超声波振子21(参照图3等)的沿导管40(参照图3等)的延伸方向的位置对脏器等的三维图像内的沿规定坐标轴的位置进行确定的对应信息(以下适当记载为“对应信息”)预先存储于存储部53。

对应信息是例如后述的第1对应信息或第2对应信息。第1对应信息包含位置对应信息和相关位置对应信息。位置对应信息是表示、与脏器等的三维图像内的沿规定坐标轴的位置相对应的、驱动部50(参照图2等)的位置的信息。换言之，位置对应信息是表示与驱动部50的位置相对应的、三维图像内的沿规定坐标轴的位置的信息。位置对应信息也可以是例如脏器等的三维像内的沿规定坐标轴的位置与驱动部50的位置的组合信息。相关位置对应信息是表示相对于驱动部50的位置的、超声波振子21的沿导管40的延伸方向的位置的信息。即，第1对应信息是将超声波振子21的沿导管40的延伸方向的位置、和脏器等的三维图像内的沿规定坐标轴的位置建立了对应的信息。

驱动部50(参照图2等)例如能够基于在第2往复范围设定处理(参照图13)中使用的驱动部50的位置，对超声波振子21的沿导管40的延伸方向的位置进行确定。另外，脏器等的三维图像基于超声波振子21通过驱动部50一边沿着导管40的延伸方向移动一边获取到的周围信息而生成。因此，图像处理装置1能够在驱动部50使超声波振子21移动而生成三维图像时，将超声波振子21在导管40的延伸方向上的位置、和三维图像内的沿规定坐标轴即与导管40的延伸方向相对应的坐标轴的位置的对应信息生成为第1对应信息。

图16是表示脏器等的三维图像211内的沿作为规定坐标轴的z轴的位置的一个例子的图。在图16中，示意地以简单的圆柱表示脏器等的三维图像211。图17是表示驱动部50的位置的一个例子的图。如图17所示，驱动部50能够沿着作为规定坐标轴的a轴在台座59上移动。在图17所示的例子中，驱动部50的中心位置沿着作为规定坐标轴的a轴，位于成为a＝1的位置。

图18是表示位置对应信息的一个例子的图。如图18所示，位置对应信息也可以为将图16所示的脏器等的三维图像211内的沿作为规定坐标轴的z轴的位置、和图17所示的驱动部50的沿作为规定坐标轴的a轴的位置建立了对应的组合信息。但是，位置对应信息并不限定于图18所示那样的组合信息。

上述的位置对应信息并不限定于脏器等的三维图像内的沿规定坐标轴的位置与驱动部50的位置的组合信息。例如，位置对应信息例如也可以包含驱动部50的移动速度的信息、以及作为帧率的规定时间间隔的信息。在该情况下，驱动部50以位置对应信息所包含的移动速度(等速)移动。并且，控制部54基于超声波振子21在当前位置处接收到的超声波，以位置对应信息所包含的规定时间间隔依次生成脏器等的内部的当前的二维图像，并以升序生成与该当前的二维图像建立了对应的作为帧编号的取号信息。然后，控制部54能够基于位置对应信息和取号信息，确定驱动部50在脏器等的三维图像内的位置。此外，位置对应信息也可以还包含驱动部50的初始位置的信息。

第2对应信息包含将多个二维图像和脏器等的三维图像内的沿规定坐标轴的位置建立对应的图像对应信息。详细地说，第2对应信息所包含的多个二维图像基于由超声波振子21获取到的、沿着导管40的延伸方向的周围信息而生成。并且，基于所生成的多个二维图像，生成脏器等的三维图像。因此，各二维图像是构成沿着三维图像的规定坐标轴配置的、与该规定坐标轴正交的截面的截面图像。图像处理装置1能够一边使超声波振子21沿着导管40的延伸方向移动，一边生成第2对应信息，其中该第2对应信息包含多个二维图像和各二维图像所对应的、脏器等的三维图像内的沿规定坐标轴即与导管40的延伸方向相对应的坐标轴的位置的信息。

图19是表示图像对应信息的一个例子的图。如图19所示，图像对应信息也可以是将图16所示的脏器等的三维图像211内的沿作为规定坐标轴的z轴的位置、和由各位置的超声波振子获取且由控制部54生成的截面图像建立了对应的组合信息。

图20是表示图像处理装置1所执行的第3显示处理的流程图。第3显示处理作为图6所示的步骤s30的信息获取工序中的处理而被执行。

如图20所示，图像处理装置1使用控制部54(参照图1等)，基于存储于存储部53的对应信息确定与超声波振子21的当前位置相对应的三维图像内的位置(步骤s71)。详细地说，在存储于存储部53的对应信息为第1对应信息的情况下，图像处理装置1使用控制部54，基于第1对应信息确定与由驱动部50确定的超声波振子21的沿导管40的延伸方向的当前位置相对应的、三维图像内的沿规定坐标轴的位置。

另外，在存储于存储部53的对应信息为第2对应信息的情况下，图像处理装置1使用控制部54，生成基于由超声波振子21在当前位置处获取到的周围信息的、脏器等的当前的二维图像。图像处理装置1从第2对应信息所包含的多个二维图像抽取与所生成的当前的二维图像相类似的二维图像。类似的二维图像的抽取例如能够通过图案识别进行。并且，图像处理装置1从第2对应信息读出所抽取的二维图像所对应的三维图像内的位置，将所读出的位置确定为与超声波振子21的当前位置相对应的三维图像内的位置。

图像处理装置1使用控制部54，生成在三维图像内识别显示所确定的位置的显示信息(步骤s72)。

图像处理装置1使用控制部54，基于超声波振子21在当前位置处获取的周围信息，生成脏器等的当前的二维图像(步骤s73)。在此，所生成的二维图像是沿着与导管40的延伸方向正交的平面的、相对于脏器等的三维图像的截面图像。

图像处理装置1使用控制部54，将所生成的二维图像追加到显示信息(步骤s74)。此时，图像处理装置1在具有已追加到显示信息的二维图像的情况下，取代以前生成的二维图像而将本次生成的二维图像追加到显示信息。

图像处理装置1使用控制部54，使存储于存储部53的显示信息显示于显示部51(参照图1等)(步骤s75)。此时，在显示部51上已经显示有显示信息的情况下，图像处理装置1将其更新成新生成的显示信息的显示。

图像处理装置1使用控制部54，判定输入部52(参照图1等)是否受理了结束指示(步骤s76)。图像处理装置1在没有受理结束指示的情况下(步骤s76的否)，返回到步骤s71的处理。另一方面，图像处理装置1在受理了结束指示的情况下(步骤s76的是)，结束第3显示处理。

图21及图22是表示各自相互不同的时刻下的、伴随着第3显示处理的显示信息的一个例子的示意图。在图21及图22中，示意地以简单的圆柱表示脏器等的三维图像211。如图21及图22所示，显示信息200包含三维图像显示区域210和二维图像显示区域220。在三维图像显示区域210中示出了脏器等的三维图像211。另外，在三维图像显示区域210中示出了超声波振子位置信息213，该超声波振子位置信息213示出作为与超声波振子21的当前位置相对应的三维图像211内的位置而被确定的位置。在二维图像显示区域220中，示出了基于在与超声波振子位置信息213相对应的超声波振子21的当前位置处获取到的周围信息所生成的二维图像。具体地说，在图21所示的二维图像显示区域220a中，仅示出脏器等的二维图像221。在图22所示的二维图像显示区域220b中，示出了脏器等的二维图像221和位于脏器等的内部的医疗器具的二维图像222。

如上述那样，由于图像处理装置1能够在三维图像内识别显示脏器等的三维图像内的与超声波振子21的当前位置相对应的位置，所以能够容易掌握超声波振子21在脏器等的三维图像内的位置。另外，由于图像处理装置1能够显示基于在超声波振子21的当前位置处获取的周围信息所生成的二维图像，所以即使在位于脏器等的内部的医疗器具没有包含于事先所生成的脏器等的三维图像的情况下，或在从事先所生成的三维图像难以视觉辨认的情况下，也能够容易对沿导管40的延伸方向的位置中的、医疗器具的位置进行特定。

本发明并不限定于在上述的各实施方式中被确定的结构，能够在不脱离权利要求书所记载的发明要旨的范围内进行各种变形。例如，能够以各结构部、各步骤等所包含的功能等在逻辑上不矛盾的方式进行再配置，能够将多个结构部或步骤等组合成一个，或者进行分割。

在上述实施方式中，说明了作为周围信息获取设备而使用超声波检查器20的超声波振子21，但并不限定于这样的结构。例如，也可以取代超声波检查器20而使用具备作为周围信息获取设备的摄像元件的装置。作为使用摄像元件的装置，能够列举光学相干断层诊断装置、光学频域成像诊断装置或内视镜等。在使用光学相干断层诊断装置或光学频域成像诊断装置的情况下，作为摄像元件，能够使用朝向周围发射光并检测其反射光的成像核心单元。在使用内视镜的情况下，作为摄像元件，能够使用接收来自被摄体的光并将其转换成与该光的强度相应的电气信号的、ccd传感器和cmos传感器等受光元件。

如以上那样，作为本发明的图像处理装置的一个实施方式的图像处理装置1具备驱动部50和图像处理部60(参照图1)。

驱动部50与超声波振子21或摄像元件连结，该超声波振子21或摄像元件位于作为筒状部件的导管40的内部，发送超声波或光，并接收在脏器、血管或医疗器具上反射的超声波或光(参照图2、图3等)。

图像处理部60能够将超声波振子21或摄像元件接收到的信息(以下记载为“接收信息”)转换成电气信号，依次生成脏器、血管或医疗器具的二维图像，将所生成的二维图像层叠，生成脏器、血管或医疗器具的三维图像。

而且，如上述那样，驱动部50能够使超声波振子21或摄像元件沿着作为筒状部件的导管40的延伸方向移动。

另外，图像处理部60具备存储部53及控制部54(参照图1)。

存储部53能够存储位置对应信息及/或图像对应信息，该位置对应信息是将驱动部50的位置和三维图像内的沿规定坐标轴的位置建立对应的信息，该图像对应信息是将三维图像内的沿规定坐标轴的位置和沿该规定坐标轴层叠的二维图像的位置建立对应的信息。

位置对应信息是如上述那样表示与脏器等的三维图像内的沿规定坐标轴的位置相对应的驱动部50的位置的信息。将驱动部50的位置和三维图像内的沿规定坐标轴的位置建立对应的信息是上述位置对应信息的一个例子。

图像对应信息是如上述那样将多个二维图像和脏器等的三维图像内的沿规定坐标轴的位置建立对应的信息。将三维图像内的沿规定坐标轴的位置和沿该规定坐标轴层叠的二维图像的位置建立对应的信息是上述图像对应信息的一个例子。

控制部54能够基于位置对应信息或图像对应信息，确定与超声波振子21或摄像元件的当前位置相对应的三维图像内的位置。另外，控制部54能够实时地生成在三维图像内识别显示所确定的三维图像内的位置的显示信息。

更具体地说，控制部54作为基于上述图像对应信息的确定方法的一个例子，也可以采用以下的步骤。

(i)将超声波振子21或摄像元件在当前位置处获取到的接收信息转换成电气信号，生成当前位置的二维图像。

(ii)对所生成的当前位置的二维图像和在已经生成的三维图像中层叠的多个二维图像进行对比。

(iii)从层叠的多个二维图像中，抽取与所生成的当前位置的二维图像类似的二维图像。

(iv)将所抽取的二维图像的沿三维图像的规定坐标轴的位置，确定为所生成的当前位置的二维图像的沿三维图像的规定坐标轴的位置。

控制部54也可以通过上述(i)～(iv)的步骤，确定与超声波振子21或摄像元件的当前位置相对应的三维图像内的位置。

在此，上述(iii)中的“类似”表示进行对比的两个二维图像的一致度例如为90％以上的情况。

而且，存储部53也可以除了上述位置对应信息以外，还存储相关位置对应信息。相关位置对应信息是如上述那样表示相对于驱动部50的位置的、超声波振子21或摄像元件的位置的信息。存储部53作为相关位置对应信息的一个例子，例如能够存储将驱动部50的位置和超声波振子21或摄像元件的位置建立对应的信息。这样的相关位置对应信息的一个例子例如能够通过基于驱动部50在作为筒状部件的导管40的延伸方向上的位置对超声波元件21或上述摄像元件在作为筒状部件的导管40的延伸方向上的位置进行确定而获取。

控制部54也可以如上述那样基于上述的位置对应信息及相关位置对应信息，确定与超声波振子21或摄像元件的当前位置相对应的三维图像内的位置。

最后，说明由作为本发明的图像处理装置的一个实施方式的图像处理装置1执行的图像显示方法。

如上述那样，图像处理装置1的图像处理部60具备显示部51(参照图1、图2)。

显示部51如上述那样能够显示三维图像、该三维图像的截面位置信息、和与该截面位置信息相对应的位置处的二维图像(参照图15、图21、图22)。

显示部51能够同时显示三维图像、截面位置信息及二维图像(参照图15、图21、图22)。

更具体地说，如图15所示，显示部51也可以显示作为三维图像的截面位置信息的、沿三维图像的规定坐标轴不同的位置处的多个截面位置信息。另外，如图15所示，显示部51也可以显示作为二维图像的、与多个截面位置信息分别相对应的多个二维图像。

而且，如图21、图22所示，显示部51也可以将超声波元件21或上述摄像元件的当前位置显示到上述三维图像上(参照图21、图22的附图标记“213”)。

工业实用性

本发明涉及图像处理装置及图像显示方法。

附图标记说明

1：图像处理装置

2：医疗设备

10：导丝

11：直线状部

12：环状扩张部

13：环状扩张部的远位端

20：超声波检查器

21：超声波振子(位置获取部)

22：轴

23：管

30、30a～30j：电极

40：导管(筒状部件)

41：第1腔管

42：第2腔管

43：近位侧连通孔

44：远位侧连通孔

45：前端部

46：开口

50：驱动部

51：显示部

52：输入部

53：存储部

54：控制部

55：信息输入部

59：台座

60：图像处理部

80：房间隔穿刺针(医疗器具)

81：消融导管(医疗器具)

83：第1导引鞘

84：第2导引鞘

100：显示信息

110：三维显示区域

111：脏器等的三维图像

112：器具位置信息

113a、113b、113c：截面位置信息

120、120a、120b、120c：二维显示区域

121：脏器等的二维图像

122：医疗器具的二维图像

200：显示信息

210：三维图像显示区域

211：脏器等的三维图像

213：超声波振子位置信息

220、220a、220b：二维图像显示区域

221：脏器等的二维图像

222：医疗器具的二维图像

a：导丝的径向

b：导丝的周向

o：超声波检查器的中心轴

h：卵圆窝

ivc：下腔静脉

svc：上腔静脉

pv：肺静脉

la：左心房

ra：右心房