医疗装置制造方法
医疗装置制造方法
【专利摘要】医疗装置具备：存储部，其存储预先获取到的被检体内的三维图像信息；摄像部，其拍摄被检体内；管腔脏器提取部，其从三维图像信息中提取被检体内的规定管腔脏器的三维形状的图像信息；特征信息获取部，其根据被插入到规定管腔脏器内的摄像部的位置信息，获取提取出的规定管腔脏器的三维形状的图像信息中的特征信息；关联图像生成部，其生成规定管腔脏器的三维形状的图像信息与特征信息相关联的图像；以及显示部，其显示摄像部在规定管腔脏器内的位置信息附近的规定管腔脏器的特征信息。
【专利说明】医疗装置
【技术领域】
[0001 ] 本发明涉及一种拍摄被检体内的医疗装置。
【背景技术】
[0002]内窥镜作为被插入到被检体内且前端部设有摄像单元的医疗装置，广泛应用于医疗领域和其它领域。
[0003]另外，还提出了一种与CT装置等的信息进行组合的医疗装置，以将内窥镜插入到被检体的管腔脏器内来进行检查或者能够根据检查结果来顺利地进行利用处置器具进行的处置等。
[0004]例如作为第一以往例的日本特开2007-7041号公报所公开的手术辅助装置具备:三维位置检测装置，其依次检测内窥镜的位置；图像制作单元，其制作叠加于内窥镜的影像的手术辅助图像；以及坐标整合单元，其将三维位置检测装置的坐标和图像制作单元所具有的图像坐标进行整合。
[0005]图像制作单元使用由MRI等拍摄到的被检体的三维体积图像数据来制作叠加于内窥镜的影像的手术辅助图像。由于坐标整合单元，即使内窥镜的位置、朝向发生变更，也能够在保持与其相对的位置的状态下实时地叠加显示与内窥镜的朝向一致的手术辅助图像。
[0006]另外，在作为第二以往例的日本特开2005-131042号公报中公开了一种插入辅助装置，该插入辅助装置生成支气管的多个分支点处的虚拟内窥镜图像，辅助被插入支气管内的内窥镜。
[0007]然而，在上述第一以往例中并未考虑在依次检测内窥镜的位置的三维位置检测装置的坐标与手术辅助图像的坐标的坐标整合中产生了(位置偏移等的)偏移时的应对手段或者应对方法。当两个坐标产生位置偏移时，导致内窥镜的影像与手术辅助信息偏移了偏移量，因此无法进行如产生偏移之前那样的顺利的手术辅助。
[0008]另外，在第二以往例中并未公开以下结构:使被插入到作为管腔脏器的支气管内的内窥镜的前端部所搭载的摄像单元的位置信息与由CT装置得到的支气管的三维位置信息匹配(matching)。
[0009]因此，为了能够更有效地进行插入辅助而期望以下结构:在内窥镜的前端部或摄像单元的位置信息与摄像单元所插入的管腔脏器的位置信息之间产生了被允许程度以上的偏移的情况下，能够进行手术操作者等易于应对消除偏移这一情况的信息的呈现等。
[0010]本发明是鉴于上述点而完成的，目的在于提供一种能够呈现易于对在搭载于内窥镜等的摄像单元和摄像单元所插入的管腔脏器的信息之间产生了偏移的情况进行应对的信息的医疗装置。
【发明内容】
[0011]本发明的一个方式的医疗装置具备:存储部，其构成为存储预先获取到的被检体内的三维图像信息；摄像部，其构成为拍摄上述被检体内；管腔脏器提取部，其构成为从上述三维图像信息中提取上述被检体内的规定管腔脏器的三维形状的图像信息；特征信息获取部，其构成为根据被插入到上述规定管腔脏器内的上述摄像单元的位置信息，来获取由上述管腔脏器提取部提取出的上述规定管腔脏器的三维形状的图像信息中的特征信息；关联图像生成部，其构成为生成将上述特征信息关联到上述规定管腔脏器的三维形状的图像信息的图像；以及显示部，其构成为显示上述规定管腔脏器内的上述摄像部的位置信息附近的上述规定管腔脏器的特征信息。
【专利附图】
【附图说明】
[0012]图1是表示本发明的第一实施方式的医疗装置的整体结构的图。
[0013]图2A是表示特征信息获取部的结构的框图。
[0014]图2B是表示显示支气管的三维形状的支气管虚拟图像等的图。
[0015]图3是表示图2中的一个分支部周围的详情的图。
[0016]图4是表示将内窥镜的插入部插入支气管内时的医疗装置所进行的插入辅助的处理内容的流程图。
[0017]图5是两个坐标系中的同一位置进行关联时的说明图。
[0018]图6是判断在支气管内插入了内窥镜的插入部时进行了位置测量而得到的摄像装置的位置在规定条件下是否处于管腔内的情况的说明图。
[0019]图7是用于在重启画面中新设定基准位置并校正位置关联信息的说明图。
[0020]图8是表示确定基准位置并校正位置关联信息的处理的流程图。
[0021]图9是表示在支气管内的规定位置设定内窥镜的前端部并进行位置关联的情形的说明图。
[0022]图10是表示本发明的第二实施方式的医疗装置的整体结构的图。
[0023]图11是表示第二实施方式中的将内窥镜的插入部插入支气管内时的医疗装置所进行的插入辅助的处理内容的流程图。
[0024]图12是针对设定于支气管的各区域选择性地设定测量信息的情形的说明图。
[0025]图13是表示第二实施方式的第七变形例中的摄像装置的当前位置等的说明图。
[0026]图14是表示从图13的状态起继续进行获取测量信息的动作时的摄像装置的各位置等的图。
[0027]图15是表示第二实施方式的第九变形例中的在CT断层像图像上显示摄像装置的位置时的关联图像的显示例的图。
[0028]图16是表示在图15中在摄像装置的位置存在于切剖面上时和不存在于切剖面上时以不同的形状进行显示的情况的显示例的图。
[0029]图17是表示第二实施方式的第九变形例中的在CT断层像图像上显示摄像装置的位置并且还显示虚拟内窥镜图像的关联图像的显示例的图。
【具体实施方式】
[0030]以下，参照【专利附图】
【附图说明】本发明的实施方式。
[0031](第一实施方式)
[0032]如图1所示，本发明的第一实施方式的医疗装置I主要由内窥镜装置4和插入辅助装置5构成，该内窥镜装置4具备内窥镜3，该内窥镜3被插入到成为检查对象的作为被检体的患者的作为规定管腔脏器的支气管2 (参照图2、图7，在图2中用虚线表示其一部分)内，该插入辅助装置5与该内窥镜装置4 一起使用，用于进行内窥镜的插入辅助。
[0033]内窥镜装置4具有:内窥镜3 ;光源装置6，其对该内窥镜3提供照明光；作为信号处理装置的照相机控制部件(简称为CCU) 8，其对构成搭载于内窥镜3的摄像单元的摄像元件7的信号进行信号处理；以及监视器9，其显示由(XU8生成的内窥镜图像。
[0034]内窥镜3具有:细长的插入部11，其具有挠性；以及操作部12，其被设于该插入部11的后端，在插入部11的前端部13设有照明窗和观察窗。用于传播照明光的光导件14贯穿于插入部11、操作部12内，该光导件14的入射端与光源装置相连接，由光源装置6内的未图示的光源灯或者LED产生的照明光入射到入射端。由该光导件14传播的照明光从被安装于照明窗的出射端(前端面)向前方射出。
[0035]另外，在观察窗中安装有物镜15，在其成像位置配置有CXD等摄像元件7，使用物镜15与摄像元件7形成作为摄像单元的摄像装置16，该摄像装置16对插入部11所插入的作为规定管腔脏器的支气管2内进行拍摄。
[0036]摄像元件7经由贯穿插入部11、操作部12内的信号线与CXU 8相连接。CXU 8使用其内部的未图示的图像信号生成电路来生成与在摄像元件7的摄像面上成像的光学像对应的摄像图像的图像信号，将该图像信号输出到监视器9。监视器9将图像信号的图像(运动图像)作为内窥镜图像(还称为摄像图像)进行显示。
[0037]另外，在前端部13内，在摄像元件7的附近位置设置有位置传感器17。另外，在成为内窥镜3和被检体的外部的规定位置处设置有测量处理装置或者测量处理部18，该测量处理装置或者测量处理部18进行对该位置传感器17的三维位置(还简称为位置)进行测量(检测)的处理。
[0038]测量处理部18对位置传感器17的位置进行测量，但是该位置能够与前端部13或者摄像装置16 (的摄像元件7)的位置近似。
[0039]该测量处理部18具有使用位置传感器17生成摄像装置16所处的位置信息的位置信息生成部18b的功能，该摄像装置16构成被插入到作为规定管腔脏器的支气管2内的摄像单元。
[0040]作为位置检测方法，能够利用使用了磁的方法。例如，由使用线圈构成的位置传感器17检测从与测量处理部18相连接的天线18a发出的交流磁场，由(具备振幅检测电路和相位检测电路的)测量处理部18对由位置传感器17检测出的信号的振幅和相位进行检测，由此对从天线18a至位置传感器17为止的距离进行测量。测量处理部18将三个以上的多个天线18a设置于各不相同的已知位置，由此确定位置传感器17的三维位置。
[0041]此外，也可以设为以下结构:对构成位置传感器17的线圈施加交流信号，使其周围产生交流磁场，在天线18a侧检测交流磁场从而检测位置传感器17的位置。作为一例而说明了使用了线圈的磁式位置检测装置，但是位置传感器17和测量处理部18的结构并不限定于上述说明的情况。例如，也可以沿着插入部11的长度方向以规定间隔配置用于进行位置检测的多个线圈，根据多个线圈的位置来估计插入部11的形状，从而能够检测前端部13等的位置。
[0042]此外，在内窥镜3的插入部11中，在前端部13的后端设有弯曲自由的弯曲部19，手术操作者进行使设置于操作部12的弯曲操作旋钮25c进行旋转的操作，由此能够使弯曲部19向上下左右任意方向进行弯曲。
[0043]上述插入辅助装置5具有:CT图像数据取入部21，其针对被内窥镜3检查的患者，经由DVD、蓝光盘、快闪存储器等便携式的存储介质取入由公知的CT装置生成的患者的作为三维图像信息的CT图像数据；以及CT图像数据存储部22，其存储被该CT图像数据取入部21取入的CT图像数据。
[0044]此外，CT图像数据存储部22也可以经由通信线路、因特网等存储由CT装置生成的(作为被检体的患者的)CT图像数据。该CT图像数据存储部22由硬盘装置、快闪存储器、DVD等构成。
[0045]另外，CT图像数据存储部22具有关联信息存储部22a，该关联信息存储部22a将CT图像数据以及与该CT图像数据对应的使用了第一坐标系的三维位置数据存储为两者关联的关联信息。
[0046]另外，插入辅助装置5具有作为管腔脏器提取部或者管腔脏器提取电路的支气管提取部23，该支气管提取部23从CT图像数据存储部22的CT图像数据中提取作为规定管腔脏器的支气管2的三维图像数据。
[0047]该支气管提取部23根据提取出的支气管2的三维图像数据(更具体地说三维体积数据)生成表示支气管2的中空形状的三维形状的图像信息(图像数据)。也就是说，支气管提取部23具有支气管虚拟图像生成部23a，该支气管虚拟图像生成部23a具备支气管虚拟图像生成电路，该支气管虚拟图像生成电路根据提取出的支气管2的三维图像数据来生成作为中空的三维形状的支气管形状的虚拟图像的支气管形状虚拟图像。
[0048]另外，该支气管提取部23在提取支气管2的三维形状的图像数据时，与对应于三维图像数据的第一坐标系中的三维位置数据相关联地提取。而且，该支气管提取部23具有由存储器等构成的关联信息存储部23b，该关联信息存储部23b存储使支气管2的三维形状的图像数据(即支气管形状虚拟图像数据)与三维位置数据相关联的关联信息。
[0049]另外，插入辅助装置5具有VBS图像处理部24，该VBS图像处理部24根据摄像装置16所处的位置信息来进行用于生成由摄像装置16拍摄了支气管2内时的虚拟内窥镜图像(称为VBS图像)的图像处理。
[0050]该VBS图像处理部24具备:VBS图像生成部24a，其生成VBS图像；以及VBS图像存储部24b，其存储所生成的VBS图像。此外，也可以将VBS图像存储部24b设置于VBS图像处理部24的外部。
[0051]另外，插入辅助装置5具有由图像处理电路构成的图像处理部25，该图像处理部25具备:特征信息获取部25a，其进行用于获取特征信息的图像处理，以获取由支气管提取部23提取出的作为规定管腔脏器的支气管2的三维形状的图像信息中的特征信息；以及关联图像生成部25b，其生成作为将特征信息关联到支气管2的三维形状的图像信息的图像的特征信息关联图像。
[0052]如图2A所示，特征信息获取部25a具有:二维图像信息获取部33a，其获取与支气管2中的分支有关的二维图像信息；以及测量信息获取部33b，其主要获取与支气管2中的分支有关的测量信息。
[0053]二维图像信息获取部33a获取与支气管2中的分支有关的二维图像信息，由此在根据获取到的信息来生成支气管2中分支出的分支部分的作为虚拟内窥镜图像的VBS图像时使用。此外，VBS图像生成部24生成包含分支部分和未分支的部分的VBS图像。因此，也可以将二维图像信息获取部33a设置于VBS图像处理部24内。
[0054]另外，在图1中，使用不同部件来表示图像处理部25和VBS图像处理部24，但是，例如也可以构成为图像处理部25包含VBS图像处理部24中的VBS图像生成部24a。
[0055]测量信息获取部33b具有位置/支气管直径/距离测量信息获取部，该位置/支气管直径/距离测量信息获取部更具体地说，获取(第二坐标系中的摄像装置16的位置和与该位置对应的第一坐标系中的)位置、支气管直径、至支气管2的规定位置为止的距离的测量信息，来作为与支气管2中的分支有关的测量信息。
[0056]此外，并不限定于测量信息获取部33b获取位置、支气管直径、距离这三个测量信息的情况，也可以设为获取它们中的两个或者至少一个的结构。另外，并不限定于特征信息获取部25a具有二维图像信息获取部33a和测量信息获取部33b两者的情况，也可以设为仅具有其中一个的结构。另外，并不限定于将测量信息获取部33b设置于图像处理部25内的特征信息获取部25a内的情况，也可以设置于图像处理部25的外部、例如测量处理部18内，或者设置为与图像处理部25和测量处理部18不同的部件。
[0057]关于上述特征信息，作为插入辅助的信息而被利用，并且形成为了易于应对在规定条件下的位置估计失败的情况而呈现的信息。
[0058]另外，该图像处理部25具有图像合成处理部25c，该图像合成处理部25c进行将支气管形状虚拟图像、支气管2内部的虚拟内窥镜图像(VBS图像)以及由摄像元件7得到的内窥镜图像(摄像图像)等进行合成的图像处理。图像合成处理部25c将合成得到的合成图像(的图像信号)输出到作为显示单元的监视器26，在监视器26中显示合成图像。
[0059]图2B示出由支气管虚拟图像生成部23a生成的支气管形状虚拟图像2a。此外，将该支气管形状虚拟图像2a的图像数据与分别对应的三维位置信息相关联地存储到关联信息存储部23b。
[0060]在图1中，示出特征信息获取部25a设于图像处理部25内的情况，但是也可以将特征信息获取部25a设置于图像处理部25外部的VBS图像处理部24内部、或者支气管提取部23内部、其它位置。在该情况下，由特征信息获取部25a获取到的特征信息被输入到图像处理部25的图像生成部25b。
[0061]包含由该图像处理部25生成的合成图像的情况的图像信号被输出到作为图像显示单元的监视器26，在监视器26中显示该图像信号的图像。
[0062]另外，插入辅助装置5具有:控制部27，其对图像处理部25所进行的图像处理等进行控制，由CPU等构成；以及存储部28，其存储位置关联信息等，该位置关联信息是将在显示于监视器26的图像、CT图像数据的生成中、也在支气管形状虚拟图像2a的生成中使用的坐标系(第一坐标系)的位置与在位置传感器17和测量处理部18对摄像装置16的位置的测量中使用的坐标系(第二坐标系)的位置相关联而得到的。
[0063]控制部27具有进行在监视器26中显示的图像的显示控制的图像显示控制部27a的功能。
[0064]另外，该控制部27具有(位置信息附近)特征信息显示控制部27b，该(位置信息附近)特征信息显示控制部27b进行控制，以将作为规定管腔脏器的支气管2内的摄像装置16的位置信息附近的上述支气管2的特征信息显示在作为显示单元的监视器26中。而且，监视器26显示该位置信息附近的上述支气管2的特征信息。
[0065]另外，在本实施方式中，为了能够辅助(手术操作者)顺利地进行向支气管2内插入内窥镜3的插入作业，而将用于对支气管2的三维形状的图像数据进行管理的第一坐标系中的位置(位置信息)与被插入到支气管2内的内窥镜3的插入部11的前端部13的摄像装置16的第二坐标系中的位置(位置信息)进行位置关联或者位置对准(Registrat1n)。
[0066]控制部27具有对两个坐标系中的位置关联进行控制的位置关联控制部27c的功倉泛。
[0067]该进行了位置关联而得到的位置关联信息例如被存储到存储部28的位置关联信息存储部28a。
[0068]另外，控制部27具有判断部27d的功能，在进行了位置关联之后，该判断部27d判断两个坐标系中的位置信息是否在规定条件以内成功进行了位置估计。
[0069]另外，插入辅助装置5具有:MPR图像生成部29，其根据在CT图像数据存储部22中存储的CT图像数据来生成多截面重构图像(称为MPR图像)；以及路线设定部30，其生成具有由MPR图像生成部29生成的MPR图像的作为辅助路线(简称为路线)或者路径的设定画面的路线设定画面(或者路径设定画面)，设定内窥镜3进入支气管2的路线。
[0070]另外，医疗装置I具有输入装置31，该输入装置31由对路线设定部30输入设定信息的键盘以及指示设备等构成。另外，手术操作者能够从该输入装置31对图像处理部25输入进行图像处理时的参数、数据，或者针对控制部27选择、指示控制动作。
[0071]另外，在手术操作者设定了路线的情况下，路线设定部30将所设定的路线(路径)的信息发送到VBS图像处理部24、MPR图像生成部29、控制部27。VBS图像处理部24和MPR图像生成部29分别生成沿着路线的VBS图像、MPR图像，控制部27沿着路线对各部的动作进行控制。
[0072]上述特征信息获取部25a根据被插入到支气管2内的摄像装置16的位置信息，获取由支气管提取部23提取出的支气管2的三维形状的图像数据中的与支气管2的分支有关的二维图像信息、或者与摄像装置16在支气管2中的位置对应的位置、支气管直径、至支气管2的规定位置为止的距离等测量信息，来作为与上述支气管2有关的特征信息。
[0073]例如，如图2B所示(根据CT图像数据来虚拟地显示支气管2的形状的)支气管形状虚拟图像2a中的三维形状的中空管腔存在分支成多个的分支部。在图2B中示出与沿着由路线设定部30设定的路线从前端侧插入内窥镜3的插入部11的情况对应的分支部B1-B5。此外，在图2B中示出了分支部B1-B5，但是并不限定于分支部B1-B5的情况，能够应用于Bl-Bn(η为2以上的自然数)。
[0074]在本实施方式中，为了顺利地进行插入辅助，特征信息获取部25b利用支气管2的三维形状的图像数据，在各分支部Bi (i = 1,2,…，η)附近的位置处，以与虚拟配置内窥镜3的摄像装置16并拍摄分支部Bi的情况对应的二维VBS图像为二维图像信息，从(VBS图像处理部24的)VBS图像存储部24b获取VBS图像。
[0075]而且，关联图像生成部25b生成关联图像J，该关联图像J是将作为由特征信息获取部25a获取到的二维图像信息的、拍摄分支部得到的VBS图像Ii关联到作为支气管2的三维形状的图像信息的支气管形状虚拟图像2a的图像。而且，监视器26例如图2B所示那样显示该关联图像J。
[0076]在图2B中示出对各分支部Bi关联了拍摄分支部Bi得到的VBS图像Ii后的状态。此外，在图2B中用附图标记C来表示支气管2(支气管形状虚拟图像2a)的管腔的中心线。
[0077]图3更详细地示出一个分支部Bi附近处关联了拍摄该分支部Bi得到的VBS图像Ii后的内容。
[0078]图3示出形成分支部Bi的分支部Bi周围部，该分支部Bi是(支气管2中的)一个管腔形状从分支边界位置PBi分支为两个管腔形状而得到的。
[0079]另外，图3示出在(支气管2或者)支气管形状虚拟图像2a上在位置Pi处配置摄像装置16 (或者前端部13或者位置传感器17)的状态，该位置Pi与作为规定位置的分支边界位置PBi仅相距规定距离ai，并且在管腔的中心线C上。此外，关于确定仅相距规定距离ai且在管腔路的中心线C上的位置Pi的说明，之后在图7中进行叙述。
[0080]而且，关联图像生成部25c以具有将与使用该摄像装置16拍摄分支部Bi侧的情况对应的VBS图像Ii关联到该支气管2的分支部Bi的关联图像Ji的方式生成关联图像J0
[0081]另外，在本实施方式中，特征信息获取部25a从支气管2的三维形状的图像信息中获取图3中的各位置Pi等处的作为支气管2的内径的支气管直径Di，来作为测量信息。而且，显示控制部27a进行控制以在监视器26中显示支气管直径Di。另外，例如存储部28存储支气管直径Di的测量信息。此外，并不限于从支气管2的三维形状的图像信息中获取支气管直径Di的情况，也可以利用后述的立体测量来获取支气管直径Di的测量信息。
[0082]控制部27的判断部27d使用支气管2的三维形状的位置信息以及在存储部28中存储的支气管直径Di等测量信息，判断由测量处理部18进行位置测量而得到的被插入到支气管2内的摄像装置16的位置信息是否能够在实际插入到支气管2内的状态下所允许的规定条件以内估计出。
[0083]控制部27进行控制动作，使得在判断为能够在规定条件以内估计出的情况下继续进行插入辅助的动作，在判断为在规定条件以内产生位置偏移(换言之位置估计失败)的情况下计算失败的位置附近的支气管2的分支部的信息。
[0084]另外，控制部27控制图像处理部25使得将计算出的包含分支部在内的支气管形状虚拟图像2a与用于进行插入辅助的VBS图像进行合成，并进行控制使得在监视器26中显示作为重启时的显示画面的重启画面。
[0085]在重启时，控制部27将要重启的摄像装置16的位置(即，位置估计失败时的摄像装置16的位置)显示在支气管形状虚拟图像2a上，并且显示该位置附近的VBS图像，呈现易于对存储部28中存储的位置关联信息进行校正的图像。
[0086]此外，所显示的VBS图像为满足使用了以下条件中的至少一个条件的条件式的分支部。
[0087](I)根据内窥镜图像计算出支气管直径，该支气管直径与事先从CT图像上计算出的分支位置处的支气管直径的差分为阈值以下的分支的VBS图像。
[0088](II)针对处于与位置估计最后成功的位置相距固定范围内的分支部的VBS图像。
[0089](III)针对处于与位置估计失败的位置相距固定范围内的分支部的VBS图像。
[0090](IV)针对从位置估计失败的时间点起过去固定期间内在存储部28中记录的位置附近的分支部的VBS图像。
[0091](V)路线上的分支部。
[0092]并且，也可以根据内窥镜图像计算从内窥镜前端至分支为止的距离，针对满足上述条件的分支部生成相距相同距离的VBS图像。
[0093]这些条件下的距离可以是指两点之间的直线距离，也可以是指管腔的中心线上的距离。
[0094]这种结构的医疗装置I的特征在于，具备:CT图像数据存储部22，其构成存储单元，存储预先获取到的被检体内的三维图像信息；摄像装置16，其构成摄像单元，拍摄上述被检体内；支气管提取部23，其构成管腔脏器提取单元，从上述三维图像信息中提取作为上述被检体内的规定管腔脏器的支气管2的三维形状的图像信息；特征信息获取部25a，其构成特征信息获取单元，根据被插入到上述规定管腔脏器内的上述摄像单元的位置信息来获取由上述管腔脏器提取单元提取出的上述规定管腔脏器的三维形状的图像信息中的特征信息；关联图像生成部25b，其构成关联图像生成单元，生成将上述特征信息关联到上述规定管腔脏器的三维形状的图像信息的图像；以及监视器26，其构成显示单元，显示上述规定管腔脏器内的上述摄像单元的位置信息附近的上述规定管腔脏器的特征信息。
[0095]接着，参照图4说明本实施方式的动作。图4示出将内窥镜3的插入部11插入支气管2内时的医疗装置I各部的主要处理。
[0096]在向支气管2内插入内窥镜3的插入部11的情况下，如步骤SI所示，医疗装置I的控制部27进行以下处理:进行两个坐标系中的位置关联(位置对准)。
[0097]控制部27 (的位置关联控制部27d)在第一坐标系以及第二坐标系中进行在三个以上的多个位置处进行关联的位置关联(位置对准)处理，其中，该第一坐标系在提取CT图像数据和从该CT图像数据提取支气管2的三维形状的图像数据时使用，该第二坐标系在测量处理部18对前端部13的位置传感器17进行测量时使用。
[0098]图5示出位置关联的动作的说明图。手术操作者例如在支气管2的入口附近的例如四个点Q0-Q3处依次设定内窥镜3的前端部13 (或者位置传感器17)，从输入装置31进行在第一坐标系O-XYZ和第二坐标系o-xyz中分别进行位置关联的指示或者指示输入。因此，输入装置31形成进行位置关联的指示的指示输入部或者指示输入单元。
[0099]例如，将前端部13 (或者位置传感器17)依次设定于第一坐标系O-XYZ中的原点O的位置Q0(0，0，0)、X坐标上的位置Ql (1，0，0)、Y坐标上的位置Q2(0，1，0)、Ζ坐标上的位置Q3(0，0，I)，手术操作者进行位置关联的指示。在该指示中，当将由测量处理部18在各位置处依次测量出的位置设为(x0，y0，z0)、(xl，yl，zl)、(x2，y2，z2)、(x3, y3, z3)时，控制部27进行控制，以进行位置关联并将位置关联信息存储到存储部28。
[0100]存储部28存储该情况下的位置关联信息(具体地说，第一坐标系O-XYZ中的QO (0,0,0), Ql (1,0,0), Q2 (0,1,0), Q3 (0,0,1)为第二坐标系 ο-xyz 中(x0，y0, z0)、(xl，yl，zl)、(x2, y2, z2)、(x3, y3, z3)各自所对应的信息)。
[0101]另外，控制部27使用在存储部28中存储的位置关联信息来决定用于将两个坐标系的任意位置进行关联的变换信息。控制部27将该变换信息存储到存储部28。
[0102]在图5 中，将坐标位置 Q0(0，0，0)、Q1(1，0，0)、Q2(0，l，0)、Q3 (0,0,1)和各自对应的坐标位置(xO, yO, zO)、(xl, yl, zl)、(x2, y2, z2)、(x3, y3, z3)简化，从而用 Q0<^>(x0, yO，zO)、QI<^>(xI, yl, zl)、Q2<^>(x2, y2,
z2) Q3<^(x3, y3, z3)表示。此外，也可以不是在图5示出的四个点处，而是在省略了其中一个点的三个点处进行(决定)位置关联。
[0103]在像这样位置关联的处理结束之后，手术操作者将内窥镜2的插入部11插入到支气管2内，开始进行内窥镜检查。
[0104]手术操作者为了使监视器26显示支气管2的三维形状的支气管形状虚拟图像2a而从输入装置31输入指示，使监视器26显示支气管2的三维形状的支气管虚拟图像，还进行将内窥镜3的插入部11插入支气管2内的路线(路径)的设定等。
[0105]当手术操作者将内窥镜3的插入部11从其前端部13侧插入支气管2内时，如图4的步骤S2所示，前端部13的摄像装置16拍摄支气管2内，将摄像图像显示在监视器9，并且在监视器26中也显示摄像图像。
[0106]另外，如步骤S3所示，测量处理部18进行位置传感器17或者前端部13 (或者摄像装置16)的位置测量，将位置测量后得到的位置数据输出到控制部27。
[0107]如步骤S4所示，控制部27判断从测量处理部18输入的第二坐标系的位置数据相对于表示支气管2的三维形状的第一坐标系的位置数据的规定条件的位置估计是否成功。
[0108]作为规定条件的位置估计的一个判断法，采用以下方法:例如图6所示，由测量处理部18例如第i个测量出的第二坐标系中的测量位置Pmi是否存在于第一坐标系中的支气管2的管腔形状的内侧。
[0109]在如图6所示那样第(1-Ι)个测量出的测量位置Pm(1-l)在第一坐标系中被计算为存在于(作为支气管2的三维形状的虚拟图像的)支气管形状虚拟图像2a中的成为管腔内侧的区域内的情况下，判断部27d判断为规定条件的位置估计成功。此外，在图6中，用斜线表示管腔形状的外侧。
[0110]在像这样判断部27d判断为规定条件的位置估计成功的情况下，在下一步骤S5中，控制部27进行控制，以将规定条件的位置估计成功的状态下的测量位置Pm(1-l)、由摄像装置16得到的摄像图像、前端部13的姿势的信息、测量时的时间信息存储到存储部28。
[0111]这样，存储部28具有位置和图像存储部28b，该位置和图像存储部28b按时间序列存储被插入到支气管2内的摄像装置16的位置信息、由摄像装置16拍摄到的摄像图像以及前端部13的姿势的信息。此外，并不限定于位置估计成功的情况，在位置估计未成功而失败的情况下，存储部28也可以按时间序列存储上述信息。
[0112]在步骤S5的处理之后，返回到步骤S2的处理，反复进行步骤S2-S5的处理。
[0113]与此相对地，如图6所示那样第i个测量出的测量位置Pmi在第一坐标系中被计算为成为管腔外侧的用斜线表示的区域内的情况下，判断部27d判断为规定条件的位置估计已失败。
[0114]在该情况下，转移到图4的步骤S6的处理，在该步骤S6中，控制部27进行控制以使测量处理部18进行测量。然后，在步骤S7中，测量处理部18事先根据支气管提取部23的三维形状的图像数据求出上述测量位置Pmi周围的分支部，从特征信息获取部25a获取支气管直径。并且，使用测量位置Pmi和Pm1-1的内窥镜图像通过立体测量求出分支部处的支气管直径Ri，计算周围的分支中的、与从特征信息获取部25a获取到的支气管直径的差分为阈值以下的分支。
[0115]此外，如上所述，并不限定于一个分支部Bi的情况，控制部27也可以计算多个分支部以扩大针对手术操作者的选项。
[0116]另外，在步骤S8中，控制部27生成上述分支部Bi附近的虚拟内窥镜图像、即VBS图像。然后，在下一步骤S9中，控制部27进行控制，以使图像处理部25的关联图像生成部25b生成关联图像并且在监视器26中显示为重启画面。作为该重启画面中的图像，例如显示图3所示那样的关联图像Ji。
[0117]由于通过监视器26的显示对手术操作者呈现关联图像Ji，因此如步骤SlO所示那样使用关联图像Ji，来进行位置估计失败的情况的对应、例如位置关联的校正处理。在步骤SlO的处理之后返回到步骤S2的处理。此外，也可以如图2B所示那样显示多个分支部和VBS图像。另外，也可以使得手术操作者能够选择性地设定进行显示时的分支部的数量、VBS图像的数量。
[0118]接着，说明对关联图像Ji或者重启画面中的位置关联信息进行校正的处理动作。
[0119]在图6中测量位置Pmi为管腔外侧的情况下，控制部27进行控制以计算出该测量位置Pmi附近的分支部Bi，并进行控制以在监视器26中显示图3所示那样的关联图像Ji。
[0120]手术操作者根据关联图像Ji的显示，如下那样对初始状态下设定的位置关联信息进行校正，由此能够顺利地继续进行内窥镜3的插入作业。
[0121]说明根据图3的图像来对位置关联的误差大的位置关联信息进行校正的动作。
[0122]图7示出用于在与图3的状态对应的支气管2以及被插入到该支气管2内的内窥镜3的前端侧的状态下确定作为基准位置的位置Pi并校正位置关联信息的说明图。另外，图8示出校正位置关联信息的操作、处理。
[0123]如图8的步骤Sll所示，手术操作者进行用于确定基准位置的操作(作业)。为了校正在初始状态下设定的位置关联信息，进行新设定基准位置的操作。在第一坐标系中，分支边界位置PBi的三维位置在支气管2的三维形状的图像数据中成为向管腔内侧突出的顶点位置，因此成为易于确定的确定位置。
[0124]另外，为了将与该分支边界位置PBi相距规定距离ai的、支气管2的管腔的中心线C上的位置Pi确定为基准位置，如步骤S12所示，手术操作者将内窥镜3的摄像装置16设定为对作为规定位置的分支边界位置PBi进行立体测量的状态。
[0125]在内窥镜3仅具有一个摄像装置16的情况下，如图7所示，手术操作者在支气管2的管腔内使内窥镜3的弯曲部19弯曲，依次设定为与管腔内壁抵接的两个状态Stl、St2。
[0126]然后，如步骤S13所示，在各状态Stl、St2下使用摄像装置16拍摄分支边界位置PBi，分别将摄像图像例如存储到存储部28。
[0127]如步骤S14所示，在两个摄像图像上，手术操作者从输入装置31指定作为同一规定位置的分支边界位置PBi。
[0128]如步骤S15所示，控制部27根据该指定，使用内窥镜3的物镜15的焦距、摄像元件7的摄像面的尺寸、像素数等信息，计算距离ai，并且计算第一坐标系中的作为基准位置的位置Pi的三维位置。
[0129]在下一步骤S16中，手术操作者将前端部13设定于位置Pi，从输入装置31进行位置关联的指示。
[0130]接收到该指示后，在步骤S17中，控制部27在作为基准位置的位置Pi处进行在第一坐标系和第二坐标系中新的位置关联的处理。
[0131]S卩，控制部27进行将第一坐标系的位置Pi与以第二坐标系对该位置Pi进行了位置测量时的位置Pri进行关联的处理。
[0132]并且，在步骤S18中，控制部27根据位置关联的信息对初始状态的位置关联信息进行校正。
[0133]例如，控制部27根据图7的位置的关联信息以及在初始状态下设定的位置关联信息中的三个位置关联信息来生成校正后的位置关联信息。另外，还校正(更新)将第一坐标系中的位置和第二坐标系中的位置进行变换或者关联的变换式。
[0134]在图7示出的位置Pi处获取到的位置关联信息当与在支气管2的入口附近设定的初始状态的位置关联信息进行比较时，是沿着支气管2的管路的深部侧的位置关联信息，因此在实际插入内窥镜3的插入部11的情况下，被认为是可靠性更高的位置信息。而且，利用该位置关联信息对在初始状态下设定的位置关联信息进行校正，由此能够对利用沿着支气管2的管路的深部侧的位置关联信息进行的校正的误差进行校正。
[0135]而且，这样，手术操作者使用校正后的位置关联信息继续进行插入操作。例如，手术操作者从输入装置31在重启画面中进行再次开始位置测量的指示，由此使用校正后的位置关联信息再次开始图4的步骤S2以后的处理。
[0136]这样，通过利用医疗装置I中的插入辅助的信息，能够辅助手术操作者进行将内窥镜3顺利地插入到支气管2的深部侧的作业。
[0137]此外，在上述说明中，说明了利用立体测量在基准位置处进行了两个坐标系的位置关联的例子，但是，也可以如图9所示，在使前端部13的前端面抵接于分支边界位置PBi的状态下，在该分支边界位置PBi处进行两个坐标系的位置关联。
[0138]在该情况下，手术操作者将前端部13的前端面设定为与作为规定位置的分支边界位置PBi抵接的状态，只要从输入装置31对控制部27进行位置关联的指示输入，输入辅助装置5就能够进行图8的位置关联的处理。另外，也可以使用日本特开2009-279251号公报所记载的方法、即通过找到与内窥镜图像类似的VBS图像来求出内窥镜前端的位置姿势的方法，校正位置关联信息。或者，也可以从在对根据上述方法计算出的内窥镜前端的位置和初始的位置关联信息进行计算时使用的四个点中选择三个点，通过前述方法来校正位置关联信息。
[0139]另外，也可以如图9所示那样配置多个设于前端部13的位置传感器17。在配置多个位置传感器17的情况下，如图9所示那样除了设置沿着插入部11的轴向(长度方向)配置的传感器(17a、17b)以外，还设置在例如与轴向正交的方向上配置的传感器(17c)，由此能够检测前端部13中的摄像装置16进行拍摄的方向(方位)。还将该情况下的摄像装置16进行拍摄的方向称为视线方向。而且，也可以在将摄像装置16的位置存储到存储部28的情况下，还存储该视线方向的信息。
[0140]此外，在图4中的步骤S4的规定条件的位置估计的判断中，将位置测量后得到的第二坐标系的位置是否为第一坐标系的支气管直径的内部设为判断条件，但是也可以将与进行了位置关联的位置相距事先设定的距离以内设为判断条件并进行组合。
[0141]在该情况下，也可以在相距过去进行的位置关联的位置超出固定距离R的情况下，在图4中的步骤S4中判断为不符合进行规定条件的位置估计的判断条件，转移到步骤S6的处理。
[0142]另外，还可以采用其它判断条件作为步骤S4的判断条件。
[0143]也可以在除了用于进行内窥镜3的前端部13的位置测量的位置传感器17以外的、例如用于对由患者的呼吸引起的脏器的移动进行校正的位置传感器(体外标识器)向未设想的方向移动时，或者在体外标识器检测出固定以上的移动量时，控制部27的判断部27d在步骤S4中设为不符合规定条件的位置估计的判断条件并转移到步骤S6的处理。
[0144]另外，也可以从上述判断法、即支气管直径、距离、固定以上的移动量中组合两个以上的条件。
[0145]根据上述第一实施方式，在将内窥镜3的插入部11插入到作为规定管腔脏器的支气管2内的情况下，医疗装置I对设置于插入部11的前端部13的摄像装置16的位置进行测量，将该位置附近的支气管2内的虚拟内窥镜图像、支气管直径、至支气管2的规定位置为止的距离等显示在监视器26，因此能够在摄像装置16的位置估计失败的情况下，对手术操作者呈现易于应对位置估计失败的信息。
[0146]例如，在位置估计失败时的显示于监视器26的重启画面中，利用在图8中说明的立体测量对两个坐标系中的位置关联信息进行校正，由此能够进行辅助以能够根据该重启画面再次继续进行将内窥镜3的插入部11插入到支气管2的深部侧的操作。作为更简单的方法，还能够使内窥镜3的前端部13的前端面与支气管2的成为规定位置的分支边界位置抵接来校正位置关联信息。
[0147]此外，在上述步骤S4中组合多个条件，由此起到以下效果。具体地说，在将“跑出支气管”、“与过去进行的位置关联的位置相距某一距离以内”、“固定以上的移动量”中的两个以上的条件用“或(or) ”的关系进行组合而设为判断式的情况下，即使基于位置关联信息的校正的误差小也能够进行检测，能够进行高精度的内窥镜前端的位置显示。另外，在将两个以上的条件以“和(and) ”的关系进行组合的情况下，判断的可靠性提高，因此即使由于噪声等而位置传感器的精度变差，也能够防止重启次数增加。
[0148]另外，在步骤S9中使用“支气管直径”、“至分支部为止的距离”这种测量信息来锁定在重启画面中显示的VBS图像，由此使手术操作者对VBS图像的选择变得容易。
[0149]此外，在上述实施方式中，也可以在位置估计未失败的情况下，图像处理部25生成将特征信息关联到作为规定管腔脏器的支气管2的三维形状的图像信息的图像，控制部27进行控制以在监视器26中显示摄像装置16的位置信息附近的支气管2的(由特征信息获取部25a获取到的)特征信息。在该情况下，当显示摄像装置16附近的例如分支部的VBS图像作为特征信息时，手术操作者能够一边确认是否在分支部处将前端部13插入到某一个管路侧一边进行插入，因此易于进行插入作业。
[0150]另外，关于作为上述情况下的测量信息的、对至规定位置为止的距离进行测量而得到的测量信息，以从摄像装置16的位置至分支部Bj的规定位置为止的距离的例子进行了说明，但是也可以如在以下实施方式中说明的那样，将从摄像装置16的位置至支气管2的管路的中心线C在分支部Bj中进行分支的分支点为止的距离设定为测量信息。
[0151](第二实施方式)
[0152]接着，说明本发明的第二实施方式。图10示出的本实施方式的医疗装置IB构成为在图1示出的医疗装置I的结构中设置了选择单元，该选择单元在支气管2中设定区域，并进行按各区域切换测量信息的选择。在不使用该选择单元的情况下，成为与第一实施方式相同的结构和作用。
[0153]例如输入装置31具有设定和选择指示部31a并且控制部27具备设定和测量信息选择部27e，来作为上述选择单元，其中，该设定和选择指示部31a进行用于设定区域以及按各区域选择测量信息的设定和选择指示，该设定和测量信息选择部27e针对该设定和选择指示，进行区域的设定以及按各区域选择测量信息的控制。其它结构与第一实施方式相同。
[0154]图11示出本实施方式的处理内容。此外，图11中的步骤S31-S33、S35_37成为与第一实施方式的情况大致相同的处理。
[0155]如图11所示，在最初的步骤S31中，控制部27与图4的步骤SI同样地进行两个坐标系中的位置关联的处理。
[0156]在下一步骤S32中，摄像装置16进行拍摄，并且在步骤S33中，测量处理部18进行前端部13 (或者摄像装置16)的位置测量。
[0157]在下一步骤S34中，控制部27的设定和测量信息选择部27e根据通过位置测量得到的前端部13 (或者摄像装置16)所处的区域来选择测量方法。
[0158]图12示出设定成根据前端部13 (或者摄像装置16)所处的区域选择测量方法时的设定例。
[0159]如图12所示，沿着支气管2的管腔的中心线C，例如设定与分支部中的分支点Bpj、Bpj+l相距固定距离以内的区域Aj，Aj+l以及它们之间的区域Aj，j+1，…。此夕卜，分支点Bpj或者Bpj+Ι被定义为一条中心线C在分支部Bj或者Bj+Ι附近分支出两条等多条中心线的点。
[0160]而且，在前端部13(或者摄像装置16)位于支气管2的管腔内的例如区域Aj内的情况下，将测量信息设定为位置，在前端部13(或者摄像装置16)位于区域Aj，j+1内的情况下，将测量信息设定为距离，在前端部13(或者摄像装置16)位于区域Aj+Ι内的情况下，将测量信息设定为支气管直径。此外，在测量信息为位置或者距离的情况下，通过测量处理部18所进行的位置测量来进行测量。
[0161]另一方面，在测量信息为支气管直径的情况下，通过在图7中说明的立体测量对支气管直径进行测量。
[0162]另外，图12的图示例表示一个设定例，手术操作者能够从输入装置31的设定和选择指示部31a进行与图12的图示例不同的设定。也就是说，能够通过手术操作者所期望的测量方法来获取或者显示测量信息。
[0163]此外，在图12中示出切换测量信息的区域的一个设定例，但是也可以包括图12的设定例在内如下那样进行设定。
[0164](A)从分支点至与该分支点在中心线上相距固定距离的位置为止以及除此以外(图12的图示例)
[0165](B)以分支点为中心的固定半径的球内包含的区域以及除此以外的区域
[0166](C)与确定的位置(例如在图2B中用K表示的凸起)相距的距离
[0167](D)支气管的次数或者从支气管的入口侧起依次数出的分支数的数
[0168](E)根据CT断层像图像计算出的支气管直径
[0169](F)与上一次重启(或者开始)的位置相距的距离
[0170]在此，A、C、F所记载的距离可以是两点之间的直线距离，也可以是管腔的中心线上的距离。
[0171]另外，关于这些条件，也可以组合两个以上。
[0172]在步骤S34的下一步骤S35中，测量处理部18等根据前端部13 (或者摄像装置16)所处的区域来进行测量。
[0173]在下一步骤S36中，控制部27的判断部27d判断在步骤S35中进行了测量时的位置估计是否成功。
[0174]如在第一实施方式中说明的那样，使用以下条件中的至少一个条件:(a)在第二坐标系中测量出的位置是否存在于支气管直径以内；(b)在第二坐标系中测量出的位置是否在与过去进行的位置关联的位置相距某一距离以内；(c)使用位置传感器17以外的传感器等获得在第二坐标系中测量出的位置在患者中为固定量的移动量以内。
[0175]在步骤S36中在(a)、(b)、(c)的条件下位置估计成功的情况下，转移到步骤S37的处理。另一方面，在位置估计不成功的情况下，在进行了步骤S38-S41的处理之后，返回到步骤S32的处理。
[0176]在位置估计不成功的情况下，在进行了步骤S38的分支的计算、步骤S39的VBS图像的计算、步骤S40的重启画面的显示、步骤S41的位置关联信息的校正的处理之后，返回到步骤S32的处理。此外，步骤S38-S41的处理为与图4的步骤S7-S10相同的处理。
[0177]另一方面，在步骤S36中，在(a)、(b)、(c)的条件下位置估计成功的情况下，转移到步骤S37的处理。
[0178]在该步骤S37中，控制部27进行控制以将在第二坐标系中测量出的前端部13 (或者摄像装置16)的位置、由摄像装置16拍摄到的摄像图像、前端部13的姿势(前端部13的轴向或者摄像方向)的信息与时间信息一起存储到存储部28之后，返回到步骤S32的处理。此外，存储部38还可以存储获取到的测量信息。
[0179]根据进行这种动作的本实施方式，具有与第一实施方式相同的效果，并且具有能够选择测量方法来进行测量的效果。以下，依次说明第二实施方式的变形例。
[0180](第一变形例)
[0181]对于第二实施方式中的上述步骤S40的重启画面的显示处理，本变形例进行如下处理。
[0182]根据内窥镜图像计算支气管直径。
[0183]将该支气管直径与事先从CT图像上计算出的分支处的支气管直径进行比较，使用具有(大致)相同的直径的分支的VBS图像来生成重启画面。
[0184]另外，也可以不针对所有分支进行直径的比较，而针对以下分支进行直径的比较:
[0185](d)位置估计失败的位置附近的分支
[0186](e)位置估计最后成功的位置附近的分支
[0187](f)路径上的分支
[0188](g)上述条件中的两个以上的组合。
[0189](第二变形例)
[0190]在本变形例中，根据内窥镜图像计算至分支为止的距离，针对全部分支生成相距相同距离的VBS图像，从而生成重启画面。
[0191]另外，也可以不是所有分支，而是以下分支:
[0192](d)位置估计失败的位置附近的分支
[0193](e)位置估计最后成功的位置附近的分支
[0194](f)路径上的分支
[0195](g)上述条件中的两个以上的组合。
[0196](第三变形例)
[0197]在本变形例中，如第二实施方式那样按每个区域设定第一变形例中的要比较的分支的条件。
[0198](第四变形例)
[0199]在本变形例中，如第二实施方式那样按每个区域设定第二变形例中的要生成的分支的条件。
[0200]另外，在上述第二实施方式的第一变形例与第二变形例中，显示满足条件的全部分支，但是也可以如以下第五变形例至第八变形例那样根据条件来限定要显示的位置信肩、O
[0201](第五变形例)
[0202]在第二实施方式的第一变形例至第四变形例中，仅显示从位置估计失败的瞬间起固定时间以内的过去的位置。
[0203](第六变形例)
[0204]在第二实施方式的第一变形例至第四变形例中，仅显示从位置估计失败的位置起固定范围以内的过去的位置。
[0205](第七变形例)
[0206]在第二实施方式的第一变形例至第四变形例中，仅显示测量信息与作为基准的值相比变化了阈值以上的位置。
[0207]在该情况下，作为基准的值是指被判断为要显示的位置处的测量信息中的最接近当前位置的位置处的测量信息的值。
[0208]例如，说明将测量信息设为至分支点为止的距离的情况。在图13中，分支部Bj附近的位置PO、P1、P2是在过去位置估计成功的位置。另外，用黑圆点表示的位置PO表示测量信息变化了阈值以上的位置，用白圆圈表示的P1、P2表示测量信息在阈值以内的位置。而且，在重启画面中显示用黑圆点表示的位置PO。
[0209]另外，当在图13中用P3表示当前位置时，当前位置P3处的测量信息成为从当前位置P3至位于支气管的末梢侧的分支点Bpj+Ι为止的距离P3Bpj+l。作为基准的测量信息是最接近当前位置P3的位置Pl的测量信息，因此该测量信息成为距离PlBpj+1。
[0210]而且，如果距离P3Bpj+l与距离P2Bpj+l的差分为阈值以上，则在重启画面中显示位置P3。当同样地继续进行处理时，成为图14那样。在图14中用白圆圈表示(除了在图13中示出的位置Pl以外)的位置P4、P5、P6、P8表示位置估计成功的位置(其中，测量信息为阈值以内的变化量的测量信息)，用黑圆点表示的位置P3、P7、P9为位置估计成功且测量信息变化了阈值以上的位置、即在重启画面中显示的位置。
[0211](第八变形例)
[0212]关于第一变形例至第七变形例，也可以将至少两个变形例进行组合。
[0213](第九变形例)
[0214]另外，在上述实施方式中，以如下方式进行了说明:关联图像生成部25b生成将支气管2的三维形状的支气管形状图像与VBS图像组合而成的关联图像，监视器26显示关联图像。
[0215]与此相对地，也可以关联图像生成部25b如本变形例那样生成将摄像装置16的位置信息与包含支气管2的断层像图像(MPR图像)进行合成而得到的关联图像，并且在监视器26上显示该关联图像。
[0216]图15示出本变形例中的监视器26所显示的关联图像。图15的左上方示出包含患者的支气管在内的横截面的CT断层像，图15的右上方示出与患者的正面平行的纵截面的CT断层像，图15的左下方示出与患者的正面垂直的纵截面的CT断层像，图15的右下方对手术操作者示出设定坐标时的菜单画面。
[0217]如图15所示，在本变形例中，在断层像图像上例如以同一颜色的圆圈、其它形状来显示进行了摄像装置16的位置测量而得到的位置(点)。在图15中以与断层像图像的显示颜色不同的颜色(例如蓝色)来显示四个位置。
[0218]另外，在图15中，进行了位置测量而得到的位置在处于切剖面上的情况以及除此以外的情况下以同一颜色、形状来表示，但是，也可以如图16所示，设为进行了位置测量而得到的位置在处于切剖面上的情况以及不处于切剖面上的情况下以不同的形状(例如前者用圆圈而后者用四角形)进行显示(也可以设为改变颜色)。另外，也可以设为仅显示处于切剖面上的情况。
[0219](第十变形例)
[0220]在第九变形例中，说明了生成将进行了摄像装置16的位置测量而得到的位置显示于断层像图像而得到的关联图像的情况，但是也可以将断层像图像与作为虚拟内窥镜图像的VBS图像进行组合来进行显示。
[0221]在图17中，在图15示出的第九变形例的情况下，在断层像图像上显示进行了摄像装置16的位置测量而得到的位置，并且显示各位置处的VBS图像。
[0222]另外，在图17中，为了在断层像图像上获知与对应于摄像装置16的位置的VBS图像之间的对应，例如使用字符信息来表示。在图17中，将摄像装置16的位置设为四个点，因此使用四个字符来表示。
[0223]此外，也可以对摄像装置16的位置与对应的VBS图像的关联以使用图2B所示那样的线等来连结等方式进行显示。
[0224]另外，在图17的例子中，示出针对摄像装置16的全部位置显示对应的VBS图像的情况，但是也可以仅针对手术操作者在断层像图像上选择的位置显示VBS图像。
[0225]另外，也可以针对摄像装置16的全部位置显示对应的VBS图像，仅将与由手术操作者选择的VBS图像对应的位置显示在断层像图像上。
[0226]另外，将上述(包含变形例的)实施方式部分地组合等来构成不同的实施方式的情况也属于本发明。
[0227]本申请是要求2012年9月7日在日本申请的特愿2012-197405号的优先权，并以此为基础提出申请，上述公开内容被引用到本申请的说明书、权利要求书、附图。
【权利要求】
1.一种医疗装置，其特征在于，具备: 存储部，其构成为存储预先获取到的被检体内的三维图像信息； 摄像部，其构成为拍摄上述被检体内； 管腔脏器提取部，其构成为从上述三维图像信息中提取上述被检体内的规定管腔脏器的三维形状的图像信息； 特征信息获取部，其构成为根据被插入到上述规定管腔脏器内的上述摄像部的位置信息，来获取由上述管腔脏器提取部提取出的上述规定管腔脏器的三维形状的图像信息中的特征信息； 关联图像生成部，其构成为生成将上述特征信息关联到上述规定管腔脏器的三维形状的图像信息的图像；以及 显示部，其构成为显示上述规定管腔脏器内的上述摄像部的位置信息附近的上述规定管腔脏器的特征信息。
2.根据权利要求1所述的医疗装置，其特征在于， 上述特征信息获取部获取与上述规定管腔脏器中的分支有关的二维图像信息，或者获取上述摄像部在上述规定管腔脏器内的位置、上述摄像部的位置附近的上述规定管腔脏器的内径以及从上述摄像部的位置至上述规定管腔脏器的规定位置为止的距离中的任一个测量信息。
3.根据权利要求1所述的医疗装置，其特征在于， 上述关联图像生成部生成上述规定管腔脏器内的上述摄像部的位置信息附近的上述规定管腔脏器的分支图像，来作为关联有上述特征信息的图像。
4.根据权利要求1所述的医疗装置，其特征在于， 还具备位置信息生成部，该位置信息生成部构成为生成被插入到上述规定管腔脏器内的上述摄像部所处的位置信息。
5.根据权利要求1所述的医疗装置，其特征在于， 上述存储部利用第一坐标系存储上述被检体内的上述三维图像信息并且以与该三维图像信息相关联的方式存储上述被检体的三维位置信息， 与从上述三维图像信息提取出的上述规定管腔脏器的三维形状的图像信息相关联地，上述管腔脏器提取部提取该规定管腔脏器中的三维位置信息， 上述医疗装置还具备判断部，该判断部构成为判断使用了上述第一坐标系的上述管腔脏器的位置信息以及由上述位置信息生成部生成的使用了第二坐标系的上述摄像部的位置信息是否为规定条件的位置估计匹配。
6.根据权利要求5所述的医疗装置，其特征在于， 还具备关联信息存储部，该关联信息存储部构成为存储将使用了上述第一坐标系的上述管腔脏器的位置信息以及使用了上述第二坐标系的上述摄像部的位置信息在两个坐标系上进行位置关联而得到的关联信息。
7.根据权利要求4所述的医疗装置，其特征在于， 上述位置信息生成部使用设置于上述摄像部附近的位置传感器来构成。
8.根据权利要求5所述的医疗装置，其特征在于， 还具备控制部，该控制部构成为进行以下控制:在上述判断部作出了上述管腔脏器的位置信息与上述摄像部的位置信息在上述规定条件以内不匹配的第一判断的情况下，上述显示部还以在接近符合该第一判断的上述摄像单元的位置的规定距离以内包含容易使上述管腔脏器的位置信息和上述摄像部的位置信息相关联的规定位置的方式显示作为上述特征信息的第一特征信息。
9.根据权利要求5所述的医疗装置，其特征在于， 还具备信息存储部，该信息存储部构成为按时间序列存储被插入到上述规定管腔脏器内的上述摄像部的位置信息以及由该摄像部拍摄到的摄像图像。
10.根据权利要求8所述的医疗装置，其特征在于， 还具备指示输入部，该指示输入部构成为在上述规定位置处进行上述管腔脏器的位置信息与上述摄像部的位置信息的关联指示， 上述控制部根据上述关联指示，进行控制以在上述规定位置处生成上述管腔脏器的位置信息与上述摄像部的位置信息的关联信息。
11.根据权利要求6所述的医疗装置，其特征在于， 还具备控制部，该控制部构成为进行以下控制:在上述判断部作出了上述管腔脏器的位置信息与上述摄像部的位置信息在上述规定条件以内不匹配的第一判断的情况下，上述显示部还以在接近符合该第一判断的上述摄像单元的位置的规定距离以内包含容易使上述管腔脏器的位置信息与上述摄像部的位置信息相关联的规定位置的方式显示作为上述特征信息的第一特征信息。
12.根据权利要求11所述的医疗装置，其特征在于， 还具备指示输入部，该指示输入部构成为在上述规定位置处进行上述管腔脏器的位置信息与上述摄像部的位置信息的关联指示， 上述控制部根据上述关联指示，进行控制以在上述规定位置处生成上述管腔脏器的位置信息与上述摄像部的位置信息的关联信息，并且进行控制以根据该关联信息对在上述关联信息存储部中存储的上述位置关联信息进行校正。
【文档编号】A61B1/04GK104321007SQ201380028672
【公开日】2015年1月28日 申请日期:2013年8月1日 优先权日:2012年9月7日
【发明者】秋本俊也, 大西顺一 申请人:奥林巴斯医疗株式会社
【专利摘要】医疗装置具备：存储部，其存储预先获取到的被检体内的三维图像信息；摄像部，其拍摄被检体内；管腔脏器提取部，其从三维图像信息中提取被检体内的规定管腔脏器的三维形状的图像信息；特征信息获取部，其根据被插入到规定管腔脏器内的摄像部的位置信息，获取提取出的规定管腔脏器的三维形状的图像信息中的特征信息；关联图像生成部，其生成规定管腔脏器的三维形状的图像信息与特征信息相关联的图像；以及显示部，其显示摄像部在规定管腔脏器内的位置信息附近的规定管腔脏器的特征信息。
【专利说明】医疗装置
【技术领域】
[0001 ] 本发明涉及一种拍摄被检体内的医疗装置。
【背景技术】
[0002]内窥镜作为被插入到被检体内且前端部设有摄像单元的医疗装置，广泛应用于医疗领域和其它领域。
[0003]另外，还提出了一种与CT装置等的信息进行组合的医疗装置，以将内窥镜插入到被检体的管腔脏器内来进行检查或者能够根据检查结果来顺利地进行利用处置器具进行的处置等。
[0004]例如作为第一以往例的日本特开2007-7041号公报所公开的手术辅助装置具备:三维位置检测装置，其依次检测内窥镜的位置；图像制作单元，其制作叠加于内窥镜的影像的手术辅助图像；以及坐标整合单元，其将三维位置检测装置的坐标和图像制作单元所具有的图像坐标进行整合。
[0005]图像制作单元使用由MRI等拍摄到的被检体的三维体积图像数据来制作叠加于内窥镜的影像的手术辅助图像。由于坐标整合单元，即使内窥镜的位置、朝向发生变更，也能够在保持与其相对的位置的状态下实时地叠加显示与内窥镜的朝向一致的手术辅助图像。
[0006]另外，在作为第二以往例的日本特开2005-131042号公报中公开了一种插入辅助装置，该插入辅助装置生成支气管的多个分支点处的虚拟内窥镜图像，辅助被插入支气管内的内窥镜。
[0007]然而，在上述第一以往例中并未考虑在依次检测内窥镜的位置的三维位置检测装置的坐标与手术辅助图像的坐标的坐标整合中产生了(位置偏移等的)偏移时的应对手段或者应对方法。当两个坐标产生位置偏移时，导致内窥镜的影像与手术辅助信息偏移了偏移量，因此无法进行如产生偏移之前那样的顺利的手术辅助。
[0008]另外，在第二以往例中并未公开以下结构:使被插入到作为管腔脏器的支气管内的内窥镜的前端部所搭载的摄像单元的位置信息与由CT装置得到的支气管的三维位置信息匹配(matching)。
[0009]因此，为了能够更有效地进行插入辅助而期望以下结构:在内窥镜的前端部或摄像单元的位置信息与摄像单元所插入的管腔脏器的位置信息之间产生了被允许程度以上的偏移的情况下，能够进行手术操作者等易于应对消除偏移这一情况的信息的呈现等。
[0010]本发明是鉴于上述点而完成的，目的在于提供一种能够呈现易于对在搭载于内窥镜等的摄像单元和摄像单元所插入的管腔脏器的信息之间产生了偏移的情况进行应对的信息的医疗装置。
【发明内容】
[0011]本发明的一个方式的医疗装置具备:存储部，其构成为存储预先获取到的被检体内的三维图像信息；摄像部，其构成为拍摄上述被检体内；管腔脏器提取部，其构成为从上述三维图像信息中提取上述被检体内的规定管腔脏器的三维形状的图像信息；特征信息获取部，其构成为根据被插入到上述规定管腔脏器内的上述摄像单元的位置信息，来获取由上述管腔脏器提取部提取出的上述规定管腔脏器的三维形状的图像信息中的特征信息；关联图像生成部，其构成为生成将上述特征信息关联到上述规定管腔脏器的三维形状的图像信息的图像；以及显示部，其构成为显示上述规定管腔脏器内的上述摄像部的位置信息附近的上述规定管腔脏器的特征信息。
【专利附图】
【附图说明】
[0012]图1是表示本发明的第一实施方式的医疗装置的整体结构的图。
[0013]图2A是表示特征信息获取部的结构的框图。
[0014]图2B是表示显示支气管的三维形状的支气管虚拟图像等的图。
[0015]图3是表示图2中的一个分支部周围的详情的图。
[0016]图4是表示将内窥镜的插入部插入支气管内时的医疗装置所进行的插入辅助的处理内容的流程图。
[0017]图5是两个坐标系中的同一位置进行关联时的说明图。
[0018]图6是判断在支气管内插入了内窥镜的插入部时进行了位置测量而得到的摄像装置的位置在规定条件下是否处于管腔内的情况的说明图。
[0019]图7是用于在重启画面中新设定基准位置并校正位置关联信息的说明图。
[0020]图8是表示确定基准位置并校正位置关联信息的处理的流程图。
[0021]图9是表示在支气管内的规定位置设定内窥镜的前端部并进行位置关联的情形的说明图。
[0022]图10是表示本发明的第二实施方式的医疗装置的整体结构的图。
[0023]图11是表示第二实施方式中的将内窥镜的插入部插入支气管内时的医疗装置所进行的插入辅助的处理内容的流程图。
[0024]图12是针对设定于支气管的各区域选择性地设定测量信息的情形的说明图。
[0025]图13是表示第二实施方式的第七变形例中的摄像装置的当前位置等的说明图。
[0026]图14是表示从图13的状态起继续进行获取测量信息的动作时的摄像装置的各位置等的图。
[0027]图15是表示第二实施方式的第九变形例中的在CT断层像图像上显示摄像装置的位置时的关联图像的显示例的图。
[0028]图16是表示在图15中在摄像装置的位置存在于切剖面上时和不存在于切剖面上时以不同的形状进行显示的情况的显示例的图。
[0029]图17是表示第二实施方式的第九变形例中的在CT断层像图像上显示摄像装置的位置并且还显示虚拟内窥镜图像的关联图像的显示例的图。
【具体实施方式】
[0030]以下，参照【专利附图】
【附图说明】本发明的实施方式。
[0031](第一实施方式)
[0032]如图1所示，本发明的第一实施方式的医疗装置I主要由内窥镜装置4和插入辅助装置5构成，该内窥镜装置4具备内窥镜3，该内窥镜3被插入到成为检查对象的作为被检体的患者的作为规定管腔脏器的支气管2 (参照图2、图7，在图2中用虚线表示其一部分)内，该插入辅助装置5与该内窥镜装置4 一起使用，用于进行内窥镜的插入辅助。
[0033]内窥镜装置4具有:内窥镜3 ;光源装置6，其对该内窥镜3提供照明光；作为信号处理装置的照相机控制部件(简称为CCU) 8，其对构成搭载于内窥镜3的摄像单元的摄像元件7的信号进行信号处理；以及监视器9，其显示由(XU8生成的内窥镜图像。
[0034]内窥镜3具有:细长的插入部11，其具有挠性；以及操作部12，其被设于该插入部11的后端，在插入部11的前端部13设有照明窗和观察窗。用于传播照明光的光导件14贯穿于插入部11、操作部12内，该光导件14的入射端与光源装置相连接，由光源装置6内的未图示的光源灯或者LED产生的照明光入射到入射端。由该光导件14传播的照明光从被安装于照明窗的出射端(前端面)向前方射出。
[0035]另外，在观察窗中安装有物镜15，在其成像位置配置有CXD等摄像元件7，使用物镜15与摄像元件7形成作为摄像单元的摄像装置16，该摄像装置16对插入部11所插入的作为规定管腔脏器的支气管2内进行拍摄。
[0036]摄像元件7经由贯穿插入部11、操作部12内的信号线与CXU 8相连接。CXU 8使用其内部的未图示的图像信号生成电路来生成与在摄像元件7的摄像面上成像的光学像对应的摄像图像的图像信号，将该图像信号输出到监视器9。监视器9将图像信号的图像(运动图像)作为内窥镜图像(还称为摄像图像)进行显示。
[0037]另外，在前端部13内，在摄像元件7的附近位置设置有位置传感器17。另外，在成为内窥镜3和被检体的外部的规定位置处设置有测量处理装置或者测量处理部18，该测量处理装置或者测量处理部18进行对该位置传感器17的三维位置(还简称为位置)进行测量(检测)的处理。
[0038]测量处理部18对位置传感器17的位置进行测量，但是该位置能够与前端部13或者摄像装置16 (的摄像元件7)的位置近似。
[0039]该测量处理部18具有使用位置传感器17生成摄像装置16所处的位置信息的位置信息生成部18b的功能，该摄像装置16构成被插入到作为规定管腔脏器的支气管2内的摄像单元。
[0040]作为位置检测方法，能够利用使用了磁的方法。例如，由使用线圈构成的位置传感器17检测从与测量处理部18相连接的天线18a发出的交流磁场，由(具备振幅检测电路和相位检测电路的)测量处理部18对由位置传感器17检测出的信号的振幅和相位进行检测，由此对从天线18a至位置传感器17为止的距离进行测量。测量处理部18将三个以上的多个天线18a设置于各不相同的已知位置，由此确定位置传感器17的三维位置。
[0041]此外，也可以设为以下结构:对构成位置传感器17的线圈施加交流信号，使其周围产生交流磁场，在天线18a侧检测交流磁场从而检测位置传感器17的位置。作为一例而说明了使用了线圈的磁式位置检测装置，但是位置传感器17和测量处理部18的结构并不限定于上述说明的情况。例如，也可以沿着插入部11的长度方向以规定间隔配置用于进行位置检测的多个线圈，根据多个线圈的位置来估计插入部11的形状，从而能够检测前端部13等的位置。
[0042]此外，在内窥镜3的插入部11中，在前端部13的后端设有弯曲自由的弯曲部19，手术操作者进行使设置于操作部12的弯曲操作旋钮25c进行旋转的操作，由此能够使弯曲部19向上下左右任意方向进行弯曲。
[0043]上述插入辅助装置5具有:CT图像数据取入部21，其针对被内窥镜3检查的患者，经由DVD、蓝光盘、快闪存储器等便携式的存储介质取入由公知的CT装置生成的患者的作为三维图像信息的CT图像数据；以及CT图像数据存储部22，其存储被该CT图像数据取入部21取入的CT图像数据。
[0044]此外，CT图像数据存储部22也可以经由通信线路、因特网等存储由CT装置生成的(作为被检体的患者的)CT图像数据。该CT图像数据存储部22由硬盘装置、快闪存储器、DVD等构成。
[0045]另外，CT图像数据存储部22具有关联信息存储部22a，该关联信息存储部22a将CT图像数据以及与该CT图像数据对应的使用了第一坐标系的三维位置数据存储为两者关联的关联信息。
[0046]另外，插入辅助装置5具有作为管腔脏器提取部或者管腔脏器提取电路的支气管提取部23，该支气管提取部23从CT图像数据存储部22的CT图像数据中提取作为规定管腔脏器的支气管2的三维图像数据。
[0047]该支气管提取部23根据提取出的支气管2的三维图像数据(更具体地说三维体积数据)生成表示支气管2的中空形状的三维形状的图像信息(图像数据)。也就是说，支气管提取部23具有支气管虚拟图像生成部23a，该支气管虚拟图像生成部23a具备支气管虚拟图像生成电路，该支气管虚拟图像生成电路根据提取出的支气管2的三维图像数据来生成作为中空的三维形状的支气管形状的虚拟图像的支气管形状虚拟图像。
[0048]另外，该支气管提取部23在提取支气管2的三维形状的图像数据时，与对应于三维图像数据的第一坐标系中的三维位置数据相关联地提取。而且，该支气管提取部23具有由存储器等构成的关联信息存储部23b，该关联信息存储部23b存储使支气管2的三维形状的图像数据(即支气管形状虚拟图像数据)与三维位置数据相关联的关联信息。
[0049]另外，插入辅助装置5具有VBS图像处理部24，该VBS图像处理部24根据摄像装置16所处的位置信息来进行用于生成由摄像装置16拍摄了支气管2内时的虚拟内窥镜图像(称为VBS图像)的图像处理。
[0050]该VBS图像处理部24具备:VBS图像生成部24a，其生成VBS图像；以及VBS图像存储部24b，其存储所生成的VBS图像。此外，也可以将VBS图像存储部24b设置于VBS图像处理部24的外部。
[0051]另外，插入辅助装置5具有由图像处理电路构成的图像处理部25，该图像处理部25具备:特征信息获取部25a，其进行用于获取特征信息的图像处理，以获取由支气管提取部23提取出的作为规定管腔脏器的支气管2的三维形状的图像信息中的特征信息；以及关联图像生成部25b，其生成作为将特征信息关联到支气管2的三维形状的图像信息的图像的特征信息关联图像。
[0052]如图2A所示，特征信息获取部25a具有:二维图像信息获取部33a，其获取与支气管2中的分支有关的二维图像信息；以及测量信息获取部33b，其主要获取与支气管2中的分支有关的测量信息。
[0053]二维图像信息获取部33a获取与支气管2中的分支有关的二维图像信息，由此在根据获取到的信息来生成支气管2中分支出的分支部分的作为虚拟内窥镜图像的VBS图像时使用。此外，VBS图像生成部24生成包含分支部分和未分支的部分的VBS图像。因此，也可以将二维图像信息获取部33a设置于VBS图像处理部24内。
[0054]另外，在图1中，使用不同部件来表示图像处理部25和VBS图像处理部24，但是，例如也可以构成为图像处理部25包含VBS图像处理部24中的VBS图像生成部24a。
[0055]测量信息获取部33b具有位置/支气管直径/距离测量信息获取部，该位置/支气管直径/距离测量信息获取部更具体地说，获取(第二坐标系中的摄像装置16的位置和与该位置对应的第一坐标系中的)位置、支气管直径、至支气管2的规定位置为止的距离的测量信息，来作为与支气管2中的分支有关的测量信息。
[0056]此外，并不限定于测量信息获取部33b获取位置、支气管直径、距离这三个测量信息的情况，也可以设为获取它们中的两个或者至少一个的结构。另外，并不限定于特征信息获取部25a具有二维图像信息获取部33a和测量信息获取部33b两者的情况，也可以设为仅具有其中一个的结构。另外，并不限定于将测量信息获取部33b设置于图像处理部25内的特征信息获取部25a内的情况，也可以设置于图像处理部25的外部、例如测量处理部18内，或者设置为与图像处理部25和测量处理部18不同的部件。
[0057]关于上述特征信息，作为插入辅助的信息而被利用，并且形成为了易于应对在规定条件下的位置估计失败的情况而呈现的信息。
[0058]另外，该图像处理部25具有图像合成处理部25c，该图像合成处理部25c进行将支气管形状虚拟图像、支气管2内部的虚拟内窥镜图像(VBS图像)以及由摄像元件7得到的内窥镜图像(摄像图像)等进行合成的图像处理。图像合成处理部25c将合成得到的合成图像(的图像信号)输出到作为显示单元的监视器26，在监视器26中显示合成图像。
[0059]图2B示出由支气管虚拟图像生成部23a生成的支气管形状虚拟图像2a。此外，将该支气管形状虚拟图像2a的图像数据与分别对应的三维位置信息相关联地存储到关联信息存储部23b。
[0060]在图1中，示出特征信息获取部25a设于图像处理部25内的情况，但是也可以将特征信息获取部25a设置于图像处理部25外部的VBS图像处理部24内部、或者支气管提取部23内部、其它位置。在该情况下，由特征信息获取部25a获取到的特征信息被输入到图像处理部25的图像生成部25b。
[0061]包含由该图像处理部25生成的合成图像的情况的图像信号被输出到作为图像显示单元的监视器26，在监视器26中显示该图像信号的图像。
[0062]另外，插入辅助装置5具有:控制部27，其对图像处理部25所进行的图像处理等进行控制，由CPU等构成；以及存储部28，其存储位置关联信息等，该位置关联信息是将在显示于监视器26的图像、CT图像数据的生成中、也在支气管形状虚拟图像2a的生成中使用的坐标系(第一坐标系)的位置与在位置传感器17和测量处理部18对摄像装置16的位置的测量中使用的坐标系(第二坐标系)的位置相关联而得到的。
[0063]控制部27具有进行在监视器26中显示的图像的显示控制的图像显示控制部27a的功能。
[0064]另外，该控制部27具有(位置信息附近)特征信息显示控制部27b，该(位置信息附近)特征信息显示控制部27b进行控制，以将作为规定管腔脏器的支气管2内的摄像装置16的位置信息附近的上述支气管2的特征信息显示在作为显示单元的监视器26中。而且，监视器26显示该位置信息附近的上述支气管2的特征信息。
[0065]另外，在本实施方式中，为了能够辅助(手术操作者)顺利地进行向支气管2内插入内窥镜3的插入作业，而将用于对支气管2的三维形状的图像数据进行管理的第一坐标系中的位置(位置信息)与被插入到支气管2内的内窥镜3的插入部11的前端部13的摄像装置16的第二坐标系中的位置(位置信息)进行位置关联或者位置对准(Registrat1n)。
[0066]控制部27具有对两个坐标系中的位置关联进行控制的位置关联控制部27c的功倉泛。
[0067]该进行了位置关联而得到的位置关联信息例如被存储到存储部28的位置关联信息存储部28a。
[0068]另外，控制部27具有判断部27d的功能，在进行了位置关联之后，该判断部27d判断两个坐标系中的位置信息是否在规定条件以内成功进行了位置估计。
[0069]另外，插入辅助装置5具有:MPR图像生成部29，其根据在CT图像数据存储部22中存储的CT图像数据来生成多截面重构图像(称为MPR图像)；以及路线设定部30，其生成具有由MPR图像生成部29生成的MPR图像的作为辅助路线(简称为路线)或者路径的设定画面的路线设定画面(或者路径设定画面)，设定内窥镜3进入支气管2的路线。
[0070]另外，医疗装置I具有输入装置31，该输入装置31由对路线设定部30输入设定信息的键盘以及指示设备等构成。另外，手术操作者能够从该输入装置31对图像处理部25输入进行图像处理时的参数、数据，或者针对控制部27选择、指示控制动作。
[0071]另外，在手术操作者设定了路线的情况下，路线设定部30将所设定的路线(路径)的信息发送到VBS图像处理部24、MPR图像生成部29、控制部27。VBS图像处理部24和MPR图像生成部29分别生成沿着路线的VBS图像、MPR图像，控制部27沿着路线对各部的动作进行控制。
[0072]上述特征信息获取部25a根据被插入到支气管2内的摄像装置16的位置信息，获取由支气管提取部23提取出的支气管2的三维形状的图像数据中的与支气管2的分支有关的二维图像信息、或者与摄像装置16在支气管2中的位置对应的位置、支气管直径、至支气管2的规定位置为止的距离等测量信息，来作为与上述支气管2有关的特征信息。
[0073]例如，如图2B所示(根据CT图像数据来虚拟地显示支气管2的形状的)支气管形状虚拟图像2a中的三维形状的中空管腔存在分支成多个的分支部。在图2B中示出与沿着由路线设定部30设定的路线从前端侧插入内窥镜3的插入部11的情况对应的分支部B1-B5。此外，在图2B中示出了分支部B1-B5，但是并不限定于分支部B1-B5的情况，能够应用于Bl-Bn(η为2以上的自然数)。
[0074]在本实施方式中，为了顺利地进行插入辅助，特征信息获取部25b利用支气管2的三维形状的图像数据，在各分支部Bi (i = 1,2,…，η)附近的位置处，以与虚拟配置内窥镜3的摄像装置16并拍摄分支部Bi的情况对应的二维VBS图像为二维图像信息，从(VBS图像处理部24的)VBS图像存储部24b获取VBS图像。
[0075]而且，关联图像生成部25b生成关联图像J，该关联图像J是将作为由特征信息获取部25a获取到的二维图像信息的、拍摄分支部得到的VBS图像Ii关联到作为支气管2的三维形状的图像信息的支气管形状虚拟图像2a的图像。而且，监视器26例如图2B所示那样显示该关联图像J。
[0076]在图2B中示出对各分支部Bi关联了拍摄分支部Bi得到的VBS图像Ii后的状态。此外，在图2B中用附图标记C来表示支气管2(支气管形状虚拟图像2a)的管腔的中心线。
[0077]图3更详细地示出一个分支部Bi附近处关联了拍摄该分支部Bi得到的VBS图像Ii后的内容。
[0078]图3示出形成分支部Bi的分支部Bi周围部，该分支部Bi是(支气管2中的)一个管腔形状从分支边界位置PBi分支为两个管腔形状而得到的。
[0079]另外，图3示出在(支气管2或者)支气管形状虚拟图像2a上在位置Pi处配置摄像装置16 (或者前端部13或者位置传感器17)的状态，该位置Pi与作为规定位置的分支边界位置PBi仅相距规定距离ai，并且在管腔的中心线C上。此外，关于确定仅相距规定距离ai且在管腔路的中心线C上的位置Pi的说明，之后在图7中进行叙述。
[0080]而且，关联图像生成部25c以具有将与使用该摄像装置16拍摄分支部Bi侧的情况对应的VBS图像Ii关联到该支气管2的分支部Bi的关联图像Ji的方式生成关联图像J0
[0081]另外，在本实施方式中，特征信息获取部25a从支气管2的三维形状的图像信息中获取图3中的各位置Pi等处的作为支气管2的内径的支气管直径Di，来作为测量信息。而且，显示控制部27a进行控制以在监视器26中显示支气管直径Di。另外，例如存储部28存储支气管直径Di的测量信息。此外，并不限于从支气管2的三维形状的图像信息中获取支气管直径Di的情况，也可以利用后述的立体测量来获取支气管直径Di的测量信息。
[0082]控制部27的判断部27d使用支气管2的三维形状的位置信息以及在存储部28中存储的支气管直径Di等测量信息，判断由测量处理部18进行位置测量而得到的被插入到支气管2内的摄像装置16的位置信息是否能够在实际插入到支气管2内的状态下所允许的规定条件以内估计出。
[0083]控制部27进行控制动作，使得在判断为能够在规定条件以内估计出的情况下继续进行插入辅助的动作，在判断为在规定条件以内产生位置偏移(换言之位置估计失败)的情况下计算失败的位置附近的支气管2的分支部的信息。
[0084]另外，控制部27控制图像处理部25使得将计算出的包含分支部在内的支气管形状虚拟图像2a与用于进行插入辅助的VBS图像进行合成，并进行控制使得在监视器26中显示作为重启时的显示画面的重启画面。
[0085]在重启时，控制部27将要重启的摄像装置16的位置(即，位置估计失败时的摄像装置16的位置)显示在支气管形状虚拟图像2a上，并且显示该位置附近的VBS图像，呈现易于对存储部28中存储的位置关联信息进行校正的图像。
[0086]此外，所显示的VBS图像为满足使用了以下条件中的至少一个条件的条件式的分支部。
[0087](I)根据内窥镜图像计算出支气管直径，该支气管直径与事先从CT图像上计算出的分支位置处的支气管直径的差分为阈值以下的分支的VBS图像。
[0088](II)针对处于与位置估计最后成功的位置相距固定范围内的分支部的VBS图像。
[0089](III)针对处于与位置估计失败的位置相距固定范围内的分支部的VBS图像。
[0090](IV)针对从位置估计失败的时间点起过去固定期间内在存储部28中记录的位置附近的分支部的VBS图像。
[0091](V)路线上的分支部。
[0092]并且，也可以根据内窥镜图像计算从内窥镜前端至分支为止的距离，针对满足上述条件的分支部生成相距相同距离的VBS图像。
[0093]这些条件下的距离可以是指两点之间的直线距离，也可以是指管腔的中心线上的距离。
[0094]这种结构的医疗装置I的特征在于，具备:CT图像数据存储部22，其构成存储单元，存储预先获取到的被检体内的三维图像信息；摄像装置16，其构成摄像单元，拍摄上述被检体内；支气管提取部23，其构成管腔脏器提取单元，从上述三维图像信息中提取作为上述被检体内的规定管腔脏器的支气管2的三维形状的图像信息；特征信息获取部25a，其构成特征信息获取单元，根据被插入到上述规定管腔脏器内的上述摄像单元的位置信息来获取由上述管腔脏器提取单元提取出的上述规定管腔脏器的三维形状的图像信息中的特征信息；关联图像生成部25b，其构成关联图像生成单元，生成将上述特征信息关联到上述规定管腔脏器的三维形状的图像信息的图像；以及监视器26，其构成显示单元，显示上述规定管腔脏器内的上述摄像单元的位置信息附近的上述规定管腔脏器的特征信息。
[0095]接着，参照图4说明本实施方式的动作。图4示出将内窥镜3的插入部11插入支气管2内时的医疗装置I各部的主要处理。
[0096]在向支气管2内插入内窥镜3的插入部11的情况下，如步骤SI所示，医疗装置I的控制部27进行以下处理:进行两个坐标系中的位置关联(位置对准)。
[0097]控制部27 (的位置关联控制部27d)在第一坐标系以及第二坐标系中进行在三个以上的多个位置处进行关联的位置关联(位置对准)处理，其中，该第一坐标系在提取CT图像数据和从该CT图像数据提取支气管2的三维形状的图像数据时使用，该第二坐标系在测量处理部18对前端部13的位置传感器17进行测量时使用。
[0098]图5示出位置关联的动作的说明图。手术操作者例如在支气管2的入口附近的例如四个点Q0-Q3处依次设定内窥镜3的前端部13 (或者位置传感器17)，从输入装置31进行在第一坐标系O-XYZ和第二坐标系o-xyz中分别进行位置关联的指示或者指示输入。因此，输入装置31形成进行位置关联的指示的指示输入部或者指示输入单元。
[0099]例如，将前端部13 (或者位置传感器17)依次设定于第一坐标系O-XYZ中的原点O的位置Q0(0，0，0)、X坐标上的位置Ql (1，0，0)、Y坐标上的位置Q2(0，1，0)、Ζ坐标上的位置Q3(0，0，I)，手术操作者进行位置关联的指示。在该指示中，当将由测量处理部18在各位置处依次测量出的位置设为(x0，y0，z0)、(xl，yl，zl)、(x2，y2，z2)、(x3, y3, z3)时，控制部27进行控制，以进行位置关联并将位置关联信息存储到存储部28。
[0100]存储部28存储该情况下的位置关联信息(具体地说，第一坐标系O-XYZ中的QO (0,0,0), Ql (1,0,0), Q2 (0,1,0), Q3 (0,0,1)为第二坐标系 ο-xyz 中(x0，y0, z0)、(xl，yl，zl)、(x2, y2, z2)、(x3, y3, z3)各自所对应的信息)。
[0101]另外，控制部27使用在存储部28中存储的位置关联信息来决定用于将两个坐标系的任意位置进行关联的变换信息。控制部27将该变换信息存储到存储部28。
[0102]在图5 中，将坐标位置 Q0(0，0，0)、Q1(1，0，0)、Q2(0，l，0)、Q3 (0,0,1)和各自对应的坐标位置(xO, yO, zO)、(xl, yl, zl)、(x2, y2, z2)、(x3, y3, z3)简化，从而用 Q0<^>(x0, yO，zO)、QI<^>(xI, yl, zl)、Q2<^>(x2, y2,
z2) Q3<^(x3, y3, z3)表示。此外，也可以不是在图5示出的四个点处，而是在省略了其中一个点的三个点处进行(决定)位置关联。
[0103]在像这样位置关联的处理结束之后，手术操作者将内窥镜2的插入部11插入到支气管2内，开始进行内窥镜检查。
[0104]手术操作者为了使监视器26显示支气管2的三维形状的支气管形状虚拟图像2a而从输入装置31输入指示，使监视器26显示支气管2的三维形状的支气管虚拟图像，还进行将内窥镜3的插入部11插入支气管2内的路线(路径)的设定等。
[0105]当手术操作者将内窥镜3的插入部11从其前端部13侧插入支气管2内时，如图4的步骤S2所示，前端部13的摄像装置16拍摄支气管2内，将摄像图像显示在监视器9，并且在监视器26中也显示摄像图像。
[0106]另外，如步骤S3所示，测量处理部18进行位置传感器17或者前端部13 (或者摄像装置16)的位置测量，将位置测量后得到的位置数据输出到控制部27。
[0107]如步骤S4所示，控制部27判断从测量处理部18输入的第二坐标系的位置数据相对于表示支气管2的三维形状的第一坐标系的位置数据的规定条件的位置估计是否成功。
[0108]作为规定条件的位置估计的一个判断法，采用以下方法:例如图6所示，由测量处理部18例如第i个测量出的第二坐标系中的测量位置Pmi是否存在于第一坐标系中的支气管2的管腔形状的内侧。
[0109]在如图6所示那样第(1-Ι)个测量出的测量位置Pm(1-l)在第一坐标系中被计算为存在于(作为支气管2的三维形状的虚拟图像的)支气管形状虚拟图像2a中的成为管腔内侧的区域内的情况下，判断部27d判断为规定条件的位置估计成功。此外，在图6中，用斜线表示管腔形状的外侧。
[0110]在像这样判断部27d判断为规定条件的位置估计成功的情况下，在下一步骤S5中，控制部27进行控制，以将规定条件的位置估计成功的状态下的测量位置Pm(1-l)、由摄像装置16得到的摄像图像、前端部13的姿势的信息、测量时的时间信息存储到存储部28。
[0111]这样，存储部28具有位置和图像存储部28b，该位置和图像存储部28b按时间序列存储被插入到支气管2内的摄像装置16的位置信息、由摄像装置16拍摄到的摄像图像以及前端部13的姿势的信息。此外，并不限定于位置估计成功的情况，在位置估计未成功而失败的情况下，存储部28也可以按时间序列存储上述信息。
[0112]在步骤S5的处理之后，返回到步骤S2的处理，反复进行步骤S2-S5的处理。
[0113]与此相对地，如图6所示那样第i个测量出的测量位置Pmi在第一坐标系中被计算为成为管腔外侧的用斜线表示的区域内的情况下，判断部27d判断为规定条件的位置估计已失败。
[0114]在该情况下，转移到图4的步骤S6的处理，在该步骤S6中，控制部27进行控制以使测量处理部18进行测量。然后，在步骤S7中，测量处理部18事先根据支气管提取部23的三维形状的图像数据求出上述测量位置Pmi周围的分支部，从特征信息获取部25a获取支气管直径。并且，使用测量位置Pmi和Pm1-1的内窥镜图像通过立体测量求出分支部处的支气管直径Ri，计算周围的分支中的、与从特征信息获取部25a获取到的支气管直径的差分为阈值以下的分支。
[0115]此外，如上所述，并不限定于一个分支部Bi的情况，控制部27也可以计算多个分支部以扩大针对手术操作者的选项。
[0116]另外，在步骤S8中，控制部27生成上述分支部Bi附近的虚拟内窥镜图像、即VBS图像。然后，在下一步骤S9中，控制部27进行控制，以使图像处理部25的关联图像生成部25b生成关联图像并且在监视器26中显示为重启画面。作为该重启画面中的图像，例如显示图3所示那样的关联图像Ji。
[0117]由于通过监视器26的显示对手术操作者呈现关联图像Ji，因此如步骤SlO所示那样使用关联图像Ji，来进行位置估计失败的情况的对应、例如位置关联的校正处理。在步骤SlO的处理之后返回到步骤S2的处理。此外，也可以如图2B所示那样显示多个分支部和VBS图像。另外，也可以使得手术操作者能够选择性地设定进行显示时的分支部的数量、VBS图像的数量。
[0118]接着，说明对关联图像Ji或者重启画面中的位置关联信息进行校正的处理动作。
[0119]在图6中测量位置Pmi为管腔外侧的情况下，控制部27进行控制以计算出该测量位置Pmi附近的分支部Bi，并进行控制以在监视器26中显示图3所示那样的关联图像Ji。
[0120]手术操作者根据关联图像Ji的显示，如下那样对初始状态下设定的位置关联信息进行校正，由此能够顺利地继续进行内窥镜3的插入作业。
[0121]说明根据图3的图像来对位置关联的误差大的位置关联信息进行校正的动作。
[0122]图7示出用于在与图3的状态对应的支气管2以及被插入到该支气管2内的内窥镜3的前端侧的状态下确定作为基准位置的位置Pi并校正位置关联信息的说明图。另外，图8示出校正位置关联信息的操作、处理。
[0123]如图8的步骤Sll所示，手术操作者进行用于确定基准位置的操作(作业)。为了校正在初始状态下设定的位置关联信息，进行新设定基准位置的操作。在第一坐标系中，分支边界位置PBi的三维位置在支气管2的三维形状的图像数据中成为向管腔内侧突出的顶点位置，因此成为易于确定的确定位置。
[0124]另外，为了将与该分支边界位置PBi相距规定距离ai的、支气管2的管腔的中心线C上的位置Pi确定为基准位置，如步骤S12所示，手术操作者将内窥镜3的摄像装置16设定为对作为规定位置的分支边界位置PBi进行立体测量的状态。
[0125]在内窥镜3仅具有一个摄像装置16的情况下，如图7所示，手术操作者在支气管2的管腔内使内窥镜3的弯曲部19弯曲，依次设定为与管腔内壁抵接的两个状态Stl、St2。
[0126]然后，如步骤S13所示，在各状态Stl、St2下使用摄像装置16拍摄分支边界位置PBi，分别将摄像图像例如存储到存储部28。
[0127]如步骤S14所示，在两个摄像图像上，手术操作者从输入装置31指定作为同一规定位置的分支边界位置PBi。
[0128]如步骤S15所示，控制部27根据该指定，使用内窥镜3的物镜15的焦距、摄像元件7的摄像面的尺寸、像素数等信息，计算距离ai，并且计算第一坐标系中的作为基准位置的位置Pi的三维位置。
[0129]在下一步骤S16中，手术操作者将前端部13设定于位置Pi，从输入装置31进行位置关联的指示。
[0130]接收到该指示后，在步骤S17中，控制部27在作为基准位置的位置Pi处进行在第一坐标系和第二坐标系中新的位置关联的处理。
[0131]S卩，控制部27进行将第一坐标系的位置Pi与以第二坐标系对该位置Pi进行了位置测量时的位置Pri进行关联的处理。
[0132]并且，在步骤S18中，控制部27根据位置关联的信息对初始状态的位置关联信息进行校正。
[0133]例如，控制部27根据图7的位置的关联信息以及在初始状态下设定的位置关联信息中的三个位置关联信息来生成校正后的位置关联信息。另外，还校正(更新)将第一坐标系中的位置和第二坐标系中的位置进行变换或者关联的变换式。
[0134]在图7示出的位置Pi处获取到的位置关联信息当与在支气管2的入口附近设定的初始状态的位置关联信息进行比较时，是沿着支气管2的管路的深部侧的位置关联信息，因此在实际插入内窥镜3的插入部11的情况下，被认为是可靠性更高的位置信息。而且，利用该位置关联信息对在初始状态下设定的位置关联信息进行校正，由此能够对利用沿着支气管2的管路的深部侧的位置关联信息进行的校正的误差进行校正。
[0135]而且，这样，手术操作者使用校正后的位置关联信息继续进行插入操作。例如，手术操作者从输入装置31在重启画面中进行再次开始位置测量的指示，由此使用校正后的位置关联信息再次开始图4的步骤S2以后的处理。
[0136]这样，通过利用医疗装置I中的插入辅助的信息，能够辅助手术操作者进行将内窥镜3顺利地插入到支气管2的深部侧的作业。
[0137]此外，在上述说明中，说明了利用立体测量在基准位置处进行了两个坐标系的位置关联的例子，但是，也可以如图9所示，在使前端部13的前端面抵接于分支边界位置PBi的状态下，在该分支边界位置PBi处进行两个坐标系的位置关联。
[0138]在该情况下，手术操作者将前端部13的前端面设定为与作为规定位置的分支边界位置PBi抵接的状态，只要从输入装置31对控制部27进行位置关联的指示输入，输入辅助装置5就能够进行图8的位置关联的处理。另外，也可以使用日本特开2009-279251号公报所记载的方法、即通过找到与内窥镜图像类似的VBS图像来求出内窥镜前端的位置姿势的方法，校正位置关联信息。或者，也可以从在对根据上述方法计算出的内窥镜前端的位置和初始的位置关联信息进行计算时使用的四个点中选择三个点，通过前述方法来校正位置关联信息。
[0139]另外，也可以如图9所示那样配置多个设于前端部13的位置传感器17。在配置多个位置传感器17的情况下，如图9所示那样除了设置沿着插入部11的轴向(长度方向)配置的传感器(17a、17b)以外，还设置在例如与轴向正交的方向上配置的传感器(17c)，由此能够检测前端部13中的摄像装置16进行拍摄的方向(方位)。还将该情况下的摄像装置16进行拍摄的方向称为视线方向。而且，也可以在将摄像装置16的位置存储到存储部28的情况下，还存储该视线方向的信息。
[0140]此外，在图4中的步骤S4的规定条件的位置估计的判断中，将位置测量后得到的第二坐标系的位置是否为第一坐标系的支气管直径的内部设为判断条件，但是也可以将与进行了位置关联的位置相距事先设定的距离以内设为判断条件并进行组合。
[0141]在该情况下，也可以在相距过去进行的位置关联的位置超出固定距离R的情况下，在图4中的步骤S4中判断为不符合进行规定条件的位置估计的判断条件，转移到步骤S6的处理。
[0142]另外，还可以采用其它判断条件作为步骤S4的判断条件。
[0143]也可以在除了用于进行内窥镜3的前端部13的位置测量的位置传感器17以外的、例如用于对由患者的呼吸引起的脏器的移动进行校正的位置传感器(体外标识器)向未设想的方向移动时，或者在体外标识器检测出固定以上的移动量时，控制部27的判断部27d在步骤S4中设为不符合规定条件的位置估计的判断条件并转移到步骤S6的处理。
[0144]另外，也可以从上述判断法、即支气管直径、距离、固定以上的移动量中组合两个以上的条件。
[0145]根据上述第一实施方式，在将内窥镜3的插入部11插入到作为规定管腔脏器的支气管2内的情况下，医疗装置I对设置于插入部11的前端部13的摄像装置16的位置进行测量，将该位置附近的支气管2内的虚拟内窥镜图像、支气管直径、至支气管2的规定位置为止的距离等显示在监视器26，因此能够在摄像装置16的位置估计失败的情况下，对手术操作者呈现易于应对位置估计失败的信息。
[0146]例如，在位置估计失败时的显示于监视器26的重启画面中，利用在图8中说明的立体测量对两个坐标系中的位置关联信息进行校正，由此能够进行辅助以能够根据该重启画面再次继续进行将内窥镜3的插入部11插入到支气管2的深部侧的操作。作为更简单的方法，还能够使内窥镜3的前端部13的前端面与支气管2的成为规定位置的分支边界位置抵接来校正位置关联信息。
[0147]此外，在上述步骤S4中组合多个条件，由此起到以下效果。具体地说，在将“跑出支气管”、“与过去进行的位置关联的位置相距某一距离以内”、“固定以上的移动量”中的两个以上的条件用“或(or) ”的关系进行组合而设为判断式的情况下，即使基于位置关联信息的校正的误差小也能够进行检测，能够进行高精度的内窥镜前端的位置显示。另外，在将两个以上的条件以“和(and) ”的关系进行组合的情况下，判断的可靠性提高，因此即使由于噪声等而位置传感器的精度变差，也能够防止重启次数增加。
[0148]另外，在步骤S9中使用“支气管直径”、“至分支部为止的距离”这种测量信息来锁定在重启画面中显示的VBS图像，由此使手术操作者对VBS图像的选择变得容易。
[0149]此外，在上述实施方式中，也可以在位置估计未失败的情况下，图像处理部25生成将特征信息关联到作为规定管腔脏器的支气管2的三维形状的图像信息的图像，控制部27进行控制以在监视器26中显示摄像装置16的位置信息附近的支气管2的(由特征信息获取部25a获取到的)特征信息。在该情况下，当显示摄像装置16附近的例如分支部的VBS图像作为特征信息时，手术操作者能够一边确认是否在分支部处将前端部13插入到某一个管路侧一边进行插入，因此易于进行插入作业。
[0150]另外，关于作为上述情况下的测量信息的、对至规定位置为止的距离进行测量而得到的测量信息，以从摄像装置16的位置至分支部Bj的规定位置为止的距离的例子进行了说明，但是也可以如在以下实施方式中说明的那样，将从摄像装置16的位置至支气管2的管路的中心线C在分支部Bj中进行分支的分支点为止的距离设定为测量信息。
[0151](第二实施方式)
[0152]接着，说明本发明的第二实施方式。图10示出的本实施方式的医疗装置IB构成为在图1示出的医疗装置I的结构中设置了选择单元，该选择单元在支气管2中设定区域，并进行按各区域切换测量信息的选择。在不使用该选择单元的情况下，成为与第一实施方式相同的结构和作用。
[0153]例如输入装置31具有设定和选择指示部31a并且控制部27具备设定和测量信息选择部27e，来作为上述选择单元，其中，该设定和选择指示部31a进行用于设定区域以及按各区域选择测量信息的设定和选择指示，该设定和测量信息选择部27e针对该设定和选择指示，进行区域的设定以及按各区域选择测量信息的控制。其它结构与第一实施方式相同。
[0154]图11示出本实施方式的处理内容。此外，图11中的步骤S31-S33、S35_37成为与第一实施方式的情况大致相同的处理。
[0155]如图11所示，在最初的步骤S31中，控制部27与图4的步骤SI同样地进行两个坐标系中的位置关联的处理。
[0156]在下一步骤S32中，摄像装置16进行拍摄，并且在步骤S33中，测量处理部18进行前端部13 (或者摄像装置16)的位置测量。
[0157]在下一步骤S34中，控制部27的设定和测量信息选择部27e根据通过位置测量得到的前端部13 (或者摄像装置16)所处的区域来选择测量方法。
[0158]图12示出设定成根据前端部13 (或者摄像装置16)所处的区域选择测量方法时的设定例。
[0159]如图12所示，沿着支气管2的管腔的中心线C，例如设定与分支部中的分支点Bpj、Bpj+l相距固定距离以内的区域Aj，Aj+l以及它们之间的区域Aj，j+1，…。此夕卜，分支点Bpj或者Bpj+Ι被定义为一条中心线C在分支部Bj或者Bj+Ι附近分支出两条等多条中心线的点。
[0160]而且，在前端部13(或者摄像装置16)位于支气管2的管腔内的例如区域Aj内的情况下，将测量信息设定为位置，在前端部13(或者摄像装置16)位于区域Aj，j+1内的情况下，将测量信息设定为距离，在前端部13(或者摄像装置16)位于区域Aj+Ι内的情况下，将测量信息设定为支气管直径。此外，在测量信息为位置或者距离的情况下，通过测量处理部18所进行的位置测量来进行测量。
[0161]另一方面，在测量信息为支气管直径的情况下，通过在图7中说明的立体测量对支气管直径进行测量。
[0162]另外，图12的图示例表示一个设定例，手术操作者能够从输入装置31的设定和选择指示部31a进行与图12的图示例不同的设定。也就是说，能够通过手术操作者所期望的测量方法来获取或者显示测量信息。
[0163]此外，在图12中示出切换测量信息的区域的一个设定例，但是也可以包括图12的设定例在内如下那样进行设定。
[0164](A)从分支点至与该分支点在中心线上相距固定距离的位置为止以及除此以外(图12的图示例)
[0165](B)以分支点为中心的固定半径的球内包含的区域以及除此以外的区域
[0166](C)与确定的位置(例如在图2B中用K表示的凸起)相距的距离
[0167](D)支气管的次数或者从支气管的入口侧起依次数出的分支数的数
[0168](E)根据CT断层像图像计算出的支气管直径
[0169](F)与上一次重启(或者开始)的位置相距的距离
[0170]在此，A、C、F所记载的距离可以是两点之间的直线距离，也可以是管腔的中心线上的距离。
[0171]另外，关于这些条件，也可以组合两个以上。
[0172]在步骤S34的下一步骤S35中，测量处理部18等根据前端部13 (或者摄像装置16)所处的区域来进行测量。
[0173]在下一步骤S36中，控制部27的判断部27d判断在步骤S35中进行了测量时的位置估计是否成功。
[0174]如在第一实施方式中说明的那样，使用以下条件中的至少一个条件:(a)在第二坐标系中测量出的位置是否存在于支气管直径以内；(b)在第二坐标系中测量出的位置是否在与过去进行的位置关联的位置相距某一距离以内；(c)使用位置传感器17以外的传感器等获得在第二坐标系中测量出的位置在患者中为固定量的移动量以内。
[0175]在步骤S36中在(a)、(b)、(c)的条件下位置估计成功的情况下，转移到步骤S37的处理。另一方面，在位置估计不成功的情况下，在进行了步骤S38-S41的处理之后，返回到步骤S32的处理。
[0176]在位置估计不成功的情况下，在进行了步骤S38的分支的计算、步骤S39的VBS图像的计算、步骤S40的重启画面的显示、步骤S41的位置关联信息的校正的处理之后，返回到步骤S32的处理。此外，步骤S38-S41的处理为与图4的步骤S7-S10相同的处理。
[0177]另一方面，在步骤S36中，在(a)、(b)、(c)的条件下位置估计成功的情况下，转移到步骤S37的处理。
[0178]在该步骤S37中，控制部27进行控制以将在第二坐标系中测量出的前端部13 (或者摄像装置16)的位置、由摄像装置16拍摄到的摄像图像、前端部13的姿势(前端部13的轴向或者摄像方向)的信息与时间信息一起存储到存储部28之后，返回到步骤S32的处理。此外，存储部38还可以存储获取到的测量信息。
[0179]根据进行这种动作的本实施方式，具有与第一实施方式相同的效果，并且具有能够选择测量方法来进行测量的效果。以下，依次说明第二实施方式的变形例。
[0180](第一变形例)
[0181]对于第二实施方式中的上述步骤S40的重启画面的显示处理，本变形例进行如下处理。
[0182]根据内窥镜图像计算支气管直径。
[0183]将该支气管直径与事先从CT图像上计算出的分支处的支气管直径进行比较，使用具有(大致)相同的直径的分支的VBS图像来生成重启画面。
[0184]另外，也可以不针对所有分支进行直径的比较，而针对以下分支进行直径的比较:
[0185](d)位置估计失败的位置附近的分支
[0186](e)位置估计最后成功的位置附近的分支
[0187](f)路径上的分支
[0188](g)上述条件中的两个以上的组合。
[0189](第二变形例)
[0190]在本变形例中，根据内窥镜图像计算至分支为止的距离，针对全部分支生成相距相同距离的VBS图像，从而生成重启画面。
[0191]另外，也可以不是所有分支，而是以下分支:
[0192](d)位置估计失败的位置附近的分支
[0193](e)位置估计最后成功的位置附近的分支
[0194](f)路径上的分支
[0195](g)上述条件中的两个以上的组合。
[0196](第三变形例)
[0197]在本变形例中，如第二实施方式那样按每个区域设定第一变形例中的要比较的分支的条件。
[0198](第四变形例)
[0199]在本变形例中，如第二实施方式那样按每个区域设定第二变形例中的要生成的分支的条件。
[0200]另外，在上述第二实施方式的第一变形例与第二变形例中，显示满足条件的全部分支，但是也可以如以下第五变形例至第八变形例那样根据条件来限定要显示的位置信肩、O
[0201](第五变形例)
[0202]在第二实施方式的第一变形例至第四变形例中，仅显示从位置估计失败的瞬间起固定时间以内的过去的位置。
[0203](第六变形例)
[0204]在第二实施方式的第一变形例至第四变形例中，仅显示从位置估计失败的位置起固定范围以内的过去的位置。
[0205](第七变形例)
[0206]在第二实施方式的第一变形例至第四变形例中，仅显示测量信息与作为基准的值相比变化了阈值以上的位置。
[0207]在该情况下，作为基准的值是指被判断为要显示的位置处的测量信息中的最接近当前位置的位置处的测量信息的值。
[0208]例如，说明将测量信息设为至分支点为止的距离的情况。在图13中，分支部Bj附近的位置PO、P1、P2是在过去位置估计成功的位置。另外，用黑圆点表示的位置PO表示测量信息变化了阈值以上的位置，用白圆圈表示的P1、P2表示测量信息在阈值以内的位置。而且，在重启画面中显示用黑圆点表示的位置PO。
[0209]另外，当在图13中用P3表示当前位置时，当前位置P3处的测量信息成为从当前位置P3至位于支气管的末梢侧的分支点Bpj+Ι为止的距离P3Bpj+l。作为基准的测量信息是最接近当前位置P3的位置Pl的测量信息，因此该测量信息成为距离PlBpj+1。
[0210]而且，如果距离P3Bpj+l与距离P2Bpj+l的差分为阈值以上，则在重启画面中显示位置P3。当同样地继续进行处理时，成为图14那样。在图14中用白圆圈表示(除了在图13中示出的位置Pl以外)的位置P4、P5、P6、P8表示位置估计成功的位置(其中，测量信息为阈值以内的变化量的测量信息)，用黑圆点表示的位置P3、P7、P9为位置估计成功且测量信息变化了阈值以上的位置、即在重启画面中显示的位置。
[0211](第八变形例)
[0212]关于第一变形例至第七变形例，也可以将至少两个变形例进行组合。
[0213](第九变形例)
[0214]另外，在上述实施方式中，以如下方式进行了说明:关联图像生成部25b生成将支气管2的三维形状的支气管形状图像与VBS图像组合而成的关联图像，监视器26显示关联图像。
[0215]与此相对地，也可以关联图像生成部25b如本变形例那样生成将摄像装置16的位置信息与包含支气管2的断层像图像(MPR图像)进行合成而得到的关联图像，并且在监视器26上显示该关联图像。
[0216]图15示出本变形例中的监视器26所显示的关联图像。图15的左上方示出包含患者的支气管在内的横截面的CT断层像，图15的右上方示出与患者的正面平行的纵截面的CT断层像，图15的左下方示出与患者的正面垂直的纵截面的CT断层像，图15的右下方对手术操作者示出设定坐标时的菜单画面。
[0217]如图15所示，在本变形例中，在断层像图像上例如以同一颜色的圆圈、其它形状来显示进行了摄像装置16的位置测量而得到的位置(点)。在图15中以与断层像图像的显示颜色不同的颜色(例如蓝色)来显示四个位置。
[0218]另外，在图15中，进行了位置测量而得到的位置在处于切剖面上的情况以及除此以外的情况下以同一颜色、形状来表示，但是，也可以如图16所示，设为进行了位置测量而得到的位置在处于切剖面上的情况以及不处于切剖面上的情况下以不同的形状(例如前者用圆圈而后者用四角形)进行显示(也可以设为改变颜色)。另外，也可以设为仅显示处于切剖面上的情况。
[0219](第十变形例)
[0220]在第九变形例中，说明了生成将进行了摄像装置16的位置测量而得到的位置显示于断层像图像而得到的关联图像的情况，但是也可以将断层像图像与作为虚拟内窥镜图像的VBS图像进行组合来进行显示。
[0221]在图17中，在图15示出的第九变形例的情况下，在断层像图像上显示进行了摄像装置16的位置测量而得到的位置，并且显示各位置处的VBS图像。
[0222]另外，在图17中，为了在断层像图像上获知与对应于摄像装置16的位置的VBS图像之间的对应，例如使用字符信息来表示。在图17中，将摄像装置16的位置设为四个点，因此使用四个字符来表示。
[0223]此外，也可以对摄像装置16的位置与对应的VBS图像的关联以使用图2B所示那样的线等来连结等方式进行显示。
[0224]另外，在图17的例子中，示出针对摄像装置16的全部位置显示对应的VBS图像的情况，但是也可以仅针对手术操作者在断层像图像上选择的位置显示VBS图像。
[0225]另外，也可以针对摄像装置16的全部位置显示对应的VBS图像，仅将与由手术操作者选择的VBS图像对应的位置显示在断层像图像上。
[0226]另外，将上述(包含变形例的)实施方式部分地组合等来构成不同的实施方式的情况也属于本发明。
[0227]本申请是要求2012年9月7日在日本申请的特愿2012-197405号的优先权，并以此为基础提出申请，上述公开内容被引用到本申请的说明书、权利要求书、附图。
【权利要求】
1.一种医疗装置，其特征在于，具备: 存储部，其构成为存储预先获取到的被检体内的三维图像信息； 摄像部，其构成为拍摄上述被检体内； 管腔脏器提取部，其构成为从上述三维图像信息中提取上述被检体内的规定管腔脏器的三维形状的图像信息； 特征信息获取部，其构成为根据被插入到上述规定管腔脏器内的上述摄像部的位置信息，来获取由上述管腔脏器提取部提取出的上述规定管腔脏器的三维形状的图像信息中的特征信息； 关联图像生成部，其构成为生成将上述特征信息关联到上述规定管腔脏器的三维形状的图像信息的图像；以及 显示部，其构成为显示上述规定管腔脏器内的上述摄像部的位置信息附近的上述规定管腔脏器的特征信息。
2.根据权利要求1所述的医疗装置，其特征在于， 上述特征信息获取部获取与上述规定管腔脏器中的分支有关的二维图像信息，或者获取上述摄像部在上述规定管腔脏器内的位置、上述摄像部的位置附近的上述规定管腔脏器的内径以及从上述摄像部的位置至上述规定管腔脏器的规定位置为止的距离中的任一个测量信息。
3.根据权利要求1所述的医疗装置，其特征在于， 上述关联图像生成部生成上述规定管腔脏器内的上述摄像部的位置信息附近的上述规定管腔脏器的分支图像，来作为关联有上述特征信息的图像。
4.根据权利要求1所述的医疗装置，其特征在于， 还具备位置信息生成部，该位置信息生成部构成为生成被插入到上述规定管腔脏器内的上述摄像部所处的位置信息。
5.根据权利要求1所述的医疗装置，其特征在于， 上述存储部利用第一坐标系存储上述被检体内的上述三维图像信息并且以与该三维图像信息相关联的方式存储上述被检体的三维位置信息， 与从上述三维图像信息提取出的上述规定管腔脏器的三维形状的图像信息相关联地，上述管腔脏器提取部提取该规定管腔脏器中的三维位置信息， 上述医疗装置还具备判断部，该判断部构成为判断使用了上述第一坐标系的上述管腔脏器的位置信息以及由上述位置信息生成部生成的使用了第二坐标系的上述摄像部的位置信息是否为规定条件的位置估计匹配。
6.根据权利要求5所述的医疗装置，其特征在于， 还具备关联信息存储部，该关联信息存储部构成为存储将使用了上述第一坐标系的上述管腔脏器的位置信息以及使用了上述第二坐标系的上述摄像部的位置信息在两个坐标系上进行位置关联而得到的关联信息。
7.根据权利要求4所述的医疗装置，其特征在于， 上述位置信息生成部使用设置于上述摄像部附近的位置传感器来构成。
8.根据权利要求5所述的医疗装置，其特征在于， 还具备控制部，该控制部构成为进行以下控制:在上述判断部作出了上述管腔脏器的位置信息与上述摄像部的位置信息在上述规定条件以内不匹配的第一判断的情况下，上述显示部还以在接近符合该第一判断的上述摄像单元的位置的规定距离以内包含容易使上述管腔脏器的位置信息和上述摄像部的位置信息相关联的规定位置的方式显示作为上述特征信息的第一特征信息。
9.根据权利要求5所述的医疗装置，其特征在于， 还具备信息存储部，该信息存储部构成为按时间序列存储被插入到上述规定管腔脏器内的上述摄像部的位置信息以及由该摄像部拍摄到的摄像图像。
10.根据权利要求8所述的医疗装置，其特征在于， 还具备指示输入部，该指示输入部构成为在上述规定位置处进行上述管腔脏器的位置信息与上述摄像部的位置信息的关联指示， 上述控制部根据上述关联指示，进行控制以在上述规定位置处生成上述管腔脏器的位置信息与上述摄像部的位置信息的关联信息。
11.根据权利要求6所述的医疗装置，其特征在于， 还具备控制部，该控制部构成为进行以下控制:在上述判断部作出了上述管腔脏器的位置信息与上述摄像部的位置信息在上述规定条件以内不匹配的第一判断的情况下，上述显示部还以在接近符合该第一判断的上述摄像单元的位置的规定距离以内包含容易使上述管腔脏器的位置信息与上述摄像部的位置信息相关联的规定位置的方式显示作为上述特征信息的第一特征信息。
12.根据权利要求11所述的医疗装置，其特征在于， 还具备指示输入部，该指示输入部构成为在上述规定位置处进行上述管腔脏器的位置信息与上述摄像部的位置信息的关联指示， 上述控制部根据上述关联指示，进行控制以在上述规定位置处生成上述管腔脏器的位置信息与上述摄像部的位置信息的关联信息，并且进行控制以根据该关联信息对在上述关联信息存储部中存储的上述位置关联信息进行校正。
【文档编号】A61B1/04GK104321007SQ201380028672
【公开日】2015年1月28日 申请日期:2013年8月1日 优先权日:2012年9月7日
【发明者】秋本俊也, 大西顺一 申请人:奥林巴斯医疗株式会社
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1