比较时的候选的 候选位置的信息和对应于该候选位置的信息的VBS图像。
[0092] 如上所述，图像处理部25的位置对准处理部25a在插入部11的前端移动的情况 下，使用图像匹配估计（计算）插入部11的前端，而有时会产生在所设定的精度以内无法 实现图像匹配的图像匹配错误。
[0093] 在这种情况下，图像处理部25的位置对准处理部25a产生图像匹配错误的信号， 并在监视器32上显示出发生了图像匹配错误。此外，位置对准处理部25a将图像匹配错误 的信号发送给控制部26,控制部26的候选信息提示控制部26b进行在监视器32上提示候 选信息的控制。
[0094] 因此，上述监视器32形成对手术人员提示候选信息的候选信息提示单元。另外， 作为候选信息提示单元可以与监视器32-起定义为包括存储（提示用的）候选信息的候 选信息存储部27a、输出候选信息的图像信号的图像处理部25以及候选信息提示控制部 26b 〇
[0095] 手术人员使用候选信息进行再次的位置对准处理。通过进行再次的位置对准处 理，手术人员能够从进行了该再次的位置对准处理的位置附近起继续进行插入部11的插 入操作。
[0096] 此外，手术人员在判断为图像匹配的精度恶化的情况下，可以发出再次位置对准 的指示并进行上述处理。另外，既可以使用CPU构成图1中的图像处理部25的位置对准处 理部25a、候选信息生成部25c、支气管提取部23、VBS图像生成部24、控制部26,也可以使 用FPGA (Field Programmable Gate Array:现场可编程门阵列）等硬件化的装置、专用的 电子电路元件构成上述单元。
[0097] 这种结构的内窥镜系统1的特征在于，具有：作为图像存储单元的CT图像数据存 储部22,其存储预先取得的被检体的3维图像信息；作为假想内窥镜图像生成单元的VBS 图像生成部24,其针对所述3维图像信息生成从规定的视点位置以内窥镜方式描绘的假想 内窥镜图像；作为摄像单元的摄像装置16,其设置于内窥镜3内，对所述规定的管腔脏器内 摄像；作为位置检测单元的位置估计部25b，其检测内窥镜插入部11的前端在所述被检体 的规定的管腔脏器内的位置；以及作为候选信息提示单元的监视器32,其在根据所述位置 检测单元检测到的所述内窥镜插入部11的前端的位置信息而沿规定方向切取所述3维图 像信息得到的2维断层图像上，提示候选位置信息和对应于该候选位置信息的所述假想内 窥镜图像以作为候选信息，其中该候选位置信息作为进行所述假想内窥镜图像与通过所述 摄像单元的摄像生成的内窥镜图像的图像比较时的候选。
[0098] 接着，参照图3的流程图说明本实施方式中的代表性处理。在图1的内窥镜系统 1中的内窥镜装置4、插入辅助装置5的电源被接通，各部分成为工作状态时，在图3所示的 最初的步骤Sl中，将患者的支气管2的入口的位置等手术人员易于通过内窥镜图像判断内 窥镜3的插入部11的前端位置的部位设定为至少1个基准位置。
[0099] 而且，图像处理部25的位置对准处理部25a将基准位置上的VBS图像生成部24 的VBS图像（的图像信号）输出给监视器32。手术人员从输入装置31指定1个基准位置， 将插入部11的前端插入到所指定的基准位置上，并且指示图像处理部25的位置对准处理 部25a进行位置对准处理。
[0100] 在进行了步骤Sl的位置对准的处理后，如步骤S2所示，位置对准处理部25a根据 位置对准处理的结果，通过图像匹配估计（计算）插入部11的前端位置。具体而言，使用 位置对准的信息作为图像匹配的初始值，通过图像处理计算与内窥镜图像匹配最好的VBS 图像。
[0101] 在步骤S3中，位置对准处理部25a通过图像匹配对是否在规定条件以内（例如估 计位置是否位于支气管内部）完成了插入部11的前端的估计（即位置的估计是否成功） 进行判定。步骤S3的判定为成功的情况下，在监视器32上，将通过图像处理部25的位置 估计部25b而估计的插入部11的前端位置在支气管形状图像2a上重叠显示于所估计的位 置上，并执行步骤S4的处理。另一方面，在判定失败的情况下执行步骤S6的处理。
[0102] 在步骤S4中由位置估计部25b估计的插入部11的前端的位置信息被输入到控制 部26的特征区域判定部26d中。然后，特征区域判定部26d判定所估计的插入部11的前 端的位置是否位于从支气管2的切口 Spi或分支点Bi起（dthl、dth2等的）的恒定值dth 以内的特征区域内。在步骤S4中，判定结果为处于恒定值dth以内的情况下，如步骤S5所 示将候选信息存储于存储部27中。
[0103] 例如图2B所示，在判定为插入部11的前端Pl位于从隆嵴K(第1切口 Spl)起的 恒定值dthl ( = dth)以内的情况下，所估计的插入部11的前端位置Pl成为候选位置Pel， 该候选位置Pel (的信息）与对应的VBS图像11 一起作为候选信息存储于存储部27中。
[0104] 此外，在插入部11的前端插入于比隆嵴K靠深部侧的位置，插入部11的前端P2 位于从下一切口 Sp2起的恒定值dthl以内的情况下，所估计的插入部11的前端的位置P2 成为候选位置Pc2,将该候选位置Pc2与对应的VBS图像12 -起作为候选信息存储于存储 部27中。在步骤S5的处理后，转移至步骤S8的处理。
[0105] 另一方面，在步骤S4中，插入部11的前端未到达从切口 Spi起的恒定值dthl以 内的情况下，不进行记录步骤S5的候选信息的处理，而是执行步骤S8的处理。另外，在图 2B中，示出了在判定为位于从切口 Spi起的恒定值dthl以内的情况下，存储候选位置Pci 的例子，而如图2C所示，可以在判定为所估计的插入部11的前端位于从分支点Bi起的恒 定值dth2( = dth)以内的情况下，存储候选位置Pci'。另外，图2C示出插入部11的前 端Pl'、P2'位于从分支点Bl、B2起的恒定值dth2以内的情况。此外，恒定值dthl和恒 定值dth2既可以设定为相同值，也可以设定为不同值。
[0106] 在步骤S8中，检测手术人员是否通过输入装置31产生了候选信息的提示的指示 信号（触发）。具体地，在无法检测到图像匹配的估计失败的情况下，例如内窥镜剧烈移动 而基于图像匹配的估计位置虽然满足了规定条件（是否存在于支气管内部），却明显处于 其他位置上的情况下，在手术人员判断为再次进行位置对准时产生指示信号。
[0107] 在不存在步骤S8的触发的情况下，在下一步骤S9中，位置估计部25b对插入部11 的前端是否插入到目标位置进行判定（估计）。
[0108] 在插入部11的前端未插入到目标位置上的情况下，手术人员参考显示于监视器 32上的显示，如步骤SlO所示将插入部11的前端插入到支气管2的深部侧。在步骤SlO的 处理后，返回步骤S2,进行插入部11的前端位置的估计，而此时作为图像匹配的初始值，取 代位置对准信息而使用基于上次图像匹配的估计位置。另一方面，在步骤S19中插入到了 目标位置的情况下，结束图3的插入操作。
[0109]与此相对，在步骤S3的位置估计未成功而失败的情况下，或存在步骤S8的触发的 情况下，在监视器32显示出表示停止处理的内容、例如匹配错误。在这种情况下，如步骤S6 所示，显示控制部26a自动产生提示候选信息的指示信号。
[0110] 然后，从存储部27的候选信息存储部27a中读出候选信息。然后，如步骤S7所 示，在监视器32上显示候选信息。例如，在处于从图2B的切口 Sp2起的恒定值dthl以内 之后，在插入部11的前端的位置P3上产生了匹配错误的情况下，将产生匹配错误前最后存 储于存储部27 (的候选信息存储部27a)中的候选位置（这种情况下为候选位置Pc2)与对 应于该候选位置Pc2的VBS图像12作为候选信息提示。
[0111] 图2D示出这种情况下的提示例。如图2D所示，在支气管形状图像2a上，将候选 位置Pc2与对应于该候选位置Pc2的VBS图像一起显示为候选信息。另外，在提示候选信 息的情况下，如上所述还可以通过虚线显示出对应于该候选位置Pc2的内窥镜图像。
[0112] 此外，在这种情况下，可以在与VBS图像相邻的位置上，以相同的显示倍率按照较 易观察的方式显示。
[0113] 进而，还可以使VBS图像或内窥镜图像的一方显示为可自由移动，用户使用鼠标 等将一个图像重叠显示（合成显示）于另一个图像上。这样，用户易于确认图像匹配的程 度。此外，图2D示出了 1个候选信息的提示例，也可以如后述的图IOA-图IOF所示提示多 个候选信息。
[0114] 显示出候选信息的情况下，返回步骤S1，手术人员参考显示于监视器32上的候选 信息，进行再次的位置对准处理。
[0115] 根据如上工作的本实施方式，手术人员在进行插入插入部11的操作的过程中，将 提示用的候选信息存储于存储部27中，在插入部11的前端位置的估计失败的情况下，能够 将适于位置对准的提示用的候选信息提示为候选信息，因此能够灵活进行插入操作。
[0116] 此外，在本实施方式中，使用图像匹配的图像处理进行插入部11的前端位置估 计，因而通过图像处理的算法，误差容易从最初的位置对准状态起逐渐变大。这种情况下， 通过基于再次图像匹配的再次位置对准，能够充分减小误差，从再次位置对准的位置附近 起进行向更深部侧的插入操作。
[0117] 可以如下变更上述说明中的条件。
[0118] (a)以上说明了在满足所估计的插入部11的前端位置处于从切口 Spi或分支点 Bi起分别位于恒定值dthl或dth2以内的1个条件的情况下，在存储部27中存储（提示用 的）候选信息的例子，然而不限于该条件，
[0119] (b)也可以在满足所估计的插入部11的前端位置处于从切口 Spi和分支点Bi起 分别位于恒定值dthl、dth2以内的2个条件的情况下存储候选信息。
[0120] (c)此外，在（a)或（b)中，进而，也可以在所估计的插入部11的前端位置与芯线 35间的距离在恒定值dth3以内的情况下存储候选信息。
[0121] (d)此外，在（a)、(b)、（c)中的某个中，也可以在内窥镜图像中能观察到分支图像 的情况下存储候选信息。
[0122] (e)此外，在（a)、（b)、（c)、（d)中的某个中，恒定值dthl_dth3既可以设定为相同 值，也可以设定为与在切口 Spi或分支点Bi处的支气管径对应的值，或者按照与支气管分 支的分支部位或从隆嵴到分支为止的距离设定。
[0123] (f)此外，在图2B、图2C的例子中，示出了以2点间的直线距离是否位于恒定值以 内作为存储条件的情况，而如图4所示，也可以将与插入部11的前端位置最近的芯线35上 的点P与分支点Bi之间的、在芯线35上的路程（沿着芯线35测量的距离）dw是否在恒定 值dwth以内来作为存储该候选信息的条件。
[0124] 如上，在插入到弯曲的管腔部分内的情况下也能够适当地存储和提示候选信息。
[0125] 图5A表示第1实施方式的变形例的内窥镜系统IB的结构。图5A所示的内窥镜 系统IB基于图1的内窥镜系统1，在插入部11的前端部13内的摄像装置16的附近的位置 上，还设有用于检测摄像装置16或插入部11的前端位置的位置传感器41。
[0126] 此外，在内窥镜3和被检体的外部且在插入辅助装置5内的规定位置上，设有进行 测量（检测）该位置传感器41的3维位置（简称为位置）的处