内窥镜系统的制作方法
【技术领域】
[0001 ] 本发明涉及一种利用摄像单元对被检体内进行拍摄的内窥镜系统。
【背景技术】
[0002] 近年来，在医疗领域等领域中广泛使用具有能够插入到体腔内等的插入部的内窥 镜。
[0003] 另一方面，在插入到如体腔内的支气管那样复杂地分支的管腔脏器内来检查管腔 脏器的末端侧的目标部位（的患部组织）或者使用处置器具进行活检、处置的情况下，仅根 据在插入时得到的内窥镜图像，有时难以将插入部前端导入到目标部位附近。
[0004] 因此，提出了进行用于辅助将内窥镜的插入部前端导入到目标部位附近的作业的 显示等的系统或者装置。
[0005] 例如，在作为第一以往例的日本特开2011-189074号公报中公开了一种医疗装 置，该医疗装置具备：插入部，其被插入到支气管中；多个FBG传感器部，其配设于插入部； 存储部，其存储预先获取到的支气管的三维图像数据；形状测量部，其根据FBG传感器部的 数据来测量插入部的形状；芯线计算部，其根据存储部中存储的三维图像数据来计算支气 管的芯线；以及位置计算部，其根据由形状测量部测量出的形状和由芯线计算部计算出的 芯线来计算插入部的位置。而且，通过提取芯线来计算插入部的前端的位置和方向。
[0006] 另外，在作为第二以往例的日本特开2012-24518号公报中公开了一种辅助装置， 该辅助装置从预先获取到的被检体的三维图像中获取被检体的管状组织（管状脏器）的中 心线，显示一边使插入到上述管状组织的内窥镜沿着上述管状组织的长度方向移动一边进 行拍摄得到的内窥镜图像，在所显示的上述内窥镜图像中显示有上述管状组织的一个特征 区域时，输入上述内窥镜的基准位置并且在上述中心线上设定与上述一个特征区域对应的 位置，获取从上述基准位置起进一步移动后的上述内窥镜的移动量和前进方向，将从与上 述一个特征区域对应的位置起沿着上述中心线向获取到的上述前进方向仅离开获取到的 上述移动量后的位置计算为当前位置，使表示计算出的当前位置的指标显示在上述中心线 上。而且，根据管状脏器的芯线和摄像单元的移动量及前进方向来计算摄像单元的位置。
[0007] 在上述第一以往例中公开了通过提取芯线来计算插入部的前端的位置的观点，在 第二以往例中公开了根据管腔脏器的芯线和摄像单元（内窥镜前端）的移动量及前进方向 来计算摄像单元（内窥镜前端）的位置，但是并未公开记录在插入部的前端的位置的计算 (估计）失败的情况下所需的适用于进行再次对位的信息。
[0008] 在进行再次对位的情况下，期望的是，不仅将芯线的信息作为与插入部的前端的 位置有关的信息来记录，还将由摄像单元经由对物光学系统进行拍摄时的视线方向等姿势 信息作为与插入部的前端的位置有关的信息来记录，从而容易地进行再次对位。
[0009] 本发明是鉴于上述点而完成的，目的在于提供一种将内窥镜的前端的姿势信息与 位置信息一并记录使得容易进行再次对位等的内窥镜系统。
【发明内容】
[0010] 本发明的一个方式的内窥镜系统具备：图像存储部，其构成为存储预先获取到的 被检体中的三维图像信息；管腔脏器提取部，其构成为从上述三维图像信息中提取规定的 管腔脏器；对物光学系统，其设置于内窥镜的插入部的前端；视线方向检测部，其构成为检 测上述对物光学系统的视线方向；方向比较部，其构成为将由上述管腔脏器提取部提取出 的上述规定的管腔脏器的芯线方向与上述视线方向进行比较；以及位置姿势信息记录部， 其构成为在上述芯线方向与上述视线方向所成的角为规定的阈值以下的情况下记录上述 内窥镜的插入部的前端的位置和姿势的信息。
【附图说明】
[0011] 图1是表示本发明的第一实施方式的内窥镜系统的整体结构的图。
[0012] 图2A是表示作为支气管的形状图像的支气管形状图像的图。
[0013] 图2B是表示在图2A示出的支气管形状图像上叠加地显示内窥镜的插入部的前端 的位置和方向的情形的图。
[0014] 图2C是将视线方向与芯线方向所成的角进行比较的情形的说明图。
[0015] 图2D是表示在进行再次对位时在监视器中显示的信息的显示例的图。
[0016] 图3是表示第一实施方式的代表性处理例的流程图。
[0017] 图4是表示具备位置传感器的第一实施方式的第一变形例的内窥镜系统的整体 结构的图。
[0018] 图5是第一变形例中的两个坐标系的对位的说明图。
[0019] 图6是表示第二变形例中的处理的一部分的流程图。
[0020] 图7是表示本发明的第二实施方式中的处理的一部分的流程图。
[0021] 图8是表示本发明的第三实施方式中的处理的一部分的流程图。
[0022] 图9是表示本发明的第四实施方式中的处理的一部分的流程图。
[0023] 图10是本发明的第五实施方式中的动作的说明图。
【具体实施方式】
[0024] 以下，参照附图来说明本发明的实施方式。
[0025](第一实施方式）
[0026] 如图1所示，本发明的第一实施方式的内窥镜系统1主要包括：内窥镜装置4,其 具备内窥镜3,该内窥镜3被插入到作为成为检查对象的被检体的患者的作为规定的管腔 脏器的支气管2(图2A)内；以及插入辅助装置5,其与该内窥镜装置4 一起使用，用于进行 内窥镜3的插入辅助。
[0027] 内窥镜装置4具有：内窥镜3 ;光源装置6,其向该内窥镜3提供照明光；作为信号 处理装置的照相机控制部件（简称为CCU)8,其对搭载于内窥镜3的构成摄像单元（摄像 部）的摄像元件7进行信号处理；以及作为显示装置（显示部）的监视器9,其显示由CXU 8生成的内窥镜图像。
[0028] 内窥镜3包括具有挠性的细长的插入部（或者内窥镜插入部）11和设置于该插入 部11的后端的操作部12,在设置于插入部11的前端附近的前端部13设置有照明窗和观察 窗。在插入部11、操作部12内贯穿用于传递照明光的光导件14,该光导件14的后端的入 射端与光源装置6相连接，由光源装置6内的未图示的光源灯或者LED产生的照明光入射 到入射端。由该光导件14传递的照明光从安装于照明窗的射出端（前端面）向前方射出。
[0029]另外，在观察窗安装物镜15,该物镜15形成使被摄体成像的对物光学系统，在其 成像位置处配置电荷耦合元件（CCD)等摄像元件7,由物镜15和摄像元件7形成作为摄像 单元（摄像部）的摄像装置16,该摄像装置16将作为供插入部11插入的规定的管腔脏器 的支气管2的内部作为被摄体来拍摄。
[0030] 此外，在本实施方式中，物镜15的光轴方向与插入部11的前端部13(或者前端） 的轴向或者长度方向平行。因而，由摄像装置16拍摄被摄体的摄像方向（或者用户经由摄 像装置16进行观察的视线方向）成为沿着物镜15的光轴方向的物镜15的前方侧（与摄 像元件7相反的一侧）的方向。另外，能够近似为物镜15的光轴方向与插入部11的前端 部13的轴向或者长度方向一致。
[0031] 因此，在本实施方式中，能够近似为摄像元件7的经由物镜15的摄像方向或者视 线方向与插入部11的前端的轴向或者长度方向一致。而且，至少根据配置于插入部11的前 端的物镜15的摄像方向或者视线方向的信息来决定插入部11的前端的位置和姿势，并反 过来根据插入部11的前端的位置和姿势的信息来决定物镜15的摄像方向或者视线方向。
[0032] 在本实施方式中，还能够将插入部11的前端的位置和姿势称为插入部11的前端 的位置和前端的轴向或长度方向或者物镜15的视线方向。
[0033] 此外，如图1所示，本发明并不限定于在前端部13设置有摄像装置16的结构的内 窥镜3,在设置于前端部13的物镜15的成像位置处配置有由纤维束构成的图像导路的前 端面的纤维镜和在该图像导路的目镜部安装有TV照相机的装有照相机的内窥镜的情况下 也能够应用。无论在哪一个内窥镜的情况下，在前端部13都至少配置有物镜15。因此，相 比于使用摄像装置16的视线方向，主要使用物镜15的视线方向或者基于物镜15的视线方 向。
[0034] 摄像元件7经由贯穿插入部11、操作部12内的信号线而与CXU8相连接。CXU8 通过其内部的图像信号生成电路8a来生成与在摄像元件7的摄像面成像的光学像对应的 摄像图像的图像信号，将该图像信号输出到监视器9。监视器9将图像信号的图像（运动图 像）作为内窥镜图像来显示。
[0035] 在内窥镜3的插入部11的前端部13的后端设置有弯曲自由的弯曲部19,施术者 通过进行使设置于操作部12的弯曲操作旋钮20旋转的操作，能够经由未图示的操作线使 弯曲部19向上下、左右中的任意方向弯曲。
[0036] 上述插入辅助装置5具有：CT数据取入部21，其经由DVD、蓝光光盘、快闪存储器 等便携式存储介质而取入作为患者的三维图像信息的CT数据，该作为患者的三维图像信 息的CT数据是由公知的CT装置针对利用内窥镜3进行检查的患者生成的信息；以及CT图 像数据存储部22,其存储由该CT数据取入部21取入的CT数据。
[0037] 此外，CT图像数据存储部22也可以经由通信线路、因特网等来存储由CT装置生 成的（作为被检体的患者的三维图像信息的）CT数据。该CT图像数据存储部22能够由硬 盘装置、快闪存储器、DVD等构成。
[0038]另外，构成图像存储单元的CT图像数据存储部22具有对应图像信息存储部22a， 该对应图像信息存储部22a将从CT数据中分离出图像数据而得到的CT图像数据与从CT数据中分离出位置信息而得到的同该CT图像数据对应的使用了第一坐标系的三维位置数 据存储为相对应的对应图像信息。
[0039] 另外，插入辅助装置5具有支气管提取部23,该支气管提取部23包括作为管腔脏 器提取单元的管腔脏器提取电路等，作为管腔脏器提取单元的管腔脏器提取电路等从CT 图像数据存储部22的CT图像数据中提取作为规定的管腔脏器的支气管2的三维图像数 据。
[0040] 该支气管提取部23根据提取出的支气管2的三维数据（更具体地说是三维的体 数据）来生成表示支气管2的中空形状的三维形状的信息（形状数据）以及三维形状的图 像信息（图像数据）。也就是说，支气管提取部23具有作为支气管形状图像生成单元的支 气管形状图像生成部23a，作为支气管形状图像生成单元的支气管形状图像生成部23a根 据提取出的支气管2的三维数据来生成中空的三维形状的作为支气管形状的图像的支气 管形状图像。此外，支气管提取部23可以由中央处理装置（简称为CPU)等软件构成，或者 也可以使用FPGA(FieldProgrammableGateArray:现场可编程门阵列）等、电子电路元件 而由硬件构成。此外，后述的图像处理部25、控制部26也相同，既可以由CPU等软件构成， 也可以使用FPGA、电子电路元件而由硬件构成。
[0041] 另外，该支气管提取部23在提取支气管2的三维数据时，与同三维数据对应的第 一坐标系（或者CT坐标系）中的三维位置数据相对应地进行提取。而且，该支气管提取部 23具有对应信息存储部23b，该对应信息存储部23b包括存储器等，该存储器存储使支气管 2的三维形状的数据（即支气管形状数据）与三维位置数据相对应的对应信息。
[0042] 另外，插入辅助装置5具有VBS图像生成部24,该VBS图像生成部24包括形成虚 拟内窥镜图像生成单元的VBS图像生成电路，形成虚拟内窥镜图像生成单元的VBS图像生 成电路生成与利用摄像元件7经由设置于内窥镜3的插入部11的前端部13的物镜15拍 摄的内窥镜图像对应的作为虚拟的内窥镜图像的虚拟内窥镜图像（称为VBS图像）。
[0043] 例如从输入装置31向VBS图像生成部24输入与搭载于内窥镜3的前端部13的 物镜15及摄像元件7有关的信息（物镜15的焦点距离、摄像元件7的像素数、像素尺寸等 信息）。
[0044] VBS图像生成部24根据通过配置于实际插入到支气管2内的内窥镜3的前端的物 镜15使支气管2内的被摄体在摄像元件7的摄像面上成像的成像系统的特性信息、将在摄 像面上成像的光学像变换为内窥镜图像的摄像元件7的像素尺寸、像素数等信息、支气管 形状数据，将插入到支气管2内的上述内窥镜3的插入部11的前端在CT坐标系中的三维 位置（也简称为位置