内窥镜系统的制作方法
【技术领域】
[0001 ] 本发明涉及通过摄像单元对被检体内进行摄像的内窥镜系统。
【背景技术】
[0002]近年来，具有能够插入到体腔内等的插入部的内窥镜广泛应用于医疗领域等中。
[0003]另一方面，在插入到体腔内的支气管这样的复杂分支的管腔脏器内对管腔脏器的末梢侧的目标部位(的患部组织)进行检查或基于处置器械的活检和处置的情况下，仅利用插入时得到的内窥镜图像有时很难将插入部前端导入到目标部位附近。
[0004]因此，提出了用于支援将内窥镜的插入部前端导入到目标部位附近的操作的系统或装置。
[0005]例如，作为第I现有例的W02007-129493号公报的医疗图像观察支援装置公开了具有CT图像数据取入部、CT图像数据存储部、信息提取部、解剖学的信息数据库、视点位置/视线方向设定部、管腔脏器图像生成部、解剖学的名称信息产生部、分支指定部、图像合成显示部和用户I/F控制部的结构。视点位置/视线方向设定部根据信息提取部提取出的管腔脏器的构造信息，设定将视点锁定在管腔脏器的大致中心轴上来观察管腔脏器的外观的视点位置和视线方向。
[0006]并且，作为第2现有例的日本特开2009-279250号公报的医疗装置具有:假想内窥镜图像生成单元，其根据预先取得的支气管的三维图像数据，生成从多个不同视线位置的假想内窥镜图像；图像检索单元，其检索与真实图像的相似度较高的假想内窥镜图像；基准点设定单元，其根据相似度较高的假想内窥镜图像的视线的位置设定基准点；相对位置计算单元，其计算处置器械相对于基准点的相对位置；移动检测单元，其检测基准点或支气管的移动；以及位置校正单元，其根据基准点或支气管的移动，对相对位置进行校正。
[0007]在估计内窥镜的插入部前端的位置的情况下，通过比较由内窥镜的摄像单元进行摄像而得到的内窥镜图像(实际图像)和根据基于CT的管腔脏器的三维数据而生成的假想内窥镜图像(假想图像)来进行估计。因此，最初进行基于两个图像的比较的位置对齐。
[0008]然后，在位置的估计精度降低的情况下，需要进行用于设定为能够确保规定的精度的状态的再次位置对齐，但是，由于没有以适于进行再次位置对齐的条件记录信息，所以，上述现有例存在花费时间的缺点。
[0009]更具体进行说明时，例如第I现有例公开了在三维图像上对内窥镜前端位置进行坐标转换并对与芯线之间的距离进行比较的观点、以及对分支部的实际图像(内窥镜图像)和假想图像(假想内窥镜图像)进行比较的观点，还公开了记录分支部的特征信息等。
[0010]但是，根据所记录的信息进行再次位置对齐时进行图像比较来进行位置对齐以使得两个图像尽可能一致，但是，相对于内窥镜前端位置的变化的内窥镜图像或假想内窥镜图像的变化量不确定，很难得知以何种程度使两个图像对齐比较好，所以，进行再次位置对齐花费时间。
[0011]为了容易进行位置对齐，具有所记录的信息相对于支气管内的内窥镜前端位置的变化而容易变化的特征，优选设定为容易在视觉上进行位置对齐。
[0012]但是，在上述现有例中，如上所述，由于没有设定为容易在视觉上进行位置对齐，所以，很难得知以何种程度使两个图像对齐比较好，因此，进行再次位置对齐花费时间。
[0013]并且，支气管以如下方式变化:随着从支气管的入口附近到作为其深部侧的末端(末梢)侧，在分支部进行分支，管腔直径逐渐变细。因此，当在记录再次位置对齐用的信息的条件中利用支气管径的变化的检测结果时，认为容易更加有效地进行再次位置对齐。
[0014]本发明是鉴于上述情况而完成的，其目的在于，提供记录容易在短时间内进行再次位置对齐的信息的内窥镜系统。
【发明内容】
[0015]用于解决课题的手段
[0016]本发明的一个方式的内窥镜系统具有:图像记录部，其记录预先取得的被检体中的三维图像信息；管腔脏器提取部，其从所述三维图像信息中提取规定的管腔脏器；假想内窥镜图像生成部，其针对由所述管腔脏器提取部提取出的所述规定的管腔脏器的信息，生成从规定的视点位置以内窥镜的角度描绘的假想内窥镜图像；摄像部，其设置在内窥镜内，对所述规定的管腔脏器内进行摄像；位置信息取得部，其取得所述内窥镜的插入部的前端的位置信息；管腔直径变化量检测比较部，其根据所述内窥镜的插入部的前端的位置信息检测所述规定的管腔脏器的管腔直径的变化量；图像变化量检测部，其在由所述摄像部摄像而得到的内窥镜图像内检测与所述规定的管腔脏器有关的特征部的变化量；以及信息记录部，其根据所述管腔直径变化量检测部的检测结果和所述图像变化量检测部的检测结果，记录包含所述内窥镜的插入部的前端的位置和与该前端的位置对应的所述假想内窥镜图像的规定信息。
【附图说明】
[0017]图1是示出本发明的第I实施方式的内窥镜系统的整体结构的图。
[0018]图2A是示出支气管的一部分和支气管形状图像的图。
[0019]图2B是示出插入到支气管内并对支气管径进行经时计算的状况的图。
[0020]图2C是示出计算支气管径的位置和计算出的支气管径的大小的图。
[0021]图2D是示出在指示了进行再次位置对齐的情况下在监视器中显示的候选信息的图。
[0022]图3A是示出具有进行立体计测的立体内窥镜的内窥镜装置的结构的图。
[0023]图3B是示出进行立体计测的计测对象的位置在左右摄像元件的摄像面上成像的关系的说明图。
[0024]图3C是示出在监视器画面中显示使用立体内窥镜对支气管内进行摄像而得到的图像的一例的图。
[0025]图3D是用于根据图3C的图像计算支气管径的说明图。
[0026]图3E是用于通过使用了单一摄像装置的立体计测来计算支气管径的说明图。
[0027]图4是示出第I实施方式中的处理内容的一例的流程图。
[0028]图5是取得支气管径的情况的说明图。
[0029]图6是利用与图5不同的方法取得支气管径的情况的说明图。
[0030]图7是取得支气管径的位置的说明图。
[0031]图8是利用与图7不同的设定来取得支气管径的位置的说明图。
[0032]图9是取得支气管径的情况的说明图。
[0033]图10是利用与图9不同的方法取得支气管径的情况的说明图。
[0034]图11是检测到内窥镜图像中的暗部的面积的变化的情况的说明图。
[0035]图12是检测到内窥镜图像中的分支的形状的变化的情况的说明图。
[0036]图13是检测到内窥镜图像中的支线的长度的变化的情况的说明图。
[0037]图14是检测到内窥镜图像中的支线的角度的变化的情况的说明图。
[0038]图15是检测到内窥镜图像的针对视野不良的变化的情况的说明图。
[0039]图16是检测到内窥镜图像中的支气管的分支以外的变化的情况的说明图。
[0040]图17是检测到内窥镜图像中的特征部的抖动的变化的情况的说明图。
【具体实施方式】
[0041]下面，参照附图对本发明的实施方式进行说明。
[0042](第I实施方式)
[0043]如图1所示，本发明的第I实施方式的内窥镜系统I主要由以下部分构成:内窥镜装置4A，其具有插入到作为检查对象的被检体即患者中的作为规定的管腔脏器的支气管
2(图2A)内的内窥镜3A ;以及插入支援装置5，其与该内窥镜装置4A —起使用，用于进行内窥镜3A的插入支援。
[0044]内窥镜装置4A具有内窥镜3A、对该内窥镜3A供给照明光的光源装置6、对搭载于内窥镜3A中的构成摄像单元的摄像元件7进行信号处理的作为信号处理装置的照相机控制单元(简记为(XU) 8A、以及显示由CXU 8A生成的内窥镜图像的监视器9A。
[0045]内窥镜3A具备具有挠性的细长的插入部(或内窥镜插入部)11以及设置在该插入部11的后端的操作部12，在插入部11的前端部13设有照明窗和观察窗。在插入部11、操作部12内贯穿插入有传递照明光的光导14，该光导14的入射端与光源装置6连接，由光源装置6内的未图示的光源灯或LED产生的照明光入射到入射端。由该光导14传递的照明光从安装在照明窗上的出射端(前端面)向前方出射。
[0046]并且，在观察窗上安装有形成用于对被摄体进行成像的物镜光学系统的物镜15，在其成像位置配置有CCD等摄像元件7，通过物镜15和摄像元件7形成作为摄像单元的摄像装置16，该摄像装置16对作为供插入部11插入的规定的管腔脏器的支气管2内进行摄像。
[0047]摄像元件7经由贯穿插入到插入部11、操作部12内的信号线而与CXU 8A连接。CCU 8A通过其内部的未图示的图像信号生成电路生成与摄像元件7的摄像面上形成的光学像对应的摄像图像的图像信号，将该图像信号输出到监视器9A。监视器9A显示图像信号的图像(动态图像)作为内窥镜图像(也称为摄像图像)。
[0048]在内窥镜3A的插入部11中，在前端部13的后端设有弯曲自如的弯曲部19，手术医生通过进行使设置在操作部12上的弯曲操作旋钮20例如旋转的操作，能够使弯曲部19向上下左右的任意方向弯曲。另外，弯曲操作旋钮20具有用于向上下方向弯曲的上下方向用弯曲操作旋钮、以及用于向左右方向弯曲的左右方向用弯曲操作旋钮。
[0049]也可以代替图1所示的内窥镜装置4A而采用图3A所示的内窥镜装置4B。
[0050]内窥镜装置4B具有能够进行立体计测的立体内窥镜3B、光源装置6、对设置在立体内窥镜3B中的两个摄像元件7a、7b进行信号处理的CXU 8B、以及显示由CXU 8B生成的立体图像信号的立体显示用监视器9B。
[0051]在立体内窥镜3B的插入部11的前端部13，在左右方向上分开规定的间隔配置有左右物镜15a、15b，在各自的成像位置配置有左右摄像元件7a、7b，构成具有左右摄像装置16a、16b的立体摄像装置16'。另外，左右物镜15a、15b和左右摄像装置16a、16b分别使用特性一致的部件。
[0052]并且，在插入部11内贯穿插入有传送来自光源装置6的照明光的光导14。光导14的前端安装在前端部13的照明窗上，从照明窗出射所传达的照明光，对体腔内的患部等被摄体进行照明。
[0053]对被照明的被摄体进行摄像的左右摄像元件7a、7b将光电转换后的摄像信号输入到CXU 8B内的摄像控制部18a、18b，摄像控制部18a、18b生成左右图像信号并将其输出到立体图像信号生成部18c。
[0054]立体图像信号生成部18c根据左右图像信号生成立体显示用的图像信号，并将其输出到立体显示用监视器9B。然后，立体显示用监视器9B显示立体显示用的图像信号，手术医生等用户能够通过立体显示用的图像信号的显示对被摄体进行立体观察。
[0055]并且，由摄像控制部18a、18b生成的左右图像信号被输入到计测运算部18d，使用左右图像信号，通过利用了三角测量原理的立体计测，能够计测进行摄像而得到的图像上的2点间的距离等。如后所述，例如能够计测支气管径Den。另外，由计测运算部18d计算出的支气管径Den等信息被输出到图像处理部25。并且，由摄像控制部18a(或18b)生成的影像信号也输出到图像处理部25。
[0056]接着，使用图3B对基于立体计测的计测对象的点(位置)的三维坐标的求解方法进行说明。使用左右物镜15a、15b，针对摄像元件7a、7b的摄像面的图像，通过三角测量的方法，利用以下的⑴式?(3)式计算计测点60的三维坐标(X、Y、Z)。其中，设实施了失真校正的左右图像上的计测点61、62的二维坐标分别为(XpYJ、(XK、YK)，设左右物镜15a、15b的光学中心63、64之间的距离为D，设焦距为F，设t = D/(\-XK)。于是，以下的关系式成立。
[0057]X = tXXK+D/2…(I)
[0058]Y = tXYf.(2)
[0059]Z = tXF...(3)
[0060]如上所述，当决定针对计测点60的图像上的二维坐标的计测点61、62后，使用作为参数的距离D和焦距F求出计测点60的三维坐标。
[0061]通过求出几个点的三维坐标，能够进行这几个点中的2点间的距离、连接2点的线与I点的距离、面积、深度、表面形状等各种计测。并且，还能够求出从左物镜15a的光学中心63或右物镜15b的光学中心64到被摄体的距离(物体距离)。为了进行上述立体计测，使用表示内窥镜3B的前端部13和物镜15a、15b的特性的光学数据。另外，在图3B中，利用PL表示包含2个摄像面的面，并且，利用(\、Ok表示(图3B中未显示的物镜15a、15b的光轴上的)右摄像面的中心。
[0062]作为根据立体图像运算三维坐标的方法，存在日本特开2011-027911号公报所示的方法等。
[0063]在本实施方式中，在根据后述内窥镜图像计测支气管径Den的情况下，通过指定图3B的摄像面上的与支气管径的一个计测点60对应的图像上的计测点61和62以及与另一个计测点对应的点来计算支气管径Den。
[0064]使用图3C和图3D对该方法进行说明。示出在监视器9B的显示画面71中显示内窥镜图像中的支气管72以及作为该支气管72的末梢侧的下一个支气管分支部73的状况。相对于该画面71的范围，利用网格74所示的块进行划分，提取各块内的平均亮度为规定值以下的区。图3D中标注斜线示出这样提取出的检测块75。
[0065]然后，通过将检测块75的直径最大的部分设为计测对象的支气管径，来设定计测点60a和计测点60b。一般情况下，在利用内窥镜观察管腔脏器时，越靠里侧成为越暗的图像，所以，能够利用上述那样进行说明的方法来设定计测点。在指定计测点60a、60b的情况下，也可以在该计测点60a、60b之间最大的方向上进行指定。
[0066]在构成立体图像的左画面和右画面双方中实施上述运算，在左画面和右画面中分别求出与计测点60a