专利名称：内窥镜插入方向检测装置、内窥镜插入方向检测系统及内窥镜插入方向检测方法
技术领域：
本发明涉及将内窥镜插入部插入到构造复杂弯曲的体腔内时，检测与该体腔内的形状相应的插入方向的内窥镜插入方向检测装置、内窥镜插入方向检测系统以及内窥镜插入方向检测方法。
背景技术：
以往，将细长的具有可挠性的插入部插入到体腔内来对体腔内进行观察，或者根据需要，对体腔内部的组织进行提取和治疗等的内窥镜装置被广泛应用。
这些内窥镜装置在将插入部插入到体腔内时，由于根据所观察的内窥镜图像来判断体腔内的形状和插入方向从而进行插入操作，因而要求操作者的熟练度。例如，在大肠的内窥镜检测中，由于大肠的形状复杂、管腔狭窄、且具有个人差异，当接近弯曲的部位(乙状结肠、肝弯、脾弯)或肠壁、皱褶(fold)时，很难判断插入方向，因此需要高度的插入操作技术和熟练度。
像这样以往的内窥镜由于要求高度的插入操作技术和熟练度，因此提出了能够显示作为内窥镜插入方向的管腔方向的内窥镜插入方向检测装置。
例如，提出了如下的内窥镜插入方向检测方法将内窥镜图像的特征量的变化率的梯度与预先设定的基准值作比较，生成将该梯度的变化大于或等于规定值的地方作为不连续的点抽出而形成的对象图像，将该形成的对象图像分割为多个区域，针对该分割的各个区域的图像，使用修正霍夫(Hough)变换抽出线段候选，针对该抽出的线段候选，进行基于预先设定的线段判断基准的感官上的分组，以抽出最佳的线段候选，进而，通过重复将该最佳线段信息作为子节点，将多个子节点的线段数之和作为父节点的线段，依次选择具有最多线段的子节点，将其结果得到的小区域作为线段的开始段来连接，根据该连接的线段的图案信息，选择位于内侧的方向候选，从而决定内窥镜的插入方向(例如，参照日本国专利第2680111号公报)。
另外，作为以往的内窥镜插入方向检测方法，日本国专利公开2003-93328号公报中提出了如下的检测方法在内窥镜图像的R图像上设定M个抽样像素，通过算出用于获得该各个抽样像素的明暗梯度方向的梯度向量、以及根据该梯度向量算出管腔方向，利用重叠显示在内窥镜图像上的箭头表示该算出的管腔方向。
在上述日本国专利第2680111号公报中提出的内窥镜插入方向检测方法，将抽出了边缘的大肠内窥镜图像分割成多个区域，通过修正霍夫变换检测出对检测各区域的管腔方向有效的边缘，通过连接所检测的边缘来求出皱褶的形状，以此来估计管腔方向，因而处理变得复杂，很难进行实时处理。
另外，在上述日本国专利公开2003-93328号公报中提出的内窥镜插入方向检测方法，抽出大肠内窥镜图像的光晕，并对将该光晕细线化后的形状进行抽样，求出由所抽样的2个点得到的线的垂直2等分线，根据所得到的多个垂直2等分线聚集的位置来估计管腔方向，所以，当垂直2等分线不聚集到一点时，存在着不能求出管腔位置的问题。
发明内容
本发明就是鉴于上述情况而提出的，其目的在于提供一种结构简单、且能够可靠地检测管腔方向的内窥镜插入方向检测装置、内窥镜插入方向检测系统以及内窥镜插入方向检测方法。
本发明的内窥镜插入方向检测装置的特征在于，具有图像输入单元，其从插入到体腔内的内窥镜输入内窥镜图像；像素抽出单元，其从上述图像输入单元所输入的上述内窥镜图像中抽出预定浓度值的像素；区域形状估计单元，其根据上述像素抽出单元所抽出的上述预定浓度值的像素的分布连续性，求出特定区域的形状；以及，插入方向决定单元，其根据上述区域形状估计单元所求出的形状，决定将上述内窥镜插入到上述体腔内的插入方向。
通过本发明的内窥镜插入方向检测装置，可以根据内窥镜图像可靠地高精度地检测出体腔的插入方向，与内窥镜图像一起显示该检测出的插入方向，从而可以与内窥镜检查经验无关地快速地操作内窥镜。
内窥镜插入方向检测系统的特征在于，具有内窥镜图像区域分割单元，其将插入到体腔内的内窥镜所拍摄生成的内窥镜图像分割为多个区域；像素抽出单元，其将由该内窥镜图像区域分割单元所分割的多个区域中的每个区域的像素得到的值与阈值进行比较，抽出大于等于阈值的像素分布；管腔位置候选区域设定单元，其设定管腔位置候选区域；管腔方向估计单元，其根据该管腔位置候选区域设定单元所设定的管腔位置候选区域，针对上述内窥镜图像区域设定半径不同的多个圆，并根据配置在该多个圆内的由上述像素抽出单元抽出的大于等于阈值的像素分布，估计管腔方向；插入方向决定单元，其根据该管腔方向估计单元所估计的管腔方向，在上述管腔位置候选区域内决定内窥镜插入方向；以及，插入方向显示单元，其根据该插入方向设定单元所设定的内窥镜插入方向，与内窥镜图像一起显示插入方向。
内窥镜插入方向检测方法的特征在于，具有输入内窥镜图像的图像输入手段；像素抽出手段，在由上述图像输入单元所输入的内窥镜图像中，抽出具有高浓度值的像素；像素选择手段，针对上述像素抽出单元所抽出的像素，选择存在于特定区域内的像素；插入方向决定手段，根据上述像素选择单元所选择的像素和上述特定区域的形状，决定内窥镜的插入方向；以及，显示手段，显示上述插入方向决定单元所决定的插入方向。
图1是表示本发明实施方式的内窥镜装置的整体结构的方框图。
图2是说明本发明实施方式的内窥镜装置的管腔内插入操作的说明图。
图3是表示作为本发明第1实施方式的内窥镜插入方向检测装置的结构框图。
图4是说明将本发明实施方式的内窥镜插入到管腔内的弯曲部的状态的说明图。
图5是说明利用本发明实施方式的内窥镜装置拍摄的管腔内的拍摄图像的说明图。
图6是说明利用本发明实施方式的内窥镜装置拍摄的管腔内的拍摄图像的说明图。
图7是说明本发明的第1实施方式的内窥镜插入方向检测装置的动作的流程图。
图8是说明本发明第1实施方式的内窥镜插入方向检测装置将内窥镜图像分割成多个区域的例子的说明图。
图9是说明设置在本发明第1实施方式的内窥镜插入方向检测装置所得到的内窥镜图像的周边的管腔候选区域的说明图。
图10是说明本发明第1实施方式的内窥镜插入方向检测装置所进行的根据内窥镜图像来设定管腔方向的设定动作的说明图。
图11是说明本发明第1实施方式的内窥镜插入方向检测装置所进行的根据内窥镜图像、由管腔候选区域决定插入方向的决定动作的说明图。
图12是说明将本发明第1实施方式的内窥镜插入方向检测装置所检测的内窥镜插入方向与内窥镜图像一起显示的示例的说明图。
图13是说明本发明第2实施方式的内窥镜插入方向检测装置所进行的根据内窥镜图像来检测光晕位置的说明图。
图14是说明本发明第2实施方式的内窥镜插入方向检测装置所进行的内窥镜插入方向检测的说明图。
图15是说明本发明第3实施方式的内窥镜插入方向检测装置的拍摄图像的说明图。
图16是说明本发明第3实施方式的内窥镜插入方向检测装置的动作的流程图。
图17是说明本发明第3实施方式的内窥镜插入方向检测装置所进行的根据内窥镜图像来检测边缘的说明图。
图18是说明本发明第3实施方式的内窥镜插入方向检测装置所进行的根据内窥镜图像来对边缘方向进行分类的说明图。
图19是说明本发明第3实施方式的内窥镜插入方向检测装置从内窥镜图像中抽出的边缘的分布的说明图。
图20是说明本发明第3实施方式的内窥镜插入方向检测装置进行的根据内窥镜图像来设定管腔候选区域的说明图。
图21是说明本发明第3实施方式的内窥镜插入方向检测装置所进行的根据内窥镜图像来选择管腔候选区域的选择处理的说明图。
图22是说明本发明第3实施方式的内窥镜插入方向检测装置所进行的根据内窥镜图像来设定管腔插入方向的说明图。
具体实施例方式
下面，参照附图，对本发明的实施方式进行详细说明。本发明的内窥镜插入方向检测装置的第1实施方式使用图1至图12进行说明。
图1是表示本发明实施方式的内窥镜装置的整体结构的方框图，图2是说明本发明实施方式的内窥镜装置的管腔内插入操作的说明图，图3是表示作为本发明第1实施方式的内窥镜插入方向检测装置的结构框图，图4是说明将本发明实施方式的内窥镜插入到管腔内的弯曲部的状态的说明图，图5是说明利用本发明实施方式的内窥镜装置拍摄的管腔内的拍摄图像的说明图，图6是说明利用本发明实施方式的内窥镜装置拍摄的管腔内的拍摄图像的说明图，图7是说明本发明的第1实施方式的内窥镜插入方向检测装置的动作的流程图，图8是说明本发明第1实施方式的内窥镜插入方向检测装置将内窥镜图像分割成多个区域的示例的说明图，图9是说明设置在本发明第1实施方式的内窥镜插入方向检测装置所得到的内窥镜图像的周边的管腔候选区域的说明图，图10是说明本发明第1实施方式的内窥镜插入方向检测装置所进行的根据内窥镜图像来设定管腔方向的设定动作的说明图，图11是说明本发明第1实施方式的内窥镜插入方向检测装置所进行的根据内窥镜图像、由管腔候选区域决定插入方向的决定动作的说明图，图12是说明将本发明第1实施方式的内窥镜插入方向检测装置所检测的内窥镜插入方向与内窥镜图像一起显示的示例的说明图。
首先，使用图1对本发明的实施方式的内窥镜装置的整体结构进行说明。内窥镜装置包括内窥镜1、控制装置6、观察监视器9、模/数转换器(以下称为A/D)11、以及内窥镜插入方向检测装置(以下称为插入方向检测装置)12。
内窥镜1由操作部2和细长的可挠性的插入部3构成，在插入部3的末端具有未图示的固态摄像元件(以下称为CCD)和投射照明光的照明用光导缆线端，该CCD的驱动控制用和利用CCD拍摄生成的拍摄信号用的信号电缆、以及照明用的光导缆线从插入部3装配到操作部2中，通过内置有这些信号电缆和光导缆线的通用缆线4，内窥镜1利用连接器5连接到控制装置6上。
另外，在上述插入部3的末端附近，设置有未图示的弯曲部，其可上下左右进行弯曲，用于弯曲操作该弯曲部的线从插入部3延伸到操作部2。该线的基端连接在位于上述操作部2中的未图示的弯曲旋钮上。
即，通过对操作部2的弯曲旋钮进行操作，能够使插入部3的弯曲部弯曲。
上述控制装置6包括影像信号处理电路8，其生成并输出驱动控制上述CCD的信号，并且根据利用上述CCD拍摄生成的拍摄信号进行预定的影像信号处理，生成作为内窥镜图像信号的RGB图像信号；作为光源7的灯，其将照明光入射到上述光导缆线中；以及该灯的点亮控制电路等。
上述控制装置6的影像信号处理电路8所生成的RGB图像信号被输出到观察监视器9，在显示内窥镜图像的同时，利用A/D 11从模拟RGB图像信号转换成数字RGB图像信号，利用插入方向检测装置12，根据该数字RGB图像信号检测内窥镜1的插入部3的插入方向，并在后述的显示装置中显示所检测出的插入方向。
参照图2说明利用这种结构的内窥镜装置进行体腔内插入操作，例如大肠的内窥镜插入操作。
大肠13的内窥镜检查如下进行根据由设置在内窥镜1的插入部3末端的CCD拍摄生成、并由影像信号处理电路8进行影像信号处理而生成的RGB图像信号，一边观察在观察监视器9中再现显示的内窥镜图像，一边操作上述操作部2的弯曲旋钮，在将插入部3的弯曲部上下左右地弯曲的同时将其插入到大肠13中，一直插入到回盲部(大肠和小肠连接的部位)进行观察。
利用上述A/D 11，将上述影像信号处理电路8所生成的RGB图像信号从模拟RGB图像信号转换成数字RGB图像信号，并输出给上述插入方向检测装置12。
该插入方向检测装置12如图3所示，具有计算机20，其根据上述影像信号处理电路8所生成、由上述A/D 11进行数字转换后的数字RGB图像信号，执行与插入方向检测有关的一系列的处理；以及显示装置21，其用于显示由该计算机20处理生成的插入方向的结果，上述计算机20包括存储装置25，其存储用于检测内窥镜插入方向的各种主程序26；中央处理装置(以下称为CPU)23，其使用该存储装置25的主程序26来执行插入方向检测处理；主存储器24，其存储上述CPU 23执行处理的结果；输入/输出控制电路(以下称为I/O控制电路)22，其用于控制上述A/D 11、显示装置21以及存储装置25的各种输入输出。
并且，上述存储装置25的主程序26是执行与本发明的内窥镜插入方向检测相关的一系列处理的程序，并且可以向I/O控制电路22请求取得来自A/D 11的RGB图像信号、在显示装置21上显示插入方向检测结果等。
另外，在利用上述A/D 11从模拟RGB图像信号转换成数字RGB图像信号的转换中，把RGB各平面量化成取值为0～255的8比特，设该图像尺寸对于水平和垂直方向分别为ISX和ISY。另外，在以后的说明中，对于构成内窥镜图像I的像素的位置，基于将图像左上端点设为(0，0)，右下端点设为(ISX-1、ISY-1)的坐标系来进行显示。
在利用这种结构的内窥镜装置进行的内窥镜检查中，正对着内窥镜1的插入部3的末端的大肠粘膜表面等由于对从插入部3的末端投射的照明光产生了较强的镜面反射，所以入射到CCD上的照明光比周边要明亮得多，CCD拍摄生成的拍摄信号的镜面反射部分饱和，或者产生比周边部分辉度大的一般被称为光晕的现象。该光晕在具有管腔形状的大肠中，生成圆弧状或者并列的圆弧状。
即，如图4所示，将内窥镜1的插入部3插入到大肠13中，当插入到大肠的弯曲部位时，从插入部3末端的照明窗投射的照明光被大肠13的弯曲部位的粘膜表面镜面反射，入射到CCD中，从而生成拍摄信号。此时，CCD拍摄生成的拍摄信号通过控制装置6的影像信号处理电路8进行影像信号处理、从而再现显示在观察监视器9上的内窥镜图像如图5和图6所示，出现圆弧状或者并列圆弧状的光晕。
对于该圆弧状的光晕，由于在圆弧的中心方向上存在管腔的可能性高，所以熟练的操作者将光晕的形状和分布作为插入操作的辅助信息加以利用，判断并决定内窥镜的插入方向。例如，当出现图5和图6所示的光晕时，可以判定在画面的右下方向存在管腔，从而将插入部3的末端向图中右下方向弯曲而进行插入。
如此，使用图7对插入方向检测装置12的动作进行说明，插入方向检测装置12在CCD所拍摄生成的内窥镜图像中使用圆弧状或者并列圆弧状的光晕，即、由内窥镜图像的图像浓度检测出光晕，与内窥镜图像一起显示根据光晕的形状估计的管腔方向。
通过事先记录在上述插入方向检测装置12的计算机20的存储装置25中的主程序26的插入方向检测处理来执行该基于CCD所拍摄的拍摄信号的插入方向检测。
即，当将上述内窥镜1的插入部3插入到大肠中，并且驱动设置在插入部3的末端的CCD，将影像信号处理电路8所生成的RGB图像信号通过A/D 11转换成数字RGB图像信号，并输出给插入方向检测装置12时，该插入方向检测装置12的计算机20的CPU 23驱动控制I/O控制电路22，取入上述数字RGB图像信号，并且读出存储在上述存储装置25中的主程序26，进行内窥镜插入方向检测处理。
另外，在上述A/D 11的转换、CPU 23的处理驱动的基础上，根据从I/O控制电路22取入的数字RGB图像信号，与上述观察监视器9同样地将内窥镜图像和该内窥镜图像的光晕显示在显示装置21上。
该内窥镜插入方向检测处理在步骤S1中，在CPU 23读出上述主程序26的内窥镜插入方向检测处理程序后才开始。在步骤S2中，CPU 23驱动控制上述I/O控制电路22，从来自上述A/D 11的数字RGB图像信号中取得R图像信号。
并且，在该第1实施方式中，虽然使用RGB图像信号中的R图像信号来说明内窥镜插入方向检测处理，但除了R图像信号之外，也可以使用G图像信号、B图像信号或者辉度图像信号(0.3R+0.6G+0.1B)等来进行处理。
接着，在步骤S3中，CPU 23将在上述步骤S2中取得的R图像信号分割成多个区域。该步骤S3的区域分割如图8的虚线所示，将内窥镜图像I分割为多个区域Aij(0≤i＜1，0≤j＜m)。
接着，在步骤S4中，CPU 23检测在上述步骤S3中分割的各区域Aij内的光晕。该各区域Aij内的光晕检测，具体地说就是根据内窥镜图像I的坐标(x，y)(0≤x＜Isx，0≤y＜Isy)中的像素的值r(x，y)作成2值图像H。2值图像H中的各面积微元h(x，y)的值根据以下的公式1求得。
公式1h(x，y)＝1 if r(x，y)≥THL公式2h(x，y)＝0 if r(x，y)＜THL在此，将阈值THL设为THL＝255。作为像素的值，由于有时候即使没有达到255在视觉上也被识别成光晕，因此适当设定阈值。并且，在存在于一个区域Aij内的光晕的像素数少的情况下，只在相应的2值图像H的区域内将公式1的h(x，y)＝1变更为公式2的h(x，y)＝0。由此除去点状的光晕，只检测对管腔方向的检测有效的光晕。
即，将各区域Aij内的像素浓度与阈值THL进行比较，来检测光晕。
接着，在步骤S5中，CPU 23进行管腔候选位置的设定。该管腔候选位置的设定，如图9的虚线所示，在内窥镜图像I的周边设定管腔的候选区域Bij(0≤i＜0，0≤j＜P)。
当结束了该步骤S5的管腔候选位置的设定时，在步骤S6中，CPU 23如图10所示，设定以管腔的各候选区域Bij的中心位置为中心的半径不同的2个圆r1q、r2q，在步骤S7中求出存在于由该2个圆所围起的范围内的内窥镜图像I的具有光晕的区域Aij的数目。
在步骤S8中，判断在该步骤S7中求出的处于由2个圆所围起的范围内并具有光晕的区域Aij的数目是否是最大的数，当判断为是最大时，在步骤S9中存储具有光晕的区域Aij的数目和管腔的候选位置Bij。
当在上述步骤S8中判定上述区域Aij的数目不是最大，或者上述步骤S9的具有光晕的区域Aij的数目和管腔候选位置Bij的存储结束时，如图10所示，在步骤S10中，CPU 23将在上述步骤S6中设定的2个圆的半径设定变更为r1q+1、r2q+1，在步骤S11中判断该变更后的2个圆所包围的范围是否处于内窥镜图像I的区域Aij外，如果判定被变更后的2个圆所围起的范围在内窥镜图像I的区域Aij内，则返回到步骤S7，再次重复步骤S7到S11，如果判定该变更后的2个圆所围起的范围在内窥镜图像I的区域Aij外，则在步骤S12中，变更管腔的候选位置Bij。
接着，在步骤S13中，CPU 23判断在上述步骤S12中变更的管腔候选位置Bij是否在管腔的候选位置区域外，如果判定在管腔候选位置区域内，则返回到步骤S6，重复步骤S6到S12的操作；如果判定在管腔候选位置区域外，则在步骤S14中，如图11所示，将管腔的候选位置区域Bij分割成例如8个区域Di(0≤i＜8)，求出包含上述步骤S9中存储的管腔候选位置Bij的区域Di。
如果将上述步骤S12中设定的管腔候选位置Bij设成图11所示的Bop，则该Bop存在于区域D4中。即，插入部3的管腔内的插入方向是区域D4方向，在图中的右下方，在步骤S15中，在显示装置21所显示的内窥镜图像上进行插入方向显示。
对于该插入方向的显示，如图12所示，可考虑在显示装置21所显示的内窥镜图像I的周边部显示插入方向的箭头的方法，以及未图示的将表示插入方向的箭头重叠显示在内窥镜图像I上的方法。
在该第1实施方式中，通过使上述2个圆围起的区域变窄，能够检测出更接近于圆弧的光晕，另外，通过更细地设定管腔的候选位置区域Bij，能够高精度地估计管腔的位置。
如以上说明的那样，在该第1实施方式中，即使在存在多个光晕的情况下，也能够与各个光晕的形状无关地稳定地估计管腔的位置。另外，由于根据特定区域内的光晕的像素数目来判断是否是对检测管腔位置有效的区域，因此能够除去噪点之类的小的光晕，可以稳定地估计管腔位置。
接着，使用图13和图14来说明作为本发明的第2实施方式的内窥镜插入方向检测装置。并且，该第2实施方式的内窥镜插入方向检测装置的结构、以及作为插入方向的管腔位置的估计处理，基本上与上述第1实施方式相同，与上述第1实施方式不同的是求出上述步骤S7中的区域Aij的数目的方法。
在上述第1实施方式中，在S7步骤中，计数了存在于2个圆所围起的范围内的具有光晕的区域Aij的数目，但是在该第2实施方式中，判断存在于2个圆所围起的范围内的具有光晕的区域Aij是否是对求出管腔方向有效的光晕形状，只计数被判定为对求出该管腔方向有效的具有光晕的区域Aij的数目。
在该光晕形状的评价中，调查各区域Aij的光晕的像素分布。具体来讲，例如，如图13所示，对于区域A31的光晕，根据阈值处理所求出的光晕的坐标位置，用下面的公式3和公式4算出光晕的重心位置W31(Wx31，Wy31)。
公式3Wx31=1s∑ksXk]]>公式4
Wy31=1s∑ksYk]]>其中，s是存在于区域A31内的光晕的像素数目，Xk、Yk是存在于区域A31内的光晕的x，y坐标的值。
另外，根据在区域A31中求出的光晕的分布，用下面的公式5算出回归直线。
公式5y=VxyVx(x-x‾)+y‾]]>其中，x、y是区域Aij内的光晕的x，y坐标值的平均值，Vx是x的方差、Yxy是x，y的协方差，分别用公式6至公式9来求得。
公式6X‾=1s∑ksXk]]>公式7Y‾=1s∑ksYk]]>公式8Vx=1s∑ks(Xk-X‾)2]]>公式9Vxy=1s∑ks(Xk-X‾)(Yk-Y‾)]]>利用方差Vx和协方差Vxy，用下面的公式表示与回归直线正交的向量Vr。
公式10Vr＝(Vxy，-Vx)另外，用下面的公式11求出从图14所示的管腔候选区域的中心位置Cop(Cxop，Cyop)指向重心(Wx31，Wy31)的向量Vc。
公式11Vc＝W31-Cop＝(Wx31-Cxop，Wy31-Cyop)并且，通过内积公式，由下面的公式12求出向量Vr和向量Vc所成的角度θ。
公式12cosθ=Vr·Vc|Vr||Vc|]]>如图14所示，角度θ越接近于0，管腔候选区域就越可能位于根据光晕的形状所求得的方向上，光晕的形状越可认为是对求出管腔的位置有效的形状。设定适当的阈值θthl，求出具有比阈值θthl小的角度θ的区域Aij的总数。
这样，可以根据光晕的形状判别是否具有对求出管腔位置有效的形状，可以更精确地估计管腔的方向。
接着，使用图15至图22来说明本发明的第3实施方式的内窥镜插入方向检测装置。
图15是说明本发明第3实施方式的内窥镜插入方向检测装置的拍摄图像的说明图，图16是说明本发明第3实施方式的内窥镜插入方向检测装置的动作的流程图，图17是说明本发明第3实施方式的内窥镜插入方向检测装置所进行的根据内窥镜图像来检测边缘的说明图，图18是说明本发明第3实施方式的内窥镜插入方向检测装置所进行的根据内窥镜图像来对边缘方向进行分类的说明图，图19是说明本发明第3实施方式的内窥镜插入方向检测装置从内窥镜图像中抽出的边缘的分布的说明图，图20是说明本发明第3实施方式的内窥镜插入方向检测装置进行的根据内窥镜图像来设定管腔候选区域的说明图，图21是说明本发明第3实施方式的内窥镜插入方向检测装置所进行的根据内窥镜图像来选择管腔候选区域的选择处理的说明图，图22是说明本发明第3实施方式的内窥镜插入方向检测装置所进行的根据内窥镜图像来设定管腔插入方向的说明图。
并且，该第3实施方式的内窥镜插入方向检测装置的结构与上述第1实施方式相同，但是通过上述计算机20进行的管腔方向检测的处理是不同的。
该第3实施方式所着眼的点在于，在大肠的肠壁上存在环状的皱褶(folt)，可以通过该皱褶在内窥镜图像上的出现方式来判断内窥镜的插入方向。
如前所述，在如图4所示的将内窥镜1的插入部3插入到管腔内的插入状态中，如图15所示，内窥镜图像可以观察到圆弧状的皱褶。
与上述第1实施方式的圆弧状的光晕同样，由于在圆弧的中心方向上存在管腔的可能性高，因此将该圆弧状的皱褶作为内窥镜插入方向的判断信息来使用。
使用图16说明根据拍摄到了该肠壁的环状皱褶的内窥镜图像来检测管腔插入方向的检测动作。
在步骤S21中，插入方向检测装置12的CPU 23读出并执行根据大肠内的管壁皱褶进行插入方向检测的程序，在步骤S22中，与上述第1实施方式同样，取得所输入的内窥镜图像的RGB图像信号的R图像信号。并且，与上述第1实施方式同样，也可以使用G图像信号、B图像信号、或者辉度图像信号等进行处理。
根据由上述步骤S22中取得的R图像信号生成、并在上述显示装置21上显示的R图像信号，在步骤S23中，与使用图8所说明的上述第1实施方式同样地将内窥镜图像分割为多个区域Aij(0≤i＜1，0≤j＜m)。
接着，在步骤S24中，求出表示该多个分割后的各区域Aij内的皱褶边缘的方向的梯度向量和大小。具体来讲，如图17所示，以检测边缘的像素位置为中心，抽出大小为3×3的附近像素，将位于该水平、垂直以及对角方向的像素的值分别设为A、B、C、D、E、F、G、H。根据这些像素的值，利用下面的公式13和公式14求出水平和垂直方向的微分值dx、dy。
公式13dx＝(C+E+H)-(A+D+F)
公式14dy＝(F+G+H)-(A+B+C)根据该水平和垂直方向的像素的微分值dx、dy，可以利用下面的公式15来示出表示边缘方向的梯度向量V。
公式15V＝(dx，dy)由利用该公式15算出的梯度向量V，可以用公式16算出边缘的大小。
公式16|V|=dx2+dy2]]>接着，由于在区域Aij中也包含皱褶以外的血管和噪点等的边缘，所以通过以下的方法抽出皱褶的边缘。
皱褶边缘的大小|V|由于具有比血管等的边缘大的倾向，所设定适当的阈值|V|thl，抽出比阈值大的边缘。
另外，设定如图18所示的8个方向的向量Vi(i＝0，1，…，7)，将通过阈值处理而抽出的边缘分类成8个方向。利用下面的公式17算出所抽出的梯度向量V和8个方向的向量Vi所成的角度θi，通过求出角度θi为最小的1个方向的向量(8个方向中的1个方向的向量)，将所抽出的边缘分类成8个方向。
公式17cosθi=V·Vi|V||Vi|]]>通过将区域Aij内的进行过阈值处理的边缘分类成8个方向，只抽出最多分类的边缘，可以删除无法利用阈值处理除去的血管等的边缘。
另外，因为可以把存在于小区域内的皱褶的边缘看作直线分布，所以如图19所示，利用与第2实施方式同样的方法调查所抽出的边缘的分布。
使用通过上述方法除去了血管等的边缘的边缘坐标位置，求出重心位置、回归直线、以及与回归直线正交的向量。
算出分布在回归直线的方向上的边缘的方差σ1和分布在与回归直线正交的方向上的边缘的方差σ2，通过判别方差的比率Υ＝σ2/σ1是否比适当的阈值Υthl小来判别是否是皱褶的边缘。
接着，在步骤S25中，如图20的虚线所示，CPU 23在内窥镜图像的周边设定管腔的候选区域Bij(0≤i＜0，0≤j＜P)，在步骤S26中，如图21所示，设定以管腔的各候选区域Bij的中心位置为中心的半径不同的2个圆r1q、r2q。
当完成该步骤S26的2个圆的设定时，在步骤S27中求出存在于由2个圆围起的范围内的具有皱褶边缘的区域Aij的数目。其中，如图22所示，算出在区域Aij内求出的与回归直线正交的向量和从重心位置到管腔候选区域的中心位置的向量所成的角度θ，在该角度θ比适当的阈值θthl小的情况下，判定存在有效的皱褶的边缘，并求出区域Aij的总数。
接着，在步骤S28中，CPU 23判别在上述步骤S27中计数的区域Aij的数目是否为最大，如果判断为最大，则在步骤S29中，存储区域Aij的数目和管腔候选位置Bij。
在上述步骤S28中，如果判定所计数的区域Aij的数目不是最大，或者上述步骤S29中的区域Aij的数目和管腔候选位置Bij的存储结束时，如图21所示，在步骤S30中，将2个圆的半径变更为r1q+1、r2q+1，在步骤S31中，判别在该步骤S30中变更的2个圆r1q+1、r2q+1是否存在于内窥镜图像的区域Aij内，如果存在于内窥镜图像的区域Aij内，则返回到步骤S27，再度重复执行步骤S27至S30的处理，如果存在于内窥镜图像的区域Aij外，则在步骤S32中进行管腔候选位置的变更。
接着，在步骤S33中，针对在上述步骤S32中变更的管腔候选位置，判别其是否在管腔候选区域Bij外，如果在管腔候选区域Bij内，则返回到上述步骤S26，重复执行步骤S26至S32的处理；如果判定为在管腔候选区域Bij外，则在步骤S34中，与上述第1实施方式同样将图11所示的管腔候选区域分割为例如8个区域Di(0≤i＜8)，求出包含上述步骤S32中变更的管腔候选区域的位置的区域Di。在步骤S35中，如图12所示，根据该求出的区域Di，接着内窥镜图像的周边部显示管腔的方向。
通过使该第3实施方式的2个圆围起的区域变窄，可以检测更接近于圆弧的皱褶。
另外，通过更细地设定管腔候选区域，可以更精确地估计管腔的位置。
该第3实施方式可以只检测对检测管腔的方向有效的管壁皱褶的边缘，根据该边缘容易且准确地检测出管腔的方向。
以上，对本发明的实施方式进行了说明，但并不限于上述实施方式，当然可以在不脱离本发明精神的范围内进行多种变化。
如以上说明的那样，采用本发明的内窥镜插入方向检测装置、内窥镜插入方向检测系统以及内窥镜插入方向检测方法，可以根据内窥镜图像而可靠地检测出管腔位置以及内窥镜插入方向，可以通过将该插入方向和内窥镜图像同时显示在显示装置上而进行内窥镜插入操作，对于被检体而言，可以在不产生不舒服感的情况下进行内窥镜插入操作，从而可以应用于使用内窥镜的体腔内检查、使用内窥镜的体腔内处置等。
权利要求
1.一种内窥镜插入方向检测装置，其特征在于，具有图像输入单元，其从插入到体腔内的内窥镜输入内窥镜图像；像素抽出单元，其从上述图像输入单元所输入的上述内窥镜图像中抽出预定浓度值的像素；形状估计单元，其根据上述像素抽出单元所抽出的上述预定浓度值的像素的分布连续性，求出特定区域的形状；以及，插入方向决定单元，其根据上述区域形状估计单元所求出的形状，决定将上述内窥镜插入到上述体腔内的插入方向。
2.根据权利要求1所述的内窥镜插入方向检测装置，其特征在于上述像素抽出单元抽出在体腔内通过镜面反射而生成的光晕部分或者体腔内壁的皱褶的边缘部分的像素。
3.一种内窥镜插入方向检测系统，其特征在于，具有内窥镜图像区域分割单元，其将插入到体腔内的内窥镜所拍摄生成的内窥镜图像分割为多个区域；像素抽出单元，其将根据该内窥镜图像区域分割单元所分割的多个区域中的每个区域的像素而得到的值与阈值进行比较，抽出大于等于阈值的像素分布；管腔位置候选区域设定单元，其设定管腔位置候选区域；管腔方向估计单元，其根据该管腔位置候选区域设定单元所设定的管腔位置候选区域，针对上述内窥镜图像区域设定半径不同的多个圆，并根据位于该多个圆内的由上述像素抽出单元所抽出的大于等于阈值的像素分布，估计管腔方向；插入方向决定单元，其根据该管腔方向估计单元所估计的管腔方向，在上述管腔位置候选区域内决定内窥镜插入方向；以及，插入方向显示单元，其根据该插入方向设定单元所设定的内窥镜插入方向，与内窥镜图像一起显示插入方向。
4.根据权利要求3所述的内窥镜插入方向检测系统，其特征在于上述像素抽出单元抽出在体腔内通过镜面反射而生成的光晕部分或者体腔内壁的皱褶的边缘部分的像素。
5.根据权利要求3所述的内窥镜插入方向检测系统，其特征在于上述管腔方向估计单元根据连接上述像素抽出单元所抽出的像素分布的重心位置和上述管腔位置候选区域设定单元所设定的管腔位置候选区域的中心位置的向量、与正交于上述像素分布的回归直线的向量之间的角度差，估计对插入方向的决定有用的管腔方向。
6.根据权利要求3所述的内窥镜插入方向检测系统，其特征在于上述管腔方向估计单元计算上述像素抽出单元所抽出的皱褶的边缘的梯度向量，并根据该梯度向量为相同方向的边缘分布来估计管腔方向。
7.根据权利要求3所述的内窥镜插入方向检测系统，其特征在于根据上述管腔位置候选区域设定单元所设定的管腔位置候选区域、针对内窥镜图像区域设定的半径不同的多个圆的中心位置在管腔位置候选区域的同一区域内。
8.根据权利要求3所述的内窥镜插入方向检测系统，其特征在于上述管腔方向估计单元根据位于半径不同的多个圆的范围内的大于等于阈值的像素分布而估计的管腔方向与上述多个圆的中心位置的方向一致。
9.一种内窥镜插入方向检测方法，其特征在于，具有图像输入手段，输入内窥镜图像；像素抽出手段，在上述图像输入手段所输入的内窥镜图像中，抽出具有高浓度值的像素；像素选择手段，针对上述像素抽出手段所抽出的像素，选择存在于特定区域内的像素；插入方向决定手段，根据上述像素选择手段所选择的像素和上述特定区域的形状，决定内窥镜的插入方向；以及，显示手段，显示上述插入方向决定手段所决定的插入方向。
10.根据权利要求9所述的内窥镜插入方向检测方法，其特征在于通过由多个不同的圆或者椭圆围起的区域来设定上述像素选择手段的特定区域。
11.一种内窥镜插入方向检测方法，其特征在于，具有图像输入手段，输入大肠内窥镜图像；像素抽出手段，在上述图像输入手段所输入的大肠内窥镜图像中，抽出大肠皱褶的边缘部分的像素；像素选择手段，针对上述像素抽出手段所抽出的边缘部分的像素，选择存在于特定区域内的像素；插入方向决定手段，根据上述像素选择手段所选择的边缘部分的像素和上述特定区域的形状，决定内窥镜的插入方向；以及，显示手段，显示上述插入方向决定手段所决定的插入方向。
12.根据权利要求11所述的内窥镜插入方向检测方法，其特征在于通过由多个不同的圆或者椭圆围起的区域来设定上述像素选择手段的特定区域。
13.根据权利要求12所述的内窥镜插入方向检测方法，其特征在于上述多个不同的圆或者椭圆的中心位置被设定成是同一个或者在同一区域内。
14.根据权利要求13所述的内窥镜插入方向检测方法，其特征在于上述插入方向决定手段所决定的插入方向是将上述多个圆或者椭圆的同一中心位置或者同一区域内的方向作为插入方向。
15.根据权利要求9所述的内窥镜插入方向检测方法，其特征在于上述插入方向决定手段根据由上述像素选择手段所选择的像素的分布形状而估计的管腔方向、和由特定区域的形状而估计的管腔方向的同一性，决定内窥镜的插入方向。
16.根据权利要求10所述的内窥镜插入方向检测方法，其特征在于上述插入方向决定手段根据由上述像素选择手段所选择的像素的分布形状而估计的管腔方向、和由特定区域的形状而估计的管腔方向的同一性，决定内窥镜的插入方向。
17.根据权利要求9所述的内窥镜插入方向检测方法，其特征在于上述插入方向决定手段根据上述像素选择手段所选择的边缘部分的像素中的大致朝向同一方向的边缘部分的分布形状和上述特定区域的形状，决定内窥镜的插入方向。
18.根据权利要求10所述的内窥镜插入方向检测方法，其特征在于上述插入方向决定手段根据上述像素选择手段所选择的边缘部分的像素中的大致朝向同一方向的边缘部分的分布形状和上述特定区域的形状，决定内窥镜的插入方向。
19.根据权利要求9所述的内窥镜插入方向检测方法，其特征在于上述插入方向决定手段根据由上述像素选择手段所选择的边缘部分的像素中的大致朝向同一方向的边缘部分的分布形状而估计的管腔方向和由上述特定区域的形状而估计的管腔方向的同一性，决定内窥镜的插入方向。
20.根据权利要求10所述的内窥镜插入方向检测方法，其特征在于上述插入方向决定手段根据由上述像素选择手段所选择的边缘部分的像素中的大致朝向同一方向的边缘部分的分布形状而估计的管腔方向和由上述特定区域的形状而估计的管腔方向的同一性，决定内窥镜的插入方向。
全文摘要
具有像素抽出手段，从图像输入/输出控制电路所输入的内窥镜图像的每个区域中抽出预定浓度值的像素；区域形状估计手段，根据该预定浓度值像素的分布的连续性，求出内窥镜图像区域的形状；以及，插入方向决定手段，根据所求出的形状，决定将内窥镜插入到体腔内的插入方向，将该插入方向与内窥镜图像一起显示，从而可以通过简单的结构而可靠地检测出管腔方向。
文档编号G02B23/24GK1713848SQ20038010381
公开日2005年12月28日 申请日期2003年11月19日 优先权日2002年11月20日
发明者长谷川润, 野波彻绪 申请人:奥林巴斯株式会社