在从位置P2移动到位置P3的情况下检测到视野不良的产生，在变化之前的位置P2处，在信息记录部27中记录包含VBS图像的信息。
[0239]关于取得内窥镜图像的间隔，除了一定时间或一定距离以外，还可以与取得插入部11的前端位置的时机联动。
[0240]在(I)的情况下，采用如视野不良那样手术医生容易在视觉上进行比较的变化量作为图像中的特征部的变化量，所以，容易掌握记录信息的状态。
[0241]另外，上述形状变化量检测部25j检测支气管内的分支形状的变化量，但是，如下所述，也可以在从分支形状变化为分支形状以外的构造、形状的情况下、换言之检测到变化为分支形状以外的情况下记录信息。
[0242](J)检测内窥镜图像中的支气管的分支以外的变化的情况
[0243]该情况下，如图16所示，在将插入部11插入到支气管2内的情况下，图像变化量检测部25g的形状变化量检测部25j持续进行监视对支气管2内进行摄像而得到的内窥镜图像中的支气管2的分支是否存在于内窥镜图像内的动作。然后，手术医生使插入部11的弯曲部19弯曲或使插入部11扭转，在判定为分支不存在于内窥镜图像内的情况下，在信息记录部27中记录包含在紧挨着的之前的位置处的VBS图像的信息。
[0244]如图16所示，如位置P1、P2、…、P5所示，(图像变化量检测部25g的)形状变化量检测部25j例如以一定间隔或一定时间间隔取得内窥镜图像，在所取得的内窥镜图像内提取例如分支形状部分，持续进行监视有无分支的动作。然后，进行控制，以使得在图16中从位置P2移动到位置P3的情况下，判定为变化为不存在分支的状态，在该变化之前的位置P2处，在信息记录部27中记录包含VBS图像的信息。
[0245]关于取得内窥镜图像的间隔，除了一定时间或一定距离以外，还可以与取得插入部11的前端位置的时机联动。
[0246]在(J)的情况下，采用如有无分支形状的变化那样手术医生容易在视觉上进行比较的变化量作为图像中的特征部的变化量，所以，容易掌握记录信息的状态。
[0247](K)检测内窥镜图像中的特征部的抖动的变化的情况
[0248]该情况下，如图17所示，图像处理部25将从CCU 8A依次以规定的时间间隔(例如l/30s或l/60s)输入的图像信号交替存储在图像存储器25f中的第I存储器81a和第2存储器81b中。例如，最新的第η个图像In存储在第2存储器81b中，该I帧或I场之前的第η-1个图像In-1存储在第2存储器81b中。
[0249]以相邻的帧或场进行摄像而得到的第η-1个图像In-1和第η个图像In被输入到抖动量运算处理部82，抖动量运算处理部82进行如下运算:相对于一个图像(例如图像In)中设定的点，计算另一个图像中的对应点，作为表示抖动量的运动矢量。
[0250]由抖动量运算处理部82计算出的运动矢量被输入到抖动量判定部83，抖动量判定部83将计算出的运动矢量视为抖动量，判定运动矢量的大小(绝对值)是否超过规定值，根据判定结果记录包含VBS图像的信息作为候选信息。另外，也可以构成为图1所示的条件判定部26b具有抖动量判定部83的功能。
[0251]抖动量运算处理部82将以图像In的中心点为中心的WXH像素的范围设定为模板，探索与该中心点对应的图像In-1上的对应点。例如通过计算亮度的SAD (Sum ofAbsolute Differences:绝对差值和)来进行对应点的探索。当设模板的像素值为t (x、y)、探索对象的图像的像素值为g(x、y)时，一般利用以下的(4)式计算坐标(u、v)中的SAD即
F (U、V) ο
[0252]F(u、V) = XJjlgQ+u、j+v)_t(1、j) I (4)
[0253]另夕卜，Σρ Σ」分别表示进行在i为N w以内、N Η以内的模板的宽度W、高度H中加上I g-t I的运算，并且，在设模板的宽度为W、高度为H的情况下，设为-W/2 ^ Nff^ W/2.-H/2兰N1^ H/2。并且，设与图像In相当的图像In-1的中心坐标为(Ox、Oy)，在 Ox-W/2 = U = Ox+W/2、Oy-H/2 = v = Oy+H/2 的范围内计算 F(u、v)。F(u、v)最小时的坐标(Ex、Ey)成为对应点。
[0254]根据相对于图像In的中心坐标(0x、0y)的对应点的坐标(Ex、Ey)，利用(5)式计算运动矢量m。
[0255]m = (Ex-Ox、Ey-Oy)…(5)
[0256]以上是运动矢量m的计算方法。
[0257]通过运动矢量m的计算，当计算该运动矢量m作为抖动量的处理结束后，利用抖动量判定部83将运动矢量m的大小与规定值进行比较，在抖动量判定部83判定为运动矢量m的大小大于规定值的情况下，抖动量判定部83针对信息记录部27判定为产生了超过规定值的抖动变化，对信息记录部27输出用于记录VBS图像的记录指示信号(或保存指示信号)O
[0258]接收到该记录指示信号的信息记录部27记录超过规定值的抖动产生前的图像存储器25f的第I存储器81a的图像作为候选图像。每当输入记录指示信号时进行记录该候选图像的动作，在信息记录部27中蓄积候选图像。
[0259]通过反复进行以上动作，能够蓄积紧挨着内窥镜图像的抖动大于规定值的情况之前的内窥镜图像作为候选图像。另外，作为检测内窥镜图像的抖动的方法，在无法进行基于SHIFT (Scale-1nvariant Feature Transform:尺度不变特征转换)的运算、无法运算与各图像对应的特征点的情况下或在图像的频率解析中高频成分减小规定值以上的情况下，也可以同样进行记录。这种情况下也得到相同效果。
[0260]另外，在上述实施方式中，说明了代表性组合的情况，但是，也可以通过上述组合以外的组合来记录信息。
[0261]S卩，本发明还包含与上述实施方式中的第I条件和第2条件有关的任意组合的结构、方法的情况。
[0262]并且，说明了作为条件信息记录单元的条件信息记录部27a分别记录能够设定为第I条件和第2条件的多个候选条件的信息和候选信息的情况，但是，也可以不使用候选条件的信息和候选信息，而分别记录能够设定为第I条件和第2条件的多个条件信息(或信息)。并且，也可以不记录多个条件信息(或信息)，由手术医生等指定期望的条件信息。
[0263]另外，在上述说明中，说明了在从输入装置31等对控制部26输入了进行再次位置对齐的指示信号的情况下、在作为显示单元的监视器32中显示(提示)信息记录部27中记录的信息作为候选信息的情况。
[0264]本发明不限于该情况，例如，也可以在规定的时机在作为显示单元的监视器32中显示(提示)信息记录部27中记录的信息作为候选信息。
[0265]例如，用户也可以从输入装置31等针对控制部26进行用于设定显示候选信息的时间间隔或条件的输入，控制部26在符合所设定的时间间隔或条件的情况下，进行从信息记录部27中读出信息的控制，经由图像处理部25在监视器32中显示包含VBS图像的候选信息。
[0266]并且，在具有对由摄像单元进行摄像而得到的图像信息和假想内窥镜图像进行比较的图像比较单元、在规定的时机显示信息取得单元中记录的假想内窥镜图像的显示单元的结构中，也可以构成为，信息取得单元根据图像比较单元的比较结果取得摄像单元的至少位置信息。
[0267]另外，在支气管径变化量检测部25e检测到的支气管径小于基准的支气管径Dre、且图像变化量检测单元25g检测到的支线等特征部的变化量变化设定值以上的情况下，在信息记录部27中记录包含VBS图像的信息，但是，也可以在所述变化量变化为最大值或峰值的情况下，信息记录控制部26c等在信息记录部27中记录包含该变化量为最大值或峰值的插入部11的前端的位置及其姿势以及对应的VBS图像的信息。
[0268]并且，本发明不限于上述例如图1所示的结构，可以仅是权利要求1所述的基本结构(要素)，也可以构成为在该基本结构中选择性地追加一个或多个结构要素。
[0269]本申请以2013年3月27日在日本申请的日本特愿2013-67408号为优先权主张的基础进行申请，上述公开内容被引用到本申请说明书和权利要求书中。
【主权项】
1.一种内窥镜系统，其特征在于，该内窥镜系统具有: 图像记录部，其记录预先取得的被检体中的三维图像信息； 管腔脏器提取部，其从所述三维图像信息中提取规定的管腔脏器； 假想内窥镜图像生成部，其针对由所述管腔脏器提取部提取出的所述规定的管腔脏器的信息，生成从规定的视点位置以内窥镜的角度描绘的假想内窥镜图像； 摄像部，其设置在内窥镜内，对所述规定的管腔脏器内进行摄像； 位置信息取得部，其取得所述内窥镜的插入部的前端的位置信息； 管腔直径变化量检测比较部，其根据所述内窥镜的插入部的前端的位置信息检测所述规定的管腔脏器的管腔直径的变化量； 图像变化量检测部，其在由所述摄像部摄像而得到的内窥镜图像内检测与所述规定的管腔脏器有关的特征部的变化量；以及 信息记录部，其根据所述管腔直径变化量检测部的检测结果和所述图像变化量检测部的检测结果，记录包含所述内窥镜的插入部的前端的位置和与该前端的位置对应的所述假想内窥镜图像的规定信息。2.根据权利要求1所述的内窥镜系统，其特征在于， 所述管腔直径变化量检测部检测与所述内窥镜的插入部的前端的长度方向垂直的面中的所述规定的管腔脏器的管腔直径的变化量。3.根据权利要求1所述的内窥镜系统，其特征在于， 所述管腔直径变化量检测部检测与作为所述规定的管腔脏器的管腔的中心线的芯线垂直的面中的所述规定的管腔脏器的管腔直径的变化量。4.根据权利要求1所述的内窥镜系统，其特征在于， 所述图像变化量检测部检测所述规定的管腔脏器的管腔分支的分支区域中的特征部的形状变化量。5.根据权利要求1所述的内窥镜系统，其特征在于， 所述图像变化量检测部检测所述规定的管腔脏器的管腔分支的分支区域中的特征区域的明亮度信息的变化量。6.根据权利要求1所述的内窥镜系统，其特征在于， 所述内窥镜系统还具有图像比较部，该图像比较部对由所述摄像部拍摄的所述内窥镜图像和由所述假想内窥镜图像生成部生成的所述假想内窥镜图像进行比较， 所述位置信息取得部根据所述图像比较部的比较结果取得所述内窥镜的插入部的前端的所述位置信息。7.根据权利要求6所述的内窥镜系统，其特征在于， 所述内窥镜系统还具有: 管腔形状图像生成部，其生成所述规定的管腔脏器的管腔形状图像；以及显示控制部，其进行控制，以使得在所述位置信息取得部根据所述图像比较部的比较结果取得所述内窥镜的插入部的前端的位置信息失败的情况下、或产生了用于提示所述规定的信息的指示信号的情况下，在所述管腔形状图像中的对应位置显示所述信息记录部中记录的所述规定的信息中的所述内窥镜的插入部的前端的位置，并且显示与该前端的位置对应的所述假想内窥镜图像， 所述位置信息取得部通过对从所述信息记录部中读出的所述假想内窥镜图像和由所述摄像部拍摄的当前的内窥镜图像进行比较，取得所述内窥镜的插入部的前端的位置信息。8.根据权利要求1所述的内窥镜系统，其特征在于， 所述内窥镜系统还具有信息记录控制部，该信息记录控制部进行控制，以使得在所述管腔直径变化量检测部检测到的所述管腔直径小于预先设定的基准的管腔直径、且所述图像变化量检测部检测到的所述特征部的变化量变化了预先设定的设定值以上的情况下，所述信息记录部记录所述规定的信息。9.根据权利要求8所述的内窥镜系统，其特征在于， 进行控制，以使得在所述图像变化量检测部检测到的所述特征部的变化量以超过所述设定值的方式变化的情况下，在所述变化量为最大值的情况下，所述信息记录部记录所述规定的信息。10.根据权利要求1所述的内窥镜系统，其特征在于， 所述内窥镜系统还具有条件判定部，该条件判定部判定管腔直径变化量检测部的检测结果和所述图像变化量检测部的检测结果是否分别满足形成规定的条件的第I条件和第2条件，在所述条件判定部得到满足所述规定的判定结果的情况下，所述信息记录部记录所述规定的信息。11.根据权利要求10所述的内窥镜系统，其特征在于， 所述内窥镜系统还具有: 条件信息记录部，其分别记录了多个条件信息作为所述第I条件和所述第2条件；以及 指定部，其从所述条件信息记录部中选择性地指定分别作为所述第I条件和所述第2条件而使用的条件信息。12.根据权利要求4所述的内窥镜系统，其特征在于， 作为所述规定的管腔脏器的管腔分支的分支区域中的特征部的形状变化量，所述图像变化量检测部检测所述管腔分支的分支边界的长度或所述分支边界的长度方向的朝向的变化是否变化了设定值以上。13.根据权利要求10所述的内窥镜系统，其特征在于， 在所述条件判定部判定为满足所述规定的条件的情况下，所述信息记录部还记录所述插入部的前端的轴方向的信息作为包含所述插入部的前端的位置和所述假想内窥镜图像的所述规定的信息。
【专利摘要】内窥镜系统具有：图像记录部，其记录被检体的三维图像信息；管腔脏器提取部，其从三维图像信息中提取规定的管腔脏器；假想内窥镜图像生成部，其针对提取出的规定的管腔脏器的信息，从规定的视点位置生成假想内窥镜图像；摄像部，其对规定的管腔脏器内进行摄像；位置信息取得部，其取得插入部的前端的位置信息；管腔直径变化量检测比较部，其根据插入部的前端的位置信息检测管腔直径的变化量；图像变化量检测部，其在摄像而得到的内窥镜图像内检测与规定的管腔脏器有关的特征部的变化量；以及信息记录部，其根据两个检测部的检测结果，记录包含插入部的前端的位置和对应的假想内窥镜图像的规定的信息。
【IPC分类】A61B1/00
【公开号】CN104883950
【申请号】CN201480003398
【发明人】伊藤满祐, 秋本俊也, 大西顺一
【申请人】奥林巴斯株式会社
【公开日】2015年9月2日
【申请日】2014年2月19日
【公告号】EP2918218A1, US20150272423, WO2014156378A1