荧光观察装置及其图像显示方法
【专利摘要】减轻观察者的负担，不看漏关注区域，并且在掌握被摄体的准确的观察位置的同时进行观察。提供荧光观察装置（1），其具有：照明部（3，4），其对被摄体（A）照射激励光和照明光；荧光摄像部（21），其根据因激励光的照射而在被摄体（A）中产生的荧光，取得荧光图像（G2）；返回光摄像部（20），其根据因照明光的照射而从被摄体（A）返回的返回光，取得返回光图像（G1）；显示部（7），其显示所取得的荧光图像（G2）和/或返回光图像（G1）；提取部，其从荧光图像中提取关注区域（R）；图像切换部（25），其进行切换使得：在没有提取出关注区域（R）时，在显示部（7）仅显示返回光图像（G1），在提取出关注区域（R）时，在显示部（7）并列地显示返回光图像（G1）和荧光图像（G2）。
【专利说明】荧光观察装置及其图像显示方法
【技术领域】
[0001 ] 本发明涉及荧光观察装置及其图像显示方法。
【背景技术】
[0002]过去，已知有如下内窥镜装置:取得观察对象的反射光图像和荧光图像，在监视器上的主窗口显示一方的图像，在子窗口显示另一方的图像(例如，参照专利文献I)。此外，还已知有重叠地显示反射光图像和荧光图像的内窥镜装置(例如，参照专利文献2)。
[0003]医生等观察者在将内窥镜的插入部插入患者体内的过程中，主要使用反射光图像进行插入操作，在观察病变部位附近的过程中，主要观察荧光图像。
[0004]现有技术文献
[0005]专利文献
[0006]专利文献1:日本特开2002 - 345739号公报
[0007]专利文献2:日本特开2007 - 075198号公报
【发明内容】
[0008]发明要解决的问题
[0009]但是，在专利文献I的内窥镜装置中，由于在同一监视器上始终显示反射光图像和荧光图像，因而观察者必须始终一边观察两个图像一边进行插入部的插入操作和病变部位的搜索，存在负担较大这样的问 题。即，如果注视着反射光图像，则有可能看漏出现在荧光图像中的病变部位的图像，如果注视着荧光图像，则有可能忽视反射光图像的观察。
[0010]此外，在专利文献2的内窥镜装置中，能够在同一窗口中同时确认重叠的反射光图像和荧光图像，但是存在由于重叠的一方的图像而使另一方的图像失去清晰度、变得不清晰的问题。
[0011]本发明是鉴于上述的情况而完成的，目的在于提供一种荧光观察装置及其图像显示方法，能够减轻观察者的负担，不看漏关注区域，并且能够在掌握被摄体的准确的观察位置的同时进行观察。
[0012]用于解决问题的手段
[0013]为了达到上述目的，本发明提供以下手段。
[0014]本发明的第I方式提供一种荧光观察装置，该荧光观察装置具有:照明部，其对被摄体照射激励光和照明光；荧光摄像部，其拍摄由于来自该照明部的激励光的照射而在所述被摄体产生的荧光，取得荧光图像；返回光摄像部，其拍摄由于来自所述照明部的照明光的照射而从所述被摄体返回的返回光，取得返回光图像；显示部，其显示由所述荧光摄像部取得的所述荧光图像和/或由所述返回光摄像部取得的所述返回光图像；提取部，其从所述荧光图像中提取如下区域作为关注区域，该区域具有超过预定的灰度值阈值的灰度值；以及；图像切换部，其进行切换使得:在该提取部没有提取出所述关注区域时，在所述显示部仅显示所述返回光图像，在提取出所述关注区域时，在所述显示部并列地显示所述返回光图像和所述荧光图像。
[0015]根据本发明的第I方式，在从照明部发出的激励光照射于被摄体时，通过荧光摄像部拍摄被摄体内包含的荧光物质被激励而产生的荧光，取得荧光图像。此外，在从照明部发出的照明光照射于被摄体时，通过返回光摄像部拍摄从被摄体返回的返回光，取得返回光图像。并且，通过提取部从取得的荧光图像中，提取具有超过灰度值阈值的灰度值的区域作为关注区域。
[0016]在提取部没有提取出关注区域的状态下，图像切换部在显示部仅显示返回光图像，因而观察者能够仅注视返回光图像进行观察。另一方面，在提取部提取出关注区域时，图像切换部在显示部并列地显示返回光图像和荧光图像，因而观察者能够认识到关注区域的存在，一边确认返回光图像和荧光图像双方一边进行观察。
[0017]其结果是，在荧光图像中不存在应关注的区域的阶段，观察者无需关注返回光图像和荧光图像双方，观察者能够一边仅注视返回光图像一边进行观察，从而减轻带给观察者的负担。此外，在提取出关注区域时，通过并列地显示荧光图像，能够向观察者报知关注区域的存在，能够更可靠地防止看漏关注区域。
[0018]在上述发明中，也可以是，所述提取部提取如下区域作为所述关注区域，该区域具有超过所述灰度值阈值的灰度值、并且具有超过预定的面积阈值的面积。
[0019]由此，能够防止提取灰度值较高但面积较小的区域作为关注区域，抑制噪声导致的误提取，高效地提取关注区域。能够减轻由于提取了本来不应关注的区域作为关注区域并切换显示所导致的对观察者的负担。
[0020]此外，在上述发明中，也可以具有观察者进行输入的输入部，所述图像切换部在所述提取部提取出所述关注区 域时，切换所述显示部的显示，以在所述返回光图像上重叠地显示提取出的所述关注区域的信息，并且进行提醒观察者输入是否需要观察与被显示的所述信息对应的所述关注区域的显示，并且，在从所述输入部进行了表示需要观察的输入的情况下，切换为在所述显示部显示所述返回光图像和所述荧光图像。
[0021]由此，在提取部提取出关注区域时，在返回光图像上重叠关注区域的信息。并且，进行显示，提醒观察者输入是否需要观察与所显示的信息对应的关注区域。与并列地显示荧光图像的情况相比，观察者能够以较小的负担，一边注视返回光图像一边确认重叠在返回光图像上的信息。
[0022]此外，在上述发明中，也可以是，所述关注区域的信息是所述返回光图像上的所述关注区域的位置。
[0023]此外，在上述发明中，也可以是，所述关注区域的信息是所述返回光图像上的所述关注区域的位置和平均灰度值。
[0024]此外，在上述发明中，也可以是，所述关注区域的信息是所述返回光图像上的所述关注区域的轮廓线。
[0025]由此，通过返回光图像上重叠的关注区域的信息，根据与返回光图像的关系，能够简单地确认是否需要详细观察关注区域，能够在不带给观察者负担的情况下，进行基于返回光图像的观察和基于荧光图像的观察。
[0026]此外，在上述发明中，也可以是，所述图像切换部在所述提取部提取出所述关注区域时，将所述返回光图像和所述荧光图像放大显示。[0027]由此，借助放大的返回光图像和荧光图像，能够更详细地观察关注区域。
[0028]此外，在上述发明中，也可以是，所述荧光摄像部和所述返回光摄像部分别具有改变取得的图像的倍率的变倍机构，在从所述输入部进行了表示需要观察的输入的情况下，使各所述变倍机构工作，通过所述荧光摄像部和所述返回光摄像部取得高倍率的荧光图像和返回光图像，所述图像切换部显示取得的高倍率的所述荧光图像和所述返回光图像。
[0029]由此，借助由变倍机构放大的返回光图像和荧光图像，能够更清晰地观察关注区域。
[0030]此外，在上述发明中，也可以是，在从所述输入部进行了表示不需要观察的输入的情况下，所述图像切换部切换为仅显示所述返回光图像。
[0031]由此，对于根据与返回光图像重叠地显示的关注区域的信息而能够判断为不需要观察的关注区域，能够不切换为并列显示，消除带给观察者的困扰。
[0032]此外，也可以是，上述发明具有存储部，在从所述输入部进行了输入的情况下，该存储部将输入时所述显示部显示的所述返回光图像、由所述提取部提取的所述关注区域和输入内容对应起来进行存储，所述图像切换部在所述提取部提取出所述关注区域时，将提取出的所述关注区域和与该关注区域对应的返回光图像与所述存储部中存储的过去的所述关注区域和过去的返回光图像进行对比，在一致的情况下，根据所述存储部中对应起来进行存储的输入内容进行不同的显示。[0033]由此，能够使观察者认识到过去观察过的关注区域，在不需要再次观察的情况下，能够选择不并列显示，防止重复进行详细观察，提高观察的效率。
[0034]此外，本发明提供一种荧光观察装置，该荧光观察装置具有:照明部，其对被摄体照射激励光和照明光；荧光摄像部，其拍摄由于来自该照明部的激励光的照射而在所述被摄体产生的荧光，取得荧光图像；返回光摄像部，其拍摄由于来自所述照明部的照明光的照射而从所述被摄体返回的返回光，取得返回光图像；显示部，其显示由所述荧光摄像部取得的所述荧光图像和/或由所述返回光摄像部取得的所述返回光图像；提取部，其从所述荧光图像中提取如下区域作为关注区域，该区域具有超过预定的灰度值阈值的灰度值、并且将该灰度值乘以该灰度值以外的特征量而得到的指标值超过预定的指标阈值；以及图像切换部，其进行切换使得:在该提取部没有提取出所述关注区域时，在所述显示部仅显示所述返回光图像，在提取出所述关注区域时，在所述显示部显示所述返回光图像和所述荧光图像。
[0035]根据本发明，通过使用指标值来提取关注区域，能够不仅考虑荧光图像的灰度值较大的情况，还考虑其它特征量较大这样的条件来提取关注区域，观察者能够更精确地检测希望详细观察的关注区域，减轻观察者的负担。
[0036]作为灰度值以外的特征量，例如可以列举出，与具有超过灰度值阈值的灰度值的区域对应的返回光图像的区域中的红色的强度。由此，例如，在作为被摄体而观察具有病变部位的组织时，在荧光强度较强而怀疑存在病变部位的区域内，能够高精度地检测红色较强且覆盖有血管增生的区域作为肿瘤等的可能性较高的区域。与简单地逐一详细观察荧光强度较高的区域的情况相比，减轻了带给观察者的负担。
[0037]也可以是，上述发明具有观察者进行输入的输入部，所述图像切换部在所述提取部提取出所述关注区域时，切换所述显示部的显示，以将提取的所述关注区域的信息与所述返回光图像对应起来进行显示、并且进行提醒观察者输入是否需要观察与所显示的所述信息对应的所述关注区域的显示，并且，在从所述输入部进行了表示需要观察的输入的情况下，切换为在所述显示部显示所述返回光图像和所述荧光图像。
[0038]此外，也可以是，上述发明具有:拆装部件，其为了变更观察条件而被拆装，并存储有识别信息；识别信息读取部，其读取该拆装部件中存储的识别信息；以及阈值存储部，其将所述识别信息和所述灰度值阈值对应起来进行存储，所述提取部使用与所安装的拆装部件的识别信息对应地存储在所述阈值存储部中的所述灰度值阈值来提取所述关注区域。
[0039]由此，在为了变更观察条件而对拆装部件进行拆装时，即使灵敏度根据拆装部件的光学性能或个体差异而变化，也能够通过适合于拆装部件的灰度值阈值，高精度地提取关注区域。
[0040]此外，也可以是，上述发明具有输入使用的荧光药剂的信息的信息输入部，所述提取部根据从所述信息输入部输入的荧光药剂的信息，调节所述灰度值阈值，并提取超过调节后的所述灰度值阈值的区域作为所述关注区域。
[0041]由此，即使荧光图像的对比度根据使用的荧光药剂的变化而变化，也能够借助根据荧光药剂的信息而被调节的灰度值阈值，高精度地提取关注区域。
[0042]此外，本发明的第2方式提供一种荧光观察装置的图像显示方法，对被摄体照射激励光和照明光，拍摄由于激励光的照射而在所述被摄体产生的荧光，取得荧光图像，并且，拍摄由于照明光的照射而从所述被摄体返回的返回光，取得返回光图像，该图像显示方法中，从所述荧光图像中提取如下区域作为关注区域，该区域具有超过预定的灰度值阈值的灰度值，在没有提取出所述关注区域时，仅显示所述返回光图像，在提取出所述关注区域时，并列地显示所述返回光图像和所述荧光图像。
[0043]根据本发明的第2方式，该荧光观察装置通过照射激励光，拍摄被摄体内包含的荧光物质被激励而产生`的荧光，取得荧光图像，并且，通过照射照明光，拍摄从被摄体返回的返回光，取得返回光图像，从取得的荧光图像中，提取具有超过灰度值阈值的灰度值的区域作为关注区域。
[0044]并且，在没有提取出关注区域的状态下，仅显示返回光图像，在提取出关注区域时，并列地显示返回光图像和荧光图像。由此，在仅显示返回光图像的状态下，观察者能够仅注视返回光图像而进行观察。另一方面，在除了返回光图像之外还并列地显示荧光图像时，观察者能够认识到关注区域的存在，能够一边确认返回光图像和荧光图像双方一边进行观察。
[0045]其结果是，在荧光图像中不存在应关注的区域的阶段，观察者无需关注返回光图像和荧光图像双方，观察者能够一边仅注视返回光图像一边进行观察，从而减轻带给观察者的负担。此外，在提取出关注区域时，通过并列地显示荧光图像，能够向观察者报知关注区域的存在，能够更可靠地防止看漏关注区域。
[0046]发明效果
[0047]根据本发明，具有如下效果:能够减轻观察者的负担，不看漏关注区域，并且能够在掌握被摄体的准确的观察位置的同时进行观察。
【专利附图】
【附图说明】[0048]图1是示出本发明的第I实施方式的荧光观察装置的整体构成图。
[0049]图2是说明图1的荧光观察装置的图像显示方法的流程图。
[0050]图3A是示出由图1的荧光观察装置生成的通常模式中的显示图像例的图。
[0051]图3B是示出由图1的荧光观察装置生成的精查模式中的显示图像例的图。
[0052]图4是示出图2的图像显示方法的变形例的流程图。[0053]图5是示出本发明的第2实施方式的荧光观察装置的整体构成图。
[0054]图6是根据图5的荧光观察装置说明图像显示方法的流程图。
[0055]图7是示出根据图5的荧光观察层而生成的询问模式的显示图像例的图。
[0056]图8是示出图7的显示图像例的变形例的图。
[0057]图9A是示出作为图7的显示图像例的另一变形例的询问模式中的显示图像例的图。
[0058]图9B是示出作为图7的显示图像例的另一变形例的精查模式中的显示图像例的图。
[0059]图10是示出图4的荧光观察装置的变形例的整体构成图。
[0060]图11是示出本发明的第3实施方式的荧光观察装置的整体构成图。
[0061]图12是示出本发明的第4实施方式的荧光观察装置的整体构成图。
[0062]图13是示出本发明的第5实施方式的荧光观察装置的整体构成图。
[0063]图14是示出图13的荧光观察装置的变形例的整体构成图。
【具体实施方式】
[0064]下面，参照附图对本发明的第I实施方式的荧光观察装置I进行说明。
[0065]如图1所示，本实施方式的荧光观察装置是内窥镜，具有:插入体内的细长的插入部2 ;光源(照明部)3 ;照明单元(照明部)4，其从插入部2的末端向被摄体A照射来自该光源3的激励光和照明光；摄像单元5，其设置在插入部2的末端，取得作为被摄体A的活体组织的图像信息；图像处理部6，其配置在插入部2的基端侧，处理由摄像单元5取得的图像信息；以及监视器7，其显示由该图像处理部6处理过的图像。
[0066]光源3具有:氣气灯8 ;滤镜9,其从由该氣气灯8发出的光中滤出激励光和照明光(例如，波长范围400~740nm);以及耦合透镜10，其会聚由该滤镜9滤出的激励光和照明光。
[0067]照明单元4具有:光导纤维11，其在插入部2的长度方向的几乎全长范围内进行配置，传导由耦合透镜10会聚的激励光和照明光；以及照明光学系统12，其设置在插入部2的末端，使由光导纤维11传导来激励光和照明光扩散，并照射于与插入部2的末端面2a相对的被摄体A。
[0068]摄像单元5具有:物镜13，其会聚从被摄体A的预定的观察范围返回的光；二向色镜14，其使由该物镜13会聚的光中激励波长以上的光(激励光和荧光)反射，使波长短于激励波长的白色光(返回光)透过；两个会聚镜头15、16，它们分别会聚由该二向色镜14反射的荧光和透过二向色镜14的白色光；以及CXD这样的2个摄像元件17、18，它们拍摄由该会聚镜头15、16会聚的白色光和荧光。图中，激励光截止滤光片19在由二向色镜14反射的光中切断激励光(例如，仅使波长范围760~850nm的光透过)。[0069]图像处理部6具有:白色光图像生成部20，其根据由摄像元件18取得的白色光图像信息Cl生成白色光图像Gl ;荧光图像生成部21，其根据由摄像元件17取得的荧光图像信息C2生成荧光图像G2 ;校正荧光图像生成部22，其生成利用白色光图像Gl将荧光图像G2归一化后的校正荧光图像G2’ ；显示图像生成部23，其根据白色光图像Gl和/或荧光图像G2生成在监视器7显示的显示图像G ;提取部24，其从由校正荧光图像生成部22生成的校正荧光图像G2’中提取关注区域R ;以及图像切换部25，其根据由该提取部24提取的关注区域R，切换由所述显示图像生成部23生成的显示图像G。
[0070]图2示出图像处理部6的处理顺序的流程图。
[0071]在通过白色光图像生成部20和荧光图像生成部21生成白色光图像Gl和荧光图像G2后，校正荧光图像生成部22使所生成的荧光图像G2除以白色光图像G1，由此生成校正荧光图像G2’(步骤SI)。
[0072]提取部24通过在校正荧光图像G2’的各像素的灰度值内选择具有预先设定的第I阈值(灰度值阈值)以上的灰度值的像素，来提取包含多个像素的I个以上的区域作为关注区域R (步骤S2)。
[0073]图像切换部25针对每一关注区域R，接收由提取部24提取的关注区域R内包含的各像素的灰度值，对该关注区域R内包含的像素的灰度值进行相加平均，计算平均灰度值(步骤S3)，并判定该平均灰度值是否超过第2阈值(步骤S4)。
[0074]并且，图像切换部25在平均灰度值小于第2阈值的情况下，将指示“通常模式”的指示信号C3输出到显示图像生成部23，在平均灰度值为第2阈值以上的情况下，将指示“精查模式”的指示信号C3输出到显示图像生成部23 (步骤S5、S6)。在选择了通常模式的情况下，对于其它关注区域R，也进行平均灰度值的计算和判定(步骤S7)。
[0075]显示图像生成部23被输入来自白色光图像生成部20的白色光图像G1、来自荧光图像生成部21的荧光图像G2和来自图像切换部25的指示信号C3。如图3A所示，显示图像生成部23在被输入了来自图像切换部25的指示“通常模式”的指示信号C3时，生成仅由白色光图像构成的图像作为显示图像G，并输出到监视器7。此外，如图3B所示，显示图像生成部在被输入了指示“精查模式”的指示信号C3时，生成并列地合成白色光图像Gl和荧光图像G2而得到的图像作为显示图像G，并输出到监视器7 (步骤S8)。
[0076]下面，对这样构成的本实施方式的荧光观察装置I的作用进行说明。
[0077]在使用本实施方式的荧光观察装置I对作为被摄体A的患者的体内的活体组织进行观察时，将插入部2插入体内，使插入部2的末端面2a与被摄体A相对。并且，使光源3工作，产生激励光和照明光，并借助耦合透镜10射入光导纤维11。在光导纤维11内传导而到达插入部2的末端的激励光和照明光通过插入部2末端的照明光学系统12，被扩散并照射于被摄体A。
[0078]在被摄体A中，内部包含的荧光物质被激励光激励而发出荧光，并且，白色光在被摄体A的表面被反射。荧光和照明光的反射光(白色光)从被摄体A的一部分的观察范围，返回到插入部2的末端面2a，并被物镜13会聚。
[0079]由物镜13会聚的荧光和白色光被二向色镜14按波长分开，透过二向色镜14的光、例如400~700nm的波长范围的白色光被会聚镜头16会聚，并被摄像元件18作为白色光图像息Cl取得。[0080]此外，在由物镜13会聚的荧光和白色光中，在二向色镜14处被反射的光、例如包含700~850nm的波长范围的激励光的荧光在借助激励光截止滤光片19去除激励光(例如740nm以下的光)之后，被会聚镜头15会聚，并被摄像兀件17作为灭光图像彳目息C2取得。
[0081]以下，对本实施方式的荧光观察装置I的图像显示方法进行说明。
[0082]由各摄像元件17、18取得的图像信息C1、C2被发送到图像处理部6。在图像处理部6中，白色光图像信息Cl被输入到白色光图像生成部20，生成白色光图像G1。另一方面，荧光图像信息C2被输入到荧光图像生成部21，生成荧光图像G2。
[0083]所生成的白色光图像Gl和荧光图像G2被发送到校正荧光图像生成部22，用荧光图像G2除以白色光图像G1。由此，生成归一化的校正荧光图像G2’。
[0084]在校正荧光图像生成部22中生成的校正荧光图像G2’被发送到提取部24，在此，提取具有第I阈值以上的灰度值的关注区域R，并将该信息发送到图像切换部25。
[0085]在图像切换部25中，使用从提取部24发送来的关注区域R的信息，针对每一关注区域R计算其平均灰度值，并将计算出的平均灰度值与第2阈值进行比较。并且，在不存在平均灰度值为第2阈值以上的关注区域R的情况下，向显示图像生成部23发送指示“通常模式”的指示信号C3，生成仅包含白色光图像Gl的显示图像G，使监视器7显示。
[0086]另一方面，在图像切换部25中，在存在从提取部24发送来的关注区域R的平均灰度值为第2阈值以上的关注区域R的情况下，将指示“精查模式”的指示信号C3发送到显示图像生成部23，生成并列地合成白色光图像Gl和荧光图像G2而得到的显示图像G，使监视器7显示。
[0087]这样，根据本实施方式的荧`光观察装置I及其图像显示方法，医生等观察者在操作插入部2将其插入患者体内时，在插入部2的末端到达病变部位等观察部位之前的状态下，在所取得的荧光图像G2内，不存在荧光物质浓度高的区域，不从提取部24向图像切换部25发送关注区域R的信息。因此，图像切换部25将指示“通常模式”的指示信号C3发送到显示图像生成部23，在监视器7上显示仅由白色光图像Gl构成的显示图像G。
[0088]因此，在进行将插入部2插入到体内的插入操作时，观察者只需注视监视器7显示的白色光图像Gl即可。其结果是，不会受到不包含必要信息的荧光图像G2的困扰，借助白色光图像G1，能够将注意力集中于一边观察体内的活体组织的形态特征一边进行插入操作，能够一边准确地确认观察位置一边进行插入部2的操作。
[0089]另一方面，在进行插入部2的插入操作、插入部2的末端到达病变部位等观察部位附近时，提取部24从荧光图像G2内提取出具有第I阈值以上的灰度值的关注区域R。在提取出关注区域R时，提取部24将其信息、构成关注区域R的各像素的位置和灰度值发送到图像切换部25。图像切换部25在被发送来关注区域R的信息时，针对每一关注区域R计算平均灰度值，并将计算出的平均灰度值与第2阈值进行比较。
[0090]图像切换部25在比较结果是平均灰度值小于第2阈值的情况下，将指示“通常模式”的指示信号C3发送到显示图像生成部23，因而监视器7维持仅有白色光图像Gl的显示图像G的显示。即，即使荧光图像G2内存在关注区域R，如果其平均灰度值较小，也不显示荧光图像G2。因此，在该情况下，具有如下优点:观察者不受到不包含必要信息的荧光图像G2的困扰，借助白色光图像G1，能够将注意力集中于一边观察体内的活体组织的形态特征一边进行插入操作。[0091]并且，在图像切换部25中的比较结果是存在平均灰度值为第2阈值以上的关注区域R的情况下，将指示“精查模式”的指示信号C3发送到显示图像生成部23，生成并列有白色光图像Gl和荧光图像G2的显示图像G，切换监视器7的显示。
[0092]即，在监视器7上的显示图像G的显示形式发生切换而显示荧光图像G2时，观察者能够认识到包含必要信息的关注区域R的存在，除了白色光图像Gl以外，还将注意力集中于荧光图像G2。
[0093]其结果是，具有如下优点:观察者在插入操作的过程中，也能够认识到病变部位等观察部位的存在，能够更可靠地防止产生在看漏观察部位的状态下进行插入操作这样的问题。
[0094]此外，在本实施方式中，当在提取部24中提取的关注区域R的平均灰度值为第2阈值以上时，将监视器7的显示切换为精查模式，但是也可以代替该方式，如图4所示那样，针对每一关注区域R，计算作为具有第I阈值以上的灰度值的区域而被提取出的关注区域R的像素数(步骤S3’)，在计算出的像素数为第3阈值(面积阈值)以上的关注区域R存在的情况下，将监视器7的显示切换为精查模式(步骤S4’)。
[0095]由此，通过仅根据一定面积以上的关注区域R来判定是否需要画面切换，从而对于虽然灰度值较高但是面积较小的区域，不显示荧光图像G2，因而能够抑制产生因噪声而频繁地显示荧光图像G2的问题，大幅减轻观察者的负担。
[0096]另一方面，在仅根据平均灰度值来判定是否需要画面切换的情况下，灰度值较高但是面积较小的关注区域R也作为需要观察的区域而显示荧光图像G2，因此，能够减少看漏关注区域R。
[0097]此外，在本实施方式中，当在具有第I阈值以上的灰度值的关注区域内存在平均灰度值为第2阈值以上的关注区域时，转为精查模式，但是也可以根据提取出具有第I阈值以上的灰度值的关注区域而转为精查模式。
[0098]接下来，参照附图，对本发明的第2实施方式的荧光观察装置30进行如下说明。
[0099]在本实施方式的说明中，对于与上述的第I实施方式的荧光观察装置I结构相同的部位标注相同的标号，并省略说明。
[0100]如图5所示，本实施方式的荧光观察装置30在具有用于观察者进行输入的输入部31这方面、以及在图像切换部25和显示图像生成部23的动作方面与第I实施方式的荧光观察装置I不同。
[0101]输入部31与显示图像生成部23连接，输入部31例如是按钮、脚踏开关或键盘、鼠标等任意的输入装置。
[0102]图像切换部25在接收到从提取部24提取的关注区域R的灰度值时，对全部的关注区域R计算平均灰度值，判定该平均灰度值是否为第2阈值以上。
[0103]此外，如图6所示，在本实施方式中，图像切换部25对于平均灰度值为第2阈值以上的关注区域R，生成关注区域信息C4 (步骤S10)，将其与切换到“询问模式”的切换指示C5—起发送到显示图像生成部23 (步骤S11)。
[0104]作为关注区域信息C4，可以列举出:各关注区域R的位置和轮廓线、各关注区域R的中心位置和最大灰度值。
[0105]显示图像生成部23在从图像切换部25被发送来切换到“询问模式”的切换指示C5时，生成将同时发送来的关注区域信息C4重叠于白色光图像Gl的询问用显示图像G(步骤S12)，并将其与提醒观察者输入是否需要观察(例如，“需要详细观察(Y/N)?”等)的显示一起，输出到监视器7。
[0106]图7示出作为关注区域信息C4发送来关注区域R的位置和轮廓线的情况下的询问模式中的显示图像G的例子。此外，图8示出作为关注区域信息C4发送来关注区域R的中心位置和最大灰度值的情况下的询问模式中的显示图像G的例子。
[0107]在确认了这些显示图像G的观察者使用输入部31进行了需要详细观察的输入(输AY)的情况下(步骤S13)，转为精查模式S6，显示图像生成部23生成图3B所示这样的并列配置有白色光图像Gl和荧光图像G2的显示图像G (步骤S8)，并发送到监视器7。
[0108]此外，在观察者使用输入部31进行了不需要详细观察的输入(输入N)的情况下、或者在没有进行输入的状态下经过了预定时间时(步骤S14)，转为通常模式S15，显示图像生成部23生成图3A所示这样的仅由白色光图像Gl构成的显示图像G，并发送到监视器7。
[0109]这样，根据本实施方式的荧光观察装置30，在平均灰度值超过第2阈值的情况下，并非一律转为精查模式，只有在观察者判断为需要的情况下才转为精查模式，因而具有能够进一步减轻观察者的负担这样的优点。
[0110]此外，在本实施方式中，在精查模式中，生成了并列配置有白色光图像Gl和荧光图像G2的显示图像G，但是也可以代替该方式，在图9A所示的询问模式的显示之后转为图9B所示的精查模式的显示时，生成并列配置有放大的白色光图像Gl (与图9A的虚线部分对应)和荧光图像G2的显示图像G。
[0111]此外，在该情况下，可以通过图像处理生成放大的白色光图像Gl和荧光图像G2，或者如图10所示那样，设置光学地变更倍率的变倍机构32，取得放大图像。在图10所示的示例中，变倍机构32是使各摄像元件17、18在光轴方向上移动的滑行机构，并具有控制部33，当观察者通过输入部31输入 了 Y时，控制部33通过变倍机构32，使摄像元件17、18朝远离会聚镜头15、16的方向移动。由此，具有能够得到清晰的放大图像、能够在精查模式中进行精细观察这样的优点。
[0112]接下来，参照附图对本发明的第3实施方式的荧光观察装置40进行如下说明。
[0113]在本实施方式的说明中，对于与上述的第2实施方式的荧光观察装置30结构相同的部位标注相同的标号，并省略说明。
[0114]如图11所示，本实施方式的荧光观察装置40具有存储部41，当观察者从输入部31进行输入时，该存储部41将所显示的白色光图像G1、关注区域R的位置和轮廓线、以及输入结果对应起来进行存储。
[0115]此外，图像切换部25除了接收来自提取部24的关注区域R的信息之外，还从白色光图像生成部20接收白色光图像G1。
[0116]并且，图像切换部25在从提取部24被发送来关注区域R的位置和轮廓线时，从存储部41中存储的过去的白色光图像Gl中检索与此时所输入的白色光图像Gl对应的图像。此外，图像切换部25判定与检索出的过去的白色光图像Gl对应起来进行存储的关注区域R与从提取部24发送来的关注区域R是否一致。
[0117]在判定的结果是存在一致的过去的关注区域R的情况下，和与该过去的关注区域R对应起来存储的输入结果一起，输出到显示图像生成部23，在不存在一致的过去的关注区域R的情况下，将该情况与指示转为“询问模式”的指示信号C4 一起，输出到显示图像生成部23。
[0118]显示图像生成部23例如根据从图像切换部25发送来的指示信号C4，例如，在为过去输入了 Y的关注区域R的情况下，生成用红色显示关注区域R的轮廓的显示图像G，在为输入了 N的关注区域R的情况下，生成用蓝色显示关注区域R的轮廓的显示图像G，在为过去没有提取出的关注区域R的情况下，生成用黄色显示关注区域R的轮廓的显示图像G。
[0119]由此，观察者仅通过观察监视器7中与白色光图像Gl重叠显示的关注区域R的颜色，就能够确认是否是过去曾判定过一次的区域、当时的判定结果是什么。因此，观察者对于过去曾提取过至少一次的关注区域R (红色和蓝色)，通过从输入部31输入N来避免重复的观察即可，从而能够仅对一次也没有提取过的关注区域R (黄色)高效地进行观察。
[0120]此外，观察者能够简单地进行如下判断:对于过去提取过的关注区域R且当时的输入结果是输入了 Y的关注区域R (红色)，输入Y，以进行再观察，对于当时的输入结果是输入了 N的关注区域R (蓝色)，输入N，以避免重复的观察。
[0121]此外，在本实施方式中，作为询问模式中的显示，示出了显示关注区域R的轮廓的示例，但是也可以代替该方式，用箭头显示关注区域R的位置，或者将表示关注区域R的荧光图像G2自身设为半透明而重叠于白色光图像G1。此外，通过使关注区域R的轮廓的颜色不同，来与过去的输入结果等进行区別，但是也可以代替该方式，通过文字的其它的方法进行区別。此外，对于过去提取过的关注区域R且输入过一次N的情况，也可以不转为询问模式而继续通常模式的显示。
[0122]接下来，参照附图，对本发明的第4实施方式的荧光观察装置50进行如下说明。
`[0123]在本实施方式的说明中，对于与上述的第I实施方式的荧光观察装置I结构相同的部位标注相同的标号，并省略说明。
[0124]在第I实施方式的荧光观察装置I中，在提取部24提取出的关注区域R具有第2阈值以上的平均灰度值时切换显示，相对于此，如图12所示，本实施方式的荧光观察装置50在指标值为第4阈值(指标阈值)以上时切换显示这方面不同。
[0125]作为指标值INDEX，例如，采用将由提取部24提取的关注区域R的平均灰度值MF乘以与该关注区域R对应的白色光图像Gl内的对应区域中的红色的强度的平均值MR而计算得到的结果。
[0126]INDEX = MFXMR
[0127]因此，图像切换部25被输入在白色光图像生成部20中生成的白色光图像G1。在图像切换部25中，在提取部24提取出关注区域R时，在此时发送来的白色光图像Gl中，提取与关注区域R对应的对应区域，并计算该对应区域内的红色的强度的平均值MR。
[0128]此外，图像切换部25根据上述式计算指标值INDEX，在为预先设定的第4阈值以上的情况下，将指示“精查模式”的指示信号C3发送到显示图像生成部23。
[0129]这样，根据本实施方式的荧光观察装置50，在存在灰度值为第I阈值以上且红色的强度为第4阈值以上的区域的情况下，将监视器7的显示切换为精查模式。
[0130]在荧光观察装置50为内窥镜的情况下，荧光图像G2中的荧光强度较高表示存在较多容易聚集于病变部位的荧光物质，白色光图像Gl中的红色的强度较高表示该区域中的血管的密度较大。在癌等肿瘤部位，由于往往出现血管增生因而往往存在血管密度变大的情况。
[0131]因此，通过根据指标值INDEX来判断显示的切换，与仅根据荧光的灰度值来进行判断的情况相比，具有能够更精细地检测病变部位、尤其是肿瘤部位，提醒观察者注意这样的优点。
[0132]此外，在本实施方式中，通过将关注区域R的平均灰度值MF乘以与该关注区域R对应的白色光图像Gl内的对应区域中的红色的强度的平均值MR来计算指标值，但是也可以不限于乘法，而使用将它们相加的值、或者乘以加权系数后相加的值。
[0133]接下来，参照附图，对本发明的第5实施方式的荧光观察装置60进行如下说明。
[0134]在本实施方式的说明中，对于与上述的第I实施方式的荧光观察装置I结构相同的部位标注相同的标号，并省略说明。
[0135]如图13所不,在本实施方式的突光观察装置60中，具有相对于光源3和图像处理部6可拆装的插入部(拆装部件)2，从而能够根据观察对象部位进行更换。在插入部2中设置有存储该插入部2的识别信息的IC芯片61。
[0136]此外，在安装插入部2的光源3侧，具有读取IC芯片61内的识别信息的读取装置62。
[0137]此外，在图像处理部6中，具有将识别信息与阈值对应起来进行存储的阈值存储部63，并与提取部24连接。[0138]在安装插入部2时，通过读取装置62读取设置于该插入部2的IC芯片61内的识别信息，发送到图像处理部6。
[0139]在图像处理部6中，从阈值存储部63中读出与发送来的识别信息对应的阈值，作为第2阈值或第3阈值来使用，其中，该第2阈值或第3阈值用于切换基于由提取部24提取的关注区域R而进行的显示。例如，在荧光观察装置60为内窥镜的情况下，根据相对于光源3进行拆装的插入部2是细径还是粗径，使用不同的第2阈值。
[0140]即，在细径的插入部2中，与通常粗径的插入部2相比，照明光量相对地较低，因此取得的荧光的强度也较低。因此，阈值存储部63中设定为与粗径的插入部2相比，细径的插入部2为较小的第2阈值。
[0141]此外，大肠的病变(息肉)等与食道的病变(鳞状细胞癌)等相比，相对较大。因此，在大肠用的插入部2的情况下，阈值存储部63中设定为与食道用的插入部2的情况相比设定较小的第3阈值。
[0142]根据本实施方式的荧光观察装置60，在更换插入部2时，从阈值存储部63中读出适合于所更换的插入部2的阈值并进行设定，因而能够不限于安装的插入部2的种类，自动进行合适的显示切换。
[0143]此外，在本实施方式中，根据插入部2这样的拆装部件的种类来选择合适的阈值，但是也可以代替该方式，根据使用的荧光药剂的种类来选择适当的阈值。在该情况下，如图14所示，使输入荧光药剂的种类的药剂信息输入部64与图像切换部25连接，并且使将荧光药剂的种类与阈值对应起来进行存储的阈值存储部65与图像切换部25连接即可。
[0144]例如，按照在荧光强度较高的荧光药剂的情况下设定较大的第2阈值，在荧光强度较低的荧光药剂的情况下设定较小第2阈值的方式，将荧光药剂的种类与阈值对应起来进行存储即可。[0145]由此，在通过药剂信息输入部64输入了药剂荧光的种类时，图像切换部25能够使用所输入的药剂荧光的种类检索阈值存储部65内部，调用对应的阈值，从而不限于荧光药剂的种类，适当地进行是“精查模式”还是“通常模式”的判断。
[0146]标号说明
[0147] A被摄体，Gl白色光图像(返回光图像)，G2荧光图像，R关注区域，S2关注区域提取步骤，S5切换到通常模式的切换步骤，S6切换到精查模式的切换步骤，1、30、40、50、60荧光观察装置，2插入部(拆装部件)，3光源(照明部)，4照明单元(照明部)，7监视器(显示部)，20白色光图像生成部(返回光摄像部)，21荧光图像生成部(荧光摄像部)，24提取部，25图像切换部，31输入部，32变倍机构，41存储部，61IC芯片(识别信息)，62读取装置(识别信息读取部)，63阈值存储部，64药剂信息输入部(信息输入部)。
【权利要求】
1.一种荧光观察装置，其中， 该荧光观察装置具有: 照明部，其对被摄体照射激励光和照明光； 荧光摄像部，其拍摄由于来自该照明部的激励光的照射而在所述被摄体产生的荧光，取得荧光图像； 返回光摄像部，其拍摄由于来自所述照明部的照明光的照射而从所述被摄体返回的返回光，取得返回光图像； 显示部，其显示由所述荧光摄像部取得的所述荧光图像和/或由所述返回光摄像部取得的所述返回光图像； 提取部， 其从所述荧光图像中提取如下区域作为关注区域，该区域具有超过预定的灰度值阈值的灰度值；以及 图像切换部，其进行切换使得:在该提取部没有提取出所述关注区域时，在所述显示部仅显示所述返回光图像，在提取出所述关注区域时，在所述显示部并列地显示所述返回光图像和所述荧光图像。
2.根据权利要求1所述的荧光观察装置，其中， 所述提取部提取如下区域作为所述关注区域，该区域具有超过所述灰度值阈值的灰度值，且具有超过预定的面积阈值的面积。
3.根据权利要求1或2所述的荧光观察装置，其中， 该荧光观察装置具有观察者进行输入的输入部， 所述图像切换部在所述提取部提取出所述关注区域时，切换所述显示部的显示，以在所述返回光图像上重叠地显示提取出的所述关注区域的信息、并且进行提醒观察者输入是否需要观察与所显示的所述信息对应的所述关注区域的显示，并且，在从所述输入部进行了表示需要观察的输入的情况下，切换为在所述显示部显示所述返回光图像和所述荧光图像。
4.根据权利要求3所述的荧光观察装置，其中， 所述关注区域的信息是所述返回光图像上的所述关注区域的位置。
5.根据权利要求3所述的荧光观察装置，其中， 所述关注区域的信息是所述返回光图像上的所述关注区域的位置和平均灰度值。
6.根据权利要求3所述的荧光观察装置，其中， 所述关注区域的信息是所述返回光图像上的所述关注区域的轮廓线。
7.根据权利要求3所述的荧光观察装置，其中， 所述图像切换部在所述提取部提取出所述关注区域时，将所述返回光图像和所述荧光图像放大显示。
8.根据权利要求3所述的荧光观察装置，其中， 所述荧光摄像部和所述返回光摄像部分别具有对取得的图像的倍率进行改变的变倍机构， 在从所述输入部进行了表示需要观察的输入的情况下，使各所述变倍机构工作，通过所述荧光摄像部和所述返回光摄像部取得高倍率的荧光图像和返回光图像， 所述图像切换部显示所取得的高倍率的所述荧光图像和所述返回光图像。
9.根据权利要求3所述的荧光观察装置，其中， 在从所述输入部进行了表示不需要观察的输入的情况下，所述图像切换部切换为仅显示所述返回光图像。
10.根据权利要求3至9中的任意一项所述的荧光观察装置，其中， 所述荧光观察装置具有存储部，在从所述输入部进行了输入的情况下，该存储部将输入时所述显示部显示的所述返回光图像、由所述提取部提取出的所述关注区域和输入内容对应起来进行存储， 所述图像切换部在所述提取部提取出所述关注区域时，将提取出的所述关注区域和与该关注区域对应的返回光图像与所述存储部中存储的过去的所述关注区域和过去的返回光图像进行对比，在一致的情况下，根据所述存储部中对应起来进行存储的输入内容进行不同的显示。
11.一种荧光观察装置，其中， 该荧光观察装置具有: 照明部，其对被摄体照射激励光和照明光； 荧光摄像部，其拍摄由于来自该照明部的激励光的照射而在所述被摄体产生的荧光，取得荧光图像； 返回光摄像部，其拍摄由于来自所述照明部的照明光的照射而从所述被摄体返回的返回光，取得返回光图像； 显示部，其显示由所述荧光摄 像部取得的所述荧光图像和/或由所述返回光摄像部取得的所述返回光图像； 提取部，其从所述荧光图像中提取如下区域作为关注区域，该区域具有超过预定的灰度值阈值的灰度值、且该灰度值乘以该灰度值以外的特征量而得到的指标值超过预定的指标阈值；以及 图像切换部，其进行切换使得:在该提取部没有提取出所述关注区域时，在所述显示部仅显示所述返回光图像，在提取出所述关注区域时，在所述显示部显示所述返回光图像和所述荧光图像。
12.根据权利要求11所述的荧光观察装置，其中， 该荧光观察装置具有观察者进行输入的输入部， 所述图像切换部在所述提取部提取出所述关注区域时，切换所述显示部的显示，以将提取出的所述关注区域的信息与所述返回光图像对应起来进行显示、并且进行提醒观察者输入是否需要观察与所显示的所述信息对应的所述关注区域的显示，并且，在从所述输入部进行了表示需要观察的输入的情况下，切换为在所述显示部显示所述返回光图像和所述荧光图像。
13.根据权利要求1所述的荧光观察装置，其中，该荧光观察装置具有: 拆装部件，其为了变更观察条件而被拆装，并存储有识别信息； 识别信息读取部，其读取该拆装部件中存储的识别信息；以及 阈值存储部，其将所述识别信息和所述灰度值阈值对应起来进行存储， 所述提取部使用与所安装的拆装部件的识别信息对应地存储在所述阈值存储部中的所述灰度值阈值来提取所述关注区域。
14.根据权利要求1所述的荧光观察装置，其中， 该荧光观察装置具有输入使用的荧光药剂的信息的信息输入部， 所述提取部根据从所述信息输入部输入的荧光药剂的信息，调节所述灰度值阈值，并提取超过调节后的所述灰度值阈值的区域作为所述关注区域。
15.一种荧光观察装置的图像显示方法，显示被摄体的荧光图像和返回光图像，该图像显示方法中: 从所述荧光图像中提取如下区域作为关注区域，该区域具有超过预定的灰度值阈值的灰度值， 在没有提取出所述关注区域时，仅显示所述返回光图像， 在提取出所述关注区域时，并`列地显示所述返回光图像和所述荧光图像。
【文档编号】A61B1/00GK103491850SQ201280020080
【公开日】2014年1月1日 申请日期:2012年4月25日 优先权日:2011年4月28日
【发明者】石原康成 申请人:奥林巴斯株式会社