荧光观察装置和荧光观察系统以及荧光图像处理方法
【专利摘要】提供能够充分去除除法运算后的图像中残留的针对距离等的依赖性、通过高定量性的荧光图像进行观察的荧光观察装置。荧光观察装置（100）具有：预处理部（46），其针对荧光图像或参照光图像中的至少一方乘以预先对标准样本取得的系数来生成校正用荧光图像和校正用参照光图像，所述系数使荧光强度的距离特性和返回光强度的距离特性相互成正比例关系；相除图像生成部（43），其将校正用荧光图像除以校正用参照光图像，生成相除图像；阈值设定部（45），其根据相除图像中的每个像素的灰度值的平均值来设定阈值；图像调整部（51），其扩大具有大于所设定的阈值的灰度值的区域和具有小于阈值的灰度值的区域在相除图像中的对比度；以及监视器（50），其显示扩大了对比度后的相除图像。
【专利说明】荧光观察装置和荧光观察系统以及荧光图像处理方法
【技术领域】
[0001]本发明涉及荧光观察装置和具有该荧光观察装置的荧光观察系统以及荧光图像处理方法。
【背景技术】
[0002]以往，公知有将荧光图像除以反射光图像而对由于观察距离或角度引起的荧光图像的明亮度的变动进行校正的方法(例如参照专利文献I~专利文献3。)。
[0003]现有技术文献
[0004]专利文献
[0005]【专利文献I】日本特开昭62-247232号公报
[0006]【专利文献2】日本特公平3-58729号公报
[0007]【专利文献3】日本特开2006-175052号公报
【发明内容】
[0008]发明要解决的课题
[0009]但是，通过进行除法运算，虽然能够减轻距离或角度的变化，但是会产生一定的误差。
[0010]这是因为，在荧光和反射光`中，所拍摄的明亮度对观察距离的依赖性、对观察角度的依赖性不同，所以，即使将荧光图像除以反射光图像，也校正不了距离和角度的影响。
[0011]并且，在对大肠、胃或腹腔内进行观察时等，由于脉动、脏器的蠕动运动等而使被摄体的形状变化。由此，由于照明光和激励光的光学分布变化，所以，仅将荧光图像除以反射光图像校正不了由此产生的影响，这也是误差的要因。
[0012]本发明是鉴于上述情况而完成的，其目的在于，提供如下的荧光观察装置和荧光观察系统以及荧光图像处理方法:充分去除除法运算后的图像中残留的对距离等的依赖性，能够通过高定量性的荧光图像进行观察。
[0013]用于解决课题的手段
[0014]为了解决上述课题，本发明采用以下手段。
[0015]本发明的第I方式是一种荧光观察装置，具有:光源，其对被摄体照射激励光和参照光；荧光图像取得部，其拍摄通过照射来自该光源的所述激励光而在所述被摄体中产生的荧光，并取得荧光图像；参照光图像取得部，其拍摄通过照射来自所述光源的所述参照光而从所述被摄体返回的返回光并，取得参照光图像；预处理部，其针对所述荧光图像或所述参照光图像中的至少一方乘以预先对标准样本取得的系数来生成校正用荧光图像和校正用参照光图像，所述系数使预先对标准样本取得的荧光强度的距离特性和返回光强度的距离特性相互成正比例关系的系数，生成校正用荧光图像和校正用参照光图像；除法图像相除图像生成部，其将由该预处理部所生成的所述校正用荧光图像除以所述校正用参照光图像，生成除法图像相除图像；阈值设定部，其根据由该除法图像相除图像生成部所生成的所述除法图像相除图像中的每个像素的灰度值的平均值来设定阈值；图像调整部，其扩大具有大于由该阈值设定部所设定的所述阈值的灰度值的区域和与具有小于所述阈值的灰度值的区域在的所述除法图像相除图像中的对比度；以及显示部，其显示由该图像调整部扩大了所述对比度后的所述除法图像相除图像。
[0016]根据本发明的第I方式，当对被摄体照射从光源发出的激励光时，通过荧光图像取得部取得在被摄体中产生的荧光的荧光图像，当对被摄体照射与激励光一起从光源发出的参照光时，通过参照光图像取得部取得其返回光的参照光图像。然后，在相除图像生成部中，使用参照光图像对所取得的荧光图像进行校正。
[0017]该情况下，在相除图像生成部进行校正之前，在预处理部中，通过针对荧光图像和参照光图像中的至少一方乘以预先对标准样本取得的使荧光强度的距离特性和返回光强度的距离特性相互成正比例关系的系数，生成校正用荧光图像和校正用参照光图像。
[0018]即，构成荧光图像的各像素的荧光强度和构成参照光图像的各像素的返回光强度依赖于从照明部到被摄体上的与该像素对应的位置的距离而变化，能够分别近似为距离的指数函数。由于荧光强度的距离特性中的指数与返回光强度的距离特性中的指数不同，所以，即使直接将荧光图像除以参照光图像，也无法去除距离的依赖性。因此，通过预先分别利用距离特性中的指数的倒数对荧光强度和返回光强度进行幂运算，能够使荧光强度的距离特性和返回光强度的距离特性相互为正比例关系，能够在进行了除法运算时去除距离的依赖性。
[0019]因此，根据预先对标准样本取得的荧光强度的距离特性和返回光强度的距离特性，预先求出通过与荧光图像和参照光图像中的至少一方相乘而得到与对上述指数的倒数进行幂运算相同的效果的系数。然后，将所求出的系数与荧光图像和参照光图像中的至少一方相乘，生成校正用荧 光图像和校正用参照光图像，在相除图像生成部中，通过将校正用荧光图像除以校正用参照光图像，能够得到校正为充分降低距离的依赖性的相除图像。
[0020]这里，参照光和激励光针对观察距离的依赖性不同，由此，有时校正不了观察距离的影响而在相除图像中产生一定的误差。该情况下，在显示部中显示通过图像调整部扩大了灰度值大于阈值的区域和灰度值小于阈值的区域的对比度后的相除图像，由此，能够取得抑制了从背景产生的微弱荧光的影响的鲜明的相除图像。
[0021]并且，即使观察距离等变动、由于误差要因而使相除图像中的每个像素的灰度值变动，也能够由阈值设定部追随灰度值的变动来更新阈值，能够通过图像调整部维持相除图像的鲜明度。由此，能够取得被摄体的定量的信息。
[0022]即，根据上述第I方式，能够高精度地降低距离的依赖性，能够进行高定量性的荧光观察。
[0023]本发明的第2方式是一种荧光观察装置，具有:光源，其对被摄体照射激励光和参照光；荧光图像取得部，其拍摄通过照射来自该光源的所述激励光而在所述被摄体中产生的荧光，取得荧光图像；参照光图像取得部，其拍摄通过照射来自所述光源的所述参照光而从所述被摄体返回的返回光，取得参照光图像；预处理部，其针对所述荧光图像或所述参照光图像中的至少一方乘以预先对标准样本取得的系数来生成校正用荧光图像和校正用参照光图像，所述系数使荧光强度的角度特性和返回光强度的角度特性相互成正比例关系；相除图像生成部，其将由该预处理部所生成的所述校正用荧光图像除以所述校正用参照光图像，生成相除图像；阈值设定部，其根据由该相除图像生成部所生成的所述相除图像中的每个像素的灰度值的平均值来设定阈值；图像调整部，其扩大具有大于由该阈值设定部所设定的所述阈值的灰度值的区域与具有小于所述阈值的灰度值的区域在所述相除图像中的对比度；以及显示部，其显示由该图像调整部扩大了所述对比度后的所述相除图像。
[0024]根据本发明的第2方式，当对被摄体照射从光源发出的激励光时，通过荧光图像取得部取得在被摄体中产生的荧光的荧光图像，当对被摄体照射与激励光一起从光源发出的参照光时，通过参照光图像取得部取得其返回光的参照光图像。然后，在相除图像生成部中，使用参照光图像对所取得的荧光图像进行校正。
[0025]该情况下，在相除图像生成部进行校正之前，在预处理部中，通过针对荧光图像和参照光图像中的至少一方乘以预先对标准样本取得的使荧光强度的角度特性和返回光强度的角度特性相互成正比例关系的系数，生成校正用荧光图像和校正用参照光图像。
[0026]即，构成荧光图像的各像素的荧光强度和构成参照光图像的各像素的返回光强度依赖于从照明部到被摄体上的与该像素对应的位置的角度而变化，能够分别近似为角度的指数函数。由于荧光强度的角度特性中的指数与返回光强度的角度特性中的指数不同，所以，即使直接将荧光图像除以参照光图像，也无法去除角度的依赖性。因此，通过预先分别利用角度特性中的指数的倒数对荧光强度和返回光强度进行幂运算，能够使荧光强度的角度特性和返回光强度的角度特性相互为正比例关系，能够在进行了除法运算时去除角度的依赖性。
[0027]因此，根据预先对标准样本取得的荧光强度的角度特性和返回光强度的角度特性，预先求出通过与荧光图像和参照光图像中的至少一方相乘而得到与对上述指数的倒数进行幂运算相同的效果的系数。然后，将所求出的系数与荧光图像和参照光图像中的至少一方相乘，生成校正用荧光图像和校正用参照光图像，在相除图像生成部中，通过将校正用荧光图像除以校正用参照光图像，能够得到校正为充分降低角度的依赖性的相除图像。
[0028]这里，参照光和激励光针对观察角度的依赖性不同，由此，有时校正不了观察角度的影响而在相除图像中产生 一定的误差。该情况下，在显示部中显示通过图像调整部扩大了灰度值大于阈值的区域和灰度值小于阈值的区域的对比度后的相除图像，由此，能够取得抑制了从背景产生的微弱荧光的影响的鲜明的相除图像。
[0029]并且，即使观察角度等变动、由于误差要因而使相除图像中的每个像素的灰度值变动，也能够由阈值设定部追随灰度值的变动来更新阈值，能够通过图像调整部维持相除图像的鲜明度。由此，能够取得被摄体的定量的信息。
[0030]即，根据上述第2方式，能够高精度地降低角度的依赖性，能够进行高定量性的荧光观察。
[0031]在上述各方式中，也可以是，所述参照光图像取得部取得在所述被摄体中反射或散射而返回的所述参照光的反射光或散射光。
[0032]通过这样构成，由于根据在被摄体中反射或散射而返回的参照光的反射光或散射光生成参照光图像，所以，在几乎不产生荧光的区域中，参照光图像的灰度值也不会成为零或接近零的值，能够生成准确的相除图像。
[0033]在上述各方式中，也可以是，所述光源还照射白色光，所述图像调整部生成背景去除图像，该背景去除图像不显示具有小于所述阈值的灰度值的区域，所述荧光观察装置具有:白色光图像取得部，其取得通过照射所述白色光而得到的所述被摄体的白色光图像；以及图像合成部，其生成将由该白色光图像取得部所取得的白色光图像和由所述图像调整部所生成的背景去除图像重叠而成的合成图像，所述显示部显示由所述图像合成部所生成的合成图像。
[0034]通过图像合成部生成将由白色光图像取得部所取得的白色光图像和由图像调整部所生成的背景去除图像重叠而成的合成图像，由此，能够更加明确地对手术医生提供白色光图像和相除图像的位置关系。该情况下，由于不显示阈值以下的区域，所以，即使在重叠了两个图像的合成图像中，在病变部以外的区域中，白色光图像的显示也不会被相除图像妨碍。
[0035]在上述各方式中，也可以是，所述光源照射白色光作为所述参照光，所述参照光图像取得部取得从被摄体返回的白色光图像作为所述参照光图像，所述图像调整部生成背景去除图像，该背景去除图像不显示具有小于所述阈值的灰度值的区域，所述荧光观察装置具有图像合成部，该图像合成部生成将由所述参照光图像取得部所取得的所述被摄体的白色光图像和由所述图像调整部所生成的背景去除图像重叠而成的合成图像，所述显示部显示由所述图像合成部所生成的合成图像。
[0036]通过这样构成，由于使用通过来自被摄体的反射光和散射返回光而生成的白色光图像作为参照光图像，所以，在几乎不产生荧光的区域中，参照光图像的灰度值也不会成为零或接近零的值，能够生成准确的相除图像。
[0037]并且，通过图像合成部生成将由白色光图像取得部所取得的白色光图像和由图像调整部所生成的背景去除图像重叠而成的合成图像，由此，能够更加明确地对手术医生提供白色光图像和相除图像的位置关系。该情况下，由于不显示阈值以下的区域，所以，即使在重叠了两个图像的 合成图像中，在病变部以外的区域中，白色光图像的显示也不会被相除图像妨碍。
[0038]在上述各方式中，也可以是，所述阈值设定部根据所述灰度值的平均值和标准偏差来设定所述阈值。
[0039]通过这样构成，在相除图像中的每个像素的灰度值存在偏差的情况下，与仅根据灰度值的平均值来设定阈值的情况相比，能够设定更高精度的阈值。
[0040]另外，阈值设定部也可以设定针对灰度值的平均值加上标准偏差而得到的值作为阈值。
[0041]在上述各方式中，也可以是，所述预处理部利用所述荧光拍摄部和所述参照光拍摄部的增益和曝光时间对所述荧光图像的各像素的荧光强度和所述参照光图像的各像素的返回光强度进行归一化，生成归一化荧光图像和归一化参照光图像，针对这些归一化荧光图像或归一化参照光图像中的至少一方乘以所述系数，生成校正用荧光图像和校正用参照光图像。
[0042]通过这样构成，在荧光图像取得部和参照光图像取得部中，即使在荧光图像和参照光图像的拍摄时进行不同的增益调整和曝光时间调整，也能够生成对它们进行归一化后的归一化荧光图像和归一化参照光图像，能够使用这些归一化荧光图像和归一化参照光图像生成校正用荧光图像和校正用参照光图像，由此，能够进行更高定量性的荧光观察。
[0043]在上述各方式中，也可以是，所述荧光观察装置具有存储所述系数的存储部，所述预处理部针对所述荧光图像或所述参照光图像中的至少一方乘以存储在所述存储部中的系数。
[0044]通过这样构成，仅通过乘以在存储部中存储的系数，就能够简单地降低距离或角度的依赖性，进行高定量性的荧光观察。
[0045]在上述各方式中，也可以是，所述荧光观察装置具有为了变更观察条件而被拆装的拆装部件，在该拆装部件中记录有识别信息，所述荧光观察装置具有读取存储在该拆装部件中的识别信息的识别信息读取单元，在所述存储部中所述识别信息和所述系数被对应地存储。 [0046]由此，当对拆装部件进行拆装来变更观察条件时，通过识别信息读取单元读取在拆装部件中存储的识别信息，能够设定与识别信息对应地存储在存储部中的系数。作为拆装部件，例如能够举出内窥镜装置中的镜体等，作为该情况下被变更的观察条件，能够举出物镜光学系统的NA和瞳径、可观察的荧光的波长和观察对象部位(胃、大肠等)等。由此，能够结合观察条件来设定最佳的系数，在观察条件变动的情况下，也能够进行高定量性的荧光观察。
[0047]本发明的第3方式是一种荧光观察系统，具有:上述第I方式的荧光观察装置；校准装置，其与该荧光观察装置连接，计算所述系数，该校准装置具有标准样本和以能够变更的方式设定所述荧光观察装置相对于该标准样本的观察距离的观察距离设定机构，所述荧光观察系统具有系数决定部，该系数决定部根据由所述观察距离设定机构所设定的观察距离以及由所述荧光观察装置拍摄所述标准样本而取得的荧光图像和参照光图像，计算通过与该荧光图像和所述参照光图像中的至少一方相乘而使荧光强度的距离特性和返回光强度的距离特性成正比例的系数。
[0048]根据本发明的第3方式，通过校准装置的观察距离设定机构变更荧光观察装置相对于标准样本的观察距离并通过荧光观察装置拍摄标准样本，由此，能够得到标准样本的荧光亮度的距离特性和返回光强度的距离特性，根据这些距离特性，能够计算使两个距离特性成正比例的系数。然后，通过在荧光观察装置的存储部中存储计算出的系数，在通过荧光观察装置对被摄体进行荧光观察时，与荧光观察装置中存在的个体差、存在拆装部件的情况下该拆装部件的个体差无关，能够使用高精度计算出的系数进行更高定量性的荧光观察。
[0049]本发明的第4方式是一种荧光观察系统，具有:上述第2方式的荧光观察装置；校准装置，其与该荧光观察装置连接，计算所述系数，该校准装置具有标准样本和以能够变更的方式设定所述荧光观察装置相对于该标准样本的观察角度的观察角度设定机构，所述荧光观察系统具有系数决定部，该系数决定部根据由所述观察角度设定机构所设定的观察角度以及由所述荧光观察装置拍摄所述标准样本而取得的荧光图像和参照光图像，计算通过与该荧光图像和所述参照光图像中的至少一方相乘而使荧光强度的角度特性和返回光强度的角度特性成正比例的系数。
[0050]根据本发明的第4方式，通过校准装置的观察角度设定机构变更荧光观察装置相对于标准样本的观察角度并通过荧光观察装置拍摄标准样本，由此，能够得到标准样本的荧光亮度的角度特性和返回光强度的角度特性，根据这些角度特性，能够计算使两个角度特性成正比例的系数。然后，通过在荧光观察装置的存储部中存储计算出的系数，在通过荧光观察装置对被摄体进行荧光观察时，与荧光观察装置中存在的个体差、存在拆装部件的情况下该拆装部件的个体差无关，能够使用高精度计算出的系数进行更高定量性的荧光观察。
[0051]本发明的第5方式是一种荧光图像处理方法，该荧光图像处理方法使用荧光图像和参照光图像，所述荧光图像是拍摄通过对被摄体照射激励光而在被摄体中产生的荧光所取得的图像，所述参照光图像是拍摄通过对被摄体照射参照光而从被摄体返回的返回光所取得的图像，该荧光图像处理方法包括以下步骤:预处理步骤，针对所述荧光图像或所述参照光图像中的至少一方乘以预先对标准样本取得的系数来生成校正用荧光图像和校正用参照光图像，所述系数使荧光强度的距离特性和返回光强度的距离特性相互成正比例关系；相除图像生成步骤，将通过该预处理步骤生成的所述校正用荧光图像除以所述校正用参照光图像，生成相除图像；阈值设定步骤，根据通过该相除图像生成步骤生成的所述相除图像中的每个像素的灰度值的平均值来设定阈值；图像调整步骤，扩大具有大于通过该阈值设定步骤设定的所述阈值的灰度值的区域和具有小于所述阈值的灰度值的区域在所述相除图像中的对比度；以及显示步骤，显示通过该图像调整步骤扩大了所述对比度后的所述相除图像。
[0052]本发明的第6方式是一种荧光图像处理方法，该荧光图像处理方法使用荧光图像和参照光图像，所述荧光图像是拍摄通过对被摄体照射激励光而在被摄体中产生的荧光所取得的图像，所述参照光图像是拍摄通过对被摄体照射参照光而从被摄体返回的返回光所取得的图像，该荧光图像处理方法包括以下步骤:预处理步骤，针对所述荧光图像或所述参照光图像中的至少一方乘以预先对标准样本取得的系数来生成校正用荧光图像和校正用参照光图像，所述系数使荧光强度的角度特性和返回光强度的角度特性相互成正比例关系；相除图像生成步骤 将通过该预处理步骤生成的所述校正用荧光图像除以所述校正用参照光图像，生成相除图像；阈值设定步骤，根据通过该相除图像生成步骤生成的所述相除图像中的每个像素的灰度值的平均值来设定阈值；图像调整步骤，扩大具有大于通过该阈值设定步骤设定的所述阈值的灰度值的区域和具有小于所述阈值的灰度值的区域在所述相除图像中的对比度；以及显示步骤，显示通过该图像调整步骤扩大了所述对比度后的所述相除图像。
[0053]发明效果
[0054]根据本发明，发挥如下效果:充分去除除法运算后的图像中残留的针对距离等的依赖性，能够利用高定量性的荧光图像进行观察。
【专利附图】
【附图说明】
[0055]图1是本发明的第I实施方式的荧光观察装置的概略结构图。
[0056]图2是示出用于导出图1的荧光观察装置中使用的系数的图像的灰度值、增益、曝光时间和归一化图像与由此导出的系数之间的对应的一览表例的图。
[0057]图3是示出由图2导出的归一化参照光图像的灰度值与系数之间的对应的一览表例的图。
[0058]图4是示出图1的监视器中显示的白色光图像和相除图像的一例的图。
[0059]图5是示出图4的相除图像中的像素的灰度值与在图像全体中占据的频度之间的关系的直方图。
[0060]图6是示出图1的荧光观察装置的作用的流程图。
[0061]图7是示出监视器中显示的白色光图像和新相除图像的一例的图。
[0062]图8是示出图7的相除图像中的像素的灰度值与在图像全体中占据的频度之间的关系的直方图。
[0063]图9是示出灰度值变动后的相除图像中的像素的灰度值与在图像全体中占据的频度之间的关系的直方图。
[0064]图10是示出图9的相除图像的一例的图。
[0065]图11是示出图像调整后的相除图像中的像素的灰度值与在图像全体中占据的频度之间的关系的直方图。
[0066]图12是示出图11的相除图像的一例的图。
[0067]图13是示出第I变形例的荧光观察装置的作用的流程图。
[0068]图14是第2变形例的荧光观察装置的概略结构图。
[0069]图15是说明图14的荧光观察装置的效果的图。
[0070]图16是第3变形例的荧光观察装置的概略结构图。
[0071]图17是第4变形例的荧光观察装置的概略结构图。
[0072]图18是本发明的第2实施方式的荧光观察系统的概略结构图。
[0073]图19是示出图18的荧光观察系统的校准装置的图。
【具体实施方式】
[0074][第I实施方式]
[0075]下面，参照附图对本发明的第I实施方式的荧光观察装置进行说明。
[0076]如图1所示，本实施方式的荧光观察装置100具有:被插入体腔内的细长的镜体
2、具有发出从镜体2的前端2a射出的照明光的光源10的照明单元20、配置在镜体2内且取得作为被摄体的观察对象部位X的图像信息的拍摄单元30、对拍摄单元30所取得的图像信息进行处理的图像处理部40、显示图像处理部40处理后的图像和图像信息等的监视器(显示部)50。
[0077]光源10具有发出照明光的氙灯(Xe灯)11、从氙灯11发出的照明光中切出激励光和白色光(参照光)的激励光滤镜13、使包含由激励光滤镜13切出的激励光的白色光会聚的耦合透镜15。激励光滤镜13例如切出包含波段为400~740nm的激励光在内的白色光。
[0078]照明单元20中具有配置在镜体2的长度方向的大致全长范围内的光导纤维21、以及配置在镜体2的前端2a的扩散透镜23。
[0079]光导纤维21将由耦合透镜15会聚的包含激励光的白色光引导至镜体2的前端2a。扩散透镜23使由光导纤维21引导的包含激励光的白色光扩散并将其照射到观察对象部位X。
[0080]拍摄单元30具有:物镜31，其使从被照明单元20照射包含激励光的白色光的观察对象部位X返回的返回光会聚；以及分束器33，其按照各个波长将由物镜31会聚的返回光分支。
[0081]物镜31与扩散透镜23并列地配置在镜体2的前端2a。分束器33使返回光中的波长在激励波长以上的光(激励光和荧光)反射，并使波长比激励波长短的白色光(返回光)透射。
[0082]该拍摄单兀30中具有遮断由分束器33反射的激励光和灭光中的激励光而仅使灭光(例如近红外荧光)透射的激励光截止滤镜35、使透射过激励光截止滤镜35后的荧光会聚的会聚透镜37A和使透射过分束器33后的白色光会聚的会聚透镜37B、拍摄由会聚透镜37A会聚的荧光的荧光拍摄部38以及拍摄由会聚透镜37B会聚的白色光的白色光拍摄部39。
[0083]激励光截止滤镜35例如仅使波段为765~850nm的荧光透射。荧光拍摄部38例如是荧光用的高感光度单色CCD。该荧光拍摄部38通过拍摄荧光而取得荧光图像信息。白色光拍摄部39例如是白色光用的彩色CCD，具有马赛克滤镜(图示省略)。该白色光拍摄部39通过拍摄白色光而取得白色光图像信息。
[0084]图像处理部40具有:参照图像生成部41，其根据白色光拍摄部39所取得的白色光图像信息生成白色光图像(参照光图像)；荧光图像生成部42，其根据荧光拍摄部38所取得的荧光图像信息生成荧光图像；以及图像归一化部44，其对这些参照图像生成部41和荧光图像生成部42所生成的参照光图像和荧光图像进行归一化，生成归一化参照光图像和归一化荧光图像。
[0085]并且，图像处理部40具有:预处理部46，其根据图像归一化部44所生成的归一化参照光图像和归一化荧光图像生成校正用参照光图像和校正用荧光图像；相除图像生成部43，其通过将该预处理部46所生成的校正用荧光图像除以校正用参照光图像而生成相除图像(以后也称为“校正荧光图像”。)；以及阈值设定部45，其设定相除图像生成部43所生成的相除图像中的灰度 值的阈值。
[0086]参照图像生成部41根据白色光拍摄部39所取得的白色光图像信息生成二维的白色光图像。
[0087]荧光图像生成部42根据荧光拍摄部38所取得的荧光图像信息生成二维的荧光图像。
[0088]这里，作为荧光图像，例如是来自荧光色素Cy7的荧光图像即可。特别是如果预先对观察对象投放肿瘤特异的荧光药剂、例如结合了针对癌特异的分子CEA的抗体(Ant1-CEA抗体)和Cy7的荧光药剂，则能够得到肿瘤特异的荧光图像。并且，作为参照光图像，例如使用基于如下的返回光的图像即可，该返回光是照明光在观察对象表面反射而得到的返回光和在观察对象内部进行散射而得到的返回光。
[0089]图像归一化部44使用数式I所示的关系式对参照光图像和荧光图像进行归一化。
[0090]【数式I】
[0091]
【权利要求】
1.一种荧光观察装置，具有: 光源，其对被摄体照射激励光和参照光； 荧光图像取得部，其拍摄通过照射来自该光源的所述激励光而在所述被摄体中产生的荧光，取得荧光图像； 参照光图像取得部，其拍摄通过照射来自所述光源的所述参照光而从所述被摄体返回的返回光，取得参照光图像； 预处理部，其针对所述荧光图像或所述参照光图像中的至少一方乘以预先对标准样本取得的系数来生成校正用荧光图像和校正用参照光图像，所述系数使荧光强度的距离特性和返回光强度的距离特性相互成正比例关系； 相除图像生成部，其将由该预处理部所生成的所述校正用荧光图像除以所述校正用参照光图像，生成相除图像； 阈值设定部，其根据由该相除图像生成部所生成的所述相除图像中的每个像素的灰度值的平均值来设定阈值； 图像调整部，其扩大具有大于由该阈值设定部所设定的所述阈值的灰度值的区域与具有小于所述阈值的灰度值的区域在所述相除图像中的对比度；以及 显示部，其显示由该图像调整部扩大了所述对比度后的所述相除图像。
2.一种荧光观察装置，具有: 光源，其对被摄体照射激励光和参照光； 荧光图像取得部，其拍摄通过照射 来自该光源的所述激励光而在所述被摄体中产生的荧光，取得荧光图像； 参照光图像取得部，其拍摄通过照射来自所述光源的所述参照光而从所述被摄体返回的返回光，取得参照光图像； 预处理部，其针对所述荧光图像或所述参照光图像中的至少一方乘以预先对标准样本取得的系数来生成校正用荧光图像和校正用参照光图像，所述系数使荧光强度的角度特性和返回光强度的角度特性相互成正比例关系； 相除图像生成部，其将由该预处理部所生成的所述校正用荧光图像除以所述校正用参照光图像，生成相除图像； 阈值设定部，其根据由该相除图像生成部所生成的所述相除图像中的每个像素的灰度值的平均值来设定阈值； 图像调整部，其扩大具有大于由该阈值设定部所设定的所述阈值的灰度值的区域与具有小于所述阈值的灰度值的区域在所述相除图像中的对比度；以及 显示部，其显示由该图像调整部扩大了所述对比度后的所述相除图像。
3.根据权利要求1或2所述的荧光观察装置，其中， 所述参照光图像取得部取得在所述被摄体中反射或散射而返回的所述参照光的反射光或散射光。
4.根据权利要求1或2所述的荧光观察装置，其中， 所述光源还照射白色光， 所述图像调整部生成背景去除图像，该背景去除图像不显示具有小于所述阈值的灰度值的区域，所述荧光观察装置具有: 白色光图像取得部，其取得通过照射所述白色光而得到的所述被摄体的白色光图像；以及 图像合成部，其生成将由该白色光图像取得部所取得的白色光图像和由所述图像调整部所生成的背景去除图像重叠而成的合成图像， 所述显示部显示由所述图像合成部所生成的合成图像。
5.根据权利要求1或2所述的荧光观察装置，其中， 所述光源照射白色光作为所述参照光， 所述参照光图像取得部取得从被摄体返回的白色光图像作为所述参照光图像， 所述图像调整部生成背景去除图像，该背景去除图像不显示具有小于所述阈值的灰度值的区域， 所述荧光观察装置具有图像合成部，该图像合成部生成将由所述参照光图像取得部所取得的所述被摄体的白色光图像和由所述图像调整部所生成的背景去除图像重叠而成的合成图像， 所述显示部显示由所述图像合成部所生成的合成图像。
6.根据权利要求1或2所述的荧光观察装置，其中， 所述阈值设定部根据所述灰度值的平均值和标准偏差来设定所述阈值。
7.根据权利要求1或2所述的荧光观察装置，其中， 所述预处理部利用所述荧光拍摄部和所述参照光拍摄部的增益和曝光时间对所述荧光图像的各像素的荧光强度和所述参照光图像的各像素的返回光强度进行归一化，生成归一化荧光图像和归一化参照光图像，针对这些归一化荧光图像或归一化参照光图像中的至少一方乘以所述系数，生成校正用荧光图像和校正用参照光图像。
8.根据权利要求1或2所述的荧光观察装置，其中， 所述荧光观察装置具有存储所述系数的存储部， 所述预处理部针对所述荧光图像或所述参照光图像中的至少一方乘以存储在所述存储部中的系数。
9.根据权利要求8所述的荧光观察装置，其中， 所述荧光观察装置具有为了变更观察条件而被拆装的拆装部件， 在该拆装部件中记录有识别信息， 所述荧光观察装置具有读取存储在该拆装部件中的识别信息的识别信息读取单元， 在所述存储部中所述识别信息和所述系数被对应地存储。
10.一种突光观察系统，具有: 权利要求1所述的荧光观察装置；以及 校准装置，其与该荧光观察装置连接，计算所述系数， 该校准装置具有标准样本和以能够变更的方式设定所述荧光观察装置相对于该标准样本的观察距离的观察距离设定机构， 所述荧光观察系统具有系数决定部，该系数决定部根据由所述观察距离设定机构所设定的观察距离以及由所述荧光观察装置拍摄所述标准样本而取得的荧光图像和参照光图像，计算通过与该荧光图像和所述参照光图像中的至少一方相乘而使荧光强度的距离特性和返回光强度的距离特性成正比例的系数。
11.一种突光观察系统，具有: 权利要求2所述的荧光观察装置；以及 校准装置，其与该荧光观察装置连接，计算所述系数， 该校准装置具有标准样本和以能够变更的方式设定所述荧光观察装置相对于该标准样本的观察角度的观察角度设定机构， 所述荧光观察系统具有系数决定部，该系数决定部根据由所述观察角度设定机构所设定的观察角度以及由所述荧光观察装置拍摄所述标准样本而取得的荧光图像和参照光图像，计算通过与该荧光图像和所述参照光图像中的至少一方相乘而使荧光强度的角度特性和返回光强度的角度特性成正比例的系数。
12.一种荧光图像处理方法，该荧光图像处理方法使用荧光图像和参照光图像，所述荧光图像是拍摄通过对被摄体照射激励光而在被摄体中产生的荧光所取得的图像，所述参照光图像是拍摄通过对被摄体照射参照光而从被摄体返回的返回光所取得的图像， 该荧光图像处理方法包括以下步骤: 预处理步骤，针对所述荧光图像或所述参照光图像中的至少一方乘以预先对标准样本取得的系数来生成校正用荧光图像和校正用参照光图像，所述系数使荧光强度的距离特性和返回光强度的距离特性相互成正比例关系； 相除图像生成步 骤，将通过该预处理步骤生成的所述校正用荧光图像除以所述校正用参照光图像，生成相除图像； 阈值设定步骤，根据通过该相除图像生成步骤生成的所述相除图像中的每个像素的灰度值的平均值来设定阈值； 图像调整步骤，扩大具有大于通过该阈值设定步骤设定的所述阈值的灰度值的区域和具有小于所述阈值的灰度值的区域在所述相除图像中的对比度；以及 显示步骤，显示通过该图像调整步骤扩大了所述对比度后的所述相除图像。
13.一种荧光图像处理方法，该荧光图像处理方法使用荧光图像和参照光图像，所述荧光图像是拍摄通过对被摄体照射激励光而在被摄体中产生的荧光所取得的图像，所述参照光图像是拍摄通过对被摄体照射参照光而从被摄体返回的返回光所取得的图像， 该荧光图像处理方法包括以下步骤: 预处理步骤，针对所述荧光图像或所述参照光图像中的至少一方乘以预先对标准样本取得的系数来生成校正用荧光图像和校正用参照光图像，所述系数使荧光强度的角度特性和返回光强度的角度特性相互成正比例关系； 相除图像生成步骤，将通过该预处理步骤生成的所述校正用荧光图像除以所述校正用参照光图像，生成相除图像； 阈值设定步骤，根据通过该相除图像生成步骤生成的所述相除图像中的每个像素的灰度值的平均值来设定阈值； 图像调整步骤，扩大具有大于通过该阈值设定步骤设定的所述阈值的灰度值的区域和具有小于所述阈值的灰度值的区域在所述相除图像中的对比度；以及 显示步骤，显示通过该图像调整步骤扩大了所述对比度后的所述相除图像。
【文档编号】G02B23/24GK103764007SQ201280039584
【公开日】2014年4月30日 申请日期:2012年8月8日 优先权日:2011年8月18日
【发明者】石原康成 申请人:奥林巴斯株式会社