成像装置的制作方法

专利名称：成像装置的制作方法
技术领域：
本发明涉及进行生物体组织的散射成像处理的成像处理装置。
背景技术：
众所周知，食道癌等消化道肿瘤疾病，其大多是从消化道粘膜的最表层即上皮层内的基底层开始发生。从基底层开始发生的变异细胞增殖，其恶性程度向置换整个上皮层的方向发展。上皮内的这种肿瘤性变化与细胞单体的变异一起伴随着病理学的结构变化、所谓的结构变异，呈现与正常病理图像不同的不规则的组织排列。
内窥镜诊断的目的在于尽可能在早期发现这种肿瘤。如果能在早期发现，通过内窥镜治疗等低侵袭的手术能够根治的可能性变高。
但是，食道癌等有些肿瘤在早期阶段缺乏明确的形状(息肉或凹陷形状)，发现它不一定容易。
为了在早期发现、鉴别这些缺乏形状变化的肿瘤，至今为止提出了许多方案。
在其中认为较有效的是，考虑上述细胞核变异、结构变异引起光学性的散射变化，通过光学方法捕捉该散射变化，进行在普通的观察图像中难以发现的早期病变的技术，散射光谱学、散射成像(例如日本特开2002-95635号公报)。
以往，为了测量、成像上皮内的散射特性，提出了数量较多的使用偏光光学系统的方案。即如下技术，来自上皮表面的后方单散射光保持着偏光成分，而来自上皮下层(粘膜层、粘膜下层)的多次散射光成为无偏光，基于这种认识，根据水平、垂直偏光成分的差分观测值进行成像。
使用在某个方向(例如水平方向)被偏光的观测光照明生物体组织，由此，来自上皮表面的细胞排列的后方散射光作为相同方向(例如水平方向)的偏光成分被观测。另一方面，在上皮下内传播的光，在细胞及各种组织通过构成物的多次散射作用，由此，成为无偏光状态，从组织表面作为漫反射光被观测到。
用方向与观测光不同(例如垂直方向)的偏光镜观测该光，由此能够估计多次散射光的大小。使用这个值，通过差分操作对被包含在大致维持着偏光的观测光(水平偏光)的多次散射的影响进行修正，提取来自上皮表层的细胞的单散射光。
细胞的单散射现象可以模型化为浮在原生质中的各种球形粒子引起的Mie散射。作为Mie散射光的特性，散射光谱形状依赖于散射粒子的粒径、与周边介质(这种情况主要是原生质)的折射率比、和观测波长。特别重要的是，粒径与光谱形状的关联。
如上所述，使用Mie散射模型，一边改变粒径，一边通过非线性最小二乘法等对用偏光测量提取出的单散射光的光谱形状进行拟合，由此，能够推断粘膜上皮的粒径。
在上皮层，细胞核被认为是主要对散射作贡献者之一，可以认为通过上述方法推断的粒径与细胞核的大小具有较高相关性。
上述的细胞核变异是伴随着细胞核的肿大(随着肿瘤变化，细胞核变得比正常状态大)，因此，通过该方法推断细胞核的大小，就是推断上皮肿瘤变化的状态。
因而，使用了偏光的光谱学、以及成像，具有能够成像细胞核肿大的可能性。
如以上那样，偏光光谱学以及成像具有定量地推断细胞核肿大的可能性，但是在考虑到向内窥镜的应用情况下，存在如下述的问题。
·需要内装着偏光光学系统的特殊的观察仪器。
·由于使用偏光，所以需要高灵敏度的摄像元件(用于生成、接受偏振光的光学元件如果使用偏光镜，则光的能量降到极低)。
·由于进行Mie散射的模型化，需要用于确切地知道、或固定照明光和观测光的角度(后方散射角)的工作(在Mie散射模型中，光谱形状较大依赖于观测到的后方散射光的角度)。
通过解决以上的问题，有可能实现高性能的散射成像装置，但是从装置成本的角度来看，还具有上述的问题。

发明内容
本发明是为解决上述问题而做出的，其目的在于提供一种成像装置，以利用现有的内窥镜光学系统为前提，仅通过改良光源装置、以及处理器内部，能够进行简易的散射成像。
本发明的成像装置包括光源装置；摄像装置，将来自上述光源装置的照射光用于观察，将生物体观察像变换为图像信号；以及处理器，根据上述图像信号生成生物体图像；上述处理器具备生成生物体图像的单元，所述生物体图像至少将生物体组织的散射特征作为图像信息而具有。
本发明的其他特征及利益，通过以下的说明就会十分清楚。


图1至图10有关本发明的第1实施方式。
图1是表示散射成像装置的结构的结构图。
图2是表示图1的旋转滤波器的结构的图。
图3是表示图2的旋转滤波器的分光特性的图。
图4是表示图1的图像处理电路的结构的框图。
图5是说明图1的散射成像装置进行散射成像的消化道粘膜组织的图。
图6是说明产生图5的消化道粘膜组织的期望的散射特性的、具有分光特性的滤波器的图。
图7是说明图4的光谱推断部的作用的图。
图8是表示图4的光谱推断部的处理流程的流程图。
图9是说明图4的散射特征计算部的作用的图。
图10是表示图1的旋转滤波器的变形例的结构的图。
图11是表示本发明的第2实施方式相关的图像处理电路的结构的框图。
图12及图13是关于本发明的第3实施方式的。
图12是表示散射成像装置的结构的结构图。
图13是表示图12的旋转滤波器的结构的图。
图14是表示关于本发明的第4实施方式的体表面摄像装置的图。
图15至图18是关于本发明的第5实施方式的。
图15是表示图像处理电路的结构的结构图。
图16是说明图15的图像处理电路的作用的第1个图。
图17是说明图15的图像处理电路的作用的第2个图。
图18是说明图15的图像处理电路的作用的流程图。
图19至图23是关于本发明的第6实施方式的。
图19是表示图像处理电路的结构的结构图。
图20是说明图19的图像处理电路的作用的第1个图。
图21是说明图19的图像处理电路的作用的第2个图。
图22是说明图19的图像处理电路的作用的第3个图。
图23是说明图19的图像处理电路的作用的流程图。
具体实施例方式
为了更详细地说明本发明，根据附图加以说明。
第1实施方式
如图1所示，构成本实施方式的散射成像装置的内窥镜装置1包括电子内窥镜3、光源装置4、和影像处理器7，所述电子内窥镜3具有CCD2，作为插入到体腔内拍摄体腔内组织的摄像机构，所述光源装置4向电子内窥镜3提供照明光，所述视频处理器7对来自电子内窥镜3的CCD2的摄像信号进行信号处理，并在观察显示器5显示内窥镜图像。
光源装置4具备氙灯11，发出照明光；红外线截止滤波器12，遮断白色光的红外线；光圈装置13，控制通过了红外线截止滤波器12的白色光的光量；旋转滤波器14，使照明光成为面连续光；聚光透镜16，使通过了旋转滤波器14的面连续光，在电子内窥镜3内配设的光导管15的入射面聚光；控制电路17，控制旋转滤波器14的旋转。
如图2所示，旋转滤波器14构成为圆盘状、以中心为旋转轴的结构，配置有C1滤波器14c1、C2滤波器14c1、C3滤波器14c1，构成用于输出如图3所示的具有分光特性的面连续光的滤波器组。并且，如图1所示，旋转滤波器14是通过控制电路17使旋转滤波器马达18被驱动控制并旋转。
另外，氙灯11、光圈装置13及旋转滤波器马达18由电源部10供给电力。
回到图1，视频处理器7具备CCD驱动电路20，驱动CCD2；放大器22，放大经由对物光学系统21、用CCD2拍摄了体腔内组织的摄像信号；处理电路23，对经过了放大器22的摄像信号进行相关二次采样以及噪声去除处理等；A/D变换器24，将经过了处理电路23的摄像信号变换为数字信号的图像数据；白平衡电路25，对来自A/D变换器24的图像数据实施白平衡处理；选择器26及同步化存储器27、28、29，用于同步旋转滤波器14的面连续光；图像处理电路30，读出在同步存储器27、28、29中存储的面连续光的各图像数据，并进行γ修正处理、轮廓强调处理、色处理等；D/A电路31、32、33，将来自图像处理电路30的图像数据变换为模拟信号；时标发生器35，输入来自光源装置4的控制电路17的、与旋转滤波器14的旋转同步的同步信号，向上述各电路输出各种定时信号；调光电路43，输入经过了处理电路23的摄像信号，控制光源装置4的光圈装置13，并进行适当的亮度控制。
如图4所示，图像处理电路30具备光谱推断部52，输入来自同步化存储器27、28、29的各图像数据，并且，从推断用数据供给部51获得光谱推断所需的数据，推断各像素的光谱；散射特征计算部54，根据来自光谱推断部52的各像素的光谱、和来自特征计算用数据供给部53的特征计算用所需的数据，计算多个散射特征；彩色图像生成部55，根据来自散射特征计算部54的散射特征图像进行显示色计算，决定作为彩色图像应显示的散射特征的、各像素的RGB值，并作为RGB图像输出给D/A电路31、32、33。
另外，推断用数据供给部51及特征计算用数据供给部53被设置在视频处理器7内、或者外部模块中。
食道等消化道粘膜组织具有大致如图5的结构。食道癌等肿瘤从分开上皮层和粘膜层的基底层开始发生。从基底层开始发生的肿瘤随着细胞核变异和结构变异，用变异细胞置换整个上皮层，经过所谓的变异形成状态，向癌发展。
上皮层由扁平上皮构成，因其致密的细胞结构而表现较强的散射特性。此外，其散射特性具有波长依赖性，可认为具有从短波长到长波长降低的特性(因而，可认为短波长光在上皮内几乎都被散射、反射，很少会深入到它下面的粘膜层下)。
由此可知，短波长光比长波长光更适合于捕捉上皮内的散射特性的变化。这对于成像也同样，下面以窄频带多波段照明为例说明。
如图6所示，在生成面连续光的旋转滤波器中，为了得到自然的色彩再现，通常使用如C-B、C-G、C-R的宽带滤波器的组合。通过旋转滤波器高速旋转，3个波段光按时间序列照明被摄体，依次用单色CCD拍摄，由视频处理器合成，与各照明光对应的波段图像充当观察显示器的蓝、绿、红频道，而显示为一幅彩色图像。
但是，如果能够制成具有期望的特性的滤波器，例如使C2、C4、C6等C-B、C-G、C-R的中心波长不做较大变化，对半光谱幅值实施窄带化，还能提高血管图像的对比度。
但是，由于这里旋转滤波器14是以上皮内的散射成像为目的的，如上所述地从短波长光选择波段。相当于图6的C1、C2、C3。可知这些短波长区域的多个波段图像比长波长侧的波段(C4、C5、C6、C7)能较好地显示上皮内的结构。
其中，虽然也考虑将与C1、C2、C3照明光对应的波段图像充当蓝、绿、红频道，作为一幅彩色图像在观察显示器上再现，但是，颜色信息与怎样的散射特性对应、并且其颜色变化与病理学上怎样的变化(例如，结构变异的程度或细胞核肿大的程度等)对应不明确，并不容易理解图像。进而，即使内窥镜医生在检查过程中观察这种图像，也很难有助于肿瘤的早期发现。
因此，在本实施方式中考虑如下根据这些多个波段图像来推断分光反射率，根据推断出的分光反射率、并基于生物体组织的光学模型，变换为病理学上的相关性较高的特征，将图像中的其特征量的变化作为色彩信息显示。
本实施方式的目的在于，根据窄带图像推断各像素的分光反射率，推断基于光学模型的病理学相关性较高的特征量，根据所推断的特征量在图像中的变化来生成色彩信息。
(作用)从同步化存储器27、28、29输出的窄带波段图像(在本实施方式中设想为3波段，如图6所示，为短波长波段；对应于C1、C2、C3)输入到在图像处理电路30内设置的光谱推断部52。光谱推断部52从图象处理部内或设在外部模块中的推断用数据供给部51获得光谱推断所需的数据，推断各像素的光谱。
推断光谱、即光谱图像成为散射特征计算部54的输入值。散射特征计算部54从图象处理部内或设在外部模块中的特征计算用数据供给部53获得特征计算用所需的数据，计算多个散射特征。在此时刻，对各像素分配多个散射特征。
散射特征计算部54向彩色图像生成部55输出散射特征图像。彩色图像生成部55根据散射特征图像进行显示颜色计算，决定作为彩色图像应显示散射特征的各像素的RGB值，作为RGB图像输出给D/A电路31、32、33。
接着，说明各模块(光谱推断部52、散射特征计算部54、以及彩色图像生成部55)的作用。详细的在文献“V.Backman，R.Gurjar，K.Badizadegan，I.Itzkan，R.R.Dasari，L.T.Perelman，and M.S.Feld，′Polarized Light Scattering Spectroscopy for Quantitative Measurementof Epithelial Cellular Structures In Situ，′IEEE J.Sel.Top.QuntumElectron，5，1019-1026(1999)”中公开。另外，在以下的数学公式中，“^”表示具有多个要素的向量(小写字母)、矩阵(大写字母)。
(光谱推断部52)被摄体分光反射率和所观测的多波段图像的像素值的关系用式(1)的成像方程式表示。
g^＝H^f^+n^g^=gc1gc2gc3,H^=h11h12···h1Lh21h22···h2Lh31h32···h3L,f^=f1f2···fL,n^=nc1nc2nc3---(1)]]>其中，g^是具有与波段数相同的维(N；在本实施方式中为3)的像素值列向量。f^是被摄体分光反射率列向量，在波长方向上为L个，数值被离散化。n^为噪声列向量。H^为各波段的分光敏感度特性即由N个行向量构成的L×N的系统矩阵。
问题在于，已知H^，根据观测值g^推断被摄体的分光反射率。H^作为观察光光谱、窄带滤波器的分光透过率特性、和摄像元件的分光灵敏度特性等成像系统的分光特性是已知的。
一般地，由于“波段数N＜波长采样数L”，推断问题为不符合条件(ill-condition)。即，与g^相对，满足式(1)的f^存在无数个(换言之，由于方程式的个数比未知数少，可知有很多解，如果不附加某些条件，不能确定为一个解)。
因此，需要通过准备预见信息限制解空间(此时为L维向量空间)(这就是用来将解决定为1个的条件)来找出妥当的推断解。即，归结为如下问题使用预见信息，在L维空间中，求出在可成为候选解的光谱所分布的部分空间内最合适的解。
作为使用预见条件的方法，一般使用Wiener推断。在式(2)中表示Wiener推断的推断矩阵A。通过从观测向量g的右边乘以该推断矩阵A，来推断向量。因而，向量推断机构是作为使用了预先设定的推断矩阵A的矩阵运算器而动作。
A^＝Rf^Hγ^(H^Rf^Hγ^+Rn^)-1…(2)其中，Rf^是应推断的被摄体光谱的波长方向的自相关矩阵(L×L)，Rn^是在式(1)中作为n^出现的加法噪声的自相关矩阵。Rn^能够根据预先测量的成像系统(这里是指组合了光源和观察仪器的系统)的噪声特性推断，是已知的。这里所谓的预见信息，是Rf^、Rn^，特别是，Rf^是决定被推断的分光反射率的妥当性的最重要的参数。
以往，该自相关矩阵Rf^如下的情况较多假定被推断的光谱在波长方向是平滑的(即，没有辉线光谱等急剧的波长变化，在波长方向上为比较平缓的特性)，使用微分算子矩阵的逆(即在空间频率区域中为低频强调滤波器)；或使用以马尔科夫模型等统计模型能表现分光反射率的马尔科夫迁移矩阵。在本实施方式中，作为自相关矩阵Rf^利用自相关矩阵，该自相关矩阵根据由后述的生物体组织的离散粒子结构模型(以下称为光学模型)推断的光谱而求出。
接着说明光学模型。生物体组织包括纤维组织、细胞、淋巴球、毛细血管、细胞核、细胞内小器官等各种要素构成。
由于散射是在折射率变化较大的地方产生的，所以可以认为生物体组织的主要的散射体(散射主体)是细胞核及线粒体等细胞内小器官。对于尺寸与观测波长相同或稍小的粒子，可以通过Mie散射模型预测其相位函数和散射系数。相位函数表示从方向s入射到散射主体中的光在s’方向被散射的概率。此外，散射系数是表示每单位距离中光子受到几次散射的参数。
该Mie散射模型具有2πma/λ(λ为波长，m为折射率比，a为散射主体的直径)，作为模型的参数。可以认为，细胞核与原生质的折射率比没有较大的变动，因此，可以说Mie散射主要是以散射主体作为参数预测散射光谱的模型。
另一方面，如果知道在生物体组织内何种程度大小的粒子(细胞核、细胞核内小器官)以怎样的密度存在的信息(粒径分布函数)，由此能用该Mie散射模型推断相位函数和散射函数。粒径分布的概念如图7所示。实际的粒子直径可认为是从细胞内小器官的0.4μm左右到细胞核的4μm左右，随着结构变异从正常组织开始发展，可认为粒径分布如图6中的箭头所示那样变化(从f1(d)到f2(d)，d为粒子直径)。使用Mie散射模型，根据粒径分布函数、粒子与周边介质的折射率比(约1.03，周边介质假设为原生质)，计算相位函数和散射系数。粒径分布函数能够应用正态分布或对数正态分布。对于与目标对应而设想的粒径分布参数(平均值或标准偏差)的变动，根据Mie散射模型计算光学系数，基于算出的光学系数，通过光传播模型模拟多次散射过程而计算光谱。
光传播模型根据以下各种状况可分开使用利用作为解析方法在计算时间方面有利、但是模型形状的自由度受较大制约的扩散方程式的方法；以及其计算虽然需要时间、但是对于模型形状的自由度较大的蒙特卡罗模型等。
到此为止，如果整理模型计算，如图8所示，在步骤S1获得粒径分布参数(平均值、标准偏差)。在步骤S1将粒径分布参数输入到Mie散射模型。在步骤S3，根据Mie散射模型输出散射系数和相位函数。实际上，是对每个各粒子尺寸应用Mie散射模型，计算散射系数和相位函数，将粒径分布作为加权函数，进行带有加权的加法平均，进行考虑了粒径分布的Mie散射计算。
通过以上的模型计算，将伴随着上皮内的肿瘤性变化的细胞核变异、结构变异作为粒径分布参数(平均值、标准偏差)的变化考虑，进行光谱计算，以此作为事先知识考虑，对解空间(光谱空间)进行制约。即，根据由该模型计算推断的光谱分布，预先计算好Wiener推断中的自相关矩阵Rf^。
具体而言，在步骤S4，通过Mie散射模型+光传播模型，计算与根据病理学知识得到的粒径分布参数变化(平均值、标准偏差的变动)对应的光谱变化。计算的结果，在步骤S5中，在光谱空间中形成与粒径分布参数变化对应的光谱分布。将此看作母集合，推断光谱在波长方向的自相关矩阵。
如上所述，使用通过光学模型(粒径分布模型+Mie散射模型+光传播模型)预先推断的自相关矩阵，来推断上皮内的散射光谱。因而，用基于H^、Rf^、Rn^的式(2)计算出的矩阵A被存储在推断用数据供给部。
(散射特征计算部54)根据由光谱推断部52推断的光谱，能够计算各种特征。在本实施方式中，着眼于粒径分布参数，提出根据光谱、推断与该参数相关的特征量的方法。概念图如图9所示。
在推断自相关矩阵时，预先知道与粒径分布参数(平均值、标准差)的变化对应的光谱变动范围。
因而，与被看作散射特征的平均值和标准偏差对应的特征轴，作为F1、F2是已知的。即，光谱在由F1、F2决定的空间分布。由此，从计算出的光谱到F1、F2的投影值(f1、f2)、以及亮度(例如光谱的面积等)作为第3个值，作为散射特征。因而，在特征计算用数据供给部中存储着各特征轴的光谱。此外，计算部的运算成为特征轴光谱和散射光谱的内积计算。
(彩色图像生成部55)例如，从散射特征计算部54输出的散射特征、以及光谱的亮度充当为蓝、绿、红频道，生成彩色图像。此时，使像素值与8比特(bit)等后级的D/A性能对应并适当地量子化。对于在画面中发现早期病变，在大多情况下只要捕捉到相对散射变化、即细胞核变异、结构变异的程度就足够了，因此，在帧中计算散射特征的动态范围，以8比特等既定的水平进行量子化，作为RGB信号输出。
由上所述，若总结本实施方式的特征，将与各像素对应的分光反射率的推断作为深入度较浅、被认为可较强地反映出上皮内的特征的短波长区域中的多波段图像，以及将上皮组织作为离散粒子结构而模型化；使用根据由Mie散射模型和光传播模型计算的模型基础的分光反射率推断的自相关矩阵，由此推断散射光谱，将与光谱空间的预先求出的粒径分布参数对应的特征轴的投影值作为散射特征，以及将各像素的这些特征量分配给颜色频道，以彩色信息实现散射成像。
(效果)根据本实施方式，不使用偏光光学系统等特殊的观察仪器，通过窄带滤波器和处理器内的运算，能够进行与散射特性变化相关的成像，能够视觉辨认上皮内结构变异等以往难以观察到的特征。
另外，由于可以普通观察图像，也可以使用如图10所示的安装了多个窄带C1～C6(参照图6)的窄带滤波器14C1～14C6的旋转滤波器14，此时，具备数量与滤波器数相等的存储器，以对应各个窄带滤波器的图像。此外，在这种情况下虽然未图示，但图像处理电路30具备普通观察图像生成部、和第1实施方式中描述的光谱推断部52+散射特征计算部54，还具备根据散射特征计算部54的输出计算强调系数的对比度强调系数计算部。在帧内，根据与使用例如粒径分布的平均值、或标准偏差和平均值的合成特征等相关的值，计算量化的一个值。也可以根据该值，对在普通观察图像生成部生成的图像的辉度频道决定空间频率的强调系数。由此，能够对普通观察图像进行基于散射特征的对比度强调。
第2实施方式由于第2实施方式与第1实施方式几乎相同，仅说明不同点，而对相同的结构赋予相同的标号，省略其说明。
(结构及作用)为了推断上皮内的散射光谱，在短波长频带中使用多个窄带滤波器。该频带的散射特性强，另一方面也存在血红蛋白的吸收最大值(415nm)。例如，在考虑食道扁上皮的情况下，在正常粘膜中几乎不存在毛细血管，但随着细胞核的肿大，乳头内血管扩张或者在上皮内新生血管增生。这种毛细血管图像由于具有血红蛋白带来的特殊的光谱，所以在散射光谱推断中可以认为是误差的主要原因。因而，在推断散射光谱前，分离该吸收图像和该毛细血管图像。
分离，可看作是这些毛细血管图像在空间频率波动中为高频率，散射图像本身由多次散射而形成低频图像。具体而言，如图11所示，在本实施方式的图像处理电路30中，在散射光谱推断部52的前级设置滤波部61、62、63，其与空间频率滤波器的各窄带波段图像对应。滤波部61、62、63的动作可以通过FIR滤波器的卷积运算器实现，由毛细血管图像分离用的高频带通滤波器和散射光谱推断用的低通滤波器构成。
来自与各窄频带波段图像对应的滤波部61、62、63的输出，被分离成与各波段图像对应的高频图像C1H、C2H、C3H(注脚H)、和低频图像C1L、C2L、C3L(注脚L)，低频图像向散射光谱推断部52、高频率图像向毛细血管图像生成机构64输出。
在散射光谱推断部52，如在第1实施方式说明那样，根据由离散粒子结构模型推断出的上皮内后方散射光谱分布，算出Wiener推断中的自相关矩阵，来推断散射光谱。
另一方面，在毛细血管图像生成部64，对从各波段制成的高频图像，通过适当的噪声去除、或根据情况对血管结构进行模型化的匹配滤波器，更鲜明地生成毛细血管图像，并作为辉度信息输出给图像信号生成部65。
在图像信号生成部65，根据来自散射光谱推断部52的输出，用彩色图表制成散射特性，另一方面，通过合成毛细血管图像作为辉度信息，将散射+毛细血管吸收图像输出给观察显示器。
(效果)根据本实施方式，能够不使用偏光光学系统等特殊的观察仪器，而通过窄带滤波器和处理器内的运算，能够进行与散射特性变化相关的成像，能够视觉辨认上皮内结构变异等以往难以观察到的特征。此外，通过由空间滤波机构事先分离吸收图像的毛细血管图像，能够防止分光反射率推断精度的下降，并且能够合成并显示对于鉴别诊断重要的毛细血管图案和散射图像。
第3实施方式由于第3实施方式与第1实施方式几乎相同，所以仅说明不同点，而对相同的结构赋予相同的标号，省略其说明。
(结构及作用)如图13所示，本实施方式的旋转滤波器14构成为圆盘状、并具有以中心为旋转轴的双层结构，在外侧的径向部分配置有构成第1滤波器组的C1滤波器14C1、C2滤波器14C2、C3滤波器14C3，所述第1滤波器组用于输出如图6所示的C1～C3的分光特性的窄带的面连续光；在内侧的径向部分配置有构成第2滤波器组的C4滤波器14C4、C5滤波器14C5、C6滤波器14C6，所述第2滤波器组用于输出图6所示的C4～C6的具有分光特性的面连续光。
并且，如图12所示，旋转滤波器14通过控制电路17使旋转滤波器马达18被驱动控制并旋转，此外，直径方向的移动(是旋转滤波器14的、与光路垂直的移动，在光路上选择性地移动旋转滤波器14的第1滤波器组或第2滤波器组)，是根据来自视频处理器7内的模式切换电路42的控制信号、通过模式切换马达19进行。
另外，通过电源部10向氙气灯11、光圈装置13、旋转滤波器马达18以及模式切换马达19供给电力。
在电子内窥镜2上设有模式切换开关41，该模式切换开关41的输出向视频处理器7内的模式切换电路42输出。视频处理器7的模式切换电路42向调光电路43、调光控制参数切换电路44、以及光源装置4的模式切换马达19输出控制信号。
调光控制参数切换电路44向调光电路输出与旋转滤波器14的第1滤波器组或第2滤波器组对应的调光控制参数，调光电路43根据来自模式切换电路42的控制信号、和来自调光控制参数切换电路44的调光控制参数，控制光源装置4的光圈装置13，进行适当的亮度控制。
(效果)如上所述，在本实施方式中，除了第1实施方式的效果，通过使用C4滤波器14C4、C5滤波器14C5、C6滤波器14C6，能够通过普通观察光进行体腔内观察。
第4实施方式
由于第4实施方式与第1实施方式几乎相同，所以仅说明不同点，而对相同的结构赋予相同的标号，省略其说明。
(结构及作用)在上述各实施方式中，说明了在内窥镜内设置摄像装置、进行体腔内组织的散射成像的实施方式，但是在本实施方式中，说明在体表面上照射窄带光而能够检测皮肤癌等的散射成像装置。
如图14所示，在本实施方式中，代替电子内窥镜2设有体表面摄像装置84，该体表面摄像装置84在前端具备与肌肤接触的遮光罩81、配置成环状的光导管82、由对物光学系统和CCD构成的摄像部83。
并且，使遮光罩81与皮肤接触，通过光导管82照射来自光源装置4的C1～C3所示分光特性的窄带的面连续光，由摄像部83摄像，将摄像信号传送给视频处理器7。
(效果)这样地，在本实施方式中，对于体表面也能够得到与第1实施方式相同的作用效果，可检测皮肤癌等。
第5实施方式由于第5实施方式与第1实施方式几乎相同，所以仅说明不同点，而对相同的结构赋予相同的标号，省略其说明。
食道等消化道粘膜具有分层结构。早期癌主要在表层内发生、发展。因而，为了发现更早期的癌，需要将粘膜表层内发生的病理学变化作为影像捕捉。
但是，由于粘膜表层非常薄，一般来自生物体的反射光对比表层(第1层)更靠下的层(第2层)以下的变化反应。该变化是指散射、吸收，具体地说，是病理学结构及血管密度。
因此，作为散射成像需要尽量在第2层的光学特性变化中不受影响、并且强调第1层的光学特性(散射变化)的散射特征量的一种算法。
在第5实施方式中，根据分光图像值、或者多波段图像值的观测值，求出向上述散射特征量的映射。
(结构)如图15所示，在图像处理电路30中，在特征计算用数据供给部53中存储着通过多重判别分析求出的后述的每个内脏器官的消化道粘膜映射数据100、即胃粘膜映射数据、食道粘膜映射数据等，散射特征计算部54根据来自未图示的输入机构的内脏器官选择信号，从特征计算用数据供给部53中读取对应的消化道粘膜映射数据100，计算散射特征。
接着，说明在特征计算用数据供给部53中存储的消化道粘膜映射数据100。在图5中说明了食道等消化道粘膜组织的结构，这里将上皮层作为第1层、将基底层以下的下层全体作为第2层，则在由图像处理电路30的光谱推断部52推断的光谱中较强地反映第2层的影响，掩盖了设想的第1层的细胞核肿大的光谱变化。
因此，在本实施方式中，在观测光谱空间求得对第2层的影响较小、强调第1层的散射特征的部分空间的映射，将求得的映射作为消化道粘膜映射数据100存储在特征计算用数据供给部53。
这种映射可以通过公知的多重判别分析，作为在将依赖第2层的特性变化的偏差最小化的条件下，将第1层的特性变化、此时是依赖于散射特征的光谱变化最大化的线性映射而求出。
例如在光谱空间，生物体组织的光谱如图16分布。这里，类表示早期食道癌中的上皮等目标层的散射特征相同的数据集合。在该图16中描述了2个类，因此，表示具有散射特征不同的2种上皮的数据集合。
在各个类内出现与上皮以外的层的散射及吸收特性的变化对应的数据的分布。所谓的对多重判别空间的映射，是指在将图16所描述的类内的分布最小化的条件下，将类间距离最大化的变换(在2个类、且其映射为线性的情况下，作为费希尔(フイツシヤ一)的线性识别而为人所知)。
通过该映射，如图17所示，图16的生物体组织的光谱在类间距离(类间分散)最大化、且类内的偏差(类内分散)最小化的空间被映射。类内分散及类间分散例如可以通过光散射模拟计算。
即，意味着上皮等成为目标的层的生物体组织的散射特性，在最小限度地抑制了该层以外的吸收及散射特性的影响的状态下被强调。
(作用)在本实施方式中，如图18所示，如果图像处理电路30在步骤S51输入来自同步化存储器27、28、29的各图像数据，在步骤S52，光谱推断部52从推断用数据供给部51获得生物体光谱自相关数据而推断各像素的光谱，在步骤S53，散射特征计算部54根据内脏器官选择信号，从特征计算用数据供给部53读取在将类内分散及类间分散最优化的空间被映射的消化道粘膜映射数据100，并计算散射特征，在步骤S54，彩色图像生成部55根据来自散射特征计算部54的散射特征图像进行显示色计算，决定作为彩色图像应显示散射特征的各像素的RGB值，并作为RGB图像向D/A电路31、32、33输出。
在彩色图像生成部55，如果将由多重判别分析得到的散射特征空间设为3维，对RGB色彩频道分配构成散射特征空间的各轴。预先规定好各轴、最大、最小，在其范围内分配各色彩频道的范围。
作为另一种色彩分配方法，使图像中对比度最大地分配信息。以帧(或者场)为单位向运算装置输入图像，在画面内将数据映射到散射特征空间。与画面内的像素值的个数对应，数据分布在散射特征空间内。该最大分散方向应成为最能反映类间分散、即散射特征变化的方向。因而，使用KL展开等一般性的方法，求得对最大分散轴的映射值。将最大分散轴上的一点定为基准点，根据与其相距的距离，对图像分配颜色。颜色在色相方向上分配等，以视觉辨认性最好的表现进行。
另外，也可以不是从多波段图像中推断被摄体光谱，而是直接使用对多波段图像值修正了增益平衡的值，这种情况不需要光谱推断部52。增益平衡的修正方法是拍摄白板等分光反射率已知的被摄体，并进行增益修正，以使被观测的多波段图像值间的强度比率成为根据各个波段特性、和已知分光反射率的被摄体分光反射率的分光积计算出的比率。
(效果)这样地，在本实施方式中，除第1实施方式的效果以外，上皮等目标层的生物体组织的散射特性在最小限度地抑制了该层以外的吸收及散射特性的影响的状态下被强调，因此，进一步提高视觉辨认性。
第6实施方式由于第6实施方式与第1实施方式几乎相同，所以仅说明不同点，而对相同的结构赋予相同的标号，省略其说明。
(结构)如图19所示，图像处理电路30具备血管结构提取部111，根据来自同步化存储器27、28、29的各图像数据提取第2层(图5的基底层以下的整个下层)的血管结构信息；和映射更新部112，根据血管结构提取部111提取出的血管结构信息，计算类内的偏差(类内分散)，并根据计算出的类内分散，更新在特征计算用数据供给部53存储的消化道粘膜映射数据100。
(作用)食道粘膜等具有层结构的生物体组织的情况如图20所示，表层具有毛细血管、中深层具有比较粗的血管这样的、具有特征性血管结构的情况较多。如果用具有不同中心波长的波段观察这种结构的生物体组织，如图21、图22所示，表层的血管在短波长侧再现，中深层的血管在长波长侧再现(例如参照日本特开2002-95635号公报、日本特开2002-34893号公报、日本特开2002-34908号公报等)。
因而，在有血管的位置和没有血管的位置，成为上皮的特性相同、其以外的层的特性不同的数据集合，根据这些数据集合能够推断类内分散。
因此，如图23所示，在步骤S71，血管结构提取部111使用长波长侧的图像(例如B图像)，从RGB图像提取血管位置。血管位置的提取，可以使用阈值处理、空间频率滤波处理等一般性方法。并且，在步骤S72，映射更新部112收集多个血管位置的像素和不含血管的像素，在步骤S73，算出类内分散，根据算出的类内分散更新在特征计算用数据供给部53存储的消化道粘膜映射数据100。
另外，血管结构提取部111使用长波长侧的图像(例如B图像)，从RGB图像中提取血管位置，但是，为了得到用于提取血管位置的频带图像，也可以使用专门的带通滤波器照明观察部。
(效果)这样地，在本实施方式中，也能够得到与第5实施方式相同的效果。
另外，在上述各实施方式中，为了得到多波段图像，成为在光源侧将照明光频带分离后照射的结构，但是，并不限于此，也可以构成为，在摄像侧使用频带分离滤波器而得到多波段图像。
在该发明中，不同的实施方式在较宽的范围内没有脱离发明的主旨和范围，很明显是根据本发明而构成的。本发明除了受所附的权利要求书的限定之外，并不受其特定的实施方式的制约。
工业上的利用可能性如以上所述，本发明涉及的成像装置，可用作将内部组织的散射特征成像为图像信息的装置。
权利要求
1.一种成像装置，包括光源装置；摄像装置，将来自上述光源装置的照射光用于观察，将生物体观察像变换为图像信号；以及处理器，根据上述图像信号生成生物体图像；其特征在于，上述处理器具备生成生物体图像的单元，所述生物体图像至少将生物体组织的散射特征作为图像信息而具有。
2.如权利要求1所述的成像装置，其特征在于，上述摄像装置为内窥镜。
3.如权利要求1所述的成像装置，其特征在于，上述光源装置照射至少一个以上的频带光。
4.如权利要求1所述的成像装置，其特征在于，上述频带光中的至少一个，在被作为可见光波长区域的蓝色光的频带中存在。
5.如权利要求1所述的成像装置，其特征在于，上述处理器具有根据至少一个以上的生物体图像，推断与图像中的各位置、和/或区域对应的光谱的单元。
6.如权利要求5所述的成像装置，其特征在于，推断上述光谱的单元，具有至少一个以上的矩阵运算器。
7.如权利要求6所述的成像装置，其特征在于，上述至少一个以上的矩阵运算器的系数，在由离散化的一个以上的波长决定的光谱空间中规定应推断的光谱的存在范围。
8.如权利要求7所述的成像装置，其特征在于，上述至少一个以上的矩阵运算器的系数，是使用表现散射介质中的光传播的光传播模型而设计的。
9.如权利要求1所述的成像装置，其特征在于，上述处理器具有根据与图像中的各位置、和/或区域对应的光谱，推断生物体组织的散射特征的单元。
10.如权利要求9所述的成像装置，其特征在于，推断上述散射特征的单元具有对在光谱空间中预先设定的至少一个以上的向量进行正投影的单元。
11.如权利要求1所述的成像装置，其特征在于，上述处理器具备生成彩色图像的单元，所述彩色图像将生物体组织的散射特征作为图像信息而具有。
12.如权利要求11所述的成像装置，其特征在于，上述生成彩色图像的单元具备生成将生物体组织的吸收特征、作为图像信息而具有的彩色图像的单元。
13.如权利要求11所述的成像装置，其特征在于，上述生成彩色图像的单元，合成散射特征和散射特征以外的图像、并作为彩色图像生成。
14.如权利要求11所述的成像装置，其特征在于，上述生成彩色图像的单元，以将散射特征和散射特征以外的图像同时、和/或切换显示的方式，生成图像，并进行控制。
15.如权利要求13所述的成像装置，其特征在于，上述散射特征以外的图像，是具有生物体组织的吸收特征的图像信息。
16.如权利要求13所述的成像装置，其特征在于，上述散射特征以外的图像相当于在白色光照明下得到的图像。
17.如权利要求1所述的成像装置，其特征在于，上述处理器具有至少一个以上的进行空间频率滤波的单元。
18.如权利要求17所述的成像装置，其特征在于，上述进行空间频率滤波的单元，位于根据至少一个以上的生物体图像来推断与图像中的各位置、和/或区域对应的光谱的单元。
19.一种生物体散射成像装置，具有散射特征运算单元，根据生物体组织图像计算出散射特征；和图像生成单元，根据上述散射特征生成图像；其特征在于，在以组织表层和上述组织表层以外的内部层这两层将上述生物体组织模型化的情况下，上述散射特征运算单元通过应用将1个到多个图像值、或基于这些图像值的观测值向散射特征空间的映射，算出上述散射特征，其中，在所述散射特征空间中，以使由上述内部层的光学特性的变化产生的观测值的变化所带来的影响最小化的条件，使上述组织表层的散射特征变化最大化。
20.如权利要求19所述的生物体散射成像装置，其特征在于，上述映射是线性映射。
21.如权利要求20所述的生物体散射成像装置，其特征在于，上述线性映射通过观测值空间中的多重判别分析而算出；上述多重判别分析的类间分散与上述组织表层的散射特征的差异对应、类内分散与上述内部层的光学特性的差异对应。
22.如权利要求21所述的生物体散射成像装置，其特征在于，上述内部层的光学特性的差异，包括上述内部层的层厚、吸收特性、和散射特性。
23.如权利要求21所述的生物体散射成像装置，其特征在于，上述组织表层的散射特性的差异，是利用构成上述组织表层的生物体组织的细胞核直径的概率密度分布的变化而被模型化的。
24.如权利要求23所述的生物体散射成像装置，其特征在于，上述模型由Mie散射模型、和光传播模型构成。
25.如权利要求24所述的生物体散射成像装置，其特征在于，上述光传播模型为蒙特卡罗模型。
26.如权利要求21所述的生物体散射成像装置，其特征在于，上述多重判别分析中的上述类内分散，是根据上述生物体组织图像推断的。
27.如权利要求26所述的生物体散射成像装置，其特征在于，上述类内分散的推断，是根据穿行于生物体组织内的血管图像而进行的。
全文摘要
一种图像处理电路，具备光谱推断部，输入各图像数据，并且，从推断用数据供给部得到推断光谱所需的数据，来推断各像素的光谱；散射特征计算部，根据来自光谱推断部的各像素的光谱、和来自特征计算用数据供给部的特征计算用所需的数据，计算多个散射特征；彩色图像生成部，根据来自散射特征计算部的散射特征图像进行显示颜色计算，决定作为彩色图像而应显示的各像素的RGB值，并输出RGB图像。
文档编号A61B1/04GK1725974SQ20038010579
公开日2006年1月25日 申请日期2003年11月18日 优先权日2002年12月12日
发明者后野和弘 申请人:奥林巴斯株式会社