图像处理装置、图像处理方法、图像处理程序以及内窥镜系统与流程

本发明涉及对多个种类的图像实施图像处理的图像处理装置、图像处理方法、图像处理程序以及内窥镜系统，所述多个种类的图像是通过分别使用分光特性相互不同的光进行摄像而生成的。

背景技术：

近年来，在内窥镜或显微镜等领域中，在诊断中除了使用通常光图像以外，还使用特殊光图像，通常光图像是通过使用被称作通常光的白色光的摄像而生成的图像，特殊光图像是通过使用也被称作特殊光的、具有特定的分光特性的光的摄像即所谓的特殊光摄像而生成的图像。

但是，特殊光的波段相比通常光受到限制，因此特殊光图像的色彩平衡与通常光图像相比明显不同。因此，存在难以将两种图像对比来进行观察的问题。

针对这样的问题，例如在专利文献1中公开了如下技术：通过执行通常光摄像和特殊光摄像，生成一组的通常光图像和特殊光图像，分析其中的特殊光图像，检测怀疑为病变的部位即病变候选，将从该通常光图像、和对应于通常光图像的特殊光图像中检测出的病变候选同时显示于监视器。

此外，在专利文献2中公开了如下技术：以CCD的蓄积期间为单位交替地反复进行以最大强度照射窄带光的第一照射动作、和以通常的强度照射窄带光的第二照射动作，通过运算与利用第一照射动作得到的R像素值之间的相关，从利用第一照射动作得到的G像素值中提取粘膜表层的毛细血管的成分，将利用第二照射动作得到的B像素值和提取出的成分分配到监视器的B、G通道，并且将利用第二照射动作得到的G像素值分配到R通道，由此在监视器上显示毛细血管被着色为红褐色的强调图像。

并且，在专利文献3中公开了如下技术：根据特殊光图像内的像素的特征量，检测特殊光图像中的关注区域，根据该关注区域的检测结果，进行经过时间的设定处理，并根据该经过时间，进行基于通常光图像而生成的显示图像的显示形式设定处理。在该专利文献3中，按照规定的周期取得通常光图像和特殊光图像，并且使通常光图像的取得比率高于特殊光图像，由此抑制作为基本的通常光图像的时间上的分辨率的下降，取得了高品质的通常光图像。

现有技术文献

专利文献

专利文献1：日本特开2010-172673号公报

专利文献2：日本特开2012-170640号公报

专利文献3：日本特开2011-160848号公报

技术实现要素：

发明所要解决的课题

在上述专利文献1、2中，交替切换通常光和特殊光，因此在进行动态图像显示的情况下，通常光图像的帧频变成一半，在对通常光图像进行动态图像显示时导致图像质量的下降。

对此，在上述专利文献3中，不是必须以相同的比率执行通常光摄像和特殊光摄像，能够将通常光摄像的帧频设定为比特殊光摄像的帧频大。

但是，如果执行特殊光摄像的比率过大，则对通常光图像进行再现时的画质下降。相反，如果执行特殊光摄像的比率过小，则有可能在病变等特征区域进入了视野时等需要特殊光图像的时机没有执行特殊光摄像。该情况下，可能会看漏能够通过特殊光摄像进行强调的病变区域等。

本发明正是鉴于上述情况而完成的，其目的在于提供一种不使再现通常光图像时的图像质量下降、且能够在必要的时机取得特殊光图像的图像处理装置、图像处理方法、图像处理程序以及内窥镜系统。

用于解决课题的手段

为了解决上述课题并达成目的，本发明的图像处理装置是在具有图像取得单元的摄像系统中，对第1图像和第2图像实施图像处理的图像处理装置，所述图像取得单元对被摄体照射光，根据由所述被摄体反射的具有第1分光特性的光，生成表示所述第1图像的第1图像数据，并且根据由所述被摄体反射的、具有与所述第1分光特性不同的第2分光特性的光，生成表示所述第2图像的第2图像数据，所述图像处理装置的特征在于，具有：运算部，其判定所述第1图像与所述第2图像之间的相关程度；以及控制部，其使所述图像取得单元按照设定的帧频生成所述第1图像数据，并且根据所述相关程度的判定结果，对替代所述第1图像数据而生成所述第2图像数据的时机进行控制。

在上述图像处理装置中，其特征在于，具有所述第2分光特性的光与具有所述第1分光特性的光相比，波段受到限制。

在上述图像处理装置中，其特征在于，所述运算部具有：相关运算部，其计算表示所述第1图像与所述第2图像之间的所述相关程度的参数；以及相关判定部，其通过将所述参数与阈值进行比较，判定在所述第1图像与所述第2图像之间是否存在相关，所述控制部在判定为在所述第1图像与所述第2图像之间不存在相关的情况下，使所述图像取得单元生成所述第2图像数据。

在上述图像处理装置中，其特征在于，所述运算部具有：区域提取部，其从所述第2图像中提取关注区域；以及追踪判定部，其判定在所述第1图像中是否能够追踪从所述第2图像中提取出的所述关注区域，所述控制部还在所述第1图像中无法追踪所述关注区域的情况下，使所述图像取得单元生成所述第2图像数据。

在上述图像处理装置中，其特征在于，所述运算部还具有：区域存储部，其存储所述关注区域；以及区域变形处理部，其在判定为在所述第1图像中能够追踪所述关注区域的情况下，依据所述第1图像中的对应的区域将所述关注区域变形，所述区域存储部依次更新并存储通过所述区域变形处理部进行了变形后的所述关注区域，所述追踪判定部判定在所述第1图像中是否能够追踪所述区域存储部中所存储的所述关注区域。

在上述图像处理装置中，其特征在于，所述控制部还在连续规定次数以上生成了所述第1图像数据的情况下，使所述图像取得单元生成所述第2图像数据。

上述图像处理装置的特征在于，所述图像处理装置还具有输入部，所述输入部将与来自外部的操作对应的指示信号输入到所述控制部，所述控制部还在从所述输入部输入了所述指示信号的情况下，使所述图像取得单元生成所述第2图像数据。

在上述图像处理装置中，其特征在于，所述控制部使所述图像取得单元将如下动作作为1个组动作来执行：分别根据与所述第1分光特性不同、且分光特性相互不同的多个种类的光，多次生成所述第2图像数据。

在上述图像处理装置中，其特征在于，所述组动作在多次生成所述第2图像数据的间隙，至少插入1次生成所述第1图像数据的动作。

在上述图像处理装置中，其特征在于，所述图像处理装置还具有显示部，所述显示部并列显示所述第1图像和所述第2图像。

上述图像处理装置的特征在于，所述图像处理装置还具有显示部，所述显示部在画面内的第1区域中显示所述第1图像，并且在所述画面内的所述第1区域以外的区域中，显示将至少1个所述第2图像分别缩小后的至少1个缩小图像。

上述图像处理装置的特征在于，所述图像处理装置还具有显示部，所述显示部显示所述第1图像，并且强调显示所述第1图像内的与所述区域存储部所存储的所述关注区域对应的区域。

上述图像处理装置的特征在于，所述图像处理装置还具有显示部，所述显示部显示所述第1图像，并且在所述第1图像上叠加显示所述区域存储部所存储的所述关注区域的图像。

本発明的内窥镜系统的特征在于，具有所述图像处理装置和所述图像取得单元。

在上述内窥镜系统中，其特征在于，所述图像取得单元具有：光源，其产生白色光；摄像元件，其接收由所述被摄体反射后的光来生成摄像信号；以及波长选择单元，其配置于所述光源与所述被摄体之间。

在上述内窥镜系统中，其特征在于，所述图像取得单元具有：第1光源，其产生具有所述第1分光特性的光；第2光源，其产生具有所述第2分光特性的光；以及摄像元件，其接收由所述被摄体反射后的光来生成摄像信号。

在上述内窥镜系统中，其特征在于，所述图像取得单元具有：光源，其产生白色光；摄像元件，其接收由所述被摄体反射后的光来生成摄像信号；以及波长选择单元，其配置于所述被摄体与所述摄像元件之间。

本发明的图像处理方法的特征在于，包含：第1图像数据生成步骤，对被摄体照射光，根据由所述被摄体反射后的具有第1分光特性的光，生成表示第1图像的图像数据；第2图像数据生成步骤，对所述被摄体照射光，根据由所述被摄体反射后的具有与所述第1分光特性不同的第2分光特性的光，生成表示第2图像的图像数据；运算步骤，判定所述第1图像与所述第2图像之间的相关程度；以及控制步骤，按照设定的帧频执行所述第1图像数据生成步骤，并且根据所述相关程度的判定结果，对替代所述第1图像数据生成步骤而执行所述第2图像数据生成步骤的时机进行控制。

本发明的图像处理程序的特征在于，使计算机执行以下步骤：第1图像数据生成步骤，对被摄体照射光，根据由所述被摄体反射后的具有第1分光特性的光，生成表示第1图像的图像数据；第2图像数据生成步骤，对所述被摄体照射光，根据由所述被摄体反射后的具有与所述第1分光特性不同的第2分光特性的光，生成表示第2图像的图像数据；运算步骤，判定所述第1图像与所述第2图像之间的相关程度；以及控制步骤，按照设定的帧频执行所述第1图像数据生成步骤，并且根据所述相关程度的判定结果，对替代所述第1图像数据生成步骤而执行所述第2图像数据生成步骤的时机进行控制。

发明的效果

根据本发明，控制如下动作的时机：根据具有第1分光特性的光、即所谓的通常光，按照设定的帧频，生成表示第1图像的第1图像数据，并且根据第1图像与第2图像之间的相关程度的判定结果，替代第1图像数据而生成第2图像数据，所述第2图像数据表示基于具有第2分光特性的光、即所谓的特殊光的第2图像，因此不使第1图像的摄像帧频大幅度下降，且能够适当生成第2图像。因此，不使再现第1图像时的图像质量下降，且能够在必要的时机没有遗漏地取得第2图像。

附图说明

图1是具有本发明实施方式1的图像处理装置的摄像系统的框图。

图2是示出图1所示的摄像系统的动作的流程图。

图3是示出由图1所示的摄像系统依次生成的图像列的示意图。

图4是示出病变区域提取模式中的通常光图像和特殊光图像的显示例的示意图。

图5是示出病变区域提取模式中的通常光图像和特殊光图像的另一显示例的示意图。

图6是示出在本发明实施方式1的变形例1-3中依次生成的图像列的示意图。

图7是具有本发明实施方式1的变形例1-4的图像处理装置的摄像系统的结构的框图。

图8是具有本发明实施方式2的图像处理装置的摄像系统的结构的框图。

图9是示出图8所示的摄像系统的动作的流程图。

图10是示出由图8所示的摄像系统依次生成的图像列的示意图。

图11是示出从病变区域提取模式的通常光图像和特殊光图像中提取出的关注区域的显示例的示意图。

图12是示出从病变区域提取模式的通常光图像和特殊光图像中提取出的关注区域的另一显示例的示意图。

图13是示出在本发明实施方式3中依次生成的图像列的示意图。

图14是示出在本发明实施方式4中依次生成的图像列的示意图。

图15是示出在本发明实施方式4中使用的光的分光特性例的曲线图。

图16是示出在本发明实施方式4中依次生成的图像列的另一例的示意图。

图17是示出在本发明实施方式4中依次生成的图像列的又一例的示意图。

图18是示出本发明实施方式5的内窥镜系统的概略结构的示意图。

具体实施方式

以下，参照附图说明本发明实施方式的图像处理装置、图像处理方法、图像处理程序以及内窥镜系统。另外，本发明不限定于这些实施方式。另外，在各附图的记载中，对相同部分标注相同标号来示出。

(实施方式1)

图1是具有本发明实施方式1的图像处理装置的摄像系统的框图。图1所示的摄像系统1是如下系统，其执行通常光摄像和特殊光摄像，并根据通过各个摄像生成的图像数据来显示图像，在通常光摄像中，将通常光照射到被摄体，根据由被摄体反射后的通常光(具有第1分光特性的光)，生成表示通常光图像(第1图像)的图像数据，在特殊光摄像中，根据与通常光相比频带受到了限制的特殊光(具有第2分光特性的光)，生成表示特殊光图像(第2图像)的图像数据。这样的摄像系统1例如被应用于拍摄活体的管腔内来显示管腔内图像的内窥镜系统。

摄像系统1具有：图像处理装置10；摄像部11，其在该图像处理装置10的控制下拍摄被摄体，生成图像数据；光源部12，其在图像处理装置10的控制下产生照射到被摄体的光；以及显示部13，其显示由图像处理装置10实施图像处理后的图像。其中，摄像部11和光源部12构成进行通常光摄像和特殊光摄像的图像取得单元。

摄像部11具有：CCD等摄像元件，其通过对接收到的光进行光电转换，生成摄像信号并输出；以及光学系统，其在摄像元件的受光面上形成利用由被摄体反射后的光表示的被摄体像。摄像部11在后述的控制部140的控制下，按照设定的帧频进行动作。

光源部12例如具有：白色LED或氙气灯等同时式的白色光源；作为波长选择单元的滤光器，其以能够插拔的方式配设于从该白色光源射出的白色光的光路中，使白色光中的作为具有特定的分光特性的成分的特殊光通过；以及切换部，其在控制部140的控制下对白色光的光路中的该滤光器的插拔进行切换。

在滤光器被插入在白色光的光路上的期间内，对被摄体照射特殊光，在此期间通过进行摄像而生成的图像为特殊光图像。另一方面，在将滤光器从白色光的光路拔掉的期间，向被摄体照射通常光，在此期间通过进行摄像而生成的图像为通常光图像。

另外，也可以是，不在白色光的光路中插拔滤光器，而在该光路中配置液晶可调谐滤光器或声-光可调谐滤光器等，通过电气方式的控制，对作为白色光的通常光和特殊光进行切换。

显示部13由LCD或EL显示器等显示装置构成，在控制部140的控制下，以规定的形式显示被摄体的图像。

图像处理装置10具有：存储图像数据和各种程序等的存储部110；运算部120，其根据存储部110所存储的图像数据，进行规定的运算处理；图像生成部130，其根据存储部110所存储的图像数据，生成图像；控制摄像系统1整体的动作的控制部140；以及输入部150，其将与来自外部的操作对应的信号输入到控制部140。

存储部110由可更新记录的闪存等ROM或RAM这样的各种IC存储器、内置或者利用数据通信端子连接的硬盘、或者CD-ROM等信息记录装置及其读取装置等构成。存储部110具有：取入摄像部11生成的图像数据并存储的图像数据存储部111；以及存储各种程序的程序存储部112。具体而言，程序存储部112保存使摄像系统1执行如下的一系列摄像的程序：按照设定的帧频进行通常光摄像，并且在满足规定的条件的情况下，替代通常光摄像而进行特殊光摄像。

运算部120具有：摄像次数判定部121，其判定是否连续执行规定次数以上的通常光摄像；计算相关值的相关运算部122，所述相关值是表示通常光图像与特殊光图像之间的相关程度的参数；以及相关判定部123，其根据该相关值，判定在通常光图像与特殊光图像之间是否存在相关。

图像生成部130根据图像数据存储部111所存储的图像数据，生成通常光图像和特殊光图像。详细地说，图像生成部130对图像数据存储部111所存储的图像数据进行例如白平衡调整处理、增益调整处理、γ校正处理、D/A转换处理、格式变更处理等，由此生成显示用的图像。

控制部140由CPU等硬件来实现，其通过读入程序存储部112所记录的各种程序，按照从摄像部11输入的图像数据或从输入部150输入的各种信号等，向构成摄像系统1的各个部分进行指示或者数据传送等，统一控制摄像系统1整体的动作。

详细地说，控制部140具有摄像控制部141、光源控制部142和显示控制部143。摄像控制部141使摄像部11按照设定的帧频执行摄像。光源控制部142使光源部12连续地、或者与上述帧频同步间歇地产生照射被摄体的通常光，并且使其在特定的时机替代通常光而产生特殊光。显示控制部143使显示部13按照规定的形式显示通常光图像和特殊光图像。

输入部150例如由键盘、鼠标、触摸面板或各种开关等输入器件构成，将对应于针对这些输入器件的来自外部的操作而产生的输入信号输出到控制部140。

接着，说明摄像系统1的动作。图2是示出摄像系统1的动作的流程图。此外，图3是示出由摄像系统1依次生成的图像列的示意图。另外，在图3中，对特殊光图像(特殊光(1)、(2)、(3))附上了阴影线。

首先，在步骤S100中，控制部140判定是否选择了病变区域提取模式。这里，病变区域提取模式是指如下模式：通过在通常光摄像的间隙进行特殊光摄像，取得强调了血管、肿瘤等特定的构造物的特殊光图像。病变区域提取模式根据对输入部150的规定的输入操作来选择。

在未选择病变区域提取模式的情况下(步骤S100：否)，光源控制部142进行设定，使得光源部12产生通常光(步骤S101)。

在接下来的步骤S102中，摄像控制部141使摄像部11执行摄像。将通过该通常光摄像生成的图像数据从摄像部11输入到图像处理装置10，并存储到图像数据存储部111中。对应于此，图像生成部130读出图像数据，生成通常光图像，并输出到显示部13。显示部13在显示控制部143的控制下，显示通常光图像。

在步骤S103中，控制部140判定是否从输入部150输入了指示结束的信号。在输入了指示结束的信号的情况下(步骤S103：是)，摄像系统1结束动作。

另一方面，在未输入指示结束的信号的情况下(步骤S103：否)，控制部140判定是否从输入部150输入了指示模式变更的信号(步骤S104)。在输入了变更模式的信号的情况下(步骤S104：是)，摄像系统1的动作返回步骤S100。另一方面，在未输入变更模式的信号的情况下(步骤S104：否)，摄像系统1的动作返回步骤S101。

控制部140使摄像系统1的各部分按照设定的帧频执行这样的一系列步骤S101～S104。由此，在显示部13上以动态图像形式依次显示通常光图像。另外，该帧频可以是在该摄像系统1中预先设定的固定值，也可以使用户能够通过使用输入部150的操作来设定期望的值。

在步骤S100中选择了病变区域提取模式的情况下(步骤S100：是)，光源控制部142首先进行设定，使得光源部12产生通常光(步骤S111)。

在接下来的步骤S112中，摄像控制部141使摄像部11执行摄像。将通过该通常光摄像生成的图像数据从摄像部11输入到图像处理装置10，并存储到图像数据存储部111中。对应于此，运算部120对连续执行通常光摄像的次数进行计数。此外，图像生成部130读出图像数据，生成通常光图像，并输出到显示部13。显示部13在显示控制部143的控制下，显示通常光图像。

在步骤S113中，摄像次数判定部121判定通常光摄像的连续执行次数是否为固定值以上。在连续执行次数为固定值以上的情况下(步骤S113：是)，光源控制部142进行设定，使得光源部12产生特殊光(步骤S114)。

在接下来的步骤S115中，摄像控制部141使摄像部11执行摄像。将通过该特殊光摄像生成的图像数据从摄像部11输入到图像处理装置10，并存储到图像数据存储部111中。对应于此，图像生成部130读出图像数据并生成特殊光图像。图3示出了在第1帧中生成通常光图像后，在接下来的第2帧中生成了特殊光图像(特殊光(1))。此外，显示部13在显示控制部143的控制下，显示生成的特殊光图像。之后叙述特殊光图像的显示形式。

在接下来的步骤S118中，控制部140判定是否从输入部150输入了指示结束的信号。在输入了指示结束的信号的情况下(步骤S118：是)，摄像系统1结束动作。

另一方面，在未输入指示结束的信号的情况下(步骤S118：否)，控制部140判定是否从输入部150输入了指示模式变更的信号(步骤S119)。在输入了指示模式变更的信号的情况下(步骤S119：是)，摄像系统1的动作返回步骤S100。另一方面，在未输入指示模式变更的信号的情况下(步骤S119：否)，摄像系统1的动作返回步骤S111。

此外，在通常光摄像的连续执行次数小于固定值的情况下(步骤S113：否)，相关运算部122进行通过步骤S112中的通常光摄像生成的最新的通常光图像、与在该阶段最后生成的特殊光图像之间的相关运算，计算两个图像间的相关值(步骤S116)。例如，在第3帧中生成了通常光图像时，执行与在第2帧中生成的特殊光图像(特殊光(1))之间的相关运算。

步骤S116中的相关运算的方法没有特别限定，只要能够计算表示相关程度的参数，则能够应用公知的各种运算方法。在本实施方式1中，进行相关越强则相关值越高的运算。具体而言，计算基于模板匹配的归一化互相关(Normalized Cross-Correlation：NCC)作为相关值。图像间的相关越强，NCC的值越大。

在步骤S117中，相关判定部123判定在判定对象的图像之间是否存在相关。在本实施方式1中，在步骤S116中计算出的相关值为阈值以上的情况下，判定为在判定对象的图像之间存在相关。

在判定为在判定对象的图像之间存在相关的情况下(步骤S117：是)，认为从先前进行了特殊光摄像的帧起的、摄像部11的视野的变化小。该情况下，摄像系统1的动作转移到步骤S118，在未输入摄像的结束指示或模式变更的指示时(参照步骤S118、S119)，反复进行通常光摄像(参照步骤S111)。例如，在第3帧中生成了通常光图像的情况下，判定为与在第2帧中生成的特殊光图像(特殊光(1))之间存在相关时，在接下来的第4帧中执行通常光摄像。

另一方面，在判定为在判定对象的图像之间不存在相关的情况下(步骤S117：否)，认为从先前进行了特殊光摄像的帧起的、摄像部11的视野的变化大。该情况下，摄像系统1的动作转移到步骤S114，执行特殊光摄像。例如，在第6帧中生成了通常光图像的情况下，判定为与在第2帧中生成的特殊光图像(特殊光(1))之间不存在相关时，在接下来的第7帧中执行特殊光摄像。

这样，在病变区域提取模式中，按照步骤S113和S117中的判定结果，在通常光摄像的间隙进行特殊光摄像。其结果，如图3所示，按照设定的帧频取得通常光图像或特殊光图像。

图4是示出病变区域提取模式中的通常光图像和特殊光图像的显示例的示意图。如图4所示，在显示部13的画面131上，设置有通常光图像显示区域132和特殊光图像显示区域133。在通常光图像显示区域132中，按照动态图像形式显示在步骤S112中生成的通常光图像。另一方面，在特殊光图像显示区域133中，依次切换显示在步骤S115中生成的特殊光图像。

图5是示出病变区域提取模式中的通常光图像和特殊光图像的另一显示例的示意图。如图5所示，在显示部13的画面131上，设置有通常光图像显示区域134和缩略图区域135。在通常光图像显示区域134中，按照动态图像形式显示在步骤S112中生成的通常光图像。另一方面，在缩略图区域135中，将在步骤S115中生成的特殊光图像缩小，并作为静态图像一览显示。另外，在图5中，示出了将特殊光图像的缩小图像在通常光图像显示区域134的下方排成一列的例子，但缩小图像的配置不限于此，例如也可以是，以围着通常光图像显示区域134的周围的方式配置缩小图像。

如以上所说明那样，根据本发明的实施方式1，按照设定的帧频进行通常光摄像，在连续执行了一定次数以上的通常光摄像时、或者在通常光图像与特殊光图像之间不存在相关时，替代通常光摄像而执行特殊光摄像，因此能够抑制通常光摄像的帧频的下降，进行图像质量良好的动态图像再现，并且在视野的变化大时等必要的时机，能够没有遗漏地生成特殊光图像。此外，根据实施方式1，与通常光图像一同，将特殊光图像也显示在画面上，因此用户能够一边参照通常光图像，一边观察在特殊光图像中被强调的特征性区域。

(变形例1-1)

接着，说明本发明实施方式1的变形例1-1。在上述实施方式1中，设为了相关运算部122计算NCC作为通常光图像与特殊光图像之间的相关值，但除此以外，也能够计算公知的参数作为相关值。具体而言，可列举SSD(Sum of Squared Difference：平方差之和)、SAD(Sum of Absolute Difference：绝对差之和)。图像间的相关越强，SSD和SAD的值越小。因此该情况下，在步骤S117中，在SSD或SAD大于阈值时判定为不存在相关，在下一帧中进行特殊光摄像(参照步骤S114、S115)。相反，在SSD或SAD为阈值以下时判定为存在相关，在下一帧中进行通常光摄像(参照步骤S111、S112)。

或者，也可以是，作为表示通常光图像与特殊光图像之间的相关的参数，提取两图像间的对应点，并计算这些对应点的移动量。该情况下，在移动量大于阈值时判定为不存在相关，在下一帧中进行特殊光摄像。相反，在移动量为阈值以下时判定为存在相关，在下一帧中进行通常光摄像。

此外，也可以是，作为表示通常光图像与特殊光图像之间的相关的参数，提取两图像间的对应点，并计算该对应点的明亮度或颜色的变动量。该情况下，在变动量大于阈值时判定为不存在相关，在下一帧中进行特殊光摄像。相反，在变动量为阈值以下时判定为存在相关，在下一帧中进行通常光摄像。

(变形例1-2)

接着，说明本发明实施方式1的变形例1-2。在上述实施方式1中，作为光源部12的结构，设为了通过在从光源射出的白色光的光路中插拔滤光器，对通常光和特殊光进行切换，但光源部12的结构不限于此。例如，也可以设置产生白色光的白色光源、和产生特殊光的LED等特殊光源，将到向被摄体照射的光的出射口为止的光路连接到白色光源和特殊光源中的任意一方，对通常光和特殊光进行切换。

(变形例1-3)

接着，说明本发明实施方式1的变形例1-3。在上述实施方式1中，根据连续执行通常光摄像的次数、以及最新的通常光图像与最后生成的特殊光图像之间的相关，对替代通常光摄像而执行特殊光摄像的时机进行了控制，但除此以外，也可以构成为在用户期望的时机执行特殊光摄像。

图6是示出在本变形例1-3中依次生成的图像列的示意图。另外，在图6中，对特殊光图像(特殊光(1)、(2)、(3)、(4))附上了阴影线。

在本变形例1-3中，也基本与实施方式1同样地，在连续执行了规定次数以上的通常光摄像时、以及最新的通常光图像与最后生成的特殊光图像之间不存在相关时，执行特殊光摄像。例如图6所示，在第3帧中生成了通常光图像的情况下，判定该通常光图像与在第2帧中生成的特殊光图像(特殊光(1))之间的相关。并且，当判定为存在相关时，在接下来的第4帧中执行通常光摄像。

在通常光摄像的执行中，从输入部150输入了执行特殊光摄像的请求信号的情况下，在下一帧中执行特殊光摄像。例如，在第4帧的通常光摄像的执行中输入请求信号时，在接下来的第5帧中执行特殊光摄像。该情况下，在再接下来的第6帧中执行通常光摄像，判定由此生成的通常光图像与在该阶段最后生成的基于请求的特殊光图像(特殊光(2))之间的相关。

(变形例1-4)

接着，说明本发明实施方式1的变形例1-4。在上述实施方式1中，通过控制照射到被摄体的光的分光特性，对通常光摄像和特殊光摄像进行了切换，但也可以控制由被摄体反射、并入射到摄像元件的光的分光特性。

图7是示出本变形例1-4的摄像系统的结构的框图。如图7所示，本变形例1-4的摄像系统2具有图像处理装置20、摄像部21、光源部22、显示部13。其中，摄像部21和光源部22构成图像取得单元。此外，显示部13的结构和动作与实施方式1相同。

摄像部21具有：CCD或CMOS等摄像元件，其通过对接收到的光进行光电转换，生成摄像信号并输出；作为波长选择单元的滤光器，其以能够插拔的方式配设于入射到该摄像元件的光的光路中，使具有特定的分光特性的成分(特殊光)通过；以及切换部，其在控制部210的控制下，对该滤光器在入射到摄像元件的光的光路中的插拔进行切换。

光源部22是产生也被称作通常光的白色光的光源，在控制部210的控制下进行动作，向被摄体照射通常光。

在滤光器被插入在入射光的光路上的期间内，由被摄体反射的通常光中包含的特殊光成分入射到摄像元件，在此期间进行摄像，由此生成的图像为特殊光图像。另一方面，在将滤光器从入射光的光路拔去的期间内，由被摄体反射的通常光入射到摄像元件，在此期间进行摄像，由此生成的图像为通常光图像。

图像处理装置20替代图1所示的控制部140，而具有控制部210，控制部210具有摄像控制部211、光源控制部212和显示控制部143。摄像控制部211使摄像部21按照设定的帧频执行摄像，并且通过对摄像部21具有的切换部的控制，对接收通常光而生成表示通常光图像的图像数据的通常光摄像、和接收特殊光而生成表示特殊光图像的图像数据的特殊光摄像进行切换。光源控制部212控制光源部22的产生通常光的动作。显示控制部143的动作与实施方式1相同。

(变形例1-5)

接着，说明本发明实施方式1的变形例1-5。在上述变形例1-4中，作为对入射到摄像元件的光、即通常光或特殊光进行切换的单元，除了滤光器和切换部以外，还能够应用各种结构。例如，也可以是，在入射到摄像元件的光的光路中设置液晶可调谐滤光器或声-光可调谐滤光器(AOTF)等波长选择单元，通过电气方式的控制，对入射到摄像元件的光的光学特性进行控制。

(实施方式2)

接着，说明本发明的实施方式2。图8是具有本发明实施方式2的图像处理装置的摄像系统的结构的框图。如图8所示，本实施方式2的摄像系统3替代图1所示的图像处理装置10而具有图像处理装置30。另外，摄像部11、光源部12和显示部13的结构与实施方式1相同(参照图1)。或者，也可以与变形例1-4同样地设置摄像部21、光源部22和显示部13(参照图7)。

图像处理装置30替代图1所示的运算部120而具有运算部310。运算部310除了摄像次数判定部121～相关判定部123以外，还具有：区域提取部311，其从特殊光图像中提取病变等特征性区域作为关注区域；追踪判定部312，其判定在最新的通常光图像中是否能够追踪关注区域；区域变形处理部313，其根据追踪判定部312的判定结果，使关注区域的形状变形；区域设定部314，其将变形后的关注区域设定为最新的关注区域；叠加区域计算部315，其计算与通常光图像叠加地显示该最新的关注区域的区域；以及存储最新的关注区域的区域存储部316。另外，摄像次数判定部121～相关判定部123的动作与实施方式1相同。此外，运算部310以外的图像处理装置30的结构和动作与实施方式1相同。

接着，说明摄像系统3的动作。图9是示出摄像系统3的动作的流程图。此外，图10是示出由摄像系统3依次生成的图像列的示意图。在图10中，对特殊光图像(特殊光(1)、(2)、(3))附上了阴影线。

图9所示的步骤S100～S104、S111～S115和S116、S117的动作与实施方式1相同。

在接着步骤S115的步骤S120中，区域提取部311根据图像数据存储部111所存储的特殊光图像的图像数据，通过对像素值进行阈值处理等公知的方法，从特殊光图像中提取病变等特征性区域作为关注区域，并将提取出的关注区域作为最新的关注区域更新存储到区域存储部316中。然后，摄像系统3的动作转移到步骤S118。步骤S118、S119的动作与实施方式1相同。

此外，在步骤S117中判定为在通常光图像与特殊光图像之间存在相关的情况下(步骤S117：是)，追踪判定部312对区域存储部316所存储的关注区域，执行在步骤S112中生成的通常光图像的追踪运算(步骤S121)。作为追踪运算，例如能够应用模板匹配等方法。

在接下来的步骤S122中，追踪判定部312根据步骤S121中的追踪运算的结果，判定在通常光图像中是否能够追踪关注区域。在判定为能够追踪关注区域的情况下(步骤S122：是)，区域变形处理部313依据通常光图像内的对应区域的形状使该关注区域变形(步骤S123)。

在步骤S124中，区域设定部314将在步骤S123中变形后的关注区域设定为最新的关注区域，并使区域存储部316进行更新存储。

在步骤S125中，叠加区域计算部315计算与区域存储部316所存储的关注区域对应的最新的通常光图像内的区域，并依据该区域的位置，在通常光图像上叠加显示关注区域。之后将叙述通常光图像上的关注区域的叠加显示。接下来的步骤S118、S119的动作与实施方式1相同。

例如，在第3帧中生成了通常光图像m22的情况下(参照步骤S112)，在通常光图像m22与在该阶段最后生成的特殊光图像(特殊光(1))m21之间存在相关、且在通常光图像m22中能够追踪从特殊光图像m21中提取出的关注区域时，使从特殊光图像m21中提取出的关注区域依据通常光图像m22内的对应区域的形状而变形，并将变形后的关注区域存储到区域存储部316中。并且，对该通常光图像m22叠加显示变形后的关注区域。

此外，在接下来的第4帧中生成了通常光图像m23的情况下(参照步骤S112)，在通常光图像m23与在该阶段最后生成的特殊光图像(特殊光(1))m21之间存在相关、且在通常光图像m23中能够追踪区域存储部316所存储的关注区域时，使该关注区域进一步依据通常光图像m23内的对应区域的形状而变形，并将变形后的关注区域存储到区域存储部316中。并且，对该通常光图像m23叠加显示变形后的关注区域。

另一方面，在步骤S122中判定为无法在通常光图像中追踪关注区域的情况下(步骤S122：否)，需要重新设定关注区域。因此，摄像系统3的动作转移到步骤S114，执行特殊光摄像。

例如，在第6帧中生成了通常光图像m24的情况下(参照步骤S112)，当通常光图像m24与在该阶段最后生成的特殊光图像(特殊光(1))m21之间存在相关、但无法在通常光图像m24中追踪区域存储部316所存储的关注区域时，在接下来的第7帧中执行特殊光摄像。该情况下，在区域存储部316中，更新存储从特殊光图像m25中提取出的关注区域。

图11是示出病变区域提取模式中的通常光图像和特殊光图像的显示例的示意图。如图11所示，在显示部13的画面131上设置有图像显示区域136。在图像显示区域136中，以动态图像形式显示在步骤S112中生成的通常光图像，并且叠加显示框137，框137围着与区域存储部316所存储的关注区域对应的区域。或者，可以替代框137而进行如下这些强调显示：增大通常光图像内的与关注区域对应的区域的亮度、用特定的颜色填充该区域或者包围该区域的轮廓。并且，也可以对通常光图像叠加区域存储部316所存储的关注区域的图像来显示。这样，通过关联显示通常光图像和关注区域，用户能够瞬间掌握应重点观察的区域。

另外，可以与实施方式1同样地，与这样的图像显示区域136并列显示特殊光图像(参照图4)，或者将特殊光图像的缩小图像并列显示为缩略图(参照图5)等。此外，在步骤S117中判定为在判定对象的图像之间不存在相关时，可以删除框137等的强调显示。

图12是示出病变区域提取模式中的通常光图像和特殊光图像的另一显示例的示意图。如图12所示，在显示部13的画面131上，设置有通常光图像显示区域138和关注区域显示区域139。在通常光图像显示区域138中，按照动态图像形式显示在步骤S112中生成的通常光图像。另一方面，在关注区域显示区域139中，依次更新显示区域存储部316所存储的关注区域。或者，在关注区域显示区域139中，可以仅显示关注区域的轮廓、或者用特定的颜色填充关注区域来进行强调显示等。

如以上所说明那样，根据本发明的实施方式2，按照设定的帧频进行通常光摄像，在连续执行了一定次数以上的通常光摄像时、最新的通常光图像与最后生成的特殊光图像之间不再存在相关时、或者在最新的通常光图像中无法再追踪关注区域时，替代通常光摄像而执行特殊光摄像，因此能够抑制通常光摄像中的帧频下降，进行图像质量良好的动态图像再现，并且在视野的变化大时、或者病变等特征性区域进入了视野时等必要的时机，能够没有遗漏地生成特殊光图像。此外，根据实施方式2，使从特殊光图像中提取出的关注区域依据通常光图像内的对应区域而变形，因此能够对通常光图像良好地叠加关注区域，用户能够准确地掌握通常光图像中的关注区域的位置。

(实施方式3)

接着，说明本发明的实施方式3。特殊光摄像的执行时机的控制方法不限于实施方式1、2，能够通过各种方法来控制。例如，也可以是，将执行通常光摄像和特殊光摄像的比率固定，并且根据用户的指示随时执行特殊光摄像。另外，本实施方式3的摄像系统的结构与实施方式2相同(参照图8)。

图13是示出在本发明实施方式3中依次生成的图像列的示意图。在图13中，对特殊光图像附上了阴影线。此外，在实施方式3中，设定为每执行10次通常光摄像时，执行1次特殊光摄像。

该情况下，基本上在第1帧中通过特殊光摄像生成了特殊光图像后，连续执行10次通常光摄像，在之后的第12帧中再次执行特殊光摄像来生成特殊光图像。在此期间，在从输入部150输入了指示特殊光摄像的执行的指示信号的情况下，控制部140使摄像部11和光源部12在输入了指示信号的时机的下一帧中执行特殊光摄像。例如在图13的情况下，在第3帧的期间输入了指示信号，因此在接下来的第4帧中执行特殊光摄像。此外，在第8、第9帧中也持续输入指示信号，因此在第9、第10帧中执行特殊光摄像。在第12帧中，按照当初的预定那样执行特殊光摄像。

另外，在本实施方式3中执行了特殊光摄像时，可以与实施方式2同样，运算部310从特殊光图像中提取关注区域，使该关注区域依据最新的通常光图像内的对应区域而变形，并更新存储到区域存储部316中。该情况下，显示部13在通常光图像上叠加显示关注区域、或者表示该关注区域的框或标记。或者，可以与实施方式1同样，不进行关注区域的提取，而单纯地并列显示通常光图像和特殊光图像。

根据本发明的实施方式3，通过相对于通常光摄像降低执行特殊光摄像的比率，能够抑制通常光摄像的帧频的下降，能够进行图像质量良好的动态图像再现。此外，根据用户的指示随时执行特殊光摄像，因此能够与通常光图像并列显示根据需要更新后的特殊光图像、或者在通常光图像上叠加显示从那样的特殊光图像中提取出的关注区域。因此，用户能够一边参照通常光图像，一边观察在特殊光图像中被强调的关注区域。

(实施方式4)

接着，说明本发明的实施方式4。在上述实施方式1～3中，设为了使用1种特殊光来进行特殊光摄像，但也可以是，分别使用具有与通常光不同的分光特性、且分光特性相互不同的多个种类的特殊光来进行特殊光摄像。

在进行使用多个种类的特殊光的特殊光摄像的情况下，在图1所示的光源部12中，将分光特性相互不同的多个种类的滤光器依次插入到从光源射出的光的光路中，并进行摄像即可。或者，可以在光源部12中设置产生具有相互不同的分光特性的光的多个种类的LED光源，使这些光源依次动作来进行摄像。或者，可以在图7所示的摄像部21中，将分光特性相互不同的多个种类的滤光器依次插入到朝摄像元件入射的光的光路中，进行摄像。并且，还可以替代多个种类的滤光器，将光学特性通过电气方式的控制而变化的波长选择单元插入到该光路中。

图14是示出在本发明实施方式4中依次生成的图像列的示意图。在图14中，对特殊光图像附上了阴影线。

图15是示出在本实施方式4的摄像时使用的光的分光特性例的曲线图。其中，图15的(a)示出了通常光的分光特性(波段)，图15的(b)示出了特殊光(特殊光R1、G1、B1)的分光特性(波段)。

这样，在使用多个种类的特殊光来执行特殊光摄像的情况下，优选将使用各特殊光R1、G1、B1的特殊光摄像的频度设为均等。因此，在本实施方式4中，设在分别使用特殊光R1、G1、B1的特殊光摄像的间隙插入规定次数的通常光摄像的共计8次的摄像为1组动作，来执行摄像。在图14中，将该1组动作记作摄像组M1。此外，在图14中，在特殊光摄像的间隙各插入两次通常光摄像。替代在实施方式1～3中说明的1次特殊光摄像，执行这样的摄像组M1。更详细地说，在执行摄像组M1之后，在连续执行了规定次数的通常光摄像的情况、最新的通常光图像与特殊光图像之间不再存在相关的情况、或者虽然存在相关但在最新的通常光图像中无法追踪区域存储部316所存储的关注区域的情况下，再次执行摄像组M1。

这里，在进行与特殊光图像之间的相关判定的情况下，分别判定与通过在最新的通常光图像的生成阶段最后执行的摄像组M1取得的特殊光R1的图像、特殊光G1的图像、特殊光B1的图像之间的相关。并且，在与这3个图像中的任意一个存在相关的情况下，判定为最新的通常光图像与摄像组M1之间存在相关。

此外，在进行关注区域的追踪判定的情况下，将从特殊光R1、G1、B1的各图像中提取出的关注区域按照每个特殊光的分光特性，存储到区域存储部316中。并且，在最新的通常光图像中能够追踪区域存储部316所存储的关注区域中的任意一个的情况下，判定为能够追踪从摄像组M1中提取出的关注区域。

根据本发明的实施方式4，即使在使用分光特性相互不同的多个种类的特殊光的情况下，也能够相对于通常光摄像降低执行特殊光摄像的比率，能够抑制通常光摄像的帧频的下降，能够进行图像质量良好的动态图像再现。此外，通过使用分光特性相互不同的多个种类的特殊光，能够提取与分光特性对应的关注区域并进行显示。

另外，作为使用多个种类的特殊光R1、G1、B1来进行摄像的组动作，不限于图14所示的摄像组M1。例如，可以如图16所示的摄像组M2那样，连续进行分别使用特殊光R1、G1、B1的摄像，也可以如图17所示的摄像组M3那样，交替进行分别使用特殊光R1、G1、B1的摄像和使用通常光的摄像。此外，在1组动作中使用的特殊光的种类不限于3种，可以是2种，也可以是4种以上。

(实施方式5)

接着，说明本发明的实施方式5。图18是示出本发明实施方式5的内窥镜系统的概略结构的示意图。图18所示的内窥镜系统4是图1所示的摄像系统1的一个形式，其具有：图像处理装置10；内窥镜5，其通过将前端部插入到被摄体的管腔内，生成拍摄被摄体的体内的图像；光源部12，其产生从内窥镜5的前端射出的照明光；以及显示部13，其显示由图像处理装置10实施图像处理后的体内图像。图像处理装置10对内窥镜5生成的图像实施规定的图像处理，并且统一控制内窥镜系统4整体的动作。另外，可以替代实施方式1的图像处理装置10，而应用变形例1-4的图像处理装置20、或实施方式2的图像处理装置30。

内窥镜5具有：具有挠性的呈细长形状的插入部51；操作部52，其与插入部51的基端侧连接，受理各种操作信号的输入；以及通用软线53，其从操作部52起朝与插入部51延伸的方向不同的方向延伸，内置有与图像处理装置10和光源部12连接的各种缆线。

插入部51具有：前端部54；由多个弯曲块构成的弯曲自如的弯曲部55；以及与弯曲部55的基端侧连接、且具有挠性的长条状的挠性针管56。在该插入部51的前端部54设有摄像部11(参照图1)。

在操作部52与前端部54之间连接有集合缆线，所述集合缆线是捆束了与图像处理装置10之间进行电信号的收发的多个信号线而成的。在多个信号线中，包含将摄像元件输出的影像信号传送到图像处理装置10的信号线、和将图像处理装置10输出的控制信号传送到摄像元件的信号线等。

操作部52具有：弯曲旋钮521，其使弯曲部55朝上下方向和左右方向弯曲；处置器械插入部522，其用于插入活检针、活体钳子、激光刀和检查探针等处置器械；以及作为操作输入部的多个开关523，它们除了输入图像处理装置10、光源部12的操作指示信号以外，还输入送气单元、送水单元、气体输送单元等外围设备的操作指示信号。

通用软线53至少内置有光导和集合缆线。此外，在通用软线53的与操作部52相连一侧的不同侧的端部设置有：拆装自如地与光源部12连接的连接器部57；以及电连接器部58，其经由呈线圈状的线圈电缆570与连接器部57电连接，相对于图像处理装置10拆装自如。

图像处理装置10根据从设置于前端部54的摄像部11输出的图像数据，生成显示部13显示的图像。光源部12在光源控制部142的控制下，在规定的时机产生通常光或特殊光。光源部12产生的光经由光导而从前端部54的前端照射出。

在上述实施方式5中，说明了将图1所示的摄像系统应用于活体用的内窥镜系统的例子，但也可以应用于工业用的内窥镜系统。或者，还可以将上述摄像系统应用于被导入到活体内而在该活体内移动的同时进行摄像的胶囊型内窥镜。

此外，在上述实施方式1～5中，设为了利用同时式的白色光源产生通常光，但也可以利用面顺次式的光源产生通常光。

以上所说明的本发明不限于实施方式1～5以及变形例，可通过适当组合各实施方式1～5或变形例所公开的多个结构要素来形成各种发明。例如，可从各实施方式或变形例所示的全部结构要素中去除几个结构要素来形成，也可适当组合不同实施方式或变形例所示的结构要素来形成。

标号说明

1、2、3：摄像系统；4：内窥镜系统；5：内窥镜；10、20、30：图像处理装置；11、21：摄像部；12、22：光源部；13：显示部；110：存储部；111：图像数据存储部；112：程序存储部；120、310：运算部；121：摄像次数判定部；122：相关运算部；123：相关判定部；130：图像生成部；131：画面；132、134、138：通常光图像显示区域；133：特殊光图像显示区域；135：缩略图区域；136：图像显示区域；137：框；139：关注区域显示区域；140、210：控制部；141、211：摄像控制部；142、212：光源控制部；143：显示控制部；150：输入部；311：区域提取部；312：追踪判定部；313：区域变形处理部；314：区域设定部；315：叠加区域计算部；316：区域存储部；51：插入部；52：操作部；53：通用软线；54：前端部；55：弯曲部；56：挠性针管；57：连接器部；58：电连接器部；521：弯曲旋钮；522：处置器械插入部；523：开关；570：线圈缆线。