信号处理装置和内窥镜系统的制作方法

本发明涉及对从内窥镜装置输入的图像进行处理的信号处理装置和具有该信号处理装置的内窥镜系统。

背景技术：

在具有电子内窥镜装置的内窥镜系统中，公知有根据动态图像显示的内窥镜图像而生成静态图像并进行显示的功能。这样的静态图像是使用多个场的图像数据而生成的。因此，在被摄体或内窥镜装置运动时，有时会生成颜色偏移较大的静态图像。作为用于防止这样的静态图像显示时的颜色偏移的提案，具有例如日本特开2006-149483号公报的提案。日本特开2006-149483号公报的电子内窥镜装置根据按照面顺序取得的多个颜色的图像数据的同一水平线上的相邻像素间的像素值之差的符号即像素值的变化的方式，来判定作为多个颜色的图像间的偏移的颜色偏移的程度。而且，日本特开2006-149483号公报的电子内窥镜装置通过以颜色偏移最小的方式使图像数据移位来校正颜色偏移。

技术实现要素：

如果仅通过亮度的变化的方式进行判定，则有可能将例如由噪声引起的像素值的变化也判断为颜色偏移。并且，也有可能将例如发白的图像那样的不太适合静态图像显示的图像判断为不存在颜色偏移的图像。

本发明是鉴于上述的情况而完成的，其目的在于，提供如下的信号处理装置和具有该信号处理装置的内窥镜系统：在根据从内窥镜装置输入的图像而生成静态图像时，能够不受到噪声的影响和被摄体自身的明亮度的影响而生成静态图像。

为了达成上述目的，本发明的第一方式的信号处理装置具有：轮廓提取部，其取得通过被摄体的时间序列的摄像而生成的多个图像数据，并从所取得的多个图像数据中提取轮廓成分；偏移量检测部，其通过在多个图像组各自所包含的图像数据之间对所述轮廓提取部所提取的轮廓成分的偏移量进行比较，而对各个所述图像组所包含的图像数据之间的偏移量进行检测，其中，所述多个图像组分别是规定的数量的所述图像数据的集合；以及图像选择部，其根据所述偏移量检测部的检测结果，从所述图像组中选择至少一个图像组。

为了达成上述目的，本发明的第二方式的内窥镜系统具有：摄像部，其通过被摄体的时间序列的摄像而取得多个图像数据；轮廓提取部，其从所述摄像部所取得的多个图像数据中提取轮廓成分；偏移量检测部，其通过在多个图像组各自所包含的图像数据之间对所述轮廓提取部所提取的轮廓成分的偏移量进行比较，而对各个所述图像组所包含的图像数据之间的偏移量进行检测，其中，所述多个图像组分别是规定的数量的所述图像数据的集合；以及图像选择部，其根据所述偏移量检测部的检测结果，从所述图像组中选择至少一个图像组；图像选择部，其根据所述偏移量检测部的检测结果，从所述图像组中选择至少一个图像组。

根据本发明，能够提供如下的信号处理装置和具有该信号处理装置的内窥镜系统：在根据从内窥镜装置输入的图像而生成静态图像时，能够不受到噪声的影响和被摄体自身的明亮度的影响而生成静态图像。

附图说明

图1是示出具有本发明的一个实施方式的信号处理装置的内窥镜系统的结构的框图。

图2是示出内窥镜系统对内窥镜图像的显示处理的流程图。

图3是示出图像组的选择处理的流程图。

图4是示出根据图3的处理而选择图像组的例子的图。

图5是示出变形例的静态图像选择部的结构的图。

图6是示出变形例的图像组的选择处理的流程图。

具体实施方式

以下，参照附图对本发明的实施方式进行说明。图1是示出具有本发明的一个实施方式的信号处理装置的内窥镜系统的结构的框图。另外，图1所示的内窥镜系统1是按照例如面顺序方式生成内窥镜图像的系统。面顺序方式是指如下的方式：通过向作为被摄体的被检体照射按照每个场而不同的颜色的照明光，并使摄像元件按照场顺序而取得的信号同时化，从而取得彩色化的内窥镜图像。

内窥镜系统1具有内窥镜装置2、光源装置3、信号处理装置4以及监视器5。内窥镜装置2对作为被摄体的被检体的体内进行拍摄，生成与被检体相关的图像信号。光源装置3经由光导36与内窥镜装置2连接，向内窥镜装置2供给照明光。信号处理装置4对内窥镜装置2所生成的图像信号进行处理。监视器5根据由信号处理装置4处理后的图像信号，对例如作为被检体的体内的图像的内窥镜图像进行显示。以下，对内窥镜系统1的各个模块进行说明。

内窥镜装置2具有插入部21和线缆22。插入部21是内窥镜装置2中被插入被检体的体内的部分。在插入部21的前端设置有物镜211和摄像元件212。物镜211是用于使来自被摄体的像成像于摄像元件212的光学系统。摄像元件212具有配置成二维状的像素。各个像素例如是光电二极管，生成与经由物镜211入射的光的量对应的电信号(图像信号)。如上所述，内窥镜系统1按照面顺序方式生成内窥镜图像。因此，摄像元件212在一帧的内窥镜图像的显示期间进行多次摄像。在该多次摄像中，对被检体照射不同颜色的照明光。而且，在摄像元件212中，伴随着每次摄像而生成仅具有不同颜色的信息的图像信号。在本实施方式的例子中，依次照射红色(R)的照明光、绿色(G)的照明光、蓝色(B)的照明光。而且，在向被检体照射R的照明光的情况下，生成仅具有R的信息的图像信号，在向被检体照射G的照明光的情况下，生成仅具有G的信息的图像信号，在向被检体照射B的照明光的情况下，生成仅具有B的信息的图像信号。

线缆22经由未图示的连接器与信号处理装置4连接。在该线缆22的内部设置有驱动信号线212a、输出信号线212b。驱动信号线212a与摄像元件212的各像素连接。并且，驱动信号线212a构成为在插入部21经由未图示的连接器与信号处理装置4连接时，与信号处理装置4的驱动控制部46连接。此时，摄像元件212根据经由驱动信号线212a的来自驱动控制部46驱动信号而进行被摄体的摄像动作。输出信号线212b也与摄像元件212的各像素连接。并且，输出信号线212b构成为在插入部21经由未图示的连接器与信号处理装置4连接时，与信号处理装置4的预处理部41连接。此时，摄像元件212经由输出信号线212b向预处理部41输出图像信号。

光源装置3具有光源31、波导路32、光源控制部34、聚光透镜35以及光导36。

光源31具有多个光源即RLED 31R、GLED 31G以及BLED 31B。RLED 31R是发出红色(R)光的LED。GLED 31R是发出绿色(G)光的LED。BLED 31B是发出蓝色(B)光的LED。波导路32例如是光纤，分别与RLED 31R、GLED 31G、BLED 31B光学性地结合。该波导路32将分别从RLED 31R、GLED 31G、BLED 31B照射的照明光导向聚光透镜35。光源控制部34与驱动控制部46的控制下的摄像元件212的摄像动作同步地对RLED 31R、GLED 31G、BLED 31B的动作进行控制。在面顺序方式的情况下，光源控制部34按照每个场依次对RLED 31R、GLED 31G、BLED 31B进行驱动以使得RLED 31R、GLED 31G、BLED 31B的发光按照场顺序进行。聚光透镜35对从波导路32射出的光进行会聚并向光导36入射。光导36使聚光透镜35所会聚的光向内窥镜装置2入射。该光从内窥镜装置2射出，向被摄体照射。通过在该状态下进行被摄体的摄像，而在摄像元件212中分别取得R图像信号、G图像信号、B图像信号。这里，光源装置3设置有RLED、GLED、BLED，也可以取而代之，设置有白色光源(灯或白色LED)和RGB的旋转滤镜，通过按照每个场将该RGB的滤镜依次插入光路而实现面顺序方式。另外，光源31也可以通过使RLED 31R、GLED 31G、BLED 31B同时发光、或从白色光源直接射出可见光而照射白色光。这样的照明方式被称为同时式等。

信号处理装置4具有预处理部41、存储部42、图像处理部43、静态图像选择部44、显示控制部45、驱动控制部46、控制部47以及操作部48。

预处理部41进行图像信号的模拟增益调节、模拟噪声的去除这样的各种模拟处理。并且，预处理部41还进行将模拟处理后的图像信号转换成作为数字信号的图像数据。另外，在以下的说明中，将通过摄像元件212的多次摄像而取得的不同颜色的图像数据的组称为图像组。图像组是用于生成一张彩色的内窥镜图像的多张图像数据的集合。在本实施方式的例子中，图像组由三张图像数据构成。即，这三张图像数据是仅具有红色(R)的信息的R图像数据、仅具有绿色(G)的信息的G图像数据以及仅具有蓝色(B)的信息的B图像数据。

并且，在内窥镜系统的情况下，优选内窥镜装置2与信号处理装置4之间被绝缘电路绝缘。该绝缘电路例如设置于预处理部41。绝缘电路例如包含光耦合器那样的通过无线对信号进行传送的电路。

存储部42暂时地存储预处理部41所取得的图像数据。存储部42具有只能够存储多个图像组的存储容量。

图像处理部43对存储于存储部42中的图像组所包含的各个图像数据实施图像处理。另外，图像处理部43在动态图像显示时对所输入的图像数据实施动态图像显示用的图像处理，在静态图像显示时对所输入的图像数据实施静态图像显示用的图像处理。该图像处理部43具有同时化电路、亮度/色差分离电路、灰度校正电路、颜色校正电路、放大缩小电路、强调电路等。同时化电路使按照面顺序方式取得的图像组所包含的三张图像数据同时化而生成同时化图像数据。同时化图像数据是各像素具有多个颜色成分的信息的图像数据。灰度校正电路对同时化图像数据进行灰度校正。颜色校正电路对同时化图像数据进行色调校正。放大缩小电路根据监视器5的显示尺寸对同时化图像数据的尺寸进行放大或缩小而生成显示用图像数据。强调电路进行对显示用图像数据的被摄体的轮廓进行强调或在例如被摄体是血管的情况下对血管的构造进行强调的处理。

静态图像选择部44使用存储于存储部42中的图像组所包含的图像数据而进行用于静态图像显示的图像选择。静态图像选择部44具有轮廓提取部441、轮廓膨胀处理部442、偏移量检测部443以及图像选择部444。

轮廓提取部441例如具有拉普拉斯滤波器或索贝尔滤波器那样的轮廓提取滤波器，提取存储于存储部42中的图像组所包含的各个图像数据的轮廓成分(规定值以上的高频成分)。另外，轮廓提取部441的轮廓提取处理也可以通过滤波器处理以外的、例如使用了FFT(傅里叶转换)的频率空间上的信号处理来进行。轮廓膨胀处理部442进行使轮廓提取部441所提取的轮廓成分膨胀的处理。轮廓膨胀处理例如通过加粗所提取的轮廓的线的处理或使用高斯滤波器那样的平滑化滤波器的模糊处理来进行。另外，轮廓提取和平滑化也可以通过一个滤波器来进行。

偏移量检测部443将从图像组所包含的图像数据中提取出的轮廓成分的偏移量检测为图像组所包含的图像数据之间的偏移量。图像选择部444根据偏移量检测部443所检测的偏移量来选择用于静态图像显示的图像组。即，图像选择部444选择通过动态图像显示用的摄像而取得的多个图像组中图像数据之间的偏移量的最小的图像组作为静态图像显示用的图像组。通过图像处理部43从存储部42取得图像选择部444所选择的图像组中所包含的图像数据。

显示控制部45根据由图像处理部43图像处理后的图像数据(显示用图像数据)，使监视器5显示彩色化的内窥镜图像。该显示控制部45例如将作为数字信号的显示用图像数据转换成模拟的影像信号。而且，显示控制部45根据控制部47的指示而向监视器5输入影像信号，使监视器5显示内窥镜图像。

驱动控制部46对摄像元件212的摄像动作进行控制。即，驱动控制部46对摄像元件212的曝光开始和曝光结束进行控制、或者对来自摄像元件212的图像信号的读出进行控制。

控制部47对包含信号处理装置4的动作在内的内窥镜系统1整体的动作进行控制。例如，控制部47使光源控制部34对光源31的控制与驱动控制部46对摄像元件212的摄像控制同步。并且，控制部47进行显示控制部45的控制。而且，控制部47根据经由操作部48的静态图像显示指示而使静态图像选择部44执行用于静态图像显示的处理。

操作部48包含用于供使用者进行内窥镜系统1的操作的操作部件。在本实施方式中，操作部48包含用于供使用者指示内窥镜图像的静态图像显示的操作部件。该操作部件可以是按钮或开关那样的操作部件，也可以是触摸面板那样的操作部件。

监视器5例如是液晶显示器那样的监视器，根据显示控制部45的控制对内窥镜图像等各种图像进行显示。

接下来，对本实施方式的内窥镜系统1的动作进行说明。图2是示出内窥镜系统1对内窥镜图像的显示处理的流程图。例如当内窥镜系统1的电源接通时，开始进行图2的处理。

在步骤S101中，控制部47判定内窥镜系统1的电源是否断开。在步骤S101中，在判定为内窥镜系统1的电源断开的情况下，结束图2的处理。

在步骤S101中，在判定为内窥镜系统1的电源未断开的情况下，处理进入步骤S102。在步骤S102中，控制部47使驱动控制部46对摄像元件212的摄像控制开始，并且以与摄像元件212的摄像同步的方式使光源装置3的照明开始。光源控制部34例如对光源31进行控制以使得从光源装置3射出按照预定的场周期而不同的颜色的光。另一方面，驱动控制部46对摄像元件212进行控制以使得按照预定的场周期重复进行摄像。这样，图像数据被存储于存储部42。

在步骤S103中，控制部47使图像处理部43进行用于内窥镜图像的动态图像显示的图像处理。此时，图像处理部43进行图像数据的同时化、灰度校正、颜色校正、放大/缩小、强调处理这样的基本的用于动态图像显示的处理。

在步骤S104中，控制部47使显示控制部45进行基于由图像处理部43处理后的图像数据的内窥镜图像的显示。即，显示控制部45将每三个场(一帧)所生成的显示用图像数据转换成影像信号，并将该影像信号输入给监视器5。根据该影像信号，监视器5对内窥镜图像进行显示。通过观察监视器5上所显示的内窥镜图像，使用者例如能够以动态图像观察被检体的体内。

在步骤S105中，控制部47判定使用者的操作部48的操作是否进行了动态图像显示中的内窥镜图像的静态图像显示的指示。在步骤S105中，在判定为未进行静态图像显示的指示的情况下，处理返回到步骤S101。在该情况下，继续进行内窥镜图像的动态图像显示。

当在步骤S105中判定为进行了静态图像显示的指示的情况下，处理进入步骤S106。在步骤S106中，控制部47使静态图像选择部44进行静态图像显示用的图像组的选择。以下，对图像组的选择处理进行说明。

图3是示出图像组的选择处理的流程图。图4是示出根据图3的处理而选择图像组的例子的图。在步骤S201中，静态图像选择部44的轮廓提取部441取得存储于存储部42中的多个图像组(R图像数据、G图像数据、B图像数据)。在图4中，作为图像组取得输入图像1、输入图像2、输入图像3这三个图像组。输入图像1是在图像数据之间产生较大的偏移的图像组。输入图像2是在图像数据之间产生中等程度的偏移的图像组。输入图像3是在图像数据之间产生了中等程度的偏移的图像组。

在图4中示出了取得三个图像组的例子，但可以像例如取得直到静态图像显示指示的时机的500毫秒前为止的图像组那样对取得几组图像组进行适当设定。

并且，例如在从光源装置3照射特殊光的情况下，在根据图像组生成的显示用图像数据中，G图像数据和B图像数据的影响起主导作用。因此，轮廓提取部441也可以构成为在预先了解到图像组内的特定颜色的影响较大的情况下，仅取得特定的两种颜色的图像数据。在以下的说明中，假设轮廓提取部441仅取得例如G图像数据和B图像数据而继续进行说明。

在步骤S202中，轮廓提取部441通过例如滤波器处理而对所取得的各个图像组中所包含的G图像数据、B图像数据的轮廓成分进行提取。如图4所示，在图像数据之间没有颜色偏移的情况下，通过轮廓提取处理而提取的图像数据之间也没有轮廓的偏移。另一方面，在图像数据之间存在颜色偏移的情况下，在图像数据之间产生标号D1或D2所示那样的轮廓的偏移。因此，能够根据轮廓的偏移量来检测图像数据之间的偏移量。

在步骤S203中，轮廓膨胀处理部442对轮廓提取部441所提取的G图像数据、B图像数据的轮廓成分进行轮廓膨胀处理。轮廓膨胀处理的强度能够根据图像数据之间的偏移的允许量而变更。即，如果使图像数据之间的偏移的允许量变大是可以的话，则可以使轮廓膨胀处理的强度变大，相反地，如果需要使图像数据之间的偏移的允许量变小，则也需要使轮廓膨胀处理的强度变小。

在步骤S204中，偏移量检测部443使轮廓膨胀处理部442轮廓膨胀处理后的R图像数据、G图像数据、B图像数据的轮廓成分标准化。偏移量检测部443例如按照能够取得的图像数据的各像素的数据的最大值对轮廓成分进行标准化。

在步骤S205中，偏移量检测部443计算同一图像组所包含的图像数据之间的偏移量。当设偏移量为F时，该偏移量F例如通过(式1)所示的图像数据的各像素的L2norm(差分平方和)进行计算。这里，(式1)的I1(x，y)是标准化后的R图像数据、G图像数据、B图像数据中的一个图像数据I1的位置(x，y)的像素值，I2(x，y)是标准化后的R图像数据、G图像数据、B图像数据中的另一个图像数据I2的位置(x，y)的像素值。x是水平位置。例如设x＝1为图像数据的左端的位置、设x＝N为图像数据的右端的位置。并且，y是垂直位置。例如设y＝1为图像数据的上端的位置，设y＝M为图像数据的下端的位置。

[数学式1]

通过对轮廓提取后的图像数据进行(式1)的运算，如图4所示，能够求出图像数据的颜色偏移量作为轮廓的偏移量。尤其是通过在求取差分之前进行轮廓膨胀处理，从而在图像数据之间的颜色偏移量较小的(中等程度的)情况下，在轮廓处生成重叠部分E2。而且，该重叠部分E2因轮廓膨胀处理而相抵消。因此，颜色偏移量为中等程度的情况下的(式1)的结果小于颜色偏移量较大的情况下的(式1)的结果。这样，颜色偏移量越大，(式1)的结果越大，能够适当地评价图像数据之间的颜色偏移量。

这里，(式1)的运算通常是在R图像数据与G图像数据之间、G图像数据与B图像数据之间、B图像数据与R图像数据之间进行的。但是，在仅提取特定的两种颜色的图像数据的轮廓成分的情况下，仅在该图像数据之间进行(式1)的运算。

在步骤S206中，图像选择部444根据图像组所包含的图像数据之间的偏移量来选择用于静态图像显示的图像组。在(式1)的运算的情况下，F的值越小，轮廓的偏移量越小。由此，图像选择部444选择图像数据之间的偏移量最小的图像组作为静态图像显示用的图像组。在图4的例子中，图像选择部444选择输入图像3作为用于静态图像显示的图像组。在选择这样的图像组之后，结束图3的处理。

这里，返回图2的说明。在步骤S107中，控制部47使用所选择的图像组而进行用于内窥镜图像的静态图像显示的图像处理。此时，图像处理部43进行图像数据的同时化、灰度校正、颜色校正、放大/缩小、强调处理这样的基本的用于静态图像显示的处理。

在步骤S108中，控制部47使显示控制部45进行基于由图像处理部43处理后的图像数据的内窥镜图像的显示。即，显示控制部45将通过用于静态图像显示的图像处理而生成的显示用图像数据转换成影像信号，并将该影像信号输入给监视器5。根据该影像信号，监视器5对内窥镜图像进行显示。通过观察监视器5所显示的内窥镜图像，使用者能够观察需要的时机的体内的静态图像。

在步骤S109中，控制部47判定使用者的操作部48的操作是否指示了静态图像显示的结束。在步骤S109中，在判定为未指示静态图像显示的结束的情况下，处理返回到步骤S108。在该情况下，继续进行内窥镜图像的静态图像显示。

在步骤S109中，在判定为指示了静态图像显示的结束的情况下，处理返回到步骤S101。在该情况下，如果内窥镜系统1的电源未断开，则再次开始进行动态图像显示。

像以上说明的那样，在本实施方式中，根据图像组所包含的图像数据的轮廓成分的偏移量，检测图像组所包含的图像数据之间的偏移量。由于从发白的图像数据那样的均匀的高亮度的图像数据中提取不出轮廓成分，因此能够降低选择了不适合静态图像显示的图像组的可能性。并且，通过利用像素值的L2norm计算偏移量F，不仅评价像素的亮度变化的方式，还评价像素的变化量的总和，能够提高对于噪声的耐性。

而且，通过在计算偏移量F时进行针对轮廓成分的模糊处理，能够进一步提高对于噪声的耐性。另外，模糊处理不是必须的处理，优选根据相对于偏移量的允许量而进行。

这里，在本实施方式中，示出了图像组包含按照面顺序方式取得的三张图像数据的例子。然而，图像组不限于由按照面顺序方式取得的图像数据构成。例如，图像组也可以由在同时式(隔行扫描方式)的各个场中所取得的图像数据构成。在隔行扫描方式中，由于按照每个场而曝光的像素行不同，因此在图像数据之间会产生偏移。能够通过本实施方式的方法检测该图像数据之间的偏移量。

并且，在本实施方式中，利用像素的值的L2norm计算偏移量F。偏移量F也可以是像素的值的L2norm之外的值。例如，偏移量F也可以是像素值的L1norm(差分绝对值和)。

并且，在本实施方式中，示出了根据偏移量F来选择一个图像组的例子。与此相对，图像选择部444也可以构成为选择偏移量F较小的多个图像组。

[变形例]

以下，对本实施方式的变形例进行说明。图5是示出变形例的静态图像选择部44的结构的图。变形例的静态图像选择部44具有噪声去除部445、轮廓提取部441、缩小处理部446、轮廓膨胀处理部442、偏移量检测部443以及图像选择部444。其中，轮廓提取部441、轮廓膨胀处理部442、偏移量检测部443、图像选择部444是与图1中说明的结构相同的结构。因此，省略说明。

噪声去除部445设置于轮廓提取部441的前级，将存储于存储部42中的图像组所包含的各个图像数据的噪声成分(认为比轮廓成分高频的噪声的成分)去除。通过在轮廓提取部441的轮廓提取处理之前去除噪声成分，能够在轮廓提取处理中高精度地提取轮廓成分。缩小处理部446例如设置于轮廓膨胀处理部的前级，对轮廓提取部441所提取的图像数据的轮廓成分进行缩小处理。缩小处理例如是通过进行间除处理或像素加算处理而进行的。通过进行缩小处理，能够减小轮廓膨胀处理部442中的轮廓膨胀处理所需的滤波器尺寸，而减轻轮廓膨胀处理的负荷。另外，缩小处理部446也可以设置于轮廓提取部441的前级。在该情况下，能够减小轮廓提取部441中的轮廓提取处理所需的滤波器尺寸，而进一步减轻轮廓提取处理的负荷。

图6是示出变形例的图像组的选择处理的流程图。另外，对于与图3共同的部分简单地进行说明。在步骤S301中，静态图像选择部44的噪声去除部445取得存储于存储部42中的多个图像组(R图像数据、G图像数据、B图像数据)。

在步骤S302中，噪声去除部445将所取得的各个图像组所包含的G图像数据、B图像数据的噪声去除。

在步骤S303中，轮廓提取部441通过例如滤波器处理而对被噪声去除部445去除噪声后的G图像数据、B图像数据的轮廓成分进行提取。

在步骤S304中，缩小处理部446对轮廓提取部441所提取的G图像数据、B图像数据的轮廓成分进行轮廓膨胀处理。

在步骤S305中，轮廓膨胀处理部442对被缩小处理部446缩小处理后的G图像数据、B图像数据的轮廓成分进行轮廓膨胀处理。

在步骤S306中，偏移量检测部443将被轮廓膨胀处理部442轮廓膨胀处理后的R图像数据、G图像数据、B图像数据的轮廓成分标准化。

在步骤S307中，偏移量检测部443对同一图像组所包含的图像数据之间的偏移量进行计算。

在步骤S308中，图像选择部444根据图像组所包含的图像数据之间的偏移量来选择用于静态图像显示的图像组。

根据以上说明的变形例，能够更高精度地检测图像数据之间的偏移量，进一步降低选择不适合静态图像显示的图像组的可能性。