图像处理装置、图像处理装置的工作方法、图像处理装置的工作程序和内窥镜装置与流程

本发明涉及对由摄像元件生成的摄像信号实施信号处理而生成图像信号的图像处理装置、图像处理装置的工作方法、图像处理装置的工作程序和具有该图像处理装置的内窥镜装置。

背景技术：

以往，在医疗领域和工业领域，为进行各种检查而广泛应用了内窥镜装置。其中，医疗用的内窥镜装置向患者等的被检体内插入在前端设置有具备多个像素的摄像元件且构成细长形状的挠性的插入部，由此不必切开被检体就能够取得被检体内的体内图像，因此对于被检体的负担较少，普及得以推进。

作为这种内窥镜装置的观察方式，在该技术领域已广泛知晓的有使用白色的照明光(白色照明光)的白色光观察(wli：whitelightimaging：白光成像)方式、使用由在蓝色和绿色的波段中分别包含的两个窄带光构成的照明光(窄带照明光)的窄带光观察(nbi：narrowbandimaging：窄带成像)方式。关于这样的内窥镜装置的观察方式，希望对白色照明光观察方式(wli模式)和窄带光观察方式(nbi模式)进行切换来观察。wli模式具备在绿色成分的信号(g信号)中描绘对于诊断而言重要的活体构造(血管、粘膜等)的特征。另一方面，在nbi模式下，具备在蓝色成分的信号(b信号)中描绘活体构造的特征。

为了利用上述观察方式生成彩色图像并显示，为了利用单板的摄像元件取得摄像图像，在该摄像元件的受光面上设置有滤色器，该滤色器一般以被称作拜耳排列的滤光器排列为单位而将多个滤光器排列为矩阵状。拜耳排列通过将使红色(r)、绿色(g)、绿色(g)和蓝色(b)的波段的光分别透过的四个滤光器排列为2行2列，并且将使绿色的波段的光透过的g滤光器配置在对角处而构成。这种情况下，各像素接收透过了滤光器后的波段的光，摄像元件生成与该波段的光对应的颜色成分的电信号。

作为减少彩色图像中包含的噪声的技术，已知如下的图像处理装置，其对时间上连续的图像间的运动矢量进行检测，根据检测出的运动矢量来减少图像的噪声(例如，参照专利文献1)。

此外，作为对使用设置有拜耳排列的滤色器的摄像元件而生成的图像间的运动矢量进行检测的技术，已知如下的运动矢量检测装置，其使用对通过拜耳排列生成的四个颜色信号进行相加平均而生成的亮度信号(y信号)来检测运动矢量(例如，参照专利文献2)。

在先技术文献

专利文献

专利文献1：日本特开2005-150903号公报

专利文献2：日本专利第4630174号公报

技术实现要素：

发明要解决的课题

在利用专利文献2公开的技术检测运动矢量的情况下，使用设置有生成g信号的g滤光器的像素的比例较多(占据全部像素的一半)的拜耳排列的摄像元件，因此在所生成的y信号中g信号处于支配地位。因此在g信号中描绘出活体构造的wli模式中可得到高精度的运动矢量。然而，特别在b信号中描绘出活体构造的nbi模式下，对在蓝色的波段中包含的窄带照明光具有感光度的像素的比例小(仅全部像素的4分之1)，因此运动矢量的检测精度有可能会降低。因此，希望提出一种无论在何种观察方式下都能够高精度地检测运动矢量的技术。

本发明就是鉴于上述情况而完成的，其目的在于提供无论在白色照明光观察方式和窄带光观察方式中的哪一种观察方式下都能够高精度地检测运动矢量的图像处理装置、图像处理装置的工作方法、图像处理装置的工作程序和内窥镜装置。

用于解决课题的手段

为了解决上述课题，达成目的，本发明的图像处理装置根据通过白色照明光观察方式和窄带照明光观察方式中的任意的观察方式的照明光而由多个像素生成的信号值来生成摄像图像，所述白色照明光观察方式利用包含红色、绿色和蓝色的波段的光的白色照明光，所述窄带照明光观察方式利用包含在红色、绿色和蓝色的波段中的任意的波段中包含的两个窄带光的窄带照明光，该图像处理装置的特征在于，具有：运动检测图像生成部，其为了生成用于检测不同时间的摄像图像间的运动的运动检测图像，在使用所述白色照明光观察方式的照明光时，使具有使所述白色照明光观察方式下的摄像图像的亮度成分的光透过的滤光器的像素的像素值的权重大于等于具有其他种类的滤光器的像素的像素值的权重，在使用所述窄带观察方式时，使具有使所述窄带观察方式下的摄像图像的亮度成分的光透过的滤光器的像素的像素值的权重大于等于具有其他种类的滤光器的像素的像素值的权重，对在具有不同色的滤光器的多个像素的组中包含的像素的像素值进行相加平均处理，根据通过该相加平均处理而得到的运动检测图像生成用的信号值生成所述运动检测图像；以及运动检测处理部，其根据由所述运动检测图像生成部生成的所述运动检测图像，检测根据所述不同时间的摄像图像而生成的两个所述运动检测图像间的运动。

为了解决上述课题，达成目的，本发明的图像处理装置的工作方法中，该图像处理装置根据通过白色照明光观察方式和窄带照明光观察方式中的任意的观察方式的照明光而由多个像素生成的信号值来生成摄像图像，所述白色照明光观察方式利用包含红色、绿色和蓝色的波段的光的白色照明光，所述窄带照明光观察方式利用包含在红色、绿色和蓝色的波段中的任意的波段中包含的二个窄带光的窄带照明光，该图像处理装置的工作方法的特征在于，包括：运动检测图像生成步骤，运动检测图像生成部为了生成用于检测不同时间的摄像图像间的运动的运动检测图像，在使用所述白色照明光观察方式的照明光时，使具有使所述白色照明光观察方式下的摄像图像的亮度成分的光透过的滤光器的像素的像素值的权重大于等于具有其他种类的滤光器的像素的像素值的权重，在使用所述窄带观察方式时，使具有使所述窄带观察方式下的摄像图像的亮度成分的光透过的滤光器的像素的像素值的权重大于等于具有其他种类的滤光器的像素的像素值的权重，对在具有不同色的滤光器的多个像素的组中包含的像素的像素值进行相加平均处理，根据通过该相加平均处理而得到的运动检测图像生成用的信号值生成所述运动检测图像；以及运动检测处理步骤，运动检测处理部根据由所述运动检测图像生成部生成的所述运动检测图像，检测根据所述不同时间的摄像图像而生成的两个所述运动检测图像间的运动。

为了解决上述课题，达成目的，本发明的图像处理装置的工作程序中，该图像处理装置根据通过白色照明光观察方式和窄带照明光观察方式中的任意的观察方式的照明光而由多个像素生成的信号值来生成摄像图像，所述白色照明光观察方式利用包含红色、绿色和蓝色的波段的光的白色照明光，所述窄带照明光观察方式利用包含在红色、绿色和蓝色的波段中的任意的波段中包含的二个窄带光的窄带照明光，该图像处理装置的工作程序的特征在于，使所述图像处理装置执行以下步骤：运动检测图像生成步骤，运动检测图像生成部为了生成用于检测不同时间的摄像图像间的运动的运动检测图像，在使用所述白色照明光观察方式的照明光时，使具有使所述白色照明光观察方式下的摄像图像的亮度成分的光透过的滤光器的像素的像素值的权重大于等于具有其他种类的滤光器的像素的像素值的权重，在使用所述窄带观察方式时，使具有使所述窄带观察方式下的摄像图像的亮度成分的光透过的滤光器的像素的像素值的权重大于等于具有其他种类的滤光器的像素的像素值的权重，对在具有不同色的滤光器的多个像素的组中包含的像素的像素值进行相加平均处理，根据通过该相加平均处理而得到的运动检测图像生成用的信号值生成所述运动检测图像；以及运动检测处理步骤，运动检测处理部根据由所述运动检测图像生成部生成的所述运动检测图像，检测根据所述不同时间的摄像图像而生成的两个所述运动检测图像间的运动。

为了解决上述课题，达成目的，本发明的内窥镜装置用于进行白色照明光观察和窄带照明光观察，该内窥镜装置的特征在于，具有：光源部，其射出白色照明光和窄带照明光中的任意方，所述白色照明光包含红色、绿色和蓝色的波段的光，所述窄带照明光由在所述白色照明光观察和所述窄带照明光观察中的各亮度成分的波段中的任意波段中包含的两个窄带光构成；摄像元件，其具有被配置为矩阵状的多个像素，对由各像素接收的光进行光电转换而生成电信号；滤色器，其通过排列多个滤光器单元而构成，并且配置于所述摄像元件的受光面上，该滤光器单元使用第1滤光器、第2滤光器和第3滤光器构成，所述第1滤光器使所述白色照明光观察的亮度成分和所述窄带照明光观察的亮度成分的波段的光透过，所述第2滤光器使所述白色照明光观察的亮度成分的波段的光透过，所述第3滤光器使所述窄带照明光观察的亮度成分的波段的光透过；以及上述发明的图像处理装置。

发明的效果

根据本发明，可获得在白色照明光观察方式和窄带光观察方式中的任意一种观察方式下都能够高精度地检测运动矢量的效果。

附图说明

图1是表示本发明的实施方式的内窥镜装置的概略结构的图。

图2是表示本发明的实施方式的内窥镜装置的概略结构的示意图。

图3是表示本发明的实施方式的像素的结构的示意图。

图4是表示本发明的实施方式的滤色器的结构的一例的示意图。

图5是表示本发明的实施方式的滤色器的各滤光器的特性的一例的图，是表示光的波长与各滤光器的透射率的关系的图。

图6是表示本发明的实施方式的内窥镜装置的照明部射出的照明光的波长与光量的关系的曲线图。

图7是表示基于本发明的实施方式的内窥镜装置的照明部具有的切换滤光器的照明光的波长与透射率的关系的曲线图。

图8是说明本发明的实施方式的内窥镜装置的运动检测图像生成处理部进行的运动检测图像生成处理的图。

图9是说明本发明的实施方式的内窥镜装置的运动检测图像生成处理部进行的运动检测图像生成处理的图。

图10是说明本发明的实施方式的内窥镜装置的运动检测图像生成处理部进行的运动检测图像生成处理的图。

图11是说明本发明的实施方式的内窥镜装置的运动检测图像生成处理部进行的运动检测图像生成处理的图。

图12a是说明本发明的实施方式的内窥镜装置的运动检测图像生成处理部进行的运动检测图像生成处理的图。

图12b是说明本发明的实施方式的内窥镜装置的运动检测图像生成处理部进行的运动检测图像生成处理的图。

图13是说明本发明的实施方式的内窥镜装置的运动检测图像生成处理部进行的运动检测图像生成处理的图。

图14是说明本发明的实施方式的内窥镜装置的运动检测图像生成处理部进行的运动检测图像生成处理的图。

图15是说明本发明的实施方式的内窥镜装置的运动检测图像生成处理部进行的运动检测图像生成处理的图。

图16是说明本发明的实施方式的内窥镜装置的运动检测图像生成处理部进行的运动检测图像生成处理的图。

图17是示意性说明本发明的实施方式的内窥镜装置的运动检测处理部进行的摄像时机不同的图像间的运动的图。

图18是表示本发明的实施方式的内窥镜装置的处理器部进行的信号处理的流程图。

图19是说明本发明的实施方式的变形例4的内窥镜装置的运动检测图像生成处理部进行的运动检测图像生成处理的图。

图20是说明本发明的实施方式的变形例4的内窥镜装置的运动检测图像生成处理部进行的运动检测图像生成处理的图。

图21是说明本发明的实施方式的变形例4的内窥镜装置的运动检测图像生成处理部进行的运动检测图像生成处理的图。

图22是说明本发明的实施方式的变形例4的内窥镜装置的运动检测图像生成处理部进行的运动检测图像生成处理的图。

图23是表示本发明的实施方式的变形例5的滤色器的结构的示意图。

具体实施方式

以下，对用于实施本发明的方式(以下，称作“实施方式”)进行说明。在实施方式中，作为包含图像处理装置的装置的一例，说明对患者等的被检体内的图像进行摄像并显示的医疗用的内窥镜装置。此外，本发明不被该实施方式所限定。进而，在附图的记述中，对于相同部分赋予同一标号进行说明。

(实施方式)

图1是表示本发明的一个实施方式的内窥镜装置1的概略结构的图。图2是表示本发明的一个实施方式的内窥镜装置1的概略结构的示意图。图1和图2所示的内窥镜装置1具有：内窥镜2，其将插入部21插入被检体内，由此对观察部位的体内图像进行摄像而生成电信号；光源部3，其产生从内窥镜2的前端射出的照明光；处理器部4，其对由内窥镜2取得的电信号实施规定的图像处理，并且统一控制内窥镜装置1整体的动作；以及显示部5，其显示由处理器部4实施了图像处理后的体内图像。内窥镜装置1将插入部21插入患者等的被检体内而取得被检体内的体内图像。医师等手术人员进行所取得的体内图像的观察，由此检查有无作为检测对象部位的出血部位或肿瘤部位。

内窥镜2具有：插入部21，其具有挠性且构成细长形状；操作部22，其与插入部21的基端侧连接，受理各种操作信号的输入；以及通用线缆23，其从操作部22向在与插入部21所延伸的方向不同的方向上延伸，内置有与光源部3和处理器部4连接的各种缆线。

插入部21具有：前端部24，其内置有摄像元件202，该摄像元件202中呈格子(矩阵)状地排列有接收光的像素(光电二极管)，对由该像素接收的光进行光电转换而生成图像信号；弯曲自如的弯曲部25，其由多个弯曲块构成；以及长条状的挠性管部26，其与弯曲部25的基端侧连接，并且具有挠性。

操作部22具有：弯曲旋钮221，其使弯曲部25在上下方向和左右方向上弯曲；处置器具插入部222，其将活体钳子、电手术刀和检查探针等处置器具插入到被检体内；以及多个开关223，它们输入用于使光源部3进行照明光的切换动作的指示信号、处置器具或与处理器部4连接的外部设备的操作指示信号、用于进行送水的送水指示信号和用于进行吸引的吸引指示信号等。从处置器具插入部222插入的处置器具经由被设置在前端部24的前端的处置器具通道(未图示)而从开口部(未图示)露出来。

通用线缆23至少内置有光导203和汇聚了一条或多条信号线的集合缆线。集合缆线包括：在内窥镜2、光源部3与处理器部4之间收发信号，用于收发设定数据的信号线；用于收发图像信号的信号线；以及用于收发用于驱动摄像元件202的驱动用的定时信号的信号线等。

此外，内窥镜2具有摄像光学系统201、摄像元件202、光导203、照明用镜头204、a/d转换部205和摄像信息存储部206。

摄像光学系统201被设置于前端部24，至少对来自观察部位的光进行聚光。摄像光学系统201使用一个或多个镜头而构成。另外，摄像光学系统201中还可以设置有使视场角发生变化的光学变焦机构和使焦点发生变化的对焦机构。

摄像元件202被设置为相对于摄像光学系统201的光轴垂直，对由摄像光学系统201所形成的光的像进行光电转换而生成电信号(图像信号)。摄像元件202使用ccd(chargecoupleddevice：电荷耦合器件)图形传感器或cmos(complementarymetaloxidesemiconductor：互补金属氧化物半导体)图形传感器等而实现。

图3是表示摄像元件202的像素的结构的示意图。在摄像元件202中，接收来自摄像光学系统201的光的多个像素排列为格子(矩阵)状。并且，摄像元件202对由各个像素所接收的光进行光电转换而生成电信号(也称作图像信号等)。该电信号中包含各像素的像素值(亮度值)或像素的位置信息等。在图3中，将配置于第i行第j列上的像素记作像素pij(i、j是包含0的自然数)。

摄像元件202被设置在摄像光学系统201与该摄像元件202之间，并且具有滤色器202a，该滤色器202a具有多个滤光器，该多个滤光器分别使被个别地设定的波段的光透射过。滤色器202a被设置在摄像元件202的受光面上。

图4是表示滤色器202a的结构的一例的示意图。滤色器202a将由排列为2行2列的矩阵状的4个滤光器构成的滤光器单元u1根据像素pij的配置而排列配置为矩阵状。换言之，滤色器202a以滤光器单元u1的滤光器排列作为基本图案，利用该基本图案进行反复配置而得到。在各像素的受光面上分别配置有使规定的波段的光透过的一个滤光器。因此，设置有滤光器的像素pij接收透过该滤光器的波段的光。例如，设置有使绿色的波段的光透过的滤光器的像素pij接收绿色的波段的光。以下，将接收绿色的波段的光的像素pij称作g像素。同样地，将接收蓝色的波段的光的像素称作b像素，将接收红色的波段的光的像素称作r像素。

这里的滤光器单元u1使蓝色(b)的波段hb、绿色(g)的波段hg和红色(r)的波段hr的光透过。此外，滤光器单元u1使用使波段hb的光透过的蓝色滤光器(b滤光器)、使波段hg的光透过的绿色滤光器(g滤光器)、使波段hr的光透过的红色滤光器(r滤光器)构成，构成两个g滤光器被配置于对角处，并且b滤光器和r滤光器被配置于对角处的所谓的拜耳排列。滤光器单元u1中的g滤光器的密度高于b滤光器和r滤光器的密度。换言之，摄像元件202中的g像素的密度高于b像素和r像素的密度。关于蓝色、绿色和红色的波段hb、hg和hr，例如，波段hb是380nm～500nm，波段hg是480nm～600nm，波段hr是580nm～650nm。

图5是表示本实施方式的滤色器的各滤光器的特性的一例的图，是表示光的波长与各滤光器的透射率的关系的图。在图5中，以使得各滤光器的透射率的最大值相等的方式对透射率曲线进行归一化。图5所示的曲线lb(实线)表示b滤光器的透射率曲线，曲线lg(虚线)表示g滤光器的透射率曲线，曲线lr(单点划线)表示r滤光器的透射率曲线。如图5所示，b滤光器使波段hb的光透过。g滤光器使波段hg的光透过。r滤光器使波段hr的光透过。

返回图1和图2的说明，光导203使用玻璃纤维等构成，构成光源部3所射出的光的光导。

照明用镜头204被设置在光导203的前端，将由光导203导光的光扩散并射出到前端部24的外部。

a/d转换部205对由摄像元件202生成的电信号进行a/d转换，将该转换后的电信号输出给处理器部4。a/d转换部205将由摄像元件202生成的电信号例如转换为12位的数字数据(图像信号)。

摄像信息存储部206存储用于使内窥镜2进行动作的各种程序、包含内窥镜2的动作所需要的各种参数和该内窥镜2的识别信息等的数据。此外，摄像信息存储部206具有存储识别信息的识别信息存储部261。识别信息中包含内窥镜2的固有信息(id)、款式、规格信息、传送方式和滤色器202a的滤光器的排列信息等。摄像信息存储部206使用闪存等实现。

接着，对光源部3的结构进行说明。光源部3具有照明部31和照明控制部32。

照明部31在照明控制部32的控制下，将波段互不相同的多个照明光切换射出。照明部31具有光源31a、光源驱动器31b、切换滤光器31c、驱动部31d、驱动器31e和聚光镜头31f。

光源31a在照明控制部32的控制下，射出包含红色、绿色和蓝色的波段hr、hg和hb的光的白色照明光。光源31a所产生的白色照明光经由切换滤光器31c、聚光镜头31f和光导203而从前端部24被出射到外部。光源31a使用白色led、氙灯等发出白色光的光源来实现。

光源驱动器31b在照明控制部32的控制下，对光源31a供给电流，由此使光源31a射出白色照明光。

切换滤光器31c使由光源31a射出的白色照明光中的蓝色的窄带光和绿色的窄带光透过。切换滤光器31c在照明控制部32的控制下，以插卸自如的方式被配置在由光源31a射出的白色照明光的光路上。切换滤光器31c被配置在白色照明光的光路上，由此仅使两个窄带光透过。具体而言，切换滤光器31c使由波段hb中包含的窄带tb(例如，400nm～445nm)的光和波段hg中包含的窄带tg(例如，530nm～550nm)的光构成的窄带照明光透过。该窄带tb、tg是易被血液中的血红蛋白吸收的蓝色光和绿色光的波段。另外，窄带tb只要至少含有405nm～425nm即可。将被限制在该波段而被射出的光称作窄带照明光，将基于该窄带照明光而进行的图像的观察称作窄带光观察(nbi)方式。

驱动部31d使用步进马达或dc马达等构成，使切换滤光器31c在光源31a的光路上进行插卸动作。

驱动器31e在照明控制部32的控制下，对驱动部31d供给规定的电流。

聚光镜头31f对由光源31a射出的白色照明光或透射过切换滤光器31c的窄带照明光进行聚光，并将其射出到光源部3的外部(光导203)。

照明控制部32控制光源驱动器31b而使光源31a进行接通断开动作，并且对控制驱动器31e进行控制而使切换滤光器31c从光源31a的光路进行插卸动作，由此对由照明部31射出的照明光的种类(波段)进行控制。

具体而言，照明控制部32使切换滤光器31c从光源31a的光路进行插卸动作，由此进行将由照明部31射出的照明光切换为白色照明光和窄带照明光中的任意一方的控制。换言之，照明控制部32进行切换为使用包含波段hb、hg和hr的光的白色照明光的白色照明光观察(wli)方式、和使用由窄带tb、tg的光构成的窄带照明光的窄带光观察(nbi)方式中的任意一种观察方式的控制。

这里，在白色照明光观察(wli)方式下，绿色成分(波段hg)成为亮度成分(第1亮度成分)，而在窄带光观察(nbi)方式下，蓝色成分(窄带tb)成为亮度成分(第2亮度成分)。另外，本发明中的亮度成分例如是指成为后述的xyz表色系的亮度信号的主成分的颜色成分。例如，在白色照明光观察时，人类眼睛的发光效率函数(比視感度)最高，活体的血管和腺管构造被明确描绘出来的绿色成分成为亮度成分。另一方面，在窄带照明光观察时，根据被摄体而选择的亮度成分不同，既有与白色照明光观察同样选择绿色成分的情况，也有与白色照明光观察时相比亮度成分不同的情况。具体而言，作为在窄带照明光观察时蓝色成分或红色成分成为亮度成分的代表例而存在上述的nbi方式，这种情况下，活体表层的血管和腺管构造被明确描绘出来的蓝色成分成为亮度成分。在本实施方式中，在白色照明光观察时使绿色成分作为亮度成分，而在窄带照明光观察时使蓝色成分作为亮度成分。

图6是表示本实施方式的内窥镜装置1的照明部31所射出的照明光的波长与光量的关系的曲线图。图7是表示基于本实施方式的内窥镜装置1的照明部具有的切换滤光器31c的照明光的波长与透射率的关系的曲线图。在通过照明控制部32的控制而使切换滤光器31c从光源31a的光路离开时，照明部31射出包含波段hb、hg和hr的光的白色照明光(参照图6)。与此相对，在通过照明控制部32的控制而将切换滤光器31c插入到光源31a的光路上时，照明部31射出由窄带tb、tg的光构成的窄带照明光(参照图7)。

接着，对处理器部4的结构进行说明。处理器部4具有图像处理部41、输入部42、存储部43和控制部44。

图像处理部41根据来自内窥镜2(a/d转换部205)的摄像信号执行规定的图像处理，生成用于供显示部5显示的显示图像信号。图像处理部41具有运动检测图像生成处理部411、运动检测处理部412、降噪处理部413、帧存储器414、去马赛克处理部415和显示图像生成处理部416。

运动检测图像生成处理部411对于由a/d转换部205输出的同时化前图像(当前图像)和被保持于帧存储器414中的以往图像实施后述的转换处理，由此生成运动检测图像。这里所谓的以往图像是在最新帧的图像(当前图像)的紧前面取得且被实施了降噪处理后的图像(例如前1帧的图像)。运动检测图像生成处理部411从控制部44取得与观察方式有关的观察模式信息，实施与观察方式对应的转换处理。此外，本实施方式的转换处理指的是如下的处理，在使用白色照明光观察方式的照明光时，使具有使白色照明光观察方式下的摄像图像(当前图像或以往图像)的亮度成分的光透过的滤光器的像素的像素值的权重大于等于具有其他种类的滤光器的像素的像素值的权重，在使用窄带观察方式时，使具有使窄带观察方式下的摄像图像的亮度成分的光透过的滤光器的像素的像素值的权重大于等于具有其他种类的滤光器的像素的像素值的权重，并对在具有不同的滤色器的多个像素的组中包含的像素的像素值进行相加平均处理。

运动检测处理部412使用由运动检测图像生成处理部411生成的运动检测图像，检测图像的运动作为运动矢量。换言之，运动检测处理部412检测摄像时机不同的(时序的)运动检测图像间的图像的运动作为运动矢量。

降噪处理部413根据运动检测处理部412的检测结果，通过使用当前图像和以往图像的图像间的加权平均处理，减少当前图像(摄像信号)中的噪声成分。以往图像是通过输出在帧存储器414中存储的以往图像而取得的。此外，降噪处理部413将实施了降噪处理后的当前图像输出给帧存储器414。

帧存储器414存储构成一个图像(同时化前图像)的1个帧的图像信息。具体而言，帧存储器414存储被降噪处理部413实施了降噪处理后的同时化前图像的信息。在由降噪处理部413新生成了同时化前图像时，在帧存储器414中更新为该新生成的同时化前图像的信息。另外，还可以存储多帧的同时化前图像。帧存储器414既可以使用vram(videorandomaccessmemory：视频随机存取存储器)等半导体存储器，也可以使用存储部43的一部分存储区域。

去马赛克处理部415例如根据被降噪处理部413实施了降噪处理后的摄像信号，根据多个像素的颜色信息(像素值)的相关来判别插值方向，根据在判别出的插值方向上排列的像素的颜色信息进行插值，由此生成彩色图像信号。

显示图像生成处理部416对由去马赛克处理部415生成的彩色图像信号，在作为显示部5的色域的例如srgb(xyz表色系)的颜色空间进行颜色转换处理，实施基于规定的灰度转换特性的灰度转换、放大处理或粘膜表层的毛细血管和粘膜微细图案等的构造的构造强调处理等。显示图像生成处理部416在实施规定的处理后，将该处理后的信号作为显示用的表示图像信号输出给显示部5。

图像处理部41除了进行上述的去马赛克处理之外，还进行ob钳位处理或增益调整处理等。在ob钳位处理中，对从内窥镜2(a/d转换部205)输入的电信号实施校正黑电平的偏差量的处理。在增益调整处理中，对实施了去马赛克处理后的图像信号实施亮度级别的调整处理。

输入部42是用于进行用户对处理器部4的输入等的接口，构成为包含用于进行电源的接通/断开的电源开关、用于切换摄影模式和其他各种模式的模式切换按钮、用于切换光源部3的照明光(观察方式)的照明光切换按钮等。

存储部43记录有用于使内窥镜装置1进行动作的各种程序和包含内窥镜装置1的动作所需的各种参数等的数据。存储部43还可以存储内窥镜2的信息，例如内窥镜2的固有信息(id)与滤色器202a的滤光器配置的信息的关系表等。存储部43使用闪存或dram(dynamicrandomaccessmemory：动态随机存取存储器)等半导体存储器来实现。

控制部44使用cpu等构成，进行包含内窥镜2和光源部3的各构成部的驱动控制和对于各构成部的信息的输入输出控制等。控制部44将被记录于存储部43中的用于摄像控制的设定数据(例如，读出对象的像素等)或摄像时机的时机信号等通过规定的信号线而发送给内窥镜2。控制部44将通过摄像信息存储部206取得的滤色器信息(识别信息)或与当前应用的观察方式对应的控制模式(观察模式)所相关的观察模式信息等输出给图像处理部41，并且根据滤色器信息将切换滤光器31c的配置的信息输出给光源部3。

接着，对显示部5进行说明。显示部5通过影像缆线接收由处理器部4生成的显示图像信号并显示与该显示图像信号对应的体内图像。显示部5使用液晶或有机el(electroluminescence：电致发光)构成。

接着，根据附图对内窥镜装置1的处理器部4的各部进行的信号处理进行说明。图8～图16是说明本发明的实施方式的内窥镜装置1的运动检测图像生成处理部411进行的运动检测图像生成处理的图。

(wli模式的运动检测图像生成处理)

运动检测图像生成处理部411将关注像素(像素pij)的坐标设为(x，y)，进行将在当前图像中以四个像素作为一个组的相加平均对象区域(例如图8所示的相加平均对象区域q1、q2、q3)的四个像素值的相加平均处理，由此生成运动检测用图像的信号值y(x，y)(参照图9)。例如，与像素g00的信号值g(0，0)对应的运动检测用图像生成用的信号值y(0，0)利用相加平均对象区域q1而生成，与像素b01的信号值b(0，1)对应的运动检测用图像生成用的信号值y(0，1)利用相加平均对象区域q2而生成，与像素r10的信号值r(1、0)对应的运动检测用图像生成用的信号值y(1，0)利用相加平均对象区域q3而生成。在不存在相邻像素的情况下，相加平均对象区域使用位于折返位置上的像素。具体而言，运动检测图像生成处理部411通过下式(1)、(2)来计算运动检测用图像的信号y00、y01(其他坐标也相同)。

【数1】

此时所生成的各信号值y(x，y)的相位(图8的纸面上的重心位置)分别从对应的像素(例如，信号值y(0，0)的情况下为像素g00)的中心位置起在水平方向和垂直方向上偏离1/2像素，而各相位被均匀配置。例如，与信号值g(0，0)对应的信号值y(x，y)的相位是s11，与信号值b(0，1)对应的信号值y(0，1)的相位是s12，与信号值r(1，0)对应的信号值y(1，0)的相位是s13(参照图10)。此外，构成信号值y(k，l)的rgb信号的比例为r：g：b＝1：2：1，g信号的比率高(g信号的权重大)。

这样，在wli模式下，活体构造具有在g信号中被描绘(wli方式的亮度成分的信号)的特征，因此提高g成分的信号值的比率以使得相位变得均匀，并生成信号值y。

〔nbi模式的运动检测图像生成处理〕

在nbi模式下，活体构造具有在b信号中被描绘(nbi方式的亮度成分的信号)的特征，因此若使用上述的wli模式的方法，则在y信号中所占的b信号的比率会降低而使得运动检测处理的精度降低。此外，在本实施方式中，窄带光中不存在r成分而信号值r(1，0)为零，因此如图11所示，信号值y(0，0)的相位为s31，信号值y(0，1)的相位为s32，信号值y(1，0)的相位为s33，整体上相位(图11的●)变得不均匀(相位偏差)。进而，在被摄体运动等的情况下，由于相位偏差的影响而在图像之间边缘形状发生变形，因此造成运动检测处理的精度降低。具体而言，在构成信号值y(x，y)的信号值g(x，y)和信号值b(x，y)中，信号值b(x，y)的相位变得不均匀，因此运动检测处理的精度降低。图12a和图12b是说明本实施方式的内窥镜装置的运动检测图像生成处理部进行的运动检测图像生成处理的图。图12a示出信号值y(1，0)中的g信号的相位sg1和信号值y(1，0)中的b信号的相位sb1。此外，图12b示出信号值y(2，0)中的g信号的相位sg2和信号值y(2，0)中的b信号的相位sb2。如图12a和图12b所示，在信号值y(1，0)和信号值y(2，0)中，g信号的相位sg1、sg2发生变化，而b信号的相位sb1、sb2不发生变化。

这样，若将wli模式的运动检测用图像生成处理应用于nbi模式，则会存在以下的课题。

1.描绘活体表层的活体构造的b信号的比率小。

2.运动检测用图像的相位变得不均匀。

为了解决上述课题1、2，运动检测图像生成处理部411在nbi模式下使用下式(3)生成信号值y(x，y)。另外，由于信号值r(x，y)为零因而不使用。此外，与信号值btmp(x，y)相乘的系数(式(3)中为2)是用于增大作为亮度成分的b成分的权重的加权值。

【数2】

具体而言，在生成与像素b21的信号值b(0，1)对应的运动检测用图像生成用的信号值y(0，1)的情况下，运动检测图像生成处理部411根据图13所示的相加平均对象区域q11的五个像素的信号值，通过下式(4)、(5)分别生成信号值btmp(0，1)和gtmp(0，1)，然后通过式(3)生成信号值y(0，1)。信号值y(0，1)的相位成为图13所示的s21。

【数3】

此外，在生成与像素b21的信号值b(2，1)对应的运动检测用图像生成用的信号值y(2，1)的情况下，运动检测图像生成处理部411根据图14所示的相加平均对象区域q12的五个像素的信号值，通过下式(6)、(7)分别生成信号值btmp(2，1)和gtmp(2，1)，然后通过式(3)生成信号值y(2，1)。信号值y(2，1)的相位成为图14所示的s22。

【数4】

此外，在生成与像素b03的信号值b(0，3)对应的运动检测用图像生成用的信号值y(0，3)的情况下，运动检测图像生成处理部411根据图15所示的相加平均对象区域q13的五个像素的信号值，通过下式(8)、(9)分别生成信号值btmp(0，3)和gtmp(0，3)，然后通过式(3)生成信号值y(0，2)。信号值y(0，3)的相位成为图15所示的s23。

【数5】

此外，在生成与像素b23的信号值b(2，3)对应的运动检测用图像生成用的信号值y(2，3)的情况下，运动检测图像生成处理部411根据图16所示的相加平均对象区域q14的五个像素的信号值，通过下式(10)、(11)分别生成信号值btmp(2，3)和gtmp(2，3)，然后通过式(3)生成信号值y(2，3)。信号值y(2，3)的相位成为图16所示的s24。

【数6】

在nbi模式下，活体构造具有在b信号中被描绘(nbi方式的亮度成分的信号)的特征，因此通过使用生成信号值y的像素及其附近的多个b像素和g像素，从而能够生成相位均匀的运动检测图像。具体而言，通过使用以生成信号值y的像素位置为基准、从在水平方向和垂直方向上接近的像素起包含三个b像素和两个g像素的相加平均对象区域的信号值，由此能够生成相位均匀的运动检测图像。另外，在上述示例中，说明了计算b像素位置处的信号值y，优选对g像素位置也同样进行处理。这样，根据以使得b信号的比率变大的方式设定的相加平均对象区域的信号值来生成信号值y(x，y)，并且使信号值y(x，y)的相位变得均匀，由此使得运动检测处理的精度提高。此外，还可以在wli模式下使用生成信号值y的像素及其附近的多个g像素，而在nbi模式下使用生成信号值y的像素及其附近的多个b像素，由此生成相位均匀的运动检测图像。

接着，对运动检测处理部412和降噪处理部413进行的处理进行说明。图17是示意性说明本发明的实施方式的内窥镜装置1的运动检测处理部412进行的摄像时机不同的图像间的运动的图。如图17所示，运动检测处理部412使用基于以往图像的第1运动检测图像f1和基于处理对象的当前图像的第2运动检测图像f2，通过将块b1作为模板的公知的块匹配法，检测第1运动检测用图像f1与第2运动检测用图像f2之间的图像的运动量y1作为运动矢量。另外，第1运动检测用图像f1和第2运动检测用图像f2是基于时序连续的两个帧的摄像信号的图像。

运动检测处理部412使用块匹配法，从由运动检测图像生成部411生成的运动检测图像按照每个像素(信号值y)来检测运动矢量。以下，将像素m1的坐标记作(x，y)，将坐标(x，y)处的运动矢量的x成分记作vx(x，y)，将y成分记作vy(x，y)。此外，若设第1运动检测用图像f1中的像素m1’的坐标为(x’、y’)，则x’和y’可通过下式(12)、(13)被分别定义。块匹配处理部412b将检测出的运动矢量(包含像素m1、m1’的位置)信息输出给降噪处理部413。

【数7】

x'＝x+vx(x，y)…(12)

y'＝y+vy(x，y)…(13)

降噪处理部413通过当前图像与以往图像的图像间的加权平均处理，减少当前图像的噪声。以下，将关注像素、例如像素m1(坐标(x，y))的降噪处理后的信号记作inr(x，y)。降噪处理部413参照运动矢量信息，判断与关注像素对应的参照像素是否为同色像素，在同色的情况下和不同色的情况下执行不同的处理。降噪处理部413例如参照在帧存储器414中存储的以往图像的信息，取得作为与像素m1对应的参照像素的像素m1’(坐标(x’、y’))的信息(信号值或透射光的颜色信息)，判断像素m1’与像素m1是否为同色像素。

1).关注像素与参照像素为同色的情况

在关注像素与参照像素为同色(接收相同的颜色成分的光的像素)的情况下，降噪处理部413使用下式(14)来进行使用同时化前图像和巡回像素的各1像素的加权平均处理，从而生成信号inr(x，y)。

【数8】

inr(x，y)＝coef×i(x，y)+(1-coef)×i′(x′，y′)…(14)

其中，i(x，y)：当前图像的关注像素的信号值

i’(x’、y’)：以往图像的参照像素的信号值

系数coef是满足0＜coef＜1的任意的实数。系数coef既可以被预先设定为规定值，也可以由用户通过输入部42而设定为任意的值。

2).关注像素与参照像素为不同色的情况

在关注像素与参照像素为不同色(接收不同的颜色成分的光的像素)的情况下，降噪处理部413根据周边同色像素对以往图像的参照像素的信号值进行插值。降噪处理部413例如使用下式(15)生成降噪处理后的信号inr(x，y)。

【数9】

其中，

i(x，y)与i(x’+i，y’+j)是同色像素的信号值的情况下，w(x’+i，y’+j)为1，

i(x，y)与i(x’+i，y’+j)是不同色像素的信号值的情况下，w(x’+i，y’+j)为0。

在式(15)中，w(x’+i，y’+j)是用于提取同色像素的函数，在周边像素(x’+i，y’+j)与关注像素(x，y)同色的情况下为1，在周边像素(x’+i，y’+j)与关注像素(x，y)为不同色的情况下为0。此外，k是设定所参照的周边区域的大小的参数。在g像素的情况下参数k为1(k＝1)，而在b像素或r像素的情况下参数k为2(k＝2)。另外，还可以在g像素的情况下k＝2，而在b像素或r像素的情况下k＝4。

此后，去马赛克处理部415根据被降噪处理部413实施了降噪处理后的信号(信号inr(x，y))来进行插值处理，由此生成彩色图像信号。去马赛克处理部415例如根据与观察方式对应的亮度成分的信号值，根据多个像素的颜色信息(像素值)的相关来判别插值方向，并根据在所判别出的插值方向上排列的像素的颜色信息来进行插值，由此生成彩色图像信号。此外，作为其他的方法，还可以使用公知的双三次插值。

去马赛克处理部415实施插值处理，由此生成彩色图像信号，该彩色图像信号包含对每个像素位置都赋予了具有rgb成分或gb成分的信号值的彩色图像(同时化后的图像)。去马赛克处理部415将亮度成分和颜色成分的信号分配给rgb的各通道。观察方式(wli/nbi)下的通道与信号的关系在下面示出。在本实施方式中，对g通道分配了亮度成分的信号。

接着，根据附图对由具有上述结构的处理器部4进行的信号处理进行说明。图18是表示由本实施方式的内窥镜装置1的处理器部4进行的信号处理的流程图。控制部44在从内窥镜2取得了电信号时，进行在该电信号中包含的当前图像(同时化前图像)的读入(步骤s101)。来自内窥镜2的电信号是包含由摄像元件202生成且被a/d转换部205转换为数字信号的同时化前图像数据的信号。

控制部44在读入了当前图像后，参照识别信息存储部261而取得控制信息(例如，照明光(观察方式)的信息、滤色器202a的排列信息)，并将其输出给运动检测图像生成处理部411和去马赛克处理部415(步骤s102)。

运动检测图像生成处理部411根据控制信息，判断电信号(所读入的同时化前图像)是通过所取得的白色照明光观察(wli)方式和窄带观察(nbi)方式中的何种观察方式生成的(被设定为何种观察模式)，并根据该判断生成运动检测图像(步骤s103：运动检测图像生成步骤)。运动检测图像生成处理部411根据当前图像和在帧存储器414中存储的以往图像来生成运动检测图像，并将该生成的运动检测图像输出给运动检测处理部412和帧存储器414。

运动检测处理部412在从运动检测图像生成处理部411取得了运动检测图像时，根据与当前图像对应的运动检测图像和与以往图像对应的运动检测图像来进行运动矢量的检测(步骤s104：运动检测处理步骤)。运动检测处理部412将检测出的运动矢量输出给降噪处理部413。

降噪处理部413使用当前图像、以往图像和由运动检测处理部412检测出的运动矢量，对电信号(在步骤s101中读入的当前图像)实施降噪处理(步骤s105)。另外，将通过本步骤s105而生成的降噪处理后的电信号(同时化前图像)输出给去马赛克处理部415，并作为以往图像储存(更新)在帧存储器414中(步骤s106)。

去马赛克处理部415在从降噪处理部413输入了降噪处理后的电子信号时，根据该电子信号进行去马赛克处理(步骤s107)。去马赛克处理部415对亮度成分以外的颜色成分的像素位置处的亮度成分进行插值，生成构成各像素具有亮度成分的像素值或插值值的一张图像的图像信号，然后根据亮度成分的像素值和插值值以及亮度成分以外的颜色成分的像素的像素值，按照每个颜色成分生成构成具有rgb的各色成分的像素值或插值值的一张图像的图像信号。此后，去马赛克处理部415使用各色成分的各图像信号生成构成彩色图像的彩色图像信号。去马赛克处理部415在wli模式的情况下使用红色成分、绿色成分和蓝色成分的图像信号生成彩色图像信号，而在nbi模式的情况下使用绿色成分和蓝色成分的图像信号生成彩色图像信号。

在由去马赛克处理部415生成了彩色图像信号后，显示图像生成处理部416针对该彩色图像信号，在作为显示部5的色域的例如srgb(xyz表色系)的颜色空间内进行颜色转换处理，实施基于规定的灰度转换特性的灰度转换、扩大处理等而生成显示用的显示图像信号(步骤s108)。显示图像生成处理部416在实施了规定的处理后，将其作为显示图像信号输出给显示部5。

在由显示图像生成处理部416生成了显示图像信号时，根据该显示图像信号来进行图像显示处理(步骤s109)。通过图像显示处理，在显示部5上显示出与显示图像信号对应的图像。

控制部44在由显示图像生成处理部416进行的显示图像信号的生成处理、以及图像显示处理后，判断该图像是否为最终图像(步骤s110)。控制部44在对所有的图像完成了一系列的处理的情况下结束处理(步骤s110：是)，而在还残留未处理图像的情况下转移至步骤s101继续进行同样的处理(步骤s110：否)。

在本实施方式中，对将构成处理器部4的各部通过硬件来构成，而由各部进行处理的情况进行了说明，而作为由cpu进行各部的处理的结构，也可以由该cpu执行程序而通过软件来实现上述的信号处理。例如，对于通过胶囊型内窥镜等的摄像元件预先取得的图像，可以由cpu执行上述的软件来实现信号处理。此外，还可以通过软件来构成由各部进行的处理的一部分。这种情况下，cpu按照上述的流程图来执行信号处理。

根据上述根据本实施方式，无论观察方式(wli模式和nbi模式)如何，运动检测图像生成处理部411都生成相位均匀的信号值y，运动检测处理部412根据该信号值y进行运动矢量的检测，因此无论在白色照明光观察方式和窄带光观察方式中的哪一种观察方式下都能够高精度地检测运动矢量。具体而言，运动检测图像生成处理部411在wli模式下根据作为亮度成分的g成分的信号值的比率大的相加平均对象区域的四个信号值来生成信号值y，而在nbi模式下以使得作为亮度成分的b成分的信号的比率变大的方式设定相加平均对象区域，或对信号值进行加权，来生成信号值y，并且使得信号值y的相位变得均匀，因此能够高精度地进行此后的运动矢量检测处理。

(实施方式的变形例1)

在上述实施方式中，说明了对由a/d转换部205输出的当前图像实施运动矢量检测处理和降噪处理的情况，然而本发明并不限定于此。在本变形例1中，对插值处理后的彩色图像信号实施运动矢量检测处理和降噪处理。这种情况下，将由a/d转换部205取得的当前图像输出给去马赛克处理部415。将由去马赛克处理部415生成的彩色图像信号输出给运动检测图像生成处理部411和降噪处理部413。

运动检测图像生成处理部411根据观察方式而使用下式(16)、(17)分别生成运动检测用图像。另外，式(16)、(17)中的信号值ri(x，y)、gi(x，y)和bi(x，y)是在与信号值y(x，y)对应的像素位置处通过插值而生成的各色成分的信号值。在式(16)、(17)中，各观察方式的亮度成分的信号值已被加权。

〔wli模式的情况〕

【数10】

〔nbi模式的情况〕

【数11】

此外，降噪处理部413可以使用上式(14)生成降噪图像，并输出给显示图像生成处理部416。根据这种方法，在降噪处理时不需要进行上式(15)所示的插值处理，能够降低运算成本。

(实施方式的变形例2)

在上述实施方式中，说明了在采用wli模式的情况下，通过四个像素的单纯的相加平均来生成信号值y(运动检测图像)的情况，然而本发明并不限定于此。在本变形例2中，通过rgb的各色成分的信号值的加权平均生成信号值y。作为加权值既可以使用预先设定的规定值，也可以构成为由手术人员等通过输入部42来设定任意的值。无论何种情况，都优选在信号值y中所占的g成分的信号值的比例在50％以上。例如，作为计算信号值y的算式，使用下式(18)所示的转换式。

【数12】

y(x，y)＝0.21×r(x，y)+0.72×g(x，y)+0.07×b(x，y)…(18)

此外，在nbi模式下，以b：g＝2：1的比例生成了信号值y，然而本发明并不限定于此。这种情况下同样也可以构成为，由手术人员等通过输入部42设定任意的值(b：g＝1：1或b：g＝3：1等)。优选将b成分的信号值的比例设定在50％以上。

(实施方式的变形例3)

在上述实施方式中，说明了在采用nbi模式的情况下，使用上式(4)、(6)、(8)、(10)生成信号值y(运动检测图像)的情况，然而本发明并不限定于此。在本变形例3中，可以构成为使用下式(19)～(22)来计算上式(3)所示的btmp(使用位于所关注的b像素的周围的四个b像素的信号值)。另外，说明了以关注像素为中心从3×3的像素区域中选择b像素的情况，也可以从5×5的像素区域中选择b像素。

【数13】

(实施方式的变形例4)

在上述实施方式中，说明了如图8～10所示，运动检测图像具有与当前图像和以往图像相同的大小(像素数)的情况，然而本发明并不限定于此。在本变形例4中，生成相对于当前图像和以往图像而将水平方向和垂直方向的大小分别缩小为1/2的大小后的运动检测图像。图19～22是说明本发明的实施方式的变形例4的内窥镜装置1的运动检测图像生成处理部411进行的运动检测图像生成处理的图。

运动检测图像生成处理部411在设运动检测图像的信号值为ys(x，y)时，根据观察方式而使用下式(23)～(29)分别生成运动检测用图像。

〔wli模式的情况〕

在wli模式下，例如，使用下式(23)、(24)生成信号值ys(x，y)(参照图19)。相加平均对象区域例如是图19所示的相加平均对象区域q21、q22，并且以不会重复使用一个像素的信号值的方式来设定区域。

【数14】

ys(0，0)＝g(0，0)+r(1，0)+b(0，1)+g(1，1)…(23)

ys(0，1)＝g(0，2)+r(1，2)+b(0，3)+g(1，3)…(24)

〔nbi模式的情况〕

此外，在nbi模式下，使用下式(25)～(29)生成信号值ys(x，y)(参照图20)。相加平均对象区域例如是图20所示的相加平均对象区域q31、q32，以b像素为中心像素设定由九个像素构成的区域。

【数15】

具体而言，运动检测图像生成处理部411在生成运动检测图像生成用的信号值ys(1，0)的情况下，根据图20所示的相加平均对象区域q31的五个像素的信号值(除r像素以外)，通过下式(26)、(27)分别生成信号值btmp2(1，0)和gtmp2(1，0)，然后通过式(25)生成信号值ys(1，0)。信号值ys(1，0)的相位成为图21所示的s41。

【数16】

btmp2(1，0)＝b(2，1)…(26)

此外，运动检测图像生成处理部411在生成运动检测图像生成用的信号值ys(1，1)的情况下，根据图20所示的相加平均对象区域q32的七个像素的信号值(除r像素以外)，通过下式(28)、(29)分别生成信号值btmp(1，1)和gtmp(1，1)，然后通过式(25)生成信号值ys(1，1)。信号值ys(1，1)的相位成为图22所示的s42。

【数17】

btmp2(1，1)＝b(2，3)…(28)

根据变形例4，运动检测图像变小，因此能够削减运动检测处理部412的块匹配处理所需要的运算成本(使电路的规模变小)。在变形例4的情况下，运动检测处理部412使检测出的运动矢量的大小变为2倍(换算为当前图像上的运动矢量)，并输出给降噪处理部413。

(实施方式的变形例5)

在上述实施方式中，说明了摄像元件202将由2行2列的像素构成的滤光器单元u1(参照图4)作为基本图案的情况，然而本发明并不限定于此。例如，还可以是由4行4列的像素构成的滤光器单元。图23是表示本发明的实施方式的变形例5的滤色器的结构的示意图。图22所示的滤光器单元u2构成为八个g滤光器、六个b滤光器和两个r滤光器以相同色的滤光器在水平方向和垂直方向上不相邻的方式排列。该滤光器单元u2的运动检测用图像的生成处理如下示出。

〔wli模式的情况〕

在wli模式下，通过对于当前图像进行的四个像素的相加平均处理，生成运动检测图像的信号值y(x，y)(与图8同样)。例如，使用上式(1)和(2)生成运动检测图像的信号值y(0，0)和y(0，1)(其他坐标也同样)。

〔nbi模式的情况〕

在nbi模式下，如上所述由于r像素的信号值为零因而不使用。这种情况下，例如图23所示的滤光器单元u2的左上的四个像素仅由g像素和b像素构成，不包含r像素，因此根据上式(1)如上所述通过四个像素的相加平均处理来生成y(0，0)。另一方面，在y(0，1)的情况下，在四个像素(b21、g22、g31、r32)中包含r像素，因此需要使用上式(4)、(5)，并使得不产生相位偏差。具体而言，例如使用下式(30)～(33)。另外，对信号值分配的坐标与上述情况相同。

·在相加平均对象区域内不存在r像素的情况(例如，信号值y(0，0)的情况)

【数18】

y(0，0)＝g(0，0)+b(1，0)+b(0，1)+g(1，1)…(30)

·在相加平均对象区域内存在r像素的情况(例如，信号值y(0，1)的情况)

【数19】

在nbi模式下，根据r像素的配置而使用上式(30)～(33)，由此生成信号值y。

另外，作为上述实施方式的滤色器202a，在滤光器单元中，使波段hg的光透过的g滤光器的数量大于使波段hb的光透过的b滤光器的数量以及使波段hr的光透过的r滤光器的数量即可，除了上述的排列之外，只要是能够满足上述条件的排列就可以使用。此外，关于上述的滤光器单元说明了按照2行2列或4行4列配置滤光器的情况，然而并不限于这些行数和列数。

此外，在上述实施方式中，说明了在摄像元件202的受光面上设置有具有多个分别使规定的波段的光透过的滤光器的滤色器202a的情况，而各滤光器也可以单独设置于摄像元件202的各像素中。

此外，在上述实施方式中，说明了窄带照明光由在波段hb中包含的窄带tb的光和在波段hg中包含的窄带tg的光构成的情况，然而并不限于这些窄带。例如，还可以是由在波段hr中包含的窄带tr的光和在波段hg中包含的窄带tg的光构成的窄带照明光。利用在波段hr中包含的窄带tr的光，例如能够对深层的血管进行观察。这种情况下的窄带照明光观察的亮度成分为红色成分。此外，相加平均对象区域与上述以b像素为基点的区域设定同样地，以r像素为基点来设定区域。

另外，以上说明了上述的实施方式的内窥镜装置1对于从一个光源31a射出的白色光，通过切换滤光器31c的插卸而将从照明部31射出的照明光切换为白色照明光和窄带照明光的情况，然而也可以对分别射出白色照明光和窄带照明光的两个光源进行切换来射出白色照明光和窄带照明光中的任意一方。在切换两个光源以射出白色照明光和窄带照明光中的任意一方的情况下，例如还可以应用于具有光源部、滤色器和摄像元件且被导入被检体内的胶囊型的内窥镜。

此外，以上说明了上述的实施方式的内窥镜装置1中a/d转换部205被设置于前端部24的情况，也可以设置于处理器部4中。此外，还可以将图像处理涉及的结构设置于内窥镜2、将内窥镜2与处理器部4连接起来的连接器以及操作部22等中。此外，在上述内窥镜装置1中，说明了使用在识别信息存储部261中存储的识别信息等对与处理器部4连接的内窥镜2进行识别的情况，然而也可以在处理器部4与内窥镜2的连接部分(连接器)中设置识别手段。例如，在内窥镜2侧设置识别用的pin(识别手段)，对与处理器部4连接的内窥镜2进行识别。

产业上的可使用性

如上所述，本发明的图像处理装置、图像处理装置的工作方法、图像处理装置的工作程序和内窥镜装置在白色照明光观察方式和窄带光观察方式中的任意一种观察方式下获得高分辨率的图像方面是有用的。

标号说明

1：内窥镜装置，2：内窥镜，3：光源部，4：处理器部，5：显示部，21：插入部，22：操作部，23：通用线缆，24：前端部，31：照明部，31a：光源，31b：光源驱动器，31c：切换滤光器，31d：驱动部，31e：驱动器，31f：聚光镜头，32：照明控制部，41：图像处理部，42：输入部，43：存储部，44：控制部，201：摄像光学系统，202：摄像元件，202a：滤色器，203：光导，204：照明用镜头，205：a/d转换部，206：摄像信息存储部，261：识别信息存储部，411：运动检测图像生成处理部，412：运动检测处理部，413：降噪处理部，414：帧存储器，415：去马赛克处理部，416：显示图像生成处理部，u1、u2：滤光器单元。