内窥镜装置的制作方法

本发明涉及被导入到活体内并取得该活体内的图像的内窥镜装置。

背景技术：

以往，在医疗领域和工业领域中，广泛使用内窥镜装置以进行各种检査。其中，医疗用的内窥镜装置通过将在前端设置有具有多个像素的摄像元件的、呈细长形状的挠性的插入部插入到患者等被检体的体腔内，即使不切开被检体也能够取得体腔内的图像，所以给被检体带来的负担小，被广泛普及。

在该技术领域中已经广泛公知有使用了白色的照明光(白色照明光)的白色光观察(wli：whitelightimaging)方式和使用了由蓝色和绿色的波段所分别包含的两个窄带光构成的照明光(窄带照明光)的窄带光观察(nbi：narrowbandimaging)方式，作为这样的内窥镜装置的观察方式。关于这样的内窥镜装置的观察方式，期望切换白色照明光观察方式(wli模式)和窄带光观察方式(nbi模式)来进行观察。

由于在上述观察方式中生成彩色图像并进行显示，所以为了利用单板的摄像元件来取得拍摄图像，在该摄像元件的受光面上设置有呈矩阵状地排列有多个滤光片的滤色器。一般而言，已知有如下滤色器：以2行2列地排列使作为原色的红色(r)、绿色(g)和蓝色(b)的波段的光分别透过的滤光片(以下也称作原色滤光片)而成的被称作拜尔排列的滤光片排列为单位，呈矩阵状地排列有多个滤光片。各像素接收在滤光片中透过后的波段的光，摄像元件生成与该波段的光对应的颜色成分的电信号。

对此，公开了设置有如下滤色器的摄像元件：以从使绿色的波段的光透过的g滤光片和使黄色(ye)或青色(cy)等互补色的波段的光透过的滤光片(以下也称作互补色滤光片)中选择的四个滤光片为单位，呈矩阵状地排列有多个滤光片(例如，参照专利文献1)。由于透过互补色滤光片的光的波段比透过原色滤光片的光的波段范围大，所以使用互补色滤光片比使用原色滤光片的情况感光度更高，还能够抑制噪声。

但是，在wli模式下，清晰地描绘活体的血管或腺管构造的绿色成分的信号、即利用g像素(是指配置有g滤光片的像素。r像素、b像素、ye像素和cy像素也是相同的定义)取得的信号(g信号)对图像的亮度的贡献度最高。另一方面，在nbi模式下，清晰地描绘活体表层的血管或腺管构造的蓝色成分的信号、即利用b像素取得的信号(b信号)对图像的亮度的贡献度最高。

现有技术文献

专利文献

专利文献1：日本特开2003-87804号公报

技术实现要素：

发明所要解决的问题

但是，产生如下问题：在使用上述拜尔排列或专利文献1公开的滤色器时，虽然在wli模式下，能够取得g像素的密度高且滤色分辨率高的彩色图像，但在nbi模式下，由于b像素(在专利文献1中为cy像素)的密度低，所以nbi模式的图像的分辨率变低。因此，期望无论在哪一个观察模式下都能够获得分辨率高的图像的技术。

本发明就是鉴于上述情况而完成的，其目的在于提供一种无论在白色光观察方式和窄带光观察方式的哪一种观察方式中都能够获得分辨率高的图像的内窥镜装置。

用于解决问题的手段

为了解决上述问题，并达成目的，本发明涉及的内窥镜装置是一种用于进行白色照明光观察和窄带照明光观察的内窥镜装置，其特征在于，具有：光源部，其射出白色照明光和窄带照明光中的任意照明光，该白色照明光包含红色、绿色和蓝色的波段的光，该窄带照明光由在所述白色照明光观察和所述窄带照明光观察中的各亮度成分的波段中分别包含的两个窄带的光构成；摄像元件，其具有呈矩阵状地配置的多个像素，对由各像素接收到的光进行光电转换而生成电信号；滤色器，其排列有多个滤光片单元，并配置在所述摄像元件的受光面上，该滤光片单元使用使所述白色照明光观察的亮度成分和所述窄带照明光观察的亮度成分的波段的光透过的第1滤光片、使所述白色照明光观察的亮度成分的波段的光透过的第2滤光片、使所述窄带照明光观察的亮度成分的波段的光透过的第3滤光片构成：去马赛克处理部，其在所述光源部射出所述白色照明光的情况下，根据所述白色照明光观察中的亮度成分，生成具有多个颜色成分的彩色图像信号，在所述光源部射出所述窄带照明光的情况下，在使用与所述第2滤光片对应的像素的像素值对与所述第1滤光片对应的像素的位置上的所述白色照明光观察的亮度成分的像素值进行插值以后，根据与所述第1滤光片对应的像素的像素值和通过所述插值而获得的白色照明光观察的亮度成分的像素值，对与所述第1滤光片对应的像素的位置上的所述窄带照明光观察的所述亮度成分的像素值进行插值，从而生成具有多个颜色成分的彩色图像信号。

发明效果

根据本发明，实现如下效果：无论在白色光观察方式和窄带光观察方式中的哪一个观察方式中，都能够获得分辨率高的图像。

附图说明

图1是示出本发明实施方式涉及的内窥镜装置的概略结构的图。

图2是示出本发明实施方式涉及的内窥镜装置的概略结构的示意图。

图3是示出本发明实施方式涉及的像素的结构的示意图。

图4是示出本发明实施方式涉及的滤色器的结构的一例的示意图。

图5是示出本发明实施方式涉及的滤色器的g滤光片的特性的一例的图，是示出光的波长与各滤光片的透射率的关系的图。

图6是示出本发明实施方式涉及的滤色器的mg滤光片的特性的一例的图，是示出光的波长与各滤光片的透射率的关系的图。

图7是示出本发明实施方式涉及的滤色器的cy滤色片的特性的一例的图，是示出光的波长与各滤光片的透射率的关系的图。

图8是示出本发明实施方式涉及的滤色器的ye滤光片的特性的一例的图，是示出光的波长与各滤光片的透射率的关系的图。

图9是示出本发明实施方式涉及的内窥镜装置的照明部射出的照明光的波长与光量的关系的曲线图。

图10是示出基于本发明实施方式涉及的内窥镜装置的照明部具有的切换滤光片的照明光的波长与透射率的关系的曲线图。

图11是用于说明本发明实施方式涉及的滤色器的结构且nbi模式下的像素的功能的图。

图12是示出本发明实施方式涉及的内窥镜装置的去马赛克处理部进行的nbi模式下的去马赛克处理的流程图。

图13是示出本发明实施方式涉及的内窥镜装置的去马赛克处理部进行的wli模式下的去马赛克处理的流程图。

图14是示出本发明实施方式涉及的内窥镜装置的处理器部进行的信号处理的流程图。

图15是示出本发明实施方式的变形例1涉及的滤色器的结构的示意图。

图16是用于说明本发明实施方式的变形例1涉及的滤色器的结构且nbi模式下的像素的功能的图。

图17是示出本发明实施方式的变形例3涉及的滤色器的结构的示意图。

具体实施方式

以下，说明用于实施本发明的方式(以下称作“实施方式”)。在实施方式中，对拍摄患者等被检体的体腔内的图像并进行显示的医疗用的内窥镜装置进行说明。此外，本发明不限定于该实施方式。并且，在附图记载中，对相同的部分标注相同标号来进行说明。

图1是示出本发明实施方式涉及的内窥镜装置的概略结构的图。图2是示出本实施方式涉及的内窥镜装置的概略结构的示意图。图1和图2所示的内窥镜装置1具有：内窥镜2，其通过将插入部21插入到被检体的体腔内而拍摄观察部位的体内图像并生成电信号；光源部3，其产生从内窥镜2的前端射出的照明光；处理器部4，其对由内窥镜2取得的电信号实施规定的图像处理，并且统一控制内窥镜装置1整体的动作；以及显示部5，其显示由处理器部4实施了图像处理后的体内图像。内窥镜装置1将插入部21插入到患者等被检体的体腔内而取得体腔内的体内图像。医生等使用者通过进行所取得的体内图像的观察，检査有无作为检测对象部位的出血部位或肿瘤部位。另外，在图2中，实线的箭头表示图像涉及的电信号的传输，虚线的箭头表示控制涉及的电信号的传输。

内窥镜2具有：插入部21，其具有挠性并呈细长形状；操作部22，其与插入部21的基端侧连接，受理各种操作信号的输入；以及通用缆线23，其从操作部22向与插入部21延伸的方向不同的方向延伸，并内置与光源部3和处理器部4连接的各种缆线。

插入部21具有：前端部24，其内置有摄像元件202，该摄像元件202中收光的像素(光电二极管)呈矩阵状地排列，通过对该像素接收到的光进行光电转换而生成图像信号；弯曲部25，其由多个弯曲块构成，且弯曲自如；以及挠性管部26，其与弯曲部25的基端侧连接，呈长条状且具有挠性。

操作部22具有：弯曲旋钮221，其使弯曲部25在上下方向和左右方向上弯曲；处置器械插入部222，其将活体钳子、电刀和检査探针等处置器械插入到被检体的体腔内；以及多个开关223，其输入用于使光源部3进行照明光的切换动作的指示信号、处置器械或与处理器部4连接的外部设备的操作指示信号、用于进行送水的送水指示信号和用于进行抽吸的抽吸指示信号等。从处置器械插入部222插入的处置器械经由设置于前端部24的前端的处置器械通道(未图示)从开口部(未图示)露出。另外，开关223可以构成为包含用于切换光源部3的照明光(观察方式)的照明光切换开关。

通用缆线23至少内置光导203和集中了一个或者多个信号线的集合缆线。集合缆线是在内窥镜2和光源部3与处理器部4之间收发信号的信号线，且包含用于收发设定数据的信号线、用于收发图像信号的信号线、用于收发用于驱动摄像元件202的驱动用定时信号的信号线等。

此外，内窥镜2具有：摄像光学系统201、摄像元件202、光导203、照明用镜头204、a/d转换部205和摄像信息存储部206。

摄像光学系统201设置于前端部24，会聚至少来自观察部位的光。摄像光学系统201使用一个或多个透镜构成。另外，在摄像光学系统201可以设置有使视场角变化的光学变焦机构和使焦点变化的对焦机构。

摄像元件202设置成与摄像光学系统201的光轴垂直，对通过摄像光学系统201形成的光的像进行光电转换并生成电信号(图像信号)。摄像元件202使用ccd(chargecoupleddevice；电荷耦合元件)图像传感器或cmos(complementarymetaloxidesemiconductor；互补性金属氧化膜半导体)图像传感器等来实现。

图3是示出本实施方式涉及的摄像元件的像素的结构的示意图。摄像元件202具有接收来自摄像光学系统201的光的多个像素，并由该多个像素呈矩阵状地排列而构成。而且，摄像元件202生成由电信号构成的摄像信号，该电信号是通过对由各像素接收到的光进行光电转换而生成的。在该摄像信号中包含各像素的像素值(亮度值)和像素的位置信息等。在图3中，将配置在第i行j列的像素记作像素pij。

在摄像元件202上设置有滤色器202a，该滤色器202a设置在摄像光学系统201和该摄像元件202之间，并具有使分别单独设定的波段的光透过的多个滤光片。滤色器202a设置在摄像元件202的受光面上。

图4是示出本实施方式涉及的滤色器的结构的一例的示意图。本实施方式涉及的滤色器202a是根据像素pij的配置，呈矩阵状地排列配置由2行2列的呈矩阵状地排列的4个滤光片构成的滤光片单元u1而得到的。换言之，滤色器202a是以滤光片单元u1的滤光片排列为基本图形，按照该基本图形反复配置而得到的。在各像素的受光面上分别配置有使规定波段的光透过的一个滤光片。因此，设置有滤光片的像素pij接收在该滤光片中透过的波段的光。例如，设置有使绿色(g)的波段的光透过的滤光片的像素pij接收绿色的波段的光。以下，将接收绿色的波段的光的像素pij称作g像素。同样，将接收品红色(mg)的波段的光的像素称作mg像素、接收青色(cy)的波段的光的像素称作cy像素、接收黄色(ye)的波段的光的像素称作ye像素。

这里的滤光片单元u1使蓝色(b)的波段hb、绿色的波段hg和红色(r)的波段hr的光透过。除此以外，如图4所示，本实施方式的滤光片单元u1使用使波段hg的光透过的绿色滤光片(g滤光片)、使波段hb和波段hr的光透过的品红色滤光片(mg滤光片)、使波段hb和波段hg的光透过的青色滤光片(cy滤光片)、使波段hg和波段hr的光透过的黄色滤光片(ye滤光片)来构成。关于蓝色、绿色和红色的波段hb、hg和hr，例如波段hb为400nm～500nm，波段hg为480nm～600nm，波段hr为580nm～700nm。以下，在与像素pij对应的位置设置有g滤光片的情况下，将该g滤光片记作gij。同样，在与像素pij对应的位置设置有mg滤光片的情况下，记作mgij，在设置有cy滤光片的情况下，记作cyij，在设置有ye滤光片的情况下，记作yeij。

图5～图8是示出本实施方式涉及的滤色器的各滤光片的特性的一例的图，是示出光的波长与各滤光片的透射率的关系的图。在各个图中，对透射率曲线进行了归一化以使得各滤光片的透射率的最大值相等。图5是示出本实施方式的滤色器的g滤光片的特性的一例的图，且是示出光的波长与各滤色片的透射率的关系的图。图5所示的曲线lg表示g滤光片的透射率曲线。如图5所示，g滤光片使波段hg的光透过。

图6是示出本实施方式涉及的滤色器的mg滤光片的特性的一例的图，且是示出光的波长与各滤光片的透射率的关系的图。图6所示的曲线lmg1、lmg2表示mg滤光片的透射率曲线。如图6所示，mg滤光片使波段hb和波段hr的光透过。

图7是示出本实施方式涉及的滤色器的cy滤光片的特性的一例的图，且是示出光的波长与各滤光片的透射率的关系的图。图7所示的曲线lcy表示mg滤光片的透射率曲线。如图7所示，cy滤光片使波段hb和波段hg的光透过。

图8是示出本实施方式涉及的滤色器ye滤光片的特性的一例的图，且是示出光的波长与各滤光片的透射率的关系的图。图8所示的曲线lye表示ye滤光片的透射率曲线。如图8所示，ye滤光片使波段hg和波段hr的光透过。

返回到图1和图2的说明，光导203使用玻璃纤维等构成，构成由光源部3射出的光的导光路径。

照明用镜头204设置于光导203的前端，使由光导203引导的光扩散并射出到前端部24的外部。

a/d转换部205对由摄像元件202生成的摄像信号进行a/d转换，将该转换后的摄像信号输出到处理器部4。

摄像信息存储部206存储包含用于使内窥镜2动作的各种程序、内窥镜2的动作所需的各种参数和该内窥镜2的识别信息等的数据。此外，摄像信息存储部206具有存储识别信息的识别信息存储部261。识别信息中包含内窥镜2的固有信息(id)、年份、规格信息、传输方式和滤色器202a涉及的滤光片的排列信息等。摄像信息存储部206使用闪存等来实现。

接着，对光源部3的结构进行说明。光源部3具有照明部31和照明控制部32。

照明部31在照明控制部32的控制下，切换射出波段相互不同的多个照明光。照明部31具有：光源31a、光源驱动器31b、切换滤光片31c、驱动部31d、驱动器31e和聚光透镜31f。

光源31a在照明控制部32的控制下，射出包含红色、绿色和蓝色的波段hr、hg和hb的光的白色照明光。由光源31a产生的白色照明光经由切换滤光片31c、聚光透镜31f和光导203，从前端部24向外部射出。光源31a使用白色led或氙气灯等发出白色光的光源来实现。

光源驱动器31b在照明控制部32的控制下，通过向光源31a供给电流，使光源31a射出白色照明光。

切换滤光片31c仅使由光源31a射出的白色照明光中的蓝色的窄带光和绿色的窄带光透过。切换滤光片31c在照明控制部32的控制下，配置成在由光源31a射出的白色照明光的光路上插拔自如。切换滤光片31c通过配置在白色照明光的光路上，仅使两个窄带光透过。具体而言，切换滤光片31c使由波段hb所包含的窄带tb(例如，400nm～445nm)的光和波段hg所包含的窄带tg(例如，530nm～550nm)的光构成的窄带照明光透过。该窄带tb、tg是容易被血液中的血红蛋白吸收的蓝色光和绿色光的波段。另外，窄带tb至少包含405nm～425nm即可。将受该波段限制而射出的光称作窄带照明光、将利用该窄带照明光进行的图像的观察称作窄带光观察(nbi)方式。

驱动部31d使用步进电动机或dc电动机等构成，使切换滤光片31c从光源31a的光路进行插拔动作。

驱动器31e在照明控制部32的控制下，向驱动部31d供给规定的电流。

聚光透镜31f会聚由光源31a射出的白色照明光或在切换滤光片31c中透过的窄带照明光，并射出到光源部3的外部(光导203)。

照明控制部32控制光源驱动器31b而使光源31a进行接通和断开动作，以及控制驱动器31e而使切换滤光片31c向光源31a的光路进行插拔动作，由此控制由照明部31射出的照明光的种类(波段)。

具体而言，照明控制部32通过使切换滤光片31c向光源31a的光路进行插拔动作，进行将从照明部31射出的照明光切换为白色照明光和窄带照明光中的任意照明光的控制。换言之，照明控制部32进行切换到使用包含波段hb、hg和hr的光的白色照明光的白色照明光观察(wli)方式和使用由窄带tb、tg的光构成的窄带照明光的窄带光观察(nbi)方式中的任意的观察方式的控制。

图9是示出本实施方式涉及的内窥镜装置的照明部射出的照明光的波长与光量的关系的曲线图。图10是示出基于本实施方式涉及的内窥镜装置的照明部具有的切换滤光片的照明光的波长与透射率的关系的曲线图。在通过照明控制部32的控制而使切换滤光片31c从光源31a的光路离开时，照明部31射出包含波段hb、hg和hr的光的白色照明光(参照图9)。与此相对，在通过照明控制部32的控制而将切换滤光片31c插入到光源31a的光路中时，照明部31射出由窄带tb、tg的光构成的窄带照明光(参照图10)。

另外，虽然说明了照明部31对于从光源31a射出的白色照明光，通过切换滤光片31c的插拔而将从照明部31射出的照明光切换为白色照明光和窄带照明光，但也可以使用旋转滤光片，也可以切换分别射出白色照明光和窄带照明光的二个光源(例如led光源和激光光源)而射出白色照明光和窄带照明光中的任意照明光，还可以设置多个照射窄带照明光的光源，并将光源控制成在白色照明光观察时组合多个光源而成为白色照明光。

接着，对处理器部4的结构进行说明。处理器部4具有：图像处理部41、输入部42、存储部43和控制部44。

图像处理部41根据来自内窥镜2(a/d转换部205)的摄像信号来执行规定的图像处理，并生成由显示部5进行显示用的显示图像信号。图像处理部41具有亮度成分选择部411、去马赛克处理部412和显示图像生成处理部413。

亮度成分选择部411判断照明控制部32对照明光的切换动作、即判断由照明部31射出的照明光是白色照明光和窄带照明光中的哪一个。亮度成分选择部411根据判断出的照明光，进行在去马赛克处理部412中使用的亮度成分(接收亮度成分的光的像素)的选择。例如，在白色照明光观察中，人眼的光谱光视效率最高且清晰地描绘活体的血管或腺管构造的绿色成分成为亮度成分。另一方面，在窄带照明光观察中，由被摄体选择的亮度成分不同，有时与白色照明光观察同样地选择绿色成分，还有时亮度成分与白色光观察时不同。具体而言，具有上述nbi观察作为窄带光观察中的蓝色成分或红色成分成为亮度成分的代表例，在该情况下，清晰地描绘出活体表层的血管或腺管构造的蓝色成分成为亮度成分。在本实施方式中，在白色照明光观察中，设绿色成分为亮度成分，在窄带光观察中，设蓝色成分为亮度成分。另外，如果根据观察方式而预先设定亮度成分，则还可通过判断观察方式而自动设定亮度成分，所以还能够省略该亮度成分选择部411的选择处理。

在本实施方式中，由于设nbi观察为窄带照明光观察，所以cy滤光片相当于使白色照明光观察和窄带照明光观察的各亮度成分的波段(波段hb和hg)的光透过的第1滤光片，g滤光片和ye滤光片相当于使白色照明光观察的亮度成分(绿色成分)的波段(波段hg)的光透过并截断窄带照明光观察的亮度成分(蓝色成分)的波段的光的第2滤光片，mg滤光片相当于使窄带照明光观察的亮度成分的波段(波段hb)的光透过并截断白色照明光观察的亮度成分的波段的光的第3滤光片。

去马赛克处理部412根据来自内窥镜2(a/d转换部205)的摄像信号，根据多个像素的颜色信息(像素值)的相关来判别插值方向，根据在判别出的插值方向上排列的像素的颜色信息来进行插值，由此生成彩色图像信号。去马赛克处理部412根据由亮度成分选择部411选择出的亮度成分的像素(以下称作选择像素)，在进行了该亮度成分的插值处理以后，进行除亮度成分以外的颜色成分的插值处理而生成彩色图像信号。

显示图像生成处理部413对于由去马赛克处理部412生成的电信号实施灰度转换、放大处理、或针对活体的血管和腺管构造的强调处理等。显示图像生成处理部413在实施规定处理以后，作为显示用的显示图像信号而输出到显示部5中。

除了上述去马赛克处理以外，图像处理部41还进行ob钳位(clamp)处理或增益调整处理等。在ob钳位处理中，对于从内窥镜2(a/d转换部205)输入的电信号，实施校正黑电平的偏移量的处理。在增益调整处理中，对于实施去马赛克处理后的图像信号实施明亮度级别的调整处理。

输入部42是用于进行用户针对处理器部4的输入等的接口，构成为包含用于进行电源的接通/断开的电源开关、用于切换摄影模式或其他各种模式的模式切换按钮、用于切换光源部3的照明光(观察方式)的照明光切换按钮等。

存储部43记录包含用于使内窥镜装置1动作的各种程序、以及内窥镜装置1的动作所需的各种参数等的数据。存储部43可以存储内窥镜2涉及的信息，例如内窥镜2的固有信息(id)和滤色器202a的滤光片配置涉及的信息之间的关系表等。存储部43是使用闪存或dram(dynamicrandomaccessmemory：动态随机存取存储器)等半导体存储器而实现的。

控制部44使用cpu等构成，进行包含内窥镜2和光源部3的各结构部的驱动控制、以及针对各结构部的信息的输入输出控制等。控制部44经由规定的信号线，向内窥镜2发送存储部43所记录的摄像控制用的设定数据(例如，读出对象的像素等)或摄像时刻涉及的时刻信号等。控制部44将经由摄像信息存储部206而取得的滤色器信息(识别信息)输出到图像处理部41，并且根据滤色器信息，将切换滤光片31c的配置涉及的信息输出到光源部3。

接着，对显示部5进行说明。显示部5经由影像缆线接收由处理器部4生成的显示图像信号并显示与该显示图像信号对应的体内图像。显示部5使用液晶或有机el(electroluminescence：电致发光)构成。

接着，对内窥镜装置1的处理器部4的各个部进行的信号处理进行说明。亮度成分选择部411判断所输入的摄像信号是通过白色照明光观察方式和窄带光观察方式中的哪一个观察方式而生成的摄像信号。具体而言，亮度成分选择部411根据例如来自控制部44的控制信号(例如，照明光涉及的信息或表示观察方式的信息)，判断是根据哪一种观察方式生成的摄像信号。

亮度成分选择部411在判断为所输入的摄像信号是通过白色照明光观察方式生成的摄像信号时，选择g像素并设定为选择像素，将该设定的设定信息输出到去马赛克处理部412。具体而言，亮度成分选择部411输出根据识别信息(滤色器202a的信息)而被设定为选择像素的g像素的位置信息、例如与g像素的行和列相关的信息。

相对于此，亮度成分选择部411在判断为所输入的摄像信号是通过窄带光观察方式而生成的摄像信号时，选择mg像素和cy像素(包含b成分的信号的像素)并设定为选择像素，将该设定的设定信息输出到去马赛克处理部412。

接着，对去马赛克处理部412的插值处理进行说明。去马赛克处理部412根据来自内窥镜2(a/d转换部205)的同时化前的摄像信号，根据多个像素的颜色信息(像素值)的相关来判别插值方向，根据在判别出的插值方向上排列的像素的颜色信息来进行插值，由此生成彩色图像信号。去马赛克处理部412在nbi模式和wli模式下进行不同的信号处理。

〔nbi模式下的去马赛克处理〕

图11是用于说明本实施方式涉及的滤色器的结构且nbi模式下的像素的功能的图。如图10所示，从光源部3射出的窄带照明光由窄带tb、tg的光构成。因此，由于mg滤光片仅使窄带tb的光透过，所以能够将mg像素视作与b像素等价。同样，由于ye滤光片仅使窄带tg的光透过，所以能够将ye像素视作与g像素等价。这里，b像素相当于具有使400～480nm的波段的光透过的b滤光片的像素。因此，在nbi模式下，能够将图4所示的互补色滤光片排列(滤光片单元u1)视作与图11所示的滤光片排列(滤光片单元u10)等价。在图11所示的滤光片排列中，呈交替格子状地配置有使波段hg的光透过的滤光片。以下，在nbi模式下的去马赛克处理中，将mg像素视作b像素、ye像素视作g像素来对图11所示的滤光片排列进行说明。

图12是示出本实施方式涉及的内窥镜装置的去马赛克处理部进行的nbi模式下的去马赛克处理的流程图。去马赛克处理部412首先使用由非选择像素(不是亮度成分的颜色成分的像素)且为白色照明光观察的亮度成分的g像素生成的像素值来判别插值方向，并根据该判别出的插值方向，对作为选择像素的b像素(mg像素)和作为非选择像素的cy像素中的g成分进行插值，生成构成一张图像的图像信号，在该一张图像中，各像素具有g成分的像素值或插值值(步骤s101)。

具体而言，去马赛克处理部412根据已知的g成分(像素值)将边缘方向判别为插值方向，对于设为插值对象的b像素和cy像素实施沿着该插值方向的插值处理。去马赛克处理部412根据判别出的边缘方向，利用下式(1)～(6)计算坐标(x，y)处的插值对象像素的g成分的信号值g(x，y)。另外，插值方向根据垂直方向(y方向)、水平方向(x方向)、斜下方向和斜上方向中的任意的方向来判别。在边缘方向的判别中，设图3所示的像素的配置的上下方向为垂直方向、左右方向为水平方向。此外，在垂直方向中，设下方向为正，在左右方向中，设右方向为正。此外，在不存在位于外缘的像素等相邻的像素的情况下，使用位于折返位置的像素的信号值。

(边缘方向：垂直方向)

在水平方向的亮度的变化比其他3个方向的亮度的变化大的情况下，去马赛克处理部412将垂直方向判别为边缘方向，利用下式(1)计算信号值g(x，y)。式(1)在插值对象像素为b像素和cy像素是共用的。

[数式1]

(边缘方向：水平方向)

在垂直方向的亮度的变化比其他3个方向的亮度的变化大的情况下，去马赛克处理部412将水平方向判别为边缘方向，利用下式(2)计算信号值g(x，y)。

[数式2]

(边缘方向：斜下方向)

在斜上方向的亮度的变化比其他3个方向的亮度的变化大的情况下，去马赛克处理部412将斜下方向判别为边缘方向。在该情况下，如果插值对象像素是b像素，则去马赛克处理部412利用下式(3)计算信号值g(x，y)。

[数式3]

此外，如果将斜下方向判别为边缘方向，插值对象像素是cy像素，则去马赛克处理部412利用下式(4)计算信号值g(x，y)。

[数式4]

(边缘方向：斜上方向)

在斜下方向的亮度的变化比其他3个方向的亮度的变化大的情况下，去马赛克处理部412将斜上方向判别为边缘方向。在该情况下，如果插值对象像素是b像素，则去马赛克处理部412利用下式(5)计算信号值g(x，y)。

[数式5]

此外，如果将斜上方向判别为边缘方向，插值对象像素是cy像素，则去马赛克处理部412利用下式(6)计算信号值g(x，y)。

[数式6]

去马赛克处理部412在利用上述式(1)～(6)进行g信号的插值处理以后，生成cy像素的b成分(亮度成分)的信号值b(x，y)(步骤s102)。在nbi模式下，窄带tb、tg的光入射到cy像素中。因此，通过从所获得的信号值cy(x，y)减去相当于窄带tg的光的信号值g(x，y)，能够获得相当于窄带tb的光的信号值b(x，y)。具体而言，去马赛克处理部412从cy成分的信号值cy(x，y)减去利用下式(7)进行了插值后的g成分的信号值(插值值)，生成信号值b(x，y)。

[数式7]

b(x，y)＝cy(x，y)-g(x，y)…(7)

去马赛克处理部412利用上述式(7)生成cy像素中的b信号以后，对g像素的b成分(亮度成分)的信号值b(x，y)进行插值(步骤s103)。具体而言，去马赛克处理部412通过将上述的式(1)～(6)的信号值g(x，y)置换为信号值b(x，y)、将信号值b(x，y)置换为信号值g(x，y)而进行计算，从而对g像素的b成分(亮度成分)的信号值b(x，y)进行插值。由此，对于至少构成图像的像素，生成具有b成分(亮度成分)和g成分的信号值(像素值、插值值或相减后的信号值)的图像信号。

〔wli模式下的去马赛克处理〕

图13是示出本实施方式涉及的内窥镜装置的去马赛克处理部进行的wli模式下的去马赛克处理的流程图。去马赛克处理部412首先使用由作为选择像素的g像素生成的像素值来判别插值方向，并根据该判别出的插值方向，对作为非选择像素的cy像素、mg像素和ye像素中的g成分进行插值，生成构成一张图像的图像信号，在该一张图像中，各像素具有g成分的像素值或插值值(步骤s201)。

具体而言，去马赛克处理部412根据已知的g成分(像素值)将边缘方向判别为插值方向，对于设为插值对象的cy像素和mg像素实施沿着该插值方向的插值处理。去马赛克处理部412根据判别出的边缘方向，利用下式(8)～(13)计算坐标(x，y)处的插值对象像素的g成分的信号值g(x，y)。另外，wli模式下的插值方向根据是垂直方向和水平方向中的哪一个方向来判别。

(边缘方向：垂直方向)

在水平方向的亮度的变化比其他3个方向的亮度的变化大的情况下，去马赛克处理部412将垂直方向判别为边缘方向。在该情况下，如果插值对象像素是cy像素，则去马赛克处理部412利用下式(8)计算信号值g(x，y)。

[数式8]

此外，如果将垂直方向判别为边缘方向，插值对象像素是mg像素，则去马赛克处理部412利用下式(9)计算信号值g(x，y)。

[数式9]

此外，如果将垂直方向判别为边缘方向，插值对象像素是ye像素，则去马赛克处理部412利用下式(10)计算信号值g(x，y)。

[数式10]

(边缘方向：水平方向)

在垂直方向的亮度的变化比其他3个方向的亮度的变化大的情况下，去马赛克处理部412将水平方向判别为边缘方向。在该情况下，如果插值对象像素是cy像素，则去马赛克处理部412利用下式(11)计算信号值g(x，y)。

[数式11]

此外，如果将水平方向判别为边缘方向，插值对象像素是mg像素，则去马赛克处理部412利用下式(12)计算信号值g(x，y)。

[数式12]

此外，如果将水平方向判别为边缘方向，插值对象像素是ye像素，则去马赛克处理部412利用下式(13)计算信号值g(x，y)。

[数式13]

去马赛克处理部412在利用上述式(8)～(13)进行g信号的插值处理以后，生成ye像素的r成分的信号值r(x，y)和cy像素的b成分的信号值b(x，y)(步骤s202)。在wli模式下，波段hr、hg的光入射到ye像素中。因此，通过从所获得的信号值ye(x，y)减去相当于波段hg的光的信号值g(x，y)，能够获得相当于波段hr的光的信号值r(x，y)。具体而言，去马赛克处理部412通过从ye成分的信号值ye(x，y)减去利用下式(14)进行了插值后的g成分的信号值(插值值)，生成信号值r(x，y)。

[数式14]

r(x，y)＝ye(x，y)-g(x，y)…(14)

此外，波段hb、hg的光入射到cy像素中。因此，通过从所获得的信号值cy(x，y)减去相当于波段hg的光的信号值g(x，y)，能够获得相当于波段hb的光的信号值b(x，y)。具体而言，去马赛克处理部412从cy成分的信号值cy(x，y)减去利用下式(15)进行了插值后的g成分的信号值(插值值)，生成信号值b(x，y)。

[数式15]

b(x，y)＝cy(x，y)-g(x，y)…(15)

去马赛克处理部412在利用上述式(14)、(15)而生成ye像素中的r信号和cy像素中的b信号以后，对于全部像素位置，对b成分的信号值b(x，y)和r成分的信号值r(x，y)进行插值(步骤s203)。具体而言，去马赛克处理部412使用公知的双三次插值，进行信号值r(x，y)和b(x，y)的插值。由此，对于至少构成图像的像素，生成具有g成分(亮度成分)、以及b成分和r成分的信号值(像素值、插值值、或相减后的信号值)的图像信号。

在nbi模式和wli模式下分别生成颜色成分的信号值后，去马赛克处理部412对所生成的亮度成分和颜色成分的图像信号进行同时化，生成彩色图像信号，该彩色图像信号包含根据各像素而赋予了rgb成分或gb成分的信号值后的彩色图像(同时化后的图像)。彩色图像生成处理部415c将亮度成分和颜色成分的信号分配给rgb的各通道。以下示出观察模式(wli/nbi)下的通道和信号的关系。在本实施方式中，假设对g通道分配有亮度成分的信号。

接着，参照附图对于由具有上述结构的处理器部4进行的信号处理进行说明。图14是示出本实施方式涉及的内窥镜装置1的处理器部4进行的信号处理的流程图。在从内窥镜2取得电信号后，控制部44进行该电信号所包含的同时化前图像的读入(步骤s301)。来自内窥镜2的电信号是由摄像元件202生成并包含通过a/d转换部205转换为数字信号的同时化前图像数据的信号。

在同时化前图像的读入以后，控制部44参照识别信息存储部261来取得控制信息(例如，照明光(观察方式)涉及的信息或滤色器202a的排列信息)，并输出到亮度成分选择部411(步骤s302)。

亮度成分选择部411根据控制信息，判断电信号(读入的同时化前图像)是通过所取得的白色照明光观察方式(wli模式)和窄带观察方式(nbi模式)中的哪一种观察方式而生成的电信号，并根据该判断来选择选择像素(步骤s303)。具体而言，亮度成分选择部411在判断为是wli模式的情况下将g成分(g像素)选择为亮度成分(选择像素)，在判断为是nbi模式的情况下将b成分(具有b成分的像素)选择为亮度成分(选择像素)。亮度成分选择部411将与所选择的亮度成分相关的控制信号输出到去马赛克处理部412。

在输入了来自内窥镜2(a/d转换部205)的同时化前的电信号后，去马赛克处理部412根据该电信号，进行去马赛克处理(步骤s304)。具体而言，如上述的处理那样，如果是nbi模式，则去马赛克处理部412使用由作为非选择像素的g像素生成的像素值来判别插值对象的像素(除g像素以外的像素)中的插值方向，并根据该判别出的插值方向来对除g像素以外的像素位置上的g成分进行插值，生成构成一张图像的图像信号，在该一张图像中，各像素具有亮度成分的像素值或插值值。然后，根据g成分的像素值和插值值、以及除亮度成分的像素(选择像素)以外的像素的像素值，按照每个颜色成分生成构成一张图像的图像信号，该一张图像具有b成分的像素值或插值值。与此相对，如果是wli模式，则去马赛克处理部412使用由作为选择像素的g像素生成的像素值来判别插值对象的像素(选择像素以外的像素)中的插值方向，并根据该判别出的插值方向来对除g像素以外的像素位置的g成分进行插值，生成构成一张图像的图像信号，在该一张图像中，各像素具有亮度成分的像素值或插值值。然后，根据g成分的像素值和插值值、以及除选择像素以外的像素的像素值，按照每个颜色成分生成构成一张图像的图像信号，该一张图像具有除g成分以外的颜色成分(b成分和r成分)的像素值或插值值。

在生成各颜色的成分的图像信号以后，去马赛克处理部412使用各颜色成分的各图像信号来生成构成彩色图像的彩色图像信号(步骤s305)。去马赛克处理部412在wli模式的情况下使用红色成分、绿色成分和蓝色成分的图像信号来生成彩色图像信号，在nbi模式的情况下使用绿色成分和蓝色成分的图像信号来生成彩色图像信号。

在通过去马赛克处理部412生成彩色图像信号以后，显示图像生成处理部413对于该彩色图像信号实施灰度转换、放大处理等，生成显示用的显示图像信号(步骤s306)。显示图像生成处理部413在实施规定的处理以后，作为显示图像信号输出到显示部5。

在通过显示图像生成处理部413生成显示图像信号后，根据该显示图像信号，进行图像显示处理(步骤s307)。通过图像显示处理，在显示部5上显示与显示图像信号对应的图像。

在显示图像生成处理部413进行的显示图像信号的生成处理和图像显示处理以后，控制部44判定该图像是否是最终图像(步骤s308)。控制部44在针对全部图像完成了一系列的处理的情况下结束处理(步骤s308：是)，在残留有未处理图像的情况下转移到步骤s301并继续相同的处理(步骤s308：否)。

在本实施方式中，作为通过硬件来构成构成处理器部4的各个部，并由各个部进行处理进行了说明，但也可以采用通过由该cpu执行程序来通过软件实现上述信号处理，由cpu进行各个部的处理的结构。例如，可以对于通过胶囊型内窥镜等摄像元件预先取得的图像，通过由cpu执行上述软件来实现信号处理。此外，也可以由软件构成各部件所进行的处理的一部分。在该情况下，cpu依照上述的流程图，执行信号处理。

根据上述本实施方式，在nbi模式的情况下，首先使用在式(1)～式(6)中示出的方向判别型的插值处理来对非亮度成分的信号(作为白色照明光观察的亮度成分的信号的g信号)进行插值，并使用该插值后的g信号和式(7)，在cy像素位置生成亮度成分的信号(b信号)。由于设为最后针对b信号实施方向判别型的插值处理，所以通过在生成cy像素位置的b信号以后实施b信号的插值处理，方向判别处理的精度提高，无论在白色光观察方式和窄带光观察方式中的哪一个观察方式中，都能够获得分辨率高的图像。

此外，根据上述本实施方式，由于设为使用互补色滤光片，并形成为如在g信号的插值对象像素中的上下左右全部的像素中存在g信号的滤光片排列，所以在nbi模式时能够取得交替格子状的g信号，对于方向判别型的插值处理有效地发挥作用。

另外，在上述本实施方式中，作为进行方向判别型的插值处理进行了说明，但如果预先设定了插值方向或者在存储部43中存储有插值信息，则也可以根据该设定或插值信息进行插值处理。

(实施方式的变形例1)

图15是示出本实施方式的变形例1涉及的滤色器的结构的示意图。在上述实施方式中，设为滤色器202a是根据像素pij的配置将由2行2列的呈矩阵状地排列的4个滤光片构成的滤光片单元u1矩阵状地排列配置而成的滤色器进行了说明，但本变形例1涉及的滤色器是将由2行4列的呈矩阵状地排列的8个滤光片构成的滤光片单元u2矩阵状地排列配置而成的。如图15所示，滤光片单元u2使用g滤光片、mg滤光片、cy滤光片和ye滤光片来构成。滤光片单元u2中，各滤色片分别具有相同数量(二个)，并配置成使相同颜色的波段的光透过的滤光片(同色滤光片)在行方向和列方向上不相邻。

接着，对本变形例1涉及的去马赛克处理部412的插值处理进行说明。与上述实施方式同样，去马赛克处理部412根据来自内窥镜2(a/d转换部205)的同时化前的摄像信号，根据多个像素的颜色信息(像素值)的相关来判别插值方向，并根据在判别出的插值方向上排列的像素的颜色信息来进行插值，由此生成彩色图像信号。去马赛克处理部412在nbi模式和wli模式下进行不同的信号处理。

〔nbi模式下的去马赛克处理〕

图16是用于说明本实施方式的变形例1涉及的滤色器的结构且nbi模式下的像素的功能的图。与上述实施方式同样，关于mg滤光片，能够将mg像素视作与b像素等价，关于ye滤光片，能够将ye像素视作与g像素等价。因此，在nbi模式下，能够将图15所示的互补色滤光片排列(单位单元u2)视作与图16所示的滤光片排列(单位单元u20)等价。以下，在nbi模式下的去马赛克处理中，对图16所示的滤光片排列、即将mg像素视作b像素、ye像素视作g像素进行说明。

在1中，去马赛克处理部412沿着上述图12所示的流程图，进行去马赛克处理。去马赛克处理部412首先使用由作为非选择像素的g像素生成的像素值来判别插值方向，并根据该判别出的插值方向，对作为选择像素的b像素(mg像素)和作为非选择像素的cy像素中的g成分进行插值，生成构成一张图像的图像信号，在该一张图像中，各像素具有g成分的像素值或插值值(图12的步骤s101)。

具体而言，去马赛克处理部412根据已知的g成分(像素值)将边缘方向判别为插值方向，对于设为插值对象的b像素和cy像素实施沿着该插值方向的插值处理。去马赛克处理部412根据判别出的边缘方向，利用下式(16)～(20)计算坐标(x，y)处的插值对象像素的g成分的信号值g(x，y)。另外，插值方向根据是垂直方向和水平方向中的哪一个方向来判别。

(边缘方向：垂直方向)

在水平方向的亮度的变化比其他3个方向的亮度的变化大的情况下，去马赛克处理部412将垂直方向判别为边缘方向。在该情况下，如果插值对象像素为b像素且是在垂直方向上与g像素相邻的b像素(例如，图16的b12)，则去马赛克处理部412利用下式(16)计算信号值g(x，y)。

[数式16]

此外，如果将垂直方向判别为边缘方向，插值对象像素是b像素且是在垂直方向上与cy像素相邻的b像素(例如，图16的b31)，则去马赛克处理部412利用下式(17)计算信号值g(x，y)。

[数式17]

此外，如果将垂直方向判别为边缘方向，插值对象像素为cy像素且是在上方向(负的方向)和斜下方向上与三个g像素相邻的cy像素(例如，图16的cy21)，则去马赛克处理部412利用下式(18)计算信号值g(x，y)。

[数式18]

此外，如果将垂直方向判别为边缘方向，插值对象像素是cy像素且是在下方向(正方向)和斜上方向上与三个g像素相邻的cy像素(例如，图16的cy41)，则去马赛克处理部412利用下式(19)计算信号值g(x，y)。

[数式19]

(边缘方向：水平方向)

在垂直方向的亮度的变化比其他3个方向的亮度的变化大的情况下，去马赛克处理部412将水平方向判别为边缘方向，利用下式(20)计算信号值g(x，y)。式(20)在插值对象像素为b像素和cy像素时是共用的。

[数式20]

去马赛克处理部412在利用上述式(16)～(20)进行g信号的插值处理以后，利用式(7)，生成cy像素的b成分(亮度成分)的信号值b(x，y)(图12的步骤s102)。

去马赛克处理部412在利用上述式(7)生成cy像素中的b信号以后，对g像素的b成分(亮度成分)的信号值b(x，y)进行插值(图12的步骤s103)。

〔wli模式下的去马赛克处理〕

在本变形例中，去马赛克处理部412沿着上述图13所示的流程图，进行去马赛克处理。去马赛克处理部412首先使用由作为选择像素的g像素生成的像素值来判别插值方向，并根据该判别出的插值方向，对作为非选择像素的cy像素、mg像素和ye像素中的g成分进行插值，生成构成一张图像的图像信号，在该一张图像中，各像素具有g成分的像素值或插值值(图13的步骤s201)。

具体而言，去马赛克处理部412根据已知的g成分(像素值)将边缘方向判别为插值方向，对于设为插值对象的cy像素和mg像素实施沿着该插值方向的插值处理。去马赛克处理部412根据判别出的边缘方向，利用下式(21)～(29)计算坐标(x，y)处的插值对象像素的g成分的信号值g(x，y)。另外，wli模式下的插值方向根据是垂直方向和水平方向中的哪一个方向来判别。

(边缘方向：垂直方向)

在水平方向的亮度的变化比其他3个方向的亮度的变化大的情况下，去马赛克处理部412将垂直方向判别为边缘方向。在该情况下，如果插值对象像素是cy像素或ye像素、且在上方向(负方向)和斜下方向上与三个g像素相邻(例如，图15的cy21或ye42)，则去马赛克处理部412利用下式(21)计算信号值g(x，y)。

[数式21]

此外，如果将垂直方向判别为边缘方向，插值对象像素是cy像素或ye像素、且在下方向(正的方向)和斜上方向上与三个g像素相邻(例如，图15的cy41或ye22)，则去马赛克处理部412利用下式(22)计算信号值g(x，y)。

[数式22]

此外，如果将垂直方向判别为边缘方向，插值对象像素是mg像素、且是在垂直方向上与ye像素相邻、在斜方向上与四个cy像素相邻的mg像素(例如，图15的mg12)，则去马赛克处理部412利用下式(23)计算信号值g(x，y)。

[数式23]

此外，如果将垂直方向判别为边缘方向，插值对象像素是mg像素且是在垂直方向上与cy像素相邻、在斜方向上与四个ye像素相邻的mg像素(例如，图15的mg31)，则去马赛克处理部412利用下式(24)计算信号值g(x，y)。

[数式21]

(边缘方向：水平方向)

在垂直方向的亮度的变化比其他3个方向的亮度的变化大的情况下，去马赛克处理部412将水平方向判别为边缘方向。在该情况下，如果插值对象像素是cy像素且是在垂直方向上与ye像素相邻、在下方向、左斜上方向和右斜上方向上与mg像素相邻的cy像素(例如，图15的cy21)，则去马赛克处理部412利用下式(25)计算信号值g(x，y)。

[数式25]

此外，如果将水平方向判别为边缘方向，插值对象像素是cy像素且是在垂直方向上与ye像素相邻、在上方向、左斜下方向和右斜下方向上与mg像素相邻的cy像素(例如，图15的cy41)，则去马赛克处理部412利用下式(26)计算信号值g(x，y)。

[数式26]

此外，如果将水平方向判别为边缘方向，插值对象像素是ye像素且是在垂直方向上与cy像素相邻、在上方向、左斜下方向和右斜下方向上与mg像素相邻的ye像素(例如，图15的ye22)，则去马赛克处理部412利用下式(27)计算信号值g(x，y)。

[数式27]

此外，如果将水平方向判别为边缘方向，插值对象像素是ye像素且是在垂直方向上与cy像素相邻、在下方向、左斜上方向和右斜上方向上与mg像素相邻的ye像素(例如，图15的ye42)，则去马赛克处理部412利用下式(28)计算信号值g(x，y)。

[数式28]

此外，如果将水平方向判别为边缘方向，插值对象像素是mg像素，则去马赛克处理部412利用下式(29)计算信号值g(x，y)。

[数式29]

去马赛克处理部412在利用上述式(21)～(29)进行g信号的插值处理以后，利用式(14)、(15)，生成ye像素的r成分的信号值r(x，y)和cy像素的b成分的信号值b(x，y)(图13的步骤s202)。

去马赛克处理部412在利用上述式(14)、(15)生成ye像素中的r信号和cy像素中的b信号以后，针对全部像素位置，对b成分的信号值b(x，y)和r成分的信号值r(x，y)进行插值(图13的步骤s203)。

在上述本变形例1中，也与上述实施方式同样，在nbi模式的情况下，首先使用式(16)～式(20)所示的方向判别型的插值处理对非亮度成分的信号(g信号)进行插值，并使用该插值后的g信号和式(7)，在cy像素位置生成亮度成分的信号(b信号)。最后针对b信号实施方向判别型的插值处理，所以通过在cy像素位置生成b信号以后实施b信号的插值处理，方向判别处理的精度提高，无论在白色光观察方式和窄带光观察方式中的任意观察方式中，都能够获得分辨率高的图像。

(实施方式的变形例2)

在上述实施方式中，设为在wli模式时，使用式(8)～(13)来判别插值方向并进行插值处理进行了说明，但在本变形例2中，通过相邻的不同颜色信号的加减法处理，生成ycbcr，进而使用按照国际标准itu－rbt.709而确定的ycbcr→rgb转换来生成彩色图像。

具体而言，去马赛克处理部412使用下式(30)～(32)，生成亮度成分的信号值y(x，y)、及颜色成分和亮度成分的色差成分的信号值cb(x，y)和cr(x，y)。

[数式30]

[数式31]

cb(x，y)＝mg(x+1，y)+cy(x，y+1)-{g(x，y)+ye(x+1，y+1)}…(31)

[数式32]

cr(x，y)＝mg(x+1，y)+ye(x+1，y+1)-{g(x，y)+cy(x，y+1)}…(32)

然后，在生成信号值y(x，y)、cb(x，y)和cr(x，y)后，去马赛克处理部412利用下式(33)，进行ycbcr→rgb转换并生成r成分、g成分和b成分的信号值r(x，y)、g(x，y)和b(x，y)，根据所获得的rgb成分的信号值，生成彩色图像。

[数式33]

(实施方式的变形例3)

此外，滤色器排列不限定于上述实施方式等。图17是示出本实施方式的变形例3涉及的滤色器的结构的示意图。在上述实施方式中，设为滤光片单元u1由绿色滤光片(g滤光片)、品红色滤光片(mg滤光片)、青色滤光片(cy滤光片)、黄色滤光片(ye滤光片)构成进行了说明，但是本变形例3涉及的滤光片单元u3替代滤光片单元u1的cy滤光片而采用使波段hg、波段hb和波段hr的光透过的白色滤光片(w滤光片)。另外，在本变形例3中，作为设nbi模式下的亮度成分的像素为w像素、wli模式下的亮度成分的像素为g像素进行说明。

在本变形例3中也设nbi观察为窄带照明光观察，所以w滤光片相当于使白色照明光观察和窄带照明光观察的各亮度成分的波段(波段hb和hg)的光透过的第1滤光片，g滤光片和ye滤光片相当于使白色照明光观察的亮度成分(绿色成分)的波段(波段hg)的光透过并截断窄带照明光观察的亮度成分(蓝色成分)的波段的光的第2滤光片，mg滤光片相当于使窄带照明光观察的亮度成分的波段(波段hb)的光透过并截断白色照明光观察的亮度成分的波段的光的第3滤光片。

〔nbi模式下的去马赛克处理〕

在nbi模式下，能够视作图11所示的滤光片排列(滤光片单元u10)。因此，在nbi模式下，能够使用上述实施方式中的去马赛克处理。

〔wli模式下的去马赛克处理〕

在本变形例3中，依照图13所示的流程图，进行去马赛克处理。去马赛克处理部412首先使用由作为选择像素的g像素生成的像素值来判别插值方向，并根据该判别出的插值方向，对作为非选择像素的w像素、mg像素和ye像素中的g成分进行插值，生成构成一张图像的图像信号，在该一张图像中，各像素具有g成分的像素值或插值值(步骤s201)。

具体而言，去马赛克处理部412根据已知的g成分(像素值)将边缘方向判别为插值方向，对于设为插值对象的w像素和mg像素实施沿着该插值方向的插值处理。去马赛克处理部412根据判别出的边缘方向，计算坐标(x，y)处的插值对象像素的g成分的信号值g(x，y)。

(边缘方向：垂直方向)

在水平方向的亮度的变化比其他3个方向的亮度的变化大的情况下，去马赛克处理部412将垂直方向判别为边缘方向。在该情况下，如果插值对象像素是w像素，则去马赛克处理部412利用上式(8)计算信号值g(x，y)。

此外，如果将垂直方向判别为边缘方向，插值对象像素是mg像素，则去马赛克处理部412利用下式(34)计算信号值g(x，y)。

[数式34]

此外，如果将垂直方向判别为边缘方向，插值对象像素是ye像素，则去马赛克处理部412利用上式(10)计算信号值g(x，y)。

(边缘方向：水平方向)

在垂直方向的亮度的变化比其他3个方向的亮度的变化大的情况下，去马赛克处理部412将水平方向判别为边缘方向。在该情况下，如果插值对象像素是w像素，则去马赛克处理部412利用下式(35)计算信号值g(x，y)。

[数式35]

此外，如果将水平方向判别为边缘方向，插值对象像素是mg像素，则去马赛克处理部412利用上式(12)计算信号值g(x，y)。

此外，如果将水平方向判别为边缘方向，插值对象像素是ye像素，则去马赛克处理部412利用上式(13)计算信号值g(x，y)。

去马赛克处理部412在利用上述式进行g信号的插值处理以后，生成ye像素的r成分的信号值r(x，y)和w像素的b成分的信号值b(x，y)(步骤s202)。在wli模式下，波段hr、hg的光入射到ye像素中。因此，通过从所获得的信号值ye(x，y)减去相当于波段hg的光的信号值g(x，y)，能够获得相当于波段hr的光的信号值r(x，y)。具体而言，去马赛克处理部412通过从ye成分的信号值ye(x，y)减去利用上式(14)进行了插值后的g成分的信号值(插值)，生成信号值r(x，y)。

此外，波段hb、hg、hr的光入射到w像素中。因此，通过从所获得的信号值w(x，y)减去相当于波段hg的光的信号值g(x，y)，能够获得相当于波段hb的光的信号值b(x，y)。具体而言，去马赛克处理部412通过从w成分的信号值w(x，y)减去利用下式(36)进行了插值后的g成分的信号值(插值值)，生成信号值b(x，y)。

[数式36]

b(x，y)＝w(x，y)-g(x，y)-r(x，y)…(36)

另外，相当于w像素中的波段hr的光的信号值r(x，y)是使用插值后的mg像素和ye像素的信号值r(x，y)，通过公知的双三次插值而获得的。通过从信号值w(w，y)减去通过双三次插值而获得的信号值r(x，y)、和g成分的信号值(包含插值值)g(x，y)，能够生成信号值b(x，y)。

去马赛克处理部412在利用上述式生成ye像素中的r信号和w像素中的b信号以后，针对全部像素位置，对b成分的信号值b(x，y)和r成分的信号值r(x，y)进行插值(步骤s203)。由此，对于至少构成图像的像素，生成具有g成分(亮度成分)、以及b成分和r成分的信号值(像素值、插值值、或相减后的信号值)的图像信号。

另外，在上述实施方式的滤色器202a中，设为上述滤光片单元以2行2列或2行4列配置有滤光片进行了说明，但是不限于这些行数和列数。

此外，在上述实施方式中，设为在摄像元件202的受光面设置有具有多个分别使规定的波段的光透过的滤光片的滤色器202a进行了说明，但也可以是在摄像元件202的各像素中单独设置各滤光片。

另外，作为上述实施方式的内窥镜装置1，设为针对从一个光源31a射出的白色光，通过插拔切换滤光片31c而将从照明部31射出的照明光切换为白色照明光和窄带照明光进行了说明，但也可以是切换分别射出白色照明光和窄带照明光的两个光源来射出白色照明光和窄带照明光中的任意照明光。在切换两个光源来射出白色照明光和窄带照明光中的任意照明光的情况下，还能够应用于例如具有光源部、滤光器和摄像元件，并导入到被检体内的胶囊型的内窥镜。

此外，设为上述实施方式的内窥镜装置1的a/d转换部205设置于前端部24进行了说明，但也可以设置于处理器部4。此外，也可以将图像处理涉及的结构设置于内窥镜2中、将内窥镜2和处理器部4连接起来的连接器中、操作部22等中。此外，设为上述内窥镜装置1使用识别信息存储部261所存储的识别信息等来识别与处理器部4连接的内窥镜2进行了说明，但也可以在处理器部4和内窥镜2之间的连接部分(连接器)中设置识别单元。例如，在内窥镜2侧设置识别用的销(识别单元)，识别与处理器部4连接的内窥镜2。

此外，在上述实施方式中，设为在通过运动检测用图像生成部412a对于亮度成分进行了同时化以后检测运动矢量进行了说明，但本发明不限于此。作为其他的方法，也可以构成为根据同时化前的亮度信号(像素值)来检测运动矢量。在该情况下，在相同颜色像素之间进行匹配时，由于无法根据除选择像素以外的像素(非选择像素)来获得像素值，所以虽然匹配的间隔被限制，但是能够减少块匹配所需的运算成本。这里，由于运动向量的检测仅是选择像素，所以需要对非选择像素中的运动向量进行插值。在这时的插值处理中可以使用公知的双三次插值。

产业上的可利用性

如上所述，本发明涉及的内窥镜装置对于在白色照明光观察方式和窄带光观察方式中的哪一个观察方式中都获得高分辨率的图像方面是有用的。

标号说明

1：内窥镜装置；2：内窥镜；3：光源部；4：处理器部；5：显示部；21：插入部；22：操作部；23：通用缆线；24：前端部；31：照明部；31a：光源；31b：光源驱动器；31c：切换滤光片；31d：驱动部；31e：驱动器；31f：聚光透镜；32：照明控制部；41：图像处理部；42：输入部；43：存储部；44：控制部；201：摄像光学系统；202：摄像元件；202a：滤色器；203：光导；204：照明用镜头；205：a/d转换部；206：摄像信息存储部；261：识别信息存储部；411：亮度成分选择部；412：去马赛克处理部；413：显示图像生成处理部；u1、u2、u3：滤光片单元。