摄像装置、视频信号处理方法以及视频信号处理程序的制作方法
【专利摘要】摄像部(3)在通过红外线照射器(9)照射红外线光的状态下拍摄被拍摄体。摄像部(3)生成摄像信号。判定部(78)判定周围环境的可见光的量和红外线光的量的关系。控制部(7)基于由判定部(78)判定的周围环境的可见光的量与红外线光的量的关系来控制摄像装置。
【专利说明】
摄像装置、视频信号处理方法以及视频信号处理程序
技术领域
[0001 ]本发明涉及摄像装置、视频信号处理方法以及视频信号处理程序。
【背景技术】
[0002]以往，例如在夜间等几乎没有可见光的环境下，为了对被拍摄体进行拍摄而使用以下方法:通过红外线照射器对被拍摄体照射红外线光，来对从被拍摄体反射的红外线光进行拍摄。该方法是在无法使用照射可见光的灯的情况下有效的摄像方法。
[0003]但是，通过该摄像方法对被拍摄体进行拍摄所得的视频为黑白视频。在黑白视频中有时难以识别物体。即使在没有可见光的环境下，如果能够拍摄彩色视频，则也能够提高对物体的识别度。例如监视相机为了使物体的识别性提高，希望即使在没有可见光的环境下也拍摄彩色视频。
[0004]在专利文献I中记载有即使在没有可见光的环境下也能拍摄彩色视频的摄像装置。即使在专利文献I所记载的摄像装置中也使用红外线照射器。如果在监视相机中搭载专利文献I所记载的技术，则能够使被拍摄体彩色视频化，从而使物体的识别性提高。
[0005]在先技术文献
[0006]专利文献
[0007]专利文献1:日本专利文献特开2011-50049号公报。
【发明内容】
[0008]例如，当在室外日出前的黎明或日落后的薄暮的时间带在室内使照明非常暗的状态下，可见光少量存在。虽然可见光少量存在，但是由于不存在能够拍摄彩色视频程度的可见光，因此为了对被拍摄体进行拍摄，也如上所述需要对被拍摄体照射夜视摄像用的红外线光。
[0009]当在存在可见光的状态下照射夜视摄像用的红外线光时，成为可见光和红外线光混在一起的状态。此时，例如，如可见光的量与红外线光的量相比较多的状态以及红外线光的量与可见光的量相比较多的状态那样，可见光的量和红外线光的量的关系根据周围环境而不同。
[0010]当在可见光和红外线光混在一起的状态下拍摄彩色视频来生成视频信号时，即使周围环境不同，也需要可靠地控制摄像装置。
[0011 ]实施方式其目的在于提供能够执行与周围环境相应的控制的摄像装置、视频信号处理方法以及视频信号处理程序。
[0012]根据实施方式的第一方式，提供一种摄像装置，其特征在于，包括:摄像部，所述摄像部在通过红外线照射器照射红外线光的状态下对被拍摄体拍摄，并生成拍摄信号；判定部，所述判定部判定周围环境的可见光的量与红外线光的量的关系;控制部，所述控制部进行基于通过所述判定部判定的周围环境的可见光的量与红外线光的量的关系的控制。
[0013]根据实施方式的第二方式，提供一种视频信号处理方法，其特征在于，在通过红外线照射器照射红外线光的状态下拍摄被拍摄体，来生成拍摄信号；判定周围环境的可见光的量与红外线光的量的关系；以及进行基于所判定的周围环境的可见光的量与红外线光的量的关系的控制。
[0014]根据实施方式的第三方式，提供一种视频信号处理程序，使计算机执行以下步骤:获取基于拍摄信号的视频数据，所述拍摄信号通过在由红外线照射器照射红外线光的状态下摄像部拍摄被拍摄体而生成;基于所述视频数据判定周围环境的可见光的量与红外线光的量的关系；以及进行基于所判定的周围环境的可见光的量与红外线光的量的关系的控制。
[0015]根据实施方式的摄像装置、视频信号处理方法以及视频信号处理程序能够执行与周围环境相应的控制。
【附图说明】
[0016]图1是示出一实施方式的摄像装置的整体构成的框图；
[0017]图2是示出用于一实施方式的摄像装置的色彩滤波器中的滤波器单元的阵列的一例的图；
[0018]图3是示出构成一实施方式的摄像装置的摄像部中的三原色光的波长和相对灵敏度的光谱灵敏度特性的特性图；
[0019]图4是示出使来自预定的物质的三原色光的反射率乘以硅的受光灵敏度时的、波长和相对检测率的关系的特性图；
[0020]图5是示出图1中的前信号处理部52的具体的构成例的框图；
[0021]图6是示出一实施方式的摄像装置以通常模式工作时的曝光与视频信号的帧的关系的图；
[0022]图7是用于说明一实施方式的摄像装置在通常模式下工作时的解拼(de-mosaic)处理的图；
[0023]图8是示出一实施方式的摄像装置在中间模式以及夜视模式工作时的曝光和视频信号的帧的关系的图；
[0024]图9是用于说明一实施方式的摄像装置在第一中间模式下工作时的前信号处理的图；
[0025]图10是用于说明一实施方式的摄像装置在第一中间模式下工作时的去马赛克处理的图；
[0026]图11是用于说明一实施方式的摄像装置在第二中间模式下工作时的前信号处理的图；
[0027]图12是用于说明一实施方式的摄像装置在第二中间模式下工作时的去马赛克处理的图；
[0028]图13是用于一实施方式的摄像装置在夜视模式下工作时的周围像素的加法运算处理的图；
[0029]图14是示出实施了周围像素的加法运算处理的帧的图；
[0030]图15是用于说明一实施方式的摄像装置在第一夜视模式下工作时的前信号处理的图；
[0031]图16是用于说明一实施方式的摄像装置在第一夜视模式下工作时的去马赛克处理的图；
[0032]图17是用于说明一实施方式的摄像装置在第二夜视模式下工作时的前信号处理的图；
[0033]图18是用于说明一实施方式的摄像装置在第二夜视模式下工作时的去马赛克处理的图；
[0034]图19是用于说明一实施方式的摄像装置中的模式切换的例子的图；
[0035]图20是示出一实施方式的摄像装置被设定在各个模式时的各部分的状态的图；
[0036]图21是示出一实施方式的摄像装置的第一变形例的部分框图；
[0037]图22是示出一实施方式的摄像装置的第二变形例的部分框图；
[0038]图23是示出一实施方式的摄像装置的第三变形例的部分框图；
[0039]图24是示出与模式切换有关的视频信号处理方法的流程图；
[0040]图25是示出图24中的步骤S3所示的通常模式的具体的处理的流程图；
[0041]图26是示出图24中的步骤S4的中间模式的具体的处理的流程图；
[0042]图27是示出图24中的步骤S5的夜视模式的具体的处理的流程图；
[0043]图28是示出使计算机执行与模式切换有关的视频信号处理程序的处理的流程图；
[0044]图29是用于考察图3所示的光谱灵敏度特性的特征的特性图；
[0045]图30是用于说明在可见光为主的状态下照射了红外线光时的曝光量的图；
[0046]图31是用于说明在红外线光为主的状态下照射了红外线光时的曝光量的图；
[0047]图32是实现可见光的量和红外线光的量的关系的判定方法的第一例的、判定部的不意说明图；
[0048]图33是示出判定方法的第一例的流程图；
[0049]图34是示出色彩增益控制部基于判定结果控制色彩增益设定部的处理的流程图；
[0050]图35是用于说明在红外线光为主的状态下、照射了使一部分的波长的红外线光的发光功率不同的红外线光时的曝光量的图；
[0051]图36是实现可见光的量和红外线光的量的关系的判定方法的第二例的、判定部的不意说明图；
[0052]图37是用于说明在可见光为主的状态下当照射了红外线光时在判定部生成的差分值的图；
[0053]图38是用于说明在红外线光为主的状态下当照射了红外线光时在判定部生成的差分值的图；
[0054]图39是示出判定方法的第二例的流程图；
[0055]图40是示出与光量的关系的判定相应的视频信号处理方法的流程图；
[0056]图41是示出使计算机执行对包含光量的关系判定的摄像装置的工作进行控制的视频信号处理程序的处理的流程图；
[0057]图42是用于说明一实施方式的摄像装置在各个模式下使用的色彩增益的组的图。
【具体实施方式】
[0058]以下，参照附图对一实施方式的摄像装置、视频信号处理方法以及视频信号处理程序进行说明。
[0059]〈摄像装置的构成〉
[0060]首先，使用图1对一实施方式的摄像装置的整体构成进行说明。图1所示的一实施方式的摄像装置是能够在通常模式、夜视模式以及中间模式这三种模式下进行拍摄的摄像装置，所述通常模式适合于白天等可见光充分存在环境下，所述夜视模式适合于夜间等几乎没有可见光的环境下，所述中间模式适合于可见光少量存在的环境下。
[0061]中间模式是在可见光少的环境下照射红外线的同时进行拍摄的第一红外线光照射模式。夜视模式是在可见光更少(几乎没有)的环境下照射红外线的同时拍摄的第二红外线光照射模式。
[0062]在图1中，由被拍摄体反射的以单点划线示出的光通过光学透镜I被聚光。这里，光学透镜I在可见光充分存在的环境下被入射可见光，在几乎没有可见光的环境下被入射被拍摄体反射了从后述的红外线照射器9发出的红外线光而得的红外线光。
[0063]在可见光少量存在的环境下，光学透镜I被入射可见光与被拍摄体反射了从红外线照射器9发出的红外线光而得的红外线光混在一起后的光。
[0064]在图1中为了简化而仅设为一个光学透镜I，但实际上摄像装置具有多个光学透
Ho
[0065]在光学透镜I和摄像部3之间设置有光学滤波器2。光学滤波器2具有红外线截止滤波器21和白玻璃22这两个部分。光学滤波器2被驱动部8驱动为在光学透镜I和摄像部3之间插入了红外线截止滤波器21的状态和在光学透镜I和摄像部3之间插入了白玻璃22的状态中的任一个状态。
[0066]摄像部3具有摄像元件31和色彩滤波器32，所述摄像元件31在水平方向以及垂直方向上排列多个受光元件(像素)，所述色彩滤波器32与各个的受光元件对应地配置红色(R)、绿色(G)、蓝色(B)中的任一种颜色的滤波器单元。摄像元件3 I可以是CCD(ChargeCoupledDevice，电荷親合器件)或者 CMOS(CompIementaryMetalOxideSemiconductor，互补金属氧化物半导体)。
[0067]色彩滤波器32作为一例如图2所示，R、G、B各种颜色的滤波器单元以被称为拜耳(Bayer)阵列的阵列排列。拜耳阵列是R、G、B滤波器单元的预定阵列的一例。在图2中，将各行的被R滤波器单元夹着的G滤波器单元设为Gr，将被B滤波器单元夹着的G滤波器单元设为Gb0
[0068]在拜耳阵列中，R滤波器单元和Gr滤波器单元被交替配置的水平方向的行、以及B滤波器单元和Gb的滤波器单元被交替配置的水平方向的行在垂直方向上交替排列。
[0069]图3示出摄像部3中R光、G光、B光的波长和相对灵敏度的光谱灵敏度特性。相对灵敏度的最大值被标准化为I。当使摄像装置在通常模式下工作时，为了拍摄基于可见光的良好的彩色视频，需要截止波长700nm以上的红外线光。
[0070]因此，驱动部8基于由控制部7进行的控制来驱动光学滤波器2，使得在光学透镜I和摄像部3之间插入红外线截止滤波器21。
[0071]如从图3可知，摄像部3即使在波长700nm以上的红外线光的区域也具有灵敏度。因此，在使摄像装置在中间模式或者夜视模式下工作时，驱动部8基于由控制部7进行的控制来驱动光学滤波器2，使得移除光学透镜I和摄像部3之间的红外线截止滤波器21而插入白玻璃22。
[0072]当在光学透镜I和摄像部3之间插入了白玻璃22的状态下，波长700nm以上的红外线光未被截止。因此，摄像装置能够利用图3中由虚线的椭圆包围的部分的灵敏度而得到R、G、B各种颜色信息。之所以插入白玻璃22是为了将光路长度设为与插入了红外线截止滤波器21的情况的光路长度相同。
[0073 ] 红外线照射器9分别具有照射波长IRl、IR2、IR3的红外线光的照射部91、92、93。当为中间模式或者夜视模式时，控制部7内的照射控制部71进行控制，使得分时从照射部91?93选择性地照射波长IRl?IR3的红外线光。
[0074]在摄像元件31中使用硅晶圆。图4示出了对在呈现R、G、B各个颜色的素材上照射了白色光时的各波长的反射率乘以了硅的受光灵敏度时的、波长和相对检测率的关系。在图4中，相对检测率的最大值也被标准化为I。
[0075]如图4所示，在红外线光的区域中，例如，波长780nm中的反射光与呈现R色的素材的反射光的相关性高，波长870nm中的反射光与呈现B色的素材的反射光的相关性高，波长940nm中的反射光与呈现G色的素材的反射光的相关性高。
[0076]因此，在本实施方式中，将照射部91、92、93照射的红外线光的波长1町、11?2、11?3设为780nm、940nm、870nm。这些波长是波长IRl?IR3的一例，也可以是780nm、940nm、870nm以外的波长。
[0077]照射部91向被拍摄体照射波长IRl的红外线光，将拍摄了从被拍摄体反射后的光的视频信号分配给R信号。照射部93向被拍摄体照射波长IR2的红外线光，将拍摄了从被拍摄体反射后的光的视频信号分配给G信号。照射部92向被拍摄体照射波长IR3的红外线光，将拍摄了从被拍摄体反射后的光的视频信号分配给B信号。
[0078]通过如此，原理上即使在中间模式或者夜视模式下，也能够再现与在通常模式中可见光存在的环境下拍摄了被拍摄体的情况同样的颜色。
[0079]虽然是色感与被拍摄体的实际的色感不同的彩色视频，但也可以将780nm的波长IRl分配给R光、将870nm的波长IR3分配给G光、将940nm的波长IR2分配给B光。也能够将波长IRl、IR2、IR3任意地分配给R光、G光、B光。
[0080]在本实施方式中，假设将最好地再现被拍摄体的色感的波长IRl、IR2、IR3分别分配给R光、G光、B光。
[0081]控制部7对摄像部3中的拍摄、视频处理部5内的各部分、视频输出部6进行控制。通过摄像部3拍摄的拍摄信号被A/D转换器4进行A/D转换，并被输入到视频处理部5。视频处理部5的内部构成以及工作后述。
[0082]视频输出部6具有对后述的R、G、B三原色数据的每个乘以预定的色彩增益的色彩增益设定部62。色彩增益设定部62的详细的工作后述。也可以将色彩增益设定部62设置在视频处理部5内。
[0083]摄像部3和A/D转换器4也可以被一体化。视频处理部5和控制部7也可以被一体化。
[0084]控制部7具备在通常模式、中间模式、夜视模式之间进行切换的模式切换部72。模式切换部72使与通常模式、中间模式、夜视模式对应地如后述那样适当地进行切换视频处理部5内的工作。
[0085]控制部7具有判定部78以及色彩增益控制部79，判定部78判定周围环境的可见光的量与红外线光的量的关系，色彩增益控制部79进行控制，以通过色彩增益设定部62使与三原色数据相乘的色彩增益不同。这里所说的红外线光大部分是被红外线照射器9照射、由被拍摄体对其反射的光。
[0086]判定部78例如只要判定是以下两种状态中的哪一种即可:可见光的量与红外线光的量相比多而可见光为主、红外线光为从的状态，以及红外线光的量与可见光的量相比多而红外线光为主、可见光为从的状态。判定部78可以通过针对可见光的量与红外线光的量的关系计算出具体的光量之比，来判定周围环境的可见光的量和红外线光的量的关系。
[0087]这里所说的光量之比可以不是可见光的量与红外线光的量之比的本身，只要是根据周围环境的可见光的量与红外线光的量的关系(比率等)而变化的数值即可。
[0088]在通过计算出这样的数值来判定周围环境的可见光的量与红外线光的量的关系的情况下，不一定需要判定到哪个是主哪个是从。以下，为了方便，有时将周围环境的可见光的量与红外线光的量的关系简称为“主从关系”。
[0089]色彩增益控制部79按照由判定部78判定出的、周围环境的可见光的量与红外线光的量的关系进行控制，使得通过色彩增益设定部62使与三原色数据相乘的色彩增益不同。
[0090]视频处理部5具有开关51、53、前信号处理部52、以及去马赛克处理部54。开关51、53可以是物理的开关，也可以是用于切换前信号处理部52的工作和不工作的概念性开关。为了检测正拍摄的视频的明亮度而从视频处理部5输入视频信号至控制部7。
[0091]被输入到前信号处理部52的视频数据也被输入到判定部78。判定部78基于被输入到前信号处理部52的视频数据来判定光量的主从关系。
[0092]也可将判定部78的功能设置在前信号处理部52中。该情况下，具有判定部78的功能的前信号处理部52将光量的主从关系的判定结果传给色彩增益控制部79。
[0093]如图5所示，前信号处理部52具有周围像素加法运算部521、相同位置像素加法运算部522以及合成部523。
[0094]视频处理部5生成R、G、B三原色数据并提供给视频输出部6。视频输出部6将三原色数据以预定的形式输出到未图示的显示部等。
[0095]视频输出部6也可以将R、G、B信号直接输出，也可以将R、G、B信号转换为亮度信号和颜色信号(或者色差信号)输出。视频输出部6也可以输出合成视频信号。视频输出部6既可以输出数字信号的视频信号，也可以输出被D/A转换器转换成模拟信号的视频信号。
[0096]在从视频处理部5输出预定的形式的视频信号时，色彩增益设定部62为了调整白平衡而在R、G、B三原色数据的每个上乘以预定的色彩增益。这里设为为了调整白平衡而在三原色数据上乘以色彩增益，但也可以为了再现预定的色温的视频而乘以色彩增益。
[0097]色彩增益设定部62至少保持两组与R、G、B三原色数据相乘的色彩增益的组。一组色彩增益和另一组色彩增益针对R、G、B数据的色彩增益全部不同。
[0098]当通过模式切换部72将摄像装置设定为中间模式时，色彩增益设定部62通过由色彩增益控制部79进行的控制而选择与三原色数据相乘的色彩增益的组。色彩增益设定部62将所选择的组的色彩增益与三原色数据相乘。
[0099]当通过模式切换部72将摄像装置设定为通常模式和夜视模式时，色彩增益设定部62在三原色数据上乘以在通常模式和夜视模式下不同的分别固定的组的色彩增益。
[0100]以下，对通常模式、中间模式以及夜视模式的各个具体的工作进行说明。
[0101]〈通常模式〉
[0102]在通常模式下，控制部7使驱动部8在光学透镜I和摄像部3之间插入红外线截止滤波器21。照射控制部71将由红外线照射器9进行的红外线光的照射设为关。
[0103]由摄像部3拍摄的拍摄信号通过A/D转换器4被转换成作为数字信号的视频数据，并被输入到视频处理部5。在通常模式下，模式切换部72进行控制，使得开关51、53与端子Tb连接。
[0104]图6的(a)示出摄像部3的曝光Exl、Ex2、Ex3...。实际上，曝光时间根据快门速度等条件而发生变化，这里曝光Exl、Ex2、Ex3示出最大曝光时间。
[0105]图6的(b)示出能得到各个视频信号的帧的定时。基于曝光Exl前的未图示的曝光在预定时间后能够得到视频信号的帧F0。基于曝光Exl在预定时间后能得到视频信号的帧F1。基于曝光Ex2在预定时间后能得到视频信号的帧F2。曝光Ex3以后也是同样的。将视频信号的帧频率设为例如30帧/秒。
[0106]视频信号的帧频率只要如在NTSC方式下是30帧/秒或者60帧/秒、在PAL方式下是25帧/秒或者50帧/秒那样适当地设定即可。另外，视频信号的帧频率可以是在电影中使用的24帧/秒。
[0107]从A/D转换器4输出的各帧的视频数据经由开关51、53被输入到去马赛克处理部54。去马赛克处理部54对被输入的各帧的视频数据实施去马赛克处理。视频处理部5实施去马赛克处理以外的各种视频处理，并输出R、G、B三原色数据。
[0108]使用图7对去马赛克处理部54中的去马赛克处理进行说明。在图7中，(a)示出视频数据的任意的帧Fm。帧Fm是由有效视频期间的像素构成的帧。视频数据的像素数例如在VGA规格下是水平640像素、垂直480像素。这里为了简化，大幅地减少帧Fm的像素数来示意性地示出帧Fm。
[0109]使用拜耳阵列的摄像部3而生成的视频数据在帧Fm内是R、G、B的像素数据混在一起的数据。去马赛克处理部54生成R的插值像素数据Ri，所述R的插值像素数据Ri是使用周围的R像素数据计算出不存在R像素数据的像素位置的R像素数据。去马赛克处理部54生成图7的(b)所示的一帧的全部像素由R像素数据构成的R帧FmR。
[0110]去马赛克处理部54生成G的插值像素数据Gi，所述G的插值像素数据是Gi使用周围的G像素数据计算出不存在G像素数据的像素位置的G像素数据。去马赛克处理部54生成图7的(c)所示的一帧的全部像素由G像素数据构成的G帧FmG。
[0111]去马赛克处理部54生成B的插值像素数据Bi，所述B的插值像素数据Bi使用周围的B像素计算出不存在B像素数据的像素位置的B像素数据。去马赛克处理部54生成图7的(d)所示的一帧的全部像素由B像素数据构成的B帧FmB。
[0112]去马赛克处理部54只要在对R像素数据进行插值时至少使用R像素数据、在对G像素数据进行插值时至少使用G像素数据、在对B像素数据进行插值时至少使用B像素数据即可。去马赛克处理部54为了提高插值精度，在对R、G、B像素数据进行插值时，可以使用与将要生成的插值像素数据的颜色不同的其他颜色的像素数据。
[0113]在摄像部3中，由于存在比有效视频期间靠外侧的像素，因此即使在位于帧Fm的上下左右端部的像素也能进行R、G、B像素数据的插值。
[0114]通过去马赛克处理部54生成的R帧FmR、G帧FmG、B帧FmB作为R、G、B三原色数据输出。在图7的(a)到(d)中为了易于理解，以帧为单位对R、G、B像素数据进行了说明，但实际上R、G、B像素数据逐个像素被依次输出。
[0115]〈中间模式:第一中间模式〉
[0116]在中间模式(第一中间模式以及后述的第二中间模式)中，控制部7通过驱动部8在光学透镜I和摄像部3之间插入白玻璃22。照射控制部71使由红外线照射器9进行的红外线光的照射打开(on)。模式切换部72进行控制使得开关51、53与端子Ta连接。
[0117]图8的(a)示出由红外线照射器9进行的红外线光的照射的状态。控制部7进行控制，使得将通常模式的一帧期间分成各1/3，以例如照射部91、92、93的顺序照射红外线光。
[0118]在图8的(a)所示的例子中，在一帧的最初的1/3的期间中向被拍摄体照射波长IRl(780nm)的红外线光。在一帧的接着的1/3的期间中向被拍摄体照射波长IR2(940nm)的红外线光。在一帧的最后的1/3的期间中，向被拍摄体照射波长IR3(870nm)的红外线光。照射波长IRl?IR3的红外线光的顺序是任意的。
[0119]如图8的(b)所示，在照射波长IRl的红外线光的定时，摄像部3进行与R光的相关性高的曝光ExlR。在照射波长IR2的红外线光的定时，摄像部3进行与G光的相关性高的曝光ExlG。在照射波长IR3的红外线光的定时，摄像部3进行与B光的相关性高的曝光ExlB。
[0120]但是，在中间模式下，由于是在可见光少量存在的环境下的拍摄，因此是可见光与从红外线照射器9照射的红外线光混在一起的状态。因此，在中间模式下，曝光ExlR、ExlG、ExlB、Ex2R、Ex2G、Ex2B…为使基于可见光的曝光和基于红外线光的曝光合在一起的曝光。
[0121]如图8的(c)所示，基于曝光ExlR、ExlG、ExlB在预定时间后能够得到与曝光ExlR对应的帧Fl IRl、与曝光ExlG对应的帧Fl IR3、与曝光ExlB对应的帧Fl IR2。
[0122]另外，基于曝光Ex2R、Ex2G、Ex2B在预定时间后能够得到与曝光Ex2R对应的帧F2IR1、与曝光Ex2G对应的帧F2IR3、与曝光Ex2B对应的帧F2IR2。曝光Ex3R、Ex3G、Ex3B之后也是同样的。
[0123]图8的(C)的拍摄信号的帧频率是90帧/秒。在中间模式下，由于对通常模式中的视频信号的一帧进行时间划分并照射波长IRl?IR3的红外线光，因此为了输出与通常模式相同形式的视频信号，图8的(c)的拍摄信号的帧频率为通常模式下的帧频率的3倍。
[0124]如后述那样，基于图8的(C)的三帧的拍摄信号生成图8的(d)所示的具有30帧/秒的帧频率的视频信号的一帧。例如，基于帧F1IR1、F1IR2、F1IR3生成帧F1IR，基于帧F2IR1、F2IR2、F2IR3 生成帧 F2IR。
[0125]基于图8的(C)的三帧的拍摄信号对生成图8的(d)的各帧的视频信号的中间模式下的工作进行具体地说明。
[0126]与从A/D转换器4输出的图8的(C)所示的拍摄信号对应的各帧的视频数据经由开关51被输入到前信号处理部52。
[0127]使用图9的(a)到(d)对前信号处理部52中的前信号处理进行说明。图9的(a)示出在照射波长IRl的红外线光的定时生成的视频数据的任意的帧FmIRl。在帧FmIRl内的R、B、Gr、Gb的像素数据上附加了记号1，所述记号I表示是在照射了波长IRl的红外线光的状态下生成的。
[0128]图9的(b)示出在照射波长IR2的红外线光的定时生成的视频数据的任意的帧FmIR2。在帧FmIR2内的R、B、Gr、Gb的像素数据上附加了记号2，所述记号2表示是在照射了波长IR2的红外线光的状态生成的。
[0129]图9的(C)示出在照射波长IR3的红外线光的定时生成的视频数据的任意的帧FmIR3。在帧FmIR3内的R、B、Gr、Gb的像素数据上附加了记号3，所述记号3表示是在照射了波长IR3的红外线光的状态生成的。
[0130]图9的(a)所示的帧FmIRl由于是在照射与R光的相关性高的波长IRl的红外线光的状态下生成的视频数据，因此R像素数据是与照射的红外线光对应的像素数据，B、G像素数据是与照射的红外线光不对应的像素数据。附加在B、Gr、Gb像素数据的阴影线意味着是与被照射的红外线光不对应的像素数据。
[0131]图9的(b)所示的帧FmIR2由于是在照射与G光的相关性高的波长IR2的红外线光的状态下生成的视频数据，因此G的像素数据是与被照射的红外线光对应的像素数据，R、B的像素数据是与被照射的红外线光不对应的像素数据。附加在R、B的像素数据标注的阴影线意味着是与被照射的红外线光不对应的像素数据。
[0132]图9的(c)所示的帧FmIR3由于是在被照射与B光的相关性高的波长IR3的红外线光的状态下生成的视频数据，因此B像素数据是与被照射的红外线光对应的像素数据，R、G像素数据是与被照射的红外线光不对应的像素数据。附加在R、Gr、Gb像素数据标注的阴影线意味着是与被照射的红外线光不对应的像素数据。
[0133]前信号处理部52内的相同位置像素加法运算部522将彼此相同的像素位置的R、Gr、Gb、B像素数据按照下面的式(I)?(3)分别进行加法运算，来生成加法运算像素数据R123、Grl23、Gbl23、B123。在中间模式下，前信号处理部52内的周围像素加法运算部521是不进行工作的。
[0134]R123 = ka X Rl+kb X R2+kc X R3...(I)
[0135]G123 = kdXGl+keXG2+kf XG3---(2)
[0136]B123 = kgXBl+khXB2+kiXB3---(3)
[0137]在式(I)?(3)中，R1、G1、B1是帧FmIRl中的R、G、B像素数据，R2、G2、B2是帧FmIR2中的R、G、B像素数据，R3、G3、B3是帧FmIR3中的R、G、B像素数据。ka?ki是预定的系数。式⑵中G123 是 Grl23 或者 Gbl23。
[0138]此时，相同位置像素加法运算部522对未标注阴影线的各个R、Gr、Gb、B像素数据加上标注了阴影线的相同像素位置的各个R、Gr、Gb、B像素数据。
[0139]S卩，相同位置像素加法运算部522基于式(I)在帧FmIRl中的R像素数据上加上帧FmIR2、FmIR3中相同像素位置的R像素数据，并生成加法运算像素数据R123。即，仅使用与受光元件中的红色的色彩滤波器对应的区域的像素数据生成红色用的加法运算像素数据R123o
[0140]相同位置像素加法运算部522基于式(2)在帧FmIR2中的Gr、Gb像素数据上加上帧FmIRl、FmIR3中相同像素位置的Gr、Gb像素数据，并生成加法运算像素数据G123。即，仅使用受光元件中与绿色的色彩滤波器对应的区域的像素数据来生成绿色用的加法运算像素数据Gl23。
[0141]相同位置像素加法运算部522基于式(3)在帧FmIR3中的B像素数据上加上帧FmIRl、FmIR2中相同像素位置的B像素数据，来生成加法运算像素数据B123。即，仅使用受光元件与蓝色的色彩滤波器对应的区域的像素数据来生成蓝色用的加法运算像素数据B123。
[0142]前信号处理部52内的合成部523基于在各个像素位置中生成的加法运算像素数据R123、Grl23、Gbl23、B123来生成图9的(d)所示的合成视频信号的帧FmIR123。
[0143]具体地，合成部523选择帧FmIRl中的加法运算像素数据R123、帧FmIR2中的加法运算像素数据Grl23、Gbl23、以及帧FmIR3中的加法运算像素数据B123来进行合成。由此，合成部523生成合成视频信号的帧FmIRl 23。
[0144]如此，合成部523生成帧FmIR123，其中，帧FmIR123通过使加法运算像素数据R123、Grl23、Gbl23、B123排列成为与色彩滤波器32中的滤波器单元的阵列相同阵列而成。
[0145]在第一中间模式下，使用未标注阴影线的像素数据和标注了阴影线的像素数据来生成帧FmIR123的视频数据。
[0146]之所以通过相同位置像素加法运算部522对彼此相同像素位置的像素数据进行加法运算是基于如下理由。在中间模式下，由于虽然是少量的但也是存在可见光的环境下的拍摄，因此标注了阴影线的像素数据包含基于由可见光产生的曝光的各个颜色分量。因此，通过对相同像素位置的像素数据进行加法运算，能够提高各个颜色的灵敏度。
[0147]在可见光和红外线光混在一起的状况下如果可见光比较多，则基于可见光的曝光成为支配性的。该情况下，在帧FmIR123的视频数据中，基于被可见光曝光的视频信号的成分为主要的。如果在可见光和红外线光混在一起的状况下红外线光比较多，则基于红外线光的曝光成为支配性的。该情况下，在帧FmIR123的视频数据中，基于被红外线光曝光的视频信号的成分成为主要的。
[0148]在可见光比较少的情况下，在式(I)中，可以将系数ka、kb、kc的大小关系设为ka>kb、kc，在式(2)中，将系数kd、ke、kf的大小关系设为kf >kd、ke，在式(3)中，将系数kg、kh、ki的大小关系设为kh>kg、ki。这是因为波长IRl与R光的相关性高、波长IR2与G光的相关性高、波长IR3与B光的相关性高。
[0149]通过如此，R像素数据能够以帧FmIRl中的R像素数据为主，G像素数据能够以帧FmIR2中的G像素数据为主，B像素数据能够以帧FmIR3中的B像素数据为主。
[0150]从前信号处理部52输出的帧FmIR123的视频数据经由开关53被输入到去马赛克处理部54。去马赛克处理部54与通常模式同样地，对被输入的帧FmIR123的视频数据实施去马赛克处理。视频处理部5实施去马赛克处理的以外的各种视频处理，并输出R、G、B三原色数据。
[0151]使用图10对去马赛克处理部54中的去马赛克处理进行说明。图10的(a)示出帧FmIR123。去马赛克处理部54使用周围的R像素数据计算不存在R像素数据的像素位置的R像素数据，来生成R的插值像素数据R123i。去马赛克处理部54生成图10的(b)所示的一帧的全部像素由R像素数据构成的R帧FmIR123R。
[0152]去马赛克处理部54使用周围的G像素数据运算不存在G像素数据的像素位置的G像素数据，来生成G的插值像素数据G123i。去马赛克处理部54生成图10的(c)所示的一帧的全部像素由G像素数据构成的G帧FmIR123G。
[0153]去马赛克处理部54使用周围的B像素数据运算不存在B像素数据的像素位置的B像素数据，来生成B的插值像素数据B123i。去马赛克处理部54生成图10的(d)所示的一帧的全部像素由B像素数据构成的B帧FmIR123B。
[0154]对通常模式下的图7所示的去马赛克处理部54的工作和中间模式下的图10所示的去马赛克处理部54的工作进行比较可知，两者实质上是相同的。去马赛克处理部54的工作无论是通常模式还是中间模式都没有变化。
[0155]在通常模式下将前信号处理部52设为不进行工作，在中间模式下，只要使除了周围像素加法运算部521以外前信号处理部52进行工作即可。在通常模式和中间模式下，能够共用视频处理部5中的去马赛克处理部54等信号处理部。
[0156]〈中间模式:第二中间模式〉
[0157]使用图11和图12对第二中间模式下的工作进行说明。在第二中间模式下的工作中，与第一中间模式下的工作相同部分省略说明。图11的(a)?(c)的帧FmIRl、FmIR2、FmIR3与图9的(a)?(c)的帧FmIRl、FmIR2、FmIR3是相同的。
[0158]合成部523选择帧FmIRl中的作为R像素数据的Rl、帧FmIR2中的作为G像素数据的Gr2、Gb2、以及帧FmIR3中的作为B像素数据的B3来进行合成。由此，合成部523生成图11的(d)所示的合成视频信号的帧FmIR123’。
[0159]S卩，帧FmIR123’是将帧FmIRl、FmIR3、FmIR2中的未标阴影线的R、Gr、Gb、B像素数据集结为一帧而成的视频数据。
[0160]S卩，在帧FmIR123’中，成为仅使用在照射了波长IRl的红外线光的状态下与红色的色彩滤波器对应的区域的像素数据的红色用的像素数据、仅使用在照射了波长IR2的红外线光的状态下与绿色的色彩滤波器对应的区域的像素数据的绿色用的像素数据、仅使用在照射了波长IR3的红外线光的状态下与蓝色的色彩滤波器对应的区域的像素数据的蓝色用的像素数据。
[0161 ] 如此，合成部523生成帧FmIR123，，其中帧FmIR123，通过使对像素数据Rl、Gr2、Gb2、B3排列成为与色彩滤波器32中的滤波器单元的阵列相同的阵列而成。
[0162]在第二中间模式下，相同位置像素加法运算部522将式(I)中的系数ka设为I，将系数kb、kc设为0，将式(2)中的系数ke设为1，将系数kd、kf设为0，将式(3)中的系数ki设为1，将系数kg、kh设为O。
[0163]由此，帧FmIRl中的R像素数据、帧FmIR2中的Gr、Gb像素数据以及帧FmIR3中的B像素数据为分别保持原来的值。
[0164]由此，合成部523与第一中间模式下的工作同样地，只要选择帧FmIRl中的R像素数据、帧FmIR2中的Gr、Gb像素数据以及帧FmIR3中的B像素数据就能生成帧FmIR123’。
[0165]在第二中间模式中，前信号处理部52仅使用在照射用于生成与像素数据的颜色相同颜色的像素数据的红外线光的状态下生成的像素数据(未标注阴影线的像素数据)，来生成帧FmIRl23’的视频数据。
[0166]根据第二中间模式，与第一中间模式比虽然灵敏度和颜色的再现性降低，但能够简化运算处理，减少帧内存。
[0167]使用图12，对去马赛克处理部54中的去马赛克处理进行说明。图12的(a)示出帧FmIR123’。去马赛克处理部54使用周围的R像素数据运算不存在R像素数据的像素位置的R像素数据，来生成R的插值像素数据RH。去马赛克处理部54生成图12的(b)所示的一帧的全部像素由R像素数据构成的R帧FmIR123’R。
[0168]去马赛克处理部54使用周围的G像素数据运算不存在G像素数据的像素位置的G像素数据，来生成G的插值像素数据G2i。去马赛克处理部54生成图12的(c)所示的一帧的全部像素由G像素数据构成的G帧FmIR123’G。
[0169]去马赛克处理部54使用周围的B像素数据运算不存在B像素数据的像素位置的B像素数据，来生成B的插值像素数据B3i。去马赛克处理部54生成图12的(d)所示的一帧的全部像素由B像素数据构成的B帧FmIR123’B。
[0170]如以上那样，在中间模式下，根据从受光元件的与红色的色彩滤波器对应的区域得到的像素数据来生成红色用的像素数据，根据从受光元件的与绿色的色彩滤波器对应的区域得到的像素数据来生成绿色用的像素数据，根据从受光元件的与蓝色的色彩滤波器对应的区域得到的像素数据来生成蓝色用的像素数据。
[0171]〈夜视模式:第一夜视模式〉
[0172]在夜视模式(第一夜视模式以及后述的第二夜视模式)下，与中间模式同样地，控制部7通过驱动部8在光学透镜I和摄像部3之间插入白玻璃22。照射控制部71将由红外线照射器9进行的红外线光的照射打开。模式切换部72进行控制，使得开关51、53与端子Ta连接。
[0173]夜视模式下的概要的工作与图8是相同的。但是，在夜视模式下，由于是在可见光几乎不存在的环境下的拍摄，因此假定图8的(b)中的曝光EX1R、EX1G、EX1B、EX2R、EX2G、Ex2B…仅基于红外线光的曝光。
[0174]在可见光几乎不存在而仅红外线光存在的环境下，由于在色彩滤波器32中的各自的滤波器单元的特性上变得没有差别，因此能够将摄像部3视为单色的摄像元件。
[0175]因此，前信号处理部52内的周围像素加法运算部521在夜视模式中为了提高红外线光的灵敏度，针对各个像素数据加上位于周围的像素数据。
[0176]具体地，如图13的(a)所示，当R像素是关注像素时，周围像素加法运算部521对作为关注像素的R像素数据加上位于周围的G以及B的八个像素的像素数据。
[0177]S卩，当处于中间模式时，根据从受光元件中的与红色的色彩滤波器对应的区域得到的像素数据来生成红色用的像素数据，但在夜视模式中，根据与中间模式时相比更大的区域得到的像素数据来生成红色用的像素数据。在图13的(a)?(C)所示的例中，各色也使用从包含关注像素的9像素量的区域得到的像素数据。
[0178]如图13的(b)所示，当G像素是关注像素时，周围像素加法运算部521对作为关注像素的G像素数据加上位于周围的R、G、B的八个像素的像素数据。图13的(b)中的关注像素的G是Gb像素，位于周围的G是Gr像素。虽然省略了图示，但当关注像素是Gr像素的情况也是同样的。
[0179]S卩，当中间模式时，根据从受光元件中的与绿色的色彩滤波器对应的区域得到的像素数据来生成绿色用的像素数据，但在夜视模式中，根据从与中间模式时比更大的区域得到的像素数据来生成绿色用的像素数据。
[0180]如图13的(C)所示，当B像素是关注像素时，周围像素加法运算部521对作为关注像素的B像素数据加上位于周围的R以及G的八个像素的像素数据。
[0181]S卩，当处于中间模式时，根据从受光元件中的与蓝色的色彩滤波器对应的区域得到的像素数据来生成蓝色用的像素数据，但在夜视模式中，根据从与中间模式时比更大的区域得到的像素数据来生成蓝色用的像素数据。
[0182]周围像素加法运算部521可以单纯地对关注像素的像素数据和周围的八个像素的像素数据的九个像素进行加法运算，也可以在针对周围的八个像素的像素数据赋予预定的权重的基础上与作为关注像素的像素数据进行加法运算。
[0183]然而，存在将被称为像素混合(Binning)的多个像素汇总而能够作为一个像素读出的摄像元件。作为摄像元件31，在使用具有像素混合功能的摄像元件的情况下，可以不进行基于周围像素加法运算部521的加法运算处理，而是进行基于具有像素混合功能的摄像元件的加法运算处理。由摄像元件进行的像素混合与由周围像素加法运算部521进行的加法运算处理实质上是等价的。
[0184]图14的(a)?(c)的帧 FmIRl、FmIR3、FmIR2 是与图 9的(a)?(c)的帧 FmIRl、FmIR3、FmIR2 相同的。在图 14 的(d)?(f)中，Rlad、Grlad、Gblad、Blad、R2ad、Gr2ad、Gb2ad、B2ad、R3ad、Gr3ad、Gb3ad、B3ad是分别针对R、Gr、Gb、B的像素数据加上周围的八个像素的像素数据后的加法运算像素数据。
[0185]周围像素加法运算部521通过对帧FmIRl、FmIR3、FmIR2的各个像素数据实施图13的(a)?(c)所示的加法运算处理来生成图14的(d)?(f)所示的帧FmIRlad、FmIR2ad、FmIR3ad0
[0186]图15的(a)?(c)的帧FmIRlad、FmIR2ad、FmIR3ad是与图 14的(d)?(f)的帧FmIRlad、FmIR2ad、FmIR3ad 相同的。
[0187]相同位置像素加法运算部522与第一中间模式同样的，基于式(I)对帧?!1111?1&(1中的Rlad像素数据与帧FmIR2ad、FmIR3ad中相同像素位置的R2ad、R3ad像素数据进行加法运算，来生成加法运算像素数据Rl 23ad。
[0188]相同位置像素加法运算部522基于式(2)对帧FmIR2ad中的Gr2ad、Gb2ad像素数据与帧FmIRlad、FmIR3ad中相同像素位置的Gr lad、Gblad、Gr3ad、Gb3ad像素数据进行加法运算，来生成加法运算像素数据Grl23ad、Gbl23ad。
[0189]相同位置像素加法运算部522基于式(3)对帧FmIR3ad中的B3ad像素数据与帧FmIRlad、FmIR2ad中相同像素位置的Blad、B2ad的像素数据进行加法运算，来生成加法运算像素数据B123ad。
[0190]合成部523与第一中间模式同样的，选择帧FmIRlad中的加法运算像素数据R123ad、帧FmIR2ad中的加法运算像素数据Grl23ad、Gbl23ad以及帧FmIR3ad中的加法运算像素数据B123ad来进行合成。由此，合成部523生成图15的(d)所示的合成视频信号的帧FmIR123ad0
[0191]合成部523生成帧FmIR123ad，其中帧FmIR123ad通过对加法运算像素数据R123ad、Grl23ad、Gbl23ad、B123ad进行排列成为与色彩滤波器32中的滤波器单元的阵列相同的阵列而成。
[0192]图16的(a)示出帧FmIR123ad。去马赛克处理部54使用周围的R像素数据运算不存在R像素数据的像素位置的R像素数据，来生成R的插值像素数据R123adi。去马赛克处理部54生成图16的(b)所示的一帧的全部像素由R像素数据构成的R帧FmIR123adR。
[0193]去马赛克处理部54使用周围的G像素数据运算不存在G像素数据的像素位置的G像素数据，来生成G的插值像素数据G123adi。去马赛克处理部54生成图16的(c)所示的一帧的全部像素由G像素数据构成的G帧FmIR123adG。
[0194]去马赛克处理部54使用周围的B像素数据运算不存在B像素数据的像素位置的B像素数据，来生成B的插值像素数据B123adi。去马赛克处理部54生成图16的(d)所示的一帧的全部像素由B像素数据构成的B帧FmIR123adB。
[0195]第一中间模式和第一夜视模式在以下点上不同:前者将周围像素加法运算部521设为不进行工作，后者使周围像素加法运算部521进行工作。模式切换部72当处于夜视模式时只要使周围像素加法运算部521进行工作即可。
[0196]夜视模式下的去马赛克处理部54的工作与通常模式以及中间模式下的去马赛克处理部54的工作实质上是相同的。在通常模式、中间模式和夜视模式中能够共用视频处理部5中的去马赛克处理部54等信号处理部。
[0197]〈夜视模式:第二夜视模式〉
[0198]使用图17和图18对第二夜视模式中的工作进行说明。在第二夜视模式中的工作下，与第一夜视模式中的工作相同部分省略说明。图17的(a)?(c)的帧FmIRlad、FmIR2ad、FmIR3ad 与图 15 的(a)?(c)的 FmIRlad、FmIR2ad、FmIR3ad 是相同的。
[0199]合成部523选择帧FmIRlad中作为R像素数据的Rlad、帧FmIR2中的作为G像素数据的Gr2ad、Gb2ad以及帧FmIR3中的作为B像素数据的B3ad来进行合成。由此，合成部523生成图17的(d)所示的合成视频信号的帧FmIRl 23，ad。
[0200]合成部523生成帧FmIR123’ad，其中，帧FmIR123’ad通过使像素数据Rlad、Gr2ad、Gb2ad、B3ad排列成与色彩滤波器32中的滤波器单元的阵列相同的阵列而得。
[0201 ]此外，如使用图13的(a)?(C)所说明的那样，帧FmIRl 23 ’ ad中的红色用的像素数据Rlad是根据从比中间模式时的为了生成红色用的像素数据而使用的区域大的区域得到的像素数据而生成的。
[0202]另外，帧FmIR123’ad中的绿色用的加法运算像素数据Gr2ad是根据从比中间模式时为了生成绿色用的像素数据而使用的区域大的区域得到的像素数据而生成的。
[0203]并且，帧FmIR123’ad中的蓝色用的加法运算像素数据B3ad是根据从比中间模式时的为了生成蓝色用的像素数据而使用的区域大的区域得到的像素数据来生成的。
[0204]在第二夜视模式中与第二中间模式同样地，相同位置像素加法运算部522将式(I)中的系数ka设为1，将系数kb、kc设为0，将式(2)中的系数ke设为1，将系数kd、kf设为0，将式
(3)中的系数ki设为I，将系数kg、kh设为O。
[0205]由此，帧FmIRlad中的Rlad像素数据、帧FmIR2ad中的Gr2ad、Gb2ad像素数据以及帧FmIR3ad中的B3ad像素数据为分别保持原来的值。
[0206]因此，合成部523与第一夜视模式中的工作同样地，如果选择帧FmIRlad中的Rlad像素数据、帧FmIR2ad中的Gr2ad、Gb2ad像素数据以及帧FmIR3ad中的B3ad像素数据就能生成帧 FmIRl 23’ad。
[0207]使用图18对去马赛克处理部54中的去马赛克处理进行说明。图18的(a)示出帧FmIR123’ad。去马赛克处理部54使用周围的Rlad像素数据运算不存在R像素数据的像素位置的R像素数据，来生成R的插值像素数据Rladi。去马赛克处理部54生成图18的(b)所示的一帧的全部像素由R像素数据构成的R帧FmIR123’adR。
[0208]去马赛克处理部54使用周围的Gr2ad、Gb2ad像素数据运算不存在G像素数据的像素位置的G像素数据，生成G的插值像素数据G2adi。去马赛克处理部54进行插值生成图18的(c)所示的一帧的全部像素由G像素数据构成的G帧FmIRl 23，adG。
[0209]去马赛克处理部54使用周围的B3ad像素数据运算不存在B像素数据的像素位置的B像素数据，生成B的插值像素数据B3adi。去马赛克处理部54生成图18的(d)所示的一帧的全部像素由B像素数据构成的B帧FmIR123’adB。
[0210]第二中间模式和第二夜视模式在以下点上不同:前者将周围像素加法运算部521设为不进行工作，后者使周围像素加法运算部521进行工作。
[0211]另外，在中间模式下，根据从受光元件中的与各种颜色对应的区域获得的像素数据的每个来生成各种颜色用的像素数据，当在夜视模式中，也可以说由于与周围像素进行加法运算，根据从与中间模式中的用于生成各种颜色用的像素数据的区域的每个比更大的区域得到的像素数据来生成各种颜色用的像素数据。
[0212]〈模式切换的例〉
[0213]使用图19的(a)?(c)对由模式切换部72进行的模式切换的例子进行说明。图19的(a)作为一例示意性地示出时间从白天期间的时间带经过至夜里的时间带时周围环境的明亮度发生变化的情况。
[0214]如图19的(a)所示，随着时间从白天经过到傍晚，明亮度降低，在时刻t3以后基本成为黑暗的状态。图19的(a)所示的明亮度实质上示出可见光的量，在时刻t3以后为可见光几乎没有的状态。
[0215]控制部7能够基于从视频处理部5输入的视频信号(视频数据)的亮度水平来判断周围环境的明亮度。如图19的(b)所示，模式切换部72在明亮度是预定的阈值Thl(第一阈值)以上时为通常模式，在明亮度是小于阈值Thl且是预定的阈值Th2(第二阈值)以上时为中间模式，在是小于阈值Th2时为夜视模式。
[0216]本实施方式的摄像装置在明亮度为阈值Thl的时刻tl为止将模式自动切换成通常模式、从时刻11到明亮度为阈值Th2的时刻t2为止将模式自动切换成中间模式、时刻t2以后将模式自动切换成夜视模式。在图19的(b)中，中间模式可以是第一中间模式和第二中间模式中的任一个，夜视模式可以是第一夜视模式和第二夜视模式中的任一个。
[0217]在图19的(a)中，将可见光几乎即将变没的时刻t3之前的明亮度设为阈值Th2，但也可以将时刻t3的明亮度设为阈值Th2。
[0218]如图19的(C)所示，模式切换部72可以在中间模式的期间将可见光比较多的时刻tl侧的期间设为第一中间模式，将可见光比较少的时刻t2侧的期间设为第二中间模式。在图19的(c)中，夜视模式可以是第一夜视模式和第二夜视模式中的任一个。
[0219]在本实施方式的摄像装置中，照射控制部71控制红外线照射器9的打开和关闭，模式切换部72通过对视频处理部5内的各部分的进行工作或不进行工作进行切换，能够实现各个模式。
[0220]如图20所示，通常模式是红外线照射器9关闭、周围像素加法运算部521和相同位置像素加法运算部522以及合成部523均不工作、去马赛克处理部54工作的状态。
[0221]第一中间模式是红外线照射器9打开、周围像素加法运算部521不工作、相同位置像素加法运算部522和合成部523以及去马赛克处理部54工作的状态。第二中间模式是红外线照射器9打开、周围像素加法运算部521和相同位置像素加法运算部522不工作、合成部523和去马赛克处理部54工作的状态。
[0222]相同位置像素加法运算部522中的工作与不工作是指如前所述，通过适当地设定式(I)?(3)的系数ka?ki的值来能够容易地切换。
[0223]第一夜视模式是红外线照射器9打开、周围像素加法运算部521和相同位置像素加法运算部522、合成部523、去马赛克处理部54全部工作的状态。第二夜视模式是红外线照射器9打开、相同位置像素加法运算部522不工作、周围像素加法运算部521、合成部523和去马赛克处理部54工作的状态。
[0224]然而，周围像素加法运算部521在用于对关注像素的像素数据加上周围的像素数据的计算式中，如果将与周围的像素数据相乘的系数设为超过O的系数(例如I)则能够将周围像素的加法运算处理设为工作的状态。
[0225]另外，周围像素加法运算部521在该计算式中，如果将与周围的像素数据相乘的系数设为0，则能够将周围像素的加法运算处理设为不工作的状态。
[0226]周围像素加法运算部521中的工作与不工作都能够通过适当地设定系数的值来容易地进行切换。
[0227]〈摄像装置的第一变形例〉
[0228]控制部7检测周围环境的明亮度的方法不被限定于基于视频信号的亮度水平的方法。
[0229]如图21所示，可以通过明亮度传感器11来检测周围环境的明亮度。在图21中，基于视频信号的亮度水平和由明亮度传感器11检测出的明亮度这两者可以判断周围环境的明亮度。
[0230]〈摄像装置的第二变形例〉
[0231 ]控制部7也可以不直接检测出周围环境的明亮度，而是基于一年期间中的时间(日期)以及时刻(时间带)来大概假定周围环境的明亮度，从而模式切换部72切换到各模式。
[0232]如图22所示，模式设定表12与日期和时间带的组合对应而设定有通常模式、中间模式、夜视模式中的任一个。控制部7内的时钟73管理日期和时刻。控制部7参照时钟73所示的日期和时刻来读出由模式设定表12设定的模式。
[0233]照射控制部71和模式切换部72控制摄像装置，以成为从模式设定表12读出的模式。
[0234]〈摄像装置的第三变形例〉
[0235]如图23所示，可以用户通过操作部13手动地选择模式地控制摄像装置，来变为选择了照射控制部71和模式切换部72的模式。操作部13可以是设置在摄像装置的框体上的操作按钮，也可以是远程控制器。
[0236]〈与模式切换有关的视频信号处理方法〉
[0237]使用图24重新说明在图1所示的摄像装置中执行的与模式切换有关的视频信号处理方法。
[0238]在图24中，一旦摄像装置开始工作，控制部7在步骤SI中判定周围环境的明亮度是否是阈值Thl以上。如果是阈值Thl以上(是)，则控制部7在步骤S3中使其执行在通常模式下的处理。如果不是阈值Thl以上(否)，则控制部7在步骤S2中判定周围环境的明亮度是否是阈值Th2以上。
[0239]如果是阈值Th2以上(是)，则控制部7在步骤S4中使其执行在中间模式下的处理。如果不是阈值Th2以上(否)，则控制部7在步骤S5中使其执行在夜视模式下的处理。
[0240]控制部7在步骤S3?S5之后使处理返回到步骤SI，重复步骤SI以后的步骤。
[0241]图25示出步骤S3的通常模式的具体的处理。在图25中，控制部7(照射控制部71)在步骤S31中使红外线照射器9关闭。控制部7在步骤S32中插入红外线截止滤波器21。控制部7(模式切换部72)在步骤S33中使开关51、53与端子113连接。步骤331?333的顺序是任意的，也可以是同时的。
[0242]控制部7在步骤S34中通过摄像部3来拍摄被拍摄体。控制部7在步骤S35中控制视频处理部5，使得通过去马赛克处理部54对通过摄像部3拍摄被拍摄体而生成的构成视频信号的帧进行去马赛克处理。
[0243]图26示出步骤S4的中间模式的具体的处理。在图26中，控制部7(照射控制部71)在步骤S41中将红外线照射器9打开，以使得分时地从照射部91?93照射波长IRl?IR3的红外线光。
[0244]控制部7在步骤S42中插入白玻璃22。控制部7(模式切换部72)在步骤S43中使开关51、53与端子Ta连接。步骤S41?S43的顺序是任意的，也可以是同时的。
[0245]控制部7在步骤S44中通过摄像部3拍摄被拍摄体。摄像部3在分别照射与R对应的波长IRl的红外线光、与G对应的波长IR2的红外线光、与B对应的波长IR3的红外线光的状态下对被拍摄体进行拍摄。
[0246]控制部7(模式切换部72)在步骤S45中控制前信号处理部52，使得周围像素加法运算部521不工作、使合成部523工作来生成合成视频信号。
[0247]在分别照射波长IR1、IR2、IR3的红外线光的状态下，将通过摄像部3拍摄被拍摄体而生成的构成视频信号的帧设为第一帧、第二帧、第三帧。
[0248]合成部523将基于第一帧内的R像素数据、第二帧内的G像素数据、第三帧内的B像素数据的三原色的像素数据进行排列，以成为与色彩滤波器32中的滤波器单元的阵列相同的阵列。合成部523如此来生成将第一帧?第三帧合成到一帧的合成视频信号。
[0249]控制部7在步骤S46中控制视频处理部5，使得通过去马赛克处理部54对合成视频信号的帧进行去马赛克处理。
[0250]去马赛克处理部54基于合成视频信号的帧实施生成R帧、G帧、B帧的去马赛克处理，依次生成被进行去马赛克处理的三原色的帧。
[0251]去马赛克处理部54通过在不存在R像素数据的像素位置插值R像素数据而能够生成R帧。去马赛克处理部54通过在不存在G像素数据的像素位置插值G像素数据而能够生成G帧。去马赛克处理部54通过在不存在B像素数据的像素位置插值B像素数据而能够生成B帧。
[0252]在设为第一中间模式的情况下在步骤S45中使相同位置像素加法运算部522工作、在设为第二中间模式的情况下在步骤S45中使相同位置像素加法运算部522不工作即可。[0253 ]图27示出步骤S5的夜视模式的具体的处理。在图27中，控制部7 (照射控制部71)在步骤S51中打开红外线照射器9，使得分时地从照射部91?93照射波长IRl?IR3的红外线光。
[0254]控制部7在步骤S52中插入白玻璃22。控制部7(模式切换部72)在步骤S53中使开关51、53与端子Ta连接。步骤S51?S53的顺序是任意的，也可以是同时的。
[0255]控制部7在步骤S54中通过摄像部3拍摄被拍摄体。控制部7(模式切换部72)在步骤S55中控制前信号处理部52，以使周围像素加法运算部521和合成部523工作来生成合成视频信号。
[0256]控制部7在步骤S56中控制视频处理部5，使得通过去马赛克处理部54对合成视频信号的帧进行去马赛克处理。
[0257]在设为第一夜视模式的情况下在步骤S55中使相同位置像素加法运算部522工作、在设备第二夜视模式的情况下在步骤S55中使相同位置像素加法运算部522不工作即可。
[0258]〈与模式切换有关的视频信号处理程序〉
[0259]在图1中，通过计算机(微型计算机)构成控制部7、或者视频处理部5和控制部7的一体化部分，使计算机执行视频信号处理程序(计算机程序)，也能实现与上述的摄像装置同样的工作。可以包含视频输出部6在内也由计算机构成。
[0260]使用图28，说明在由视频信号处理程序构成作为图24的步骤S4的中间模式中的控制的情况下使计算机执行的步骤的例。图28示出使计算机执行与模式切换有关的视频信号处理程序的处理。
[0261]在图28中，视频信号处理程序在步骤S401中使计算机执行控制红外线照射器9的处理，以分别照射与R、G、B对应的波长IRl、IR2、IR3的红外线光。
[0262]可以在视频信号处理程序的外部执行步骤S401所示的步骤。在图28中省略了插入白玻璃22的步骤。插入白玻璃22的步骤也可以在视频信号处理程序的外部执行。
[0263]视频信号处理程序在步骤S402中使计算机执行以下处理:获取在照射波长IRl的红外线光的状态下通过摄像部3拍摄被拍摄体而生成的、构成视频信号的第一帧的像素数据。
[0264]视频信号处理程序在步骤S403中使计算机执行以下处理:获取在照射波长IR2的红外线光的状态下通过摄像部3拍摄被拍摄体而生成的、构成视频信号的第二帧的像素数据。
[0265]视频信号处理程序在步骤S404中使计算机执行以下处理:获取在照射波长IR3的红外线光的状态下通过摄像部3拍摄被拍摄体而生成的、构成视频信号的第三帧的像素数据。
[0266]视频信号处理程序在步骤S405中使计算机执行以下处理:对R、G、B像素数据进行排列，以成为与色彩滤波器32中的滤波器单元的阵列相同的阵列，从而生成合成到一帧中的合成视频信号。
[0267]在中间模式下，视频信号处理程序在步骤S405中不使计算机执行周围像素的加法运算处理的处理。
[0268]视频信号处理程序在步骤S406中使计算机执行对合成视频信号的帧实施去马赛克处理来生成R、G、B的帧的处理。
[0269]虽然省略图示，但在由视频信号处理程序构成作为图24的步骤S5的夜视模式中的控制的情况下，在图28的步骤S405中只要使计算机执行周围像素的加法运算处理的处理即可。
[0270]视频信号处理程序可以是被记录在能够由计算机读取的记录介质中的计算机程序。视频信号处理程序可以以被记录在记录介质中的状态被提供，也可以经由互联网等网络来使计算机下载视频信号处理程序来提供。计算机能够读取的记录介质可以是CD-ROM、DVD-ROM等的非暂时性的任意的记录介质。
[0271]在如图1那样构成的摄像装置中，例如可以根据需要来设置多个各部，同时执行中间模式和夜视模式。该情况下，视频输出部6可以输出由中间模式生成的视频信号和由夜视模式生成的视频信号这两者。
[0272]另外，模式切换部72可以在视频输出部6输出由中间模式生成的视频信号状态和视频输出部6输出由夜视模式生成的视频信号的状态间切换。此时，如前所述，可以根据周围环境的明亮度或时刻等进行切换。另外，也可以将视频处理部5(视频处理装置)与其他各部分分开。
[0273]并且，可以存在不使用中间模式而从通常模式切换到夜视模式、或者从夜视模式切换到通常模式的情况。
[0274]在不使用中间模式的情况下，在适于上述的中间模式的使用的环境下，只要选择通常模式和夜视模式中的任一个来使用即可。该情况下，与使用中间模式的情况相比未必成为良好的彩色视频信号，但能够拍摄。
[0275]但是，即使是仅搭载通常模式和夜视模式的摄像装置，在例如由监视相机拍摄一整天被拍摄体的情况那样、周围的明亮度发生变化的状况下，能够起到由一个摄像装置拍摄被拍摄体的效果。
[0276]并且，还可以存在不使用夜视模式而从通常模式切换到中间模式、从中间模式切换到通常模式的情况。在总是不使用夜视模式的情况下可以不搭载夜视模式。
[0277]在有电灯的场所等，存在可以不使用夜视模式的情况。仅搭载了通常模式和中间模式的摄像装置能够用于可以不使用夜视模式的情况。
[0278]在不使用夜视模式的情况下，在适于上述夜视模式的使用的环境下，只要使用中间模式即可。该情况下，与使用夜视模式的情况相比未必成为良好的彩色视频信号，但能够拍摄。
[0279]即使是仅搭载了通常模式和中间模式的摄像装置，同样地起到以下效果:在周围的明亮度变化的状况下能够由一个摄像装置拍摄被拍摄体。
[0280]〈可见光的量和红外线光的量的关系的判定方法〉
[0281]如前所述，可见光的量和红外线光的量的关系根据周围环境而不同。如果在可见光的量和红外线光的量的关系为某特定的状态下调整了视频信号的白平衡，则在可见光的量和红外线光的量的关系变为与该特定的状态不同的状态下，白平衡被打破。即，如果光量的关系不同，则无法以各自的状态高质量地再现被拍摄体的颜色。
[0282]因此，判定部78根据后述的判定方法的第一例或者第二例来判定光量的主从关系。首先，使用图29对在图3中说明的摄像部3中的光谱灵敏度特性的特征进行考察。
[0283]如前所述，将波长IR1、IR2、IR3设为780nm、940nm、870nm。如图29所示，将与R对应的波长IRl中的R的灵敏度设为Str、将与G对应的波长IR2中的G的灵敏度设为Stg、将与B对应的波长IR3中的B的灵敏度设为Stb。
[0284]根据图29可知，灵敏度Str、Stg、Stb的值有很大不同。因此，如果波长IRl?IR3的红外线光的发光功率是相同的，则摄像部3的曝光量根据是否照射了波长IR1、IR2、IR3中的某一个的红外线光而不同。
[0285]〈判定方法的第一例〉
[0286]使用图30?图33、图35对判定方法的第一例进行说明。假设波长IRl?IR3的红外线光的发光功率是相同的。判定部78作为判定方法的第一例，通过比较曝光量来判定光量的主从关系，所述曝光量是在每个预定的期间选择性照射波长IR1、IR2、IR3的红外线光的状态下的摄像部3的曝光量中的、至少两个期间的曝光量。
[0287]图30的(a)?(C)示出可见光的量与红外线光的量比较足够多、可见光为主的状态。图30的(a)、(b)部分地示出图8的(a)、(b)。红外线照射器9如图29的(a)所示选择地照射波长IRl?IR3的红外线光，摄像部3如图29的(b)所示进行曝光。
[0288]将在照射波长IRl的红外线光的期间的曝光量设为AepR、将在照射波长IR2的红外线光的期间的曝光量设为A印G、将在照射波长IR3的红外线光的期间的曝光量设为A印B。
[0289]如果是可见光为主的状态，则摄像部3的曝光量几乎不受被红外线照射器9照射的红外线光影响。因此，如图30的(c)所示，无论照射波长IRl?IR3中的哪个红外线光，摄像部3的曝光量AepR、AepG、AepB都为基本相同的值。当是可见光为主的状态时，摄像部3的曝光量A印R、AepG、A印B总是为基本固定的值。
[0290]图31的(a)?(C)示出红外线光的量与可见光的量比较足够多、红外线光为主的状态。图31的(a)、(b)是与图30的(a)、(b)相同的。如果是红外线光为主的状态，则摄像部3的曝光量受到被红外线照射器9照射的红外线光的影响。
[0291]因此，如图31的(C)所示，摄像部3的曝光量根据照射波长IRl?IR3中的哪个红外线光而值不同。曝光量AepR、AepG、AepB反映了在图29中说明的灵敏度Str、Stg、Stb的不同，为 AepR>AepB>AepG 的关系。
[0292 ] 如比较图30的(c)和图31的(c)可知，判定部78判定为:如果摄像部3的曝光量在将一帧进行了三分割的期间基本是固定的，则可见光为主，如果摄像部3的曝光量在进行了三分割的期间是波动的，则红外线光为主。
[0293]具体而言，比较曝光量AepR、AepG、AepB中的至少两个，如果只是预定的阈值以下的差则能够判定为可见光为主，如果是超过预定的阈值的差则能够判定为红外线光为主。通过对曝光量A印R、A印G、A印B的三个彼此进行比较，也能够提高判定精度。
[0294]在比较曝光量AepR、AepG、AepB中的两个的情况下，比较差最大的曝光量AepR和曝光量AepG是较好的。
[0295]使用图32的(a)?(C)来说明实现判定方法的第一例的判定部78的进一步具体的构成以及工作。图32的(a)?(C)是比较曝光量AepR和曝光量AepG来判定光量的主从关系的示意性的说明图。
[0296]图32的(a)与图9的(a)相同，是在照射波长IRl的红外线光的定时生成的视频数据的任意的帧FmlRl。图32的(b)与图9的(b)相同，是在照射波长IR2的红外线光的定时生成的视频数据的任意的帧FmIR2。这里，将Gr、Gb像素数据设为G，并省略图9中的标号。
[0297]图32的(C)是第一例中的判定部78的示意性的框图。如图32的(C)所示，判定部78具有平均值化部781、差分运算部782以及比较部783。
[0298]两个平均值化部781分别图示出在输入帧FmIRl的像素数据的时刻的平均值化部781以及在输入帧FmIR2的像素数据的时刻的平均值化部781。
[0299]平均值化部781对帧FmIRl的预定的区域内中的像素数据进行平均值化来生成平均值Fave(IRl)。平均值化部781对帧FmIR2的预定的区域内中的像素数据进行平均值化来生成平均值Fave(IR2)。平均值Fave(IRl)、Fave(IR2)被输入到差分运算部782。
[0300]所谓预定的区域可以是一帧的整体，也可以是除了一帧的端部的中央部等部分。所谓预定的区域可以是多帧。以下，将预定的区域设为一帧。
[0301]差分运算部782计算平均值Fave(IRl)和平均值Fave(IR2)的差来生成差分值Vdf。虽然没有图示，但差分值Vdf通过绝对值电路绝对值化后被输入到比较部783。
[0302]比较部783对差分值Vdf和阈值ThlO进行比较并生成以下判定数据Ddetl，如果差分值Vdf是阈值Th 1以下则判定数据Ddet I表示可见光为主，如果差分值Vdf超过阈值Th 1，则判定数据Ddetl表示红外线光为主。
[0303]判定数据Ddetl例如可以为在可见光为主时是0、在红外线光为主时是I的二值数据。判定数据Ddetl被输入到色彩增益控制部79。此外，可以将判定数据Ddetl设为根据差分值Vdf而变化的值，并根据该值使色彩增益适应性地变化。
[0304]使用图33的流程图来进一步说明判定部78的工作。在图33中，判定部78在步骤SlOl中判定是否是帧FmIRl的生成时刻。如果是帧FmIRl的生成时刻(是)，则判定部78在步骤S102中对帧FmIRl的像素数据进行平均值化并生成平均值Fave(IRl )。
[0305]如果不是帧FmIRl的生成时刻(否)，则判定部78在步骤S103判定是否是帧FmIR2的生成时刻。如果是帧FmIR2的生成时刻(是)，则判定部78在步骤S104中对帧FmIR2的像素数据进行平均值化来生成平均值Fave(IR2)。如果不是帧FmIR2的生成时刻(否)，则判定部78使处理返回到步骤SlOl。
[0306]判定部78在步骤S105中计算平均值Fave(IRl)和平均值Fave(IR2)的差来生成差分值Vdf。判定部78在步骤S106中判定差分值Vdf是否是阈值Th 1以下。
[0307]如果差分值Vdf是阈值ThlO以下(是)，则判定部78在步骤S107中判定为可见光为主，将处理返回到步骤S1I。如果差分值Vdf不是阈值Th 1以下(否)，则判定部78在步骤S108中判定红外线光为主，将处理返回到步骤S101。以下，重复同样的处理。
[0308]如此，在判定方法的第一例中，通过对输入到控制部7的视频信号(视频数据)的信号水平、详细地说是一帧的像素信号(像素数据)的平均值进行比较，来实质地对曝光量AepR和曝光量AepG进行比较。
[0309]如图34所示，色彩增益控制部79在步骤S201中基于被输入的判定数据Ddetl来判定是否是可见光为主。如果是可见光为主(是)，则色彩增益控制部79控制色彩增益设定部62来选择第一组的色彩增益，并将处理返回到步骤S201。
[0310]如果不是可见光为主(否)，则色彩增益控制部79控制色彩增益设定部62来选择第二组的色彩增益，并将处理返回到步骤S201。以下，重复同样的处理。
[0311]图31和图32示出波长IRl?IR3的红外线光的发光功率是相同的情况。在有意使波长IRl?IR3的红外线光的发光功率不同的基础上，也能基于曝光量AepR、AepG、AepB判定光量的主从关系。
[0312]图35的(a)?(d)与图31同样地示出红外线光为主的状态。图35的(a)、(C)是与图31的(a)、(b)相同的。如图35的(b)所示，例如使波长IR3的红外线光的发光功率比波长IR1、IR2的红外线光的发光功率大。
[0313]该情况下的曝光量AepR、AepG、AepB如图35的(d)所示。判定部78可以比较曝光量AepR和曝光量AepB来判定光量的主从关系，也可以比较曝光量AepG和曝光量AepB来判定光量的主从关系。判定部78可以识别有无曝光量AepR、AepG、AepB的大小关系的特有的图案，如果没有特有的图案则判定为可见光为主，如果有特有的图案则判定为红外线光为主。
[0314]〈判定方法的第二例〉
[0315]使用图36?图39来说明判定方法的第二例。假设波长IRl?IR3的红外线光的发光功率是相同的。作为判定方法的第二例，判定部78通过使用基于在照射波长IRl的红外线光的状态下生成的拍摄信号的像素信号以及基于在照射其他的红外线光的状态下生成的拍摄信号的像素信号来判定光量的主从关系。
[0316]判定部78使用R像素信号和G或者B像素信号来作为像素信号。其他的红外线光可以是波长IR2的红外线光和波长IR3的红外线光中的任一个。
[0317]如图29所示，在波长IRl中，R的灵敏度Str与G、B的灵敏度存在较大的灵敏度差。R的灵敏度Str和B的灵敏度Stbl的灵敏度差特别大。在波长IR2中，R、B的灵敏度Str2、Stb2与G的灵敏度Stg基本相同，两者的灵敏度差几乎没有。在波长IR3中3的灵敏度Stb和R、G的灵敏度的不同也是很小的。
[0318]判定方法的第二例利用在波长IRl?IR3中R、G、B的灵敏度差不同来判定光量的主从关系。
[0319]在波长IRl中，由于R的灵敏度Str与B的灵敏度Stbl的灵敏度差最大，因此作为与R的像素信号进行比较的像素信号，使用B像素信号比使用G像素信号优选。因此，判定部78设为使用在照射波长IRl的红外线光的状态下的R像素信号与B像素信号。
[0320]在照射波长IR2的红外线光的状态下的R、B的像素信号与在照射波长IR3的红外线光的状态下的R、B的像素信号任一个都可以，假设判定部78使用前者。
[0321]使用图36的(a)?(g)对实现判定方法的第二例的判定部78的具体的构成以及工作进行说明。图36也与图32同样地，是判定光量的主从关系的示意性的说明图。
[0322]图36的(a)与图32的(a)相同，是在照射波长IRl的红外线光的定时生成的视频数据的任意的帧FmIRl。图36的(b)与图32的(b)相同，是在照射波长IR2的红外线光的定时生成的视频数据的任意的帧FmIR2。
[0323]图36的(c)示意性地示出仅提取出帧FmIRl内的R像素的状态。图36的(d)示意性地示出仅提取出帧FmIRl内的B像素的状态。
[0324]图36的(e)示意性地示出仅提取出帧FmIR2内的R像素的状态。图36的(f)示意性地示出仅提取帧FmIR2内的B像素的状态。
[0325]图36的(g)是第二例中的判定部78的示意性的框图。如图36的(g)所示，判定部78具有平均值化部784、785、差分运算部786、787以及比较部788。
[0326]两个平均值化部784、785的每个分别图示出在输入帧FmIRl的R、B像素数据的时刻的平均值化部784、785以及在输入帧FmIR2的R、B的像素数据的时刻的平均值化部784、785。
[0327]平均值化部784对帧FmIRl的一帧内的R像素数据进行平均值化来生成平均值Rave(IRl)。平均值化部785对帧FmIRl的一帧内的B像素数据进行平均值化来生成平均值Bave(IRl)0
[0328]平均值化部784对帧FmIR2的一帧内的R像素数据进行平均值化来生成过平均值Rave(IR2)。平均值化部785对帧FmIR2的一帧内的B像素数据进行平均值化来生成平均值Bave(IR2)。
[0329]可以通过将生成R像素数据的平均值Rave(IRl)、Rave(IR2)的时刻与生成B像素数据的平均值Bave(IRl)、Bave(IR2)的时刻错开，来仅设一个平均值化部。该情况下，首先预先暂时保持所生成的平均值。
[0330]平均值Rave(IRl )、Bave(IRl)与平均值Rave(IR2)、Bave(IR2)被输入到差分运算部786。两个差分运算部786分别图示出在输入平均值Rave(IRl)、Bave(IRl)的时刻的差分运算部786以及在输入平均值Rave (IR2)、Bave (IR2)的时刻的差分运算部786。
[0331 ] 差分运算部786计算平均值Rave (IRl)与平均值Bave (IRl)的差来生成差分值Vdfl。差分运算部786计算平均值Rave(IR2)与平均值Bave(IR2)的差来生成差分值Vdf2。虽然没有图示，但差分值Vdfl、Vdf 2通过绝对值电路而被绝对值化，并被输入到差分运算部787。
[0332]差分运算部787计算差分值Vdfl和差分值Vdf2的差来生成差分值Vdfl2。虽然未图示，但是差分值Vdf 12通过绝对值电路而被绝对值化，并被输入到比较部788。
[0333]比较部788比较差分值Vdfl2和阈值Th20来生成判定数据Ddet2，如果差分值Vdf!2是阈值Th20以下，则判定数据Ddet2表示可见光为主，如果差分值Vdf 12超过阈值Th20，则判定数据Ddet2表示红外线光为主。判定数据Ddet2也可以是二值数据。判定数据Ddet2被输入到色彩增益控制部79。
[0334]图37示出可见光为主的状态。图37的(a)、(b)是与图30的(a)、(b)相同的。图37的(c)示出基于图37的(b)所示的曝光而生成的帧。如图8所说明的那样，图37的(b)的曝光和图37的(c)所示的帧的时刻错开，这里图示出忽略时刻的不同而使时间方向(左右方向)的位置一致的状态。
[0335]在可见光为主的状态下，如在图30所说明的那样，摄像部3的曝光量AepR、AepG、A印B是基本固定的值，几乎不受波长IRl?IR3中的R、G、B的灵敏度差的影响。
[0336]因此，如图37的(d)所示，在帧FmIRl的时刻生成的差分值Vdfl与在帧FmIR2的时刻生成的差分值Vdf 2是基本相同的值。因此，差分值Vdf 12为小的值。
[0337]在图37的⑷中，为了方便，将差分值Vdfl、Vdf2以横跨帧FmIRl、FmIR2的各个帧期间的方式记载。实际上，差分值Vdfl、Vdf 2在向判定部78输入了帧FmIRl、FmIR2的像素数据后的预定的时刻被生成。
[0338]图38的(a)?(d)示出红外线光为主的状态。图38的(a)?(C)是与图37的(a)?(C)相同的。在红外线光为主的状态下，受到波长IRl?IR3中的R、G、B的灵敏度差的影响。
[0339 ]因此，如图38的(d)所示，在帧FmIRl的时刻生成的差分值Vdf I和在帧FmIR2的时刻生成的差分值Vdf2在值上有很大不同。因此，差分值Vdf 12为大的值。
[0340]使用图39的流程图来进一步说明判定部78的工作。在图39中，判定部78在步骤S301中判定是否是帧FmIRl的生成时刻。
[0341]如果是帧FmIRl的生成时刻(是)，则判定部78在步骤S302中对帧FmIRl的R像素数据进行平均值化来生成平均值Rave( IRl)。判定部78在步骤S303中对帧FmIRl的B像素数据进行平均值化来平均值Bave(IRl)。
[0342]判定部78在步骤S304中计算平均值Rave(IRl)与平均值Bave(IRl)的差来生成差分值Vdfl。
[0343]另一方面，在步骤S301中如果不是帧FmIRl的生成时刻(否)，则判定部78在步骤S305中判定是否是帧FmIR2的生成时刻。
[0344]如果是帧FmIR2的生成时刻(是)，则判定部78在步骤S306中对帧FmIR2的R像素数据进行平均值化来生成平均值Rave( IR2)。判定部78在步骤S307中对帧FmIR2的B像素数据进行平均值化来生成平均值Bave(IR2)。
[0345]判定部78在步骤S308中计算平均值Rave(IR2)与平均值Bave(IR2)的差来生成差分值Vdf2。
[0346]在步骤S305中，如果不是帧FmIR2的生成时刻(否)，则判定部78将处理返回到步骤S301o
[0347]判定部78在步骤S309中计算差分值Vdfl与差分值Vdf2的差来生成差分值Vdfl2。判定部78在步骤S310中判定差分值Vdf 12是否是阈值Th20以下。
[0348]如果差分值Vdfl 2是阈值Th20以下(是)，则判定部78在步骤S311中判定为可见光为主，并将处理返回到步骤S301。如果差分值Vdfl2不是阈值Th20以下(否)，则判定部78在步骤S312中判定为红外线光为主，并将处理返回到步骤S101。以下，重复同样的处理。
[0349]色彩增益控制部79在图34的步骤S201中基于所输入的判定数据Ddet2判定是否为可见光为主。
[0350]如果是可见光为主(是)，则色彩增益控制部79控制色彩增益设定部62来选择第一组的色彩增益，并将处理返回到步骤S201。
[0351]如果不是可见光为主(否)，则色彩增益控制部79控制色彩增益设定部62来选择第二组的色彩增益，并将处理返回到步骤S201。以下，重复同样的处理。
[0352]〈基于光量的主从关系的判定的视频信号处理方法〉
[0353]使用图40来重新说明在图1所示的摄像装置中执行的、基于光量的主从关系的判定的视频信号处理方法。
[0354]在图40中，摄像部3在步骤S501中在被红外线照射器9选择性地照射波长IRl、IR2、IR3的红外线光的状态下拍摄被拍摄体，生成与R、G、B的各个对应的拍摄信号。
[0355]视频处理部5在步骤S502中基于拍摄信号生成R、G、B三原色数据。判定部78在步骤S503中判定周围环境的可见光的量与被红外线照射器9照射的红外线光的量的主从关系。
[0356]色彩增益控制部79在步骤S504中控制色彩增益设定部62，使得如果是可见光为主(是)，则选择第一组的色彩增益。因此，视频输出部6在步骤S505中输出对三原色数据乘以第一组色彩增益后的视频信号。
[0357]色彩增益控制部79在步骤S504中控制色彩增益设定部62，使得如果不是可见光为主(否)，则选择第二组色彩增益。因此，视频输出部6在步骤S506中输出对三原色数据乘以第二组色彩增益后的视频信号。
[0358]通过步骤S504?S506的处理，摄像装置按照被判定的主从关系选择与三原色数据相乘的色彩增益的多组中的任一组，并输出将所选择的组的色彩增益与所述三原色数据相乘后的视频信号。
[0359]当摄像装置被设定为中间模式时，重复步骤S501?S506的处理。
[0360]〈对包含光量的主从关系的判定的、摄像装置的工作进行控制的视频信号处理程序〉
[0361]使用图41，对通过计算机程序控制包含光量的主从关系的判定的摄像装置的工作时的视频信号处理程序进行说明。
[0362]在图41中，视频信号处理程序在步骤S601中使计算机执行获取基于拍摄信号的视频数据的处理，所述拍摄信号与通过在红外线照射器9选择性地照射波长IR1、IR2、IR3的红外线光的状态下拍摄被拍摄体而生成的R、G、B的每个对应。
[0363]视频信号处理程序在步骤S602中使计算机执行以下处理:基于视频数据判定周围环境的可见光的量与被红外线照射器9照射的红外线光的量的关系。虽然未图示，但判定结果被计算机临时保持。
[0364]视频信号处理程序在步骤S603中使计算机执行确认被保持的判定结果的处理。
[0365]如果是可见光为主(是)，则视频信号处理程序在步骤S604中使计算机执行以下处理:控制色彩增益设定部62，使得以与色彩增益设定部62基于视频数据而生成三原色数据相乘的色彩增益的组为第一组。
[0366]如果不是可见光为主(否)，则视频信号处理程序在步骤S605中使计算机执行以下处理:控制色彩增益设定部62，使得将与色彩增益设定部62基于视频数据而生成的三原色数据相乘的色彩增益的组设为第二组。
[0367]通过步骤S603?S605，视频信号处理程序使计算机执行以下处理:控制色彩增益设定部62，使得按照被判定的主从关系从色彩增益的多个组中，选择某一个色彩增益设定部62对于与三原色数据相乘的色彩增益的组。
[0368]当摄像装置被控制为中间模式时，视频信号处理程序使计算机重复执行步骤S601?S605的处理。
[0369]对包含光量的主从关系的判定的、摄像装置的工作进行控制的视频信号处理程序也是同样的，可以是被记录在能够由计算机读取的非暂时性的记录介质中的计算机程序。该视频信号处理程序也可以以被记录在记录介质的状态下被提供，还可以经由网络被提供。
[0370]〈色彩增益的组的切换例〉
[0371]使用图42，对色彩增益设定部62使用的色彩增益的组如何进行切换进行说明。图42的(a)、(b)是与图19的(a)、(b)相同的。
[0372]由于在通常模式下是可见光为主，因此色彩增益设定部62使用的色彩增益的组在第一组是固定的。由于在夜视模式下是红外线光为主，因此色彩增益设定部62使用的色彩增益的组在第二组是固定的。色彩增益设定部62只要根据由模式切换部72进行模式切换的状态选择第一组和第二组即可。
[0373]在中间模式下，按照基于上述的判定方法的第一或者第二例的判定结果，在可见光比较多的状态下选择第一组，在红外线光比较多的状态下选择第二组。
[0374]因此，色彩增益设定部62当从通常模式转移到中间模式、从中间模式转移到夜视模式时，在到中间模式的中途使用第一组，在中间模式的中途之后使用第二组。
[0375]在图42的(C)中，为了方便，对中间模式的期间进行两分，将通常模式侧设为第一组，将夜视模式设为第二组。实际上，从选择第一组的状态切换到选择第二组的状态的定时根据阈值Thl0、Th20的值的设定方法和其它各种的条件决定。
[0376]可以使色彩增益设定部62预先至少保持三组色彩增益的组，将在夜视模式下使用的色彩增益的组设为与在中间模式下使用的第二组不同的第三组。
[0377]也能构成为使用以上说明的光量的主从关系的判定结果来切换中间模式和夜视模式。在可见光为主的图30、图37的状态下可以设为中间模式，在红外线光为主的图31、图37的状态下可以设为夜视模式。
[0378]然而，所谓可见光为主、为红外线光从的状态未必被限定于可见光比红外线光多状态。所谓红外线光为主、可见光为从的状态未必限定于红外线光比可见光多的状态。可见光和红外线光的关系不需要以可见光与红外线光的特定的比率为基准来确定。例如，只要以被生成的视频信号为更高品质的方式确定可见光与红外线光的关系即可。
[0379]本发明不限于以上说明的本实施方式，能够在不脱离本发明的主旨的范围内进行各种变更。例如，在图1所示的摄像装置中，可以使红外线照射器9与摄像装置的框体拆装自如。也可以将红外线照射器9设为摄像装置外部的构成。摄像装置只要具有当安装有红外线照射器9时控制红外线照射器9的构成即可。
[0380]关于可见光与红外线光的关系可以分别测量各自的光量来进行判定。判定部78进行的主从关系的判定包含基于测量光量而得的测量结果的情况。在基于上述的视频信号的主从关系的判定中，容易反映被拍摄体附近的可见光与红外线光的关系。因此，基于视频信号的主从关系的判定比基于光量的测量结果的主从关系的判定更好。
[0381]另外，控制部7可以根据周围环境的可见光的量与红外线光的量的关系来使各种参数变化。本实施方式不限于色彩增益，能够适合于用于对由摄像部3拍摄的拍摄信号进行图像处理的使各种参数变化的技术。
[0382]控制部7可以根据周围环境的可见光的量与红外线光的量的关系进行各种撮影模式间的切换。本实施方式不限于中间模式和夜视模式，能够适应于公知的各种撮影模式间的切换控制。本实施方式也能应用于使用红外线光的其他的摄像技术。
[0383]并且，控制部7和视频处理部5能够使用一个或多个硬件的处理器(CPU)实现。硬件和软件的区别使用是任意。可以仅由硬件构成摄像装置，也可以由软件实现一部分的构成。
[0384]产业上的可用性
[0385]本发明的摄像装置、视频信号处理方法以及视频信号处理程序能够在可见光的量变化的环境下用于监视被拍摄体的监视相机。
【主权项】
1.一种摄像装置，其特征在于，包括: 摄像部，所述摄像部在通过红外线照射器照射红外线光的状态下对被拍摄体拍摄，并生成拍摄信号； 判定部，所述判定部判定周围环境的可见光的量与红外线光的量的关系； 控制部，所述控制部进行基于通过所述判定部判定的周围环境的可见光的量与红外线光的量的关系的控制。2.如权利要求1所述的摄像装置，其特征在于， 所述摄像部在通过红外线照射器选择性地照射第一红外线光、第二红外线光、和第三红外线光的状态下对被拍摄体进行拍摄，并生成与红色、绿色、蓝色的各个对应的拍摄信号，其中，所述第一红外线光具有与红色相对应的第一波长，所述第二红外线光具有与绿色相对应的第二波长，所述第三红外线光具有与蓝色相对应的第三波长。3.如权利要求2所述的摄像装置，其特征在于， 所述判定部通过比较按照每个预定的期间选择性地照射所述第一红外线光?第三红外线光的状态下的所述摄像部每次曝光量中的至少两个期间的曝光量，来判定可见光的量与红外线光的量的关系。4.如权利要求3所述的摄像装置，其特征在于， 所述判定部具有: 平均值化部，所述平均值化部对在照射所述第一红外线光?第三红外线光中的一个红外线光的状态下生成的第一帧信号所包含的像素信号在预定的区域内进行平均值化来生成第一平均值，对在照射所述第一红外线光?第三红外线光中的另一个红外线光的状态下生成的第二帧信号所包含的像素信号在预定的区域内进行平均值化来生成第二平均值； 差分运算部，所述差分运算部计算所述第一平均值和所述第二平均值的差来生成差分值；以及 比较部，所述比较部将所述差分值和预定的阈值进行比较，在所述差分值是所述阈值以下时，生成表示可见光的量为主、红外线光的量为从的判定值，在所述差分值超过所述阈值时，生成表示红外线光的量为主、可见光的量为从的判定值。5.如权利要求2所述的摄像装置，其特征在于， 所述判定部通过使用以在照射所述第一红外线光的状态下生成的拍摄信号为基础的红色的像素信号与绿色或蓝色的像素信号、以及以在照射所述第二红外线光或者第三红外线光的状态下生成的拍摄信号为基础的红色的像素信号与绿色或者蓝色的像素信号，来判定可见光的量与红外线光的量的关系。6.如权利要求5所述的摄像装置，其特征在于， 所述摄像部在一帧内生成红色的像素信号、绿色的像素信号以及蓝色的像素信号混在一起的帧信号作为所述拍摄信号， 所述判定部具有: 平均值化部，所述平均值化部对在照射所述第一红外线光的状态下生成的第一帧信号所包含的红色的像素信号在预定的区域内进行平均值化来生成第一平均值，对所述第一帧信号所包含的绿色或者蓝色的像素信号在预定的区域内进行平均值化来生成第二平均值，对在照射所述第二红外线光或者第三红外线光的状态下生成的第二帧信号所包含的红色的像素信号在预定的区域内进行平均值化来生成第三平均值，对所述第二帧信号所包含的绿色或蓝色的像素信号在预定的区域内进行平均值化来生成第四平均值； 第一差分运算部，所述第一差分运算部计算所述第一平均值与所述第二平均值的差来生成第一差分值，计算所述第三平均值与所述第四平均值的差来生成第二差分值； 第二差分运算部，所述第二差分运算部计算所述第一差分值与所述第二差分值的差来生成第三差分值；以及 比较部，所述比较部对所述第三差分值与预定的阈值进行比较，在所述第三差分值是所述阈值以下时，生成表示可见光的量为主、红外线光的量为从的判定值，在所述第三差分值超过所述阈值时，生成表示红外线光的量为主、可见光的量为从的判定值。7.如权利要求1?6中任一项所述的摄像装置，其特征在于， 所述控制部按照通过所述判定部判定的、周围环境的可见光的量与红外线光的量的关系，改变处理所述拍摄信号的参数。8.如权利要求2?6中任一项所述的摄像装置，其特征在于， 包括: 视频处理部，所述视频处理部基于所述拍摄信号生成红色、绿色以及蓝色的三原色数据；以及 色彩增益设定部，所述色彩增益设定部对所述三原色数据乘以预定的色彩增益， 所述控制部进行控制，以按照由所述判定部判定的关系通过所述色彩增益设定部使与所述三原色数据相乘的色彩增益不同。9.如权利要求1?8中任一项所述的摄像装置，其特征在于， 所述判定部基于所述摄像部生成的拍摄信号来判定周围环境的可见光的量与红外线光的量的关系。10.一种视频信号处理方法，其特征在于， 在通过红外线照射器照射红外线光的状态下拍摄被拍摄体，来生成拍摄信号； 判定周围环境的可见光的量与红外线光的量的关系；以及 进行基于所判定的周围环境的可见光的量与红外线光的量的关系的控制。11.一种视频信号处理程序，使计算机执行以下步骤: 获取基于拍摄信号的视频数据，所述拍摄信号通过在由红外线照射器照射红外线光的状态下摄像部拍摄被拍摄体而生成； 基于所述视频数据判定周围环境的可见光的量与红外线光的量的关系；以及 进行基于所判定的周围环境的可见光的量与红外线光的量的关系的控制。
【文档编号】H04N9/04GK105934941SQ201580005175
【公开日】2016年9月7日
【申请日】2015年1月14日
【发明人】笹生刚良, 关口智
【申请人】Jvc建伍株式会社