本发明涉及一种拍摄装置、拍摄装置的控制方法以及记录介质。
背景技术：
以往，例如使用如下的方法：为了在夜晚等可见光几乎不存在的环境下拍摄被摄体，通过红外线投光器向被摄体照射红外光，拍摄从被摄体反射的红外光。该方法在无法使用照射可见光的照明装置的情况下是有效的拍摄方法。
然而，通过该拍摄方法拍摄被摄体而得到的影像成为单色影像。在单色影像中有时难以识别物体。若能够在没有可见光的环境下拍摄彩色影像，则能够提高物体的识别性。例如，在监视摄像机中，为了提高物体的识别性，希望即使在没有可见光的环境下也拍摄彩色影像。
在专利文献1中记载了即使在没有可见光的环境下也能够拍摄彩色影像的拍摄装置。在专利文献1所记载的拍摄装置中，使用红外线投光器。若在监视摄像机上搭载专利文献1所记载的技术，则能够对被摄体进行彩色影像化来提高物体的识别性。
现有技术文献
专利文献
专利文献1：日本特开2011-50049号公报
技术实现要素：
在通过具备红外线投光器的拍摄装置向被摄体照射红外光来拍摄被摄体时，在被摄体移动的情况下，存在产生色边纹(色ずれ)的问题。
实施方式的目的是提供一种能够减轻向正在移动的被摄体照射红外光来拍摄被摄体时产生的色边纹的拍摄装置、拍摄装置的控制方法以及控制程序。
根据实施方式的第1方式，提供一种拍摄装置，该拍摄装置具备：投光控制部，其控制红外线投光器以便通过上述红外线投光器按照第1红外光、第2红外光、第3红外光的顺序选择性地投射第1红外光、第2红外光、第3红外光，其中，第1红外光具有与红色、绿色、蓝色中的第1颜色对应的第1波长，第2红外光具有与红色、绿色、蓝色中的第2颜色对应的第2波长，第3红外光具有与红色、绿色、蓝色中的第3颜色对应的第3波长；拍摄部，其在1帧期间的至少一部分投射上述第1红外光的状态下拍摄被摄体，生成基于第1拍摄信号的第1帧，在1帧期间的至少一部分投射上述第2红外光的状态下拍摄上述被摄体，生成基于第2拍摄信号的第2帧，在1帧期间的至少一部分投射上述第3红外光的状态下拍摄上述被摄体，生成基于第3拍摄信号的第3帧；电子快门控制部，其控制上述拍摄部中的电子快门的功能；以及影像处理部，其合成上述第1帧、第2帧、第3帧来生成影像信号的帧，上述电子快门控制部控制使上述拍摄部曝光的期间和定时，以便将在投射上述第2红外光的状态下使上述拍摄部曝光的期间的中央即第1定时与在投射上述第1红外光或第3红外光的状态下使上述拍摄部曝光的期间的中央即第2定时的间隔设定得比上述第1定时与上述第1帧或第3帧的1帧期间的中央即第3定时的间隔短。
根据实施方式的第2方式，提供一种拍摄装置的控制方法，该控制方法包括如下步骤：第1步骤，在1帧期间的至少一部分投射具有与红色、绿色、蓝色中的第1颜色对应的第1波长的第1红外光的状态下，通过拍摄部拍摄被摄体，生成基于第1拍摄信号的第1帧；第2步骤，接着上述第1步骤，在1帧期间的至少一部分投射具有与红色、绿色、蓝色中的第2颜色对应的第2波长的第2红外光的状态下，通过上述拍摄部拍摄上述被摄体，生成基于第2拍摄信号的第2帧；第3步骤，接着上述第2步骤，在1帧期间的至少一部分投射具有与红色、绿色、蓝色中的第3颜色对应的第3波长的第3红外光的状态下，通过上述拍摄部拍摄上述被摄体，生成基于第3拍摄信号的第3帧；以及第4步骤，合成上述第1帧、第2帧、第3帧来生成影像信号的帧，在上述第1步骤、第2步骤、第3步骤中，通过上述拍摄部中的电子快门的功能，设定在分别投射上述第1红外光、第2红外光、第3红外光的状态下使上述拍摄部曝光的期间和定时，将在投射上述第2红外光的状态下使上述拍摄部曝光的期间的中央即第1定时与在投射上述第1红外光或第3红外光的状态下使上述拍摄部曝光的期间的中央即第2定时的间隔设定得比上述第1定时与上述第1帧或第3帧的1帧期间的中央即第3定时的间隔短。
根据实施方式的第3方式，提供一种记录介质，记录有拍摄装置的控制程序，该控制程序使计算机执行如下步骤：第1步骤，控制红外线投光器投射具有与红色、绿色、蓝色中的第1颜色对应的第1波长的第1红外光；第2步骤，在1帧期间的至少一部分投射上述第1红外光的状态下，通过拍摄部拍摄被摄体，生成基于第1拍摄信号的第1帧；第3步骤，接着上述第1步骤，控制上述红外线投光器投射具有与红色、绿色、蓝色中的第2颜色对应的第2波长的第2红外光；第4步骤，在1帧期间的至少一部分投射上述第2红外光的状态下，通过上述拍摄部拍摄上述被摄体，生成基于第2拍摄信号的第2帧；第5步骤，接着上述第3步骤，控制上述红外线投光器投射具有与红色、绿色、蓝色中的第3颜色对应的第3波长的第3红外光；第6步骤，在1帧期间的至少一部分投射上述第3红外光的状态下，通过上述拍摄部拍摄上述被摄体，生成基于第3拍摄信号的第3帧；以及第7步骤，合成上述第1帧、第2帧、第3帧来生成影像信号的帧，使计算机在上述第2、第4、第6步骤中执行如下处理：通过上述拍摄部中的电子快门的功能控制使上述拍摄部曝光的期间和定时，以便将在投射上述第2红外光的状态下使上述拍摄部曝光的期间的中央即第1定时与在投射上述第1红外光或第3红外光的状态下使上述拍摄部曝光的期间的中央即第2定时的间隔设定得比上述第1定时与上述第1帧或第3帧的1帧期间的中央即第3定时的间隔短。
根据实施方式的拍摄装置、拍摄装置的控制方法以及控制程序，能够减轻在向运动的被摄体照射红外光来拍摄被摄体时产生的色边纹。
附图说明
图1是表示一实施方式的拍摄装置的整体结构的框图。
图2是表示用于一实施方式的拍摄装置的滤色片中的滤色元件的阵列的一例的图。
图3是表示构成一实施方式的拍摄装置的拍摄部中的三原色光的波长与相对灵敏度的分光灵敏度特性的特性图。
图4是表示对来自预定物质的三原色光的反射率乘以硅的受光灵敏度时的波长与相对检测率的关系的特性图。
图5是表示图1中的预信号处理部52的具体结构的框图。
图6是表示一实施方式的拍摄装置在通常模式下动作时的曝光与影像信号的帧的关系的图。
图7是用于说明一实施方式的拍摄装置在通常模式下动作时的去马赛克处理的图。
图8是表示一实施方式的拍摄装置在中间模式以及暗视模式下动作时的曝光与影像信号的帧的关系的图。
图9是用于说明一实施方式的拍摄装置在第1中间模式下动作时的预信号处理的图。
图10是用于说明一实施方式的拍摄装置在第1中间模式下动作时的去马赛克处理的图。
图11是用于说明一实施方式的拍摄装置在第2中间模式下动作时的预信号处理的图。
图12是用于说明一实施方式的拍摄装置在第2中间模式下动作时的去马赛克处理的图。
图13是用于说明一实施方式的拍摄装置在暗视模式下动作时的周围像素的加法处理的图。
图14是表示实施周围像素的加法处理而得的帧的图。
图15是用于说明一实施方式的拍摄装置在第1暗视模式下动作时的预信号处理的图。
图16是用于说明一实施方式的拍摄装置在第1暗视模式下动作时的去马赛克处理的图。
图17是用于说明一实施方式的拍摄装置在第2暗视模式下动作时的预信号处理的图。
图18是用于说明一实施方式的拍摄装置在第2暗视模式下动作时的去马赛克处理的图。
图19是用于说明一实施方式的拍摄装置中的模式切换的例子的图。
图20是表示将一实施方式的拍摄装置设定为各个模式时的各部的状态的图。
图21是表示一实施方式的拍摄装置的第1变形例的部分框图。
图22是表示一实施方式的拍摄装置的第2变形例的部分框图。
图23是表示一实施方式的拍摄装置的第3变形例的部分框图。
图24是表示影像信号处理方法的流程图。
图25是表示图24中的步骤S3所示的通常模式的具体处理的流程图。
图26是表示图24中的步骤S4的中间模式的具体处理的流程图。
图27是表示图24中的步骤S5的暗视模式的具体处理的流程图。
图28是表示使计算机执行影像信号处理程序的处理的流程图。
图29是概要性地表示通过拍摄装置生成影像信号的帧时、没有考虑减轻色边纹的拍摄装置的控制方法的时序图。
图30是概要性地表示通过拍摄装置生成影像信号的帧时、减轻色边纹的拍摄装置的控制方法的第1例的时序图。
图31是概要性地表示通过拍摄装置生成影像信号的帧时、减轻色边纹的拍摄装置的控制方法的第2例的时序图。
图32是概要性地表示通过拍摄装置生成影像信号的帧时、减轻色边纹的拍摄装置的控制方法的第3例的时序图。
具体实施方式
以下，参照附图对一实施方式的拍摄装置、拍摄装置的控制方法以及控制程序进行说明。
<拍摄装置的结构>
首先，使用图1对一实施方式的拍摄装置的整体结构进行说明。图1所示的一实施方式的拍摄装置是可通过如下的3个模式来进行拍摄的拍摄装置：通常模式，适于白天等可见光充分的环境；暗视模式，适于夜晚等几乎没有可见光的环境；以及中间模式，适于可见光微弱存在的环境。
中间模式是在可见光较少的环境下一边投射红外线一边进行拍摄的第1红外光投射模式。暗视模式是在可见光更少(几乎没有)的环境下一边投射红外线一边进行拍摄的第2红外光投射模式。
拍摄装置也可以仅具备中间模式和暗视模式中的任意一方。拍摄装置也可以不具备通常模式。拍摄装置只要至少具备一边投射红外线一边进行拍摄的红外光投射模式即可。
在图1中，通过光学透镜1会聚由点划线表示的从被摄体反射的光。在此，在可见光充分存在的环境下向光学透镜1入射可见光，在几乎没有可见光的环境下，向光学透镜1入射通过被摄体反射由后述的红外线投光器9发出的红外光而得的红外光。
在可见光微弱存在的环境下，向光学透镜1入射混合了可见光、通过被摄体反射由红外线投光器9发出的红外光的光。
在图1中，为了简化，将光学透镜1设为1个，但实际上拍摄装置具备多个光学透镜。
在光学透镜1和拍摄部3之间设有光学滤色器2。光学滤色器2具有红外线截止滤色器21和白玻璃(dummy glass)22这2个部分。通过驱动部8驱动光学滤色器2为在光学透镜1和拍摄部3之间插入了红外线截止滤色器21的状态、在光学透镜1和拍摄部3之间插入了白玻璃22的状态中的任意状态。
拍摄部3具有：拍摄元件31，其在水平方向和垂直方向排列了多个受光元件(像素)；以及滤色片32，其与各个受光元件对应地配置红色(R)、绿色(G)、蓝色(B)中任意颜色的滤色元件。拍摄元件31可以是CCD(Charge Coupled Device：电荷耦合元件)或CMOS(Complementary metal Oxide Semiconductor：互补金属氧化物半导体)。
作为一例，如图2所示，在滤色片32中以被称为拜耳(Bayer)阵列的阵列排列有R、G、B各色的滤色元件。拜耳阵列是R、G、B滤色元件的预定阵列的一例。在图2中，将被各行的R滤色元件夹持的G滤色元件设为Gr，将被B滤色元件夹持的G滤色元件设为Gb。
在拜耳阵列中，在垂直方向上交互地排列有R滤色元件和Gr滤色元件交互地配置的水平方向的行以及B滤色元件和Gb滤色元件交互地配置的水平方向的行。
图3表示拍摄部3中的R光、G光、B光的波长与相对灵敏度的分光灵敏度特性。关于相对灵敏度，将最大值规范化为1。使拍摄装置在通常模式下动作时，为了拍摄基于可见光的良好的彩色影像，需要截止波长700nm以上的红外光。
因此，驱动部8根据控制部7的控制，以在光学透镜1和拍摄部3之间插入红外线截止滤色器21的方式来驱动光学滤色器2。
通过图3可知，拍摄部3在波长700nm以上的红外光区域中也有灵敏度。因此，使拍摄装置在中间模式或暗视模式下动作时，驱动部8根据控制部7的控制，以移除光学透镜1和拍摄部3之间的红外线截止滤色器21而插入白玻璃22的方式来驱动光学滤色器2。
在光学透镜1和拍摄部3之间插入了白玻璃22的状态下，波长700nm以上的红外光未被截止。因此，拍摄装置可以利用在图3中用虚线椭圆形围住的部分的灵敏度，得到R、G、B各色信息。插入白玻璃22是为了使光路长度与插入了红外线截止滤色器21时的光路长度相等。
红外线投光器9具有分别投射波长IR1、IR2、IR3的红外光的投光部91、92、93。中间模式或暗视模式时，控制部7内的投光控制部71控制以时间分割的方式通过投光部91～93选择性地投射波长IR1～IR3的红外光。
然而，对拍摄元件31使用硅晶圆。图4表示在对呈现R、G、B各色的材料照射了白色光的情况下，对各波长的反射率乘以硅的受光灵敏度时的波长与相对检测率的关系。在图4中，也将相对检测率的最大值规范化为1。
如图4所示，例如在红外光区域中，波长780nm的反射光与呈现R色的材料的反射光的相关性较高，波长870nm的反射光与呈现B色的材料的反射光的相关性较高，波长940nm的反射光与呈现G色的材料的反射光的相关性较高。
因此，在本实施方式中，将投光部91、92、93投射的红外光的波长IR1、IR2、IR3设为780nm、940nm、870nm。这些波长是波长IR1～IR3的一例，也可以为780nm、940nm、870nm以外。
投光部91向被摄体照射波长IR1的红外光，向R信号分配拍摄从被摄体反射的光而得的影像信号。投光部93向被摄体照射波长IR2的红外光，向G信号分配拍摄从被摄体反射的光而得的影像信号。投光部92向被摄体照射波长IR3的红外光，向B信号分配拍摄从被摄体反射的光而得的影像信号。
这样，原理上，在中间模式或暗视模式下能够再现与在通常模式存在可见光的环境下拍摄被摄体时相同的颜色。
虽然成为色调与被摄体的实际的色调不同的彩色影像，但也可以向R光分配780nm波长IR1，向G光分配870nm波长IR3，向B光分配940nm波长IR2。也可以任意地向R光、G光、B光分配波长IR1、IR2、IR3。
在本实施方式中，分别向R光、G光、B光分配最能够再现被摄体的色调的波长IR1、IR2、IR3。
控制部7控制拍摄部3的拍摄和影像处理部5内的各部。控制部7内的电子快门控制部73控制拍摄部3中的电子快门的功能。由拍摄部3拍摄的影像信号通过A/D变换器4进行A/D变换，被输入到影像处理部5。也可以对拍摄部3和A/D变换器4进行一体化。
控制部7具备对通常模式、中间模式、暗视模式进行切换的模式切换部72。模式切换部72与通常模式、中间模式、暗视模式对应地，如后述那样适当地切换影像处理部5内的动作。也可以对影像处理部5和控制部7进行一体化。
影像处理部5具有开关51、53、预信号处理部52、去马赛克处理部54。开关51、53既可以是物理性开关，也可以是用于切换预信号处理部52的动作与不动作的概念性开关。为了检测正在拍摄的影像的亮度，从影像处理部5向控制部7输入影像信号。
如图5所示，预信号处理部52具有周围像素加法部521、同一位置像素加法部522、合成部523。
影像处理部5生成R、G、B的三原色数据，提供给影像输出部6。影像输出部6以预定形式向未图示的显示部等输出三原色数据。
影像输出部6既可以直接输出R、G、B信号，也可以将R、G、B信号变换为明度信号和颜色信号(或色差信号)后输出。影像输出部6也可以输出合成影像信号。影像输出部6既可以输出数字信号的影像信号，也可以输出通过D/A变换器变换为模拟信号的影像信号。
以下，对通常模式、中间模式、暗视模式的具体动作分别进行说明。
＜通常模式＞
在通常模式下，控制部7通过驱动部8使红外线截止滤色器21插入到光学透镜1和拍摄部3之间。投光控制部71关闭(OFF)红外线投光器9进行的红外光的投射。
由拍摄部3拍摄的影像信号通过A/D变换器4变换为数字信号即影像数据，并输入到影像处理部5。在通常模式下，模式切换部72控制成开关51、53与端子Tb连接。
图6的(a)表示拍摄部3的曝光Ex1、Ex2、Ex3……。实际上，曝光时间根据快门速度等条件而变化，但在此曝光Ex1、Ex2、Ex3表示最大曝光时间。另外，通过电子快门控制部73的控制决定快门速度。
图6的(b)表示得到各影像信号的帧的定时。根据曝光Ex1前的未图示的曝光，在预定时间后得到影像信号的帧F0。根据曝光Ex1，在预定时间后得到影像信号的帧F1。根据曝光Ex2，在预定时间后得到影像信号的帧F2。曝光Ex3以后也相同。例如，将影像信号的帧频率设为30帧/秒。
关于影像信号的帧频率，若为NTSC方式则适当地设定为30帧/秒或60帧/秒，若为PAL方式则适当地设定为25帧/秒或50帧/秒。此外，影像信号的帧频率也可以是在电影中使用的24帧/秒。
通过A/D变换器4输出的各帧的影像数据经由开关51、53输出到去马赛克处理部54。去马赛克处理部54对所输入的各帧的影像数据实施去马赛克处理。除了去马赛克处理外，影像处理部5实施白平衡修正、增益修正等各种影像处理，输出R、G、B三原色数据。
使用图7，对去马赛克处理部54的去马赛克处理进行说明。在图7中，(a)表示影像数据的任意帧Fm。帧Fm是由有效影像期间的像素构成的帧。关于影像数据的像素数，例如在VGA规格下为水平640像素、垂直480像素。在此，为了简化，大幅度减少帧Fm的像素数，概念性地示出了帧Fm。
使用拜耳阵列的拍摄部3生成的影像数据是在帧Fm内混合了R、G、B的像素数据而得的数据。去马赛克处理部54生成使用周围的R像素数据计算出不存在R像素数据的像素位置的R像素数据的R插补像素数据Ri。去马赛克处理部54生成图7的(b)所示的1个帧的全部像素由R像素数据构成的R帧FmR。
去马赛克处理部54生成使用周围的G像素数据计算出不存在G像素数据的像素位置的G像素数据的G插补像素数据Gi。去马赛克处理部54生成图7(c)所示的1个帧的全部像素由G像素数据构成的G帧FmG。
去马赛克处理部54生成使用周围的B像素数据计算出不存在B像素数据的像素位置的B像素数据的B插补像素数据Bi。去马赛克处理部54生成图7(d)所示的1个帧的全部像素由B像素数据构成的B帧FmB。
去马赛克处理部54在对R像素数据进行插补时至少使用R像素数据即可，在对G像素数据进行插补时至少使用G像素数据即可，在对B像素数据进行插补时至少使用B像素数据即可。为了提高插补精度，去马赛克处理部54在对R、G、B像素数据进行插补时，也可以使用与想要生成的插补像素数据的颜色不同的其他颜色的像素数据。
对于拍摄部3，因为还存在有效影像期间外侧的像素，因此也可以在位于帧Fm的上下左右端部的像素中插补R、G、B像素数据。
输出通过去马赛克处理部54生成的R帧FmR、G帧FmG、B帧FmB作为R、G、B三原色数据。在图6中，为了便于理解，以帧单位对R、G、B像素数据进行了说明，但实际上按像素依次输出R、G、B像素数据。
＜中间模式：第1中间模式＞
在中间模式(第1中间模式和后述的第2中间模式)中，控制部7通过驱动部8使白玻璃22插入到光学透镜1和拍摄部3之间。投光控制部71打开(ON)红外线投光器9进行的红外光的投射。模式切换部72进行控制使开关51、53与端子Ta连接。
图8的(a)表示红外线投光器9的红外光的投射状态。控制部7将通常模式下的1帧期间按1/3均分，例如控制成按照投光部91、92、93的顺序投射红外光。
在图8的(a)所示的例子中，在1个帧的最初的1/3的期间，向被摄体照射波长IR1(780nm)的红外光。在1个帧的下一个1/3的期间，向被摄体照射波长IR2(940nm)的红外光。在1个帧的最后的1/3的期间，向被摄体照射波长IR3(870nm)的红外光。投射波长IR1～IR3的红外光的顺序是任意的。
如图8的(b)所示，在投射波长IR1的红外光的定时，拍摄部3进行与R光的相关性较高的曝光Ex1R。在投射波长IR2的红外光的定时，拍摄部3进行与G光的相关性较高的曝光Ex1G。在投射波长IR3的红外光的定时，拍摄部3进行与B光的相关性较高的曝光Ex1B。
但是，中间模式为在可见光微弱存在的环境下的拍摄，因此是可见光和由红外线投光器9投射的红外光混合的状态。因此，在中间模式下，曝光Ex1R、Ex1G、Ex1B、Ex2R、Ex2G、Ex2B……成为组合了基于可见光的曝光和基于红外光的曝光的曝光。
如图8的(c)所示，根据曝光Ex1R、Ex1G、Ex1B，在预定时间后得到与曝光Ex1R对应的帧F1IR1、与曝光Ex1G对应的帧F1IR2、与曝光Ex1B对应的帧F1IR3。
此外，根据曝光Ex2R、Ex2G、Ex2B，在预定时间后得到与曝光Ex2R对应的帧F2IR1、与曝光Ex2G对应的帧F2IR2、与曝光Ex2B对应的帧F2IR3。曝光Ex3R、Ex3G、Ex3B以后也相同。
图8的(c)的拍摄信号的帧频率为90帧/秒。在中间模式下，对通常模式的影像信号的1个帧进行时间分割来投射波长IR1～IR3的红外光，因此为了输出与通常模式相同形式的影像信号，图8的(c)的拍摄信号的帧频率成为通常模式的帧频率的3倍。
如后述，根据图8的(c)的3个帧的拍摄信号，生成具有图8(d)所示的30帧/秒的帧频率的影像信号的1个帧。例如，根据帧F1IR1、F1IR2、F1IR3生成帧F1IR，根据帧F2IR1、F2IR2、F2IR3生成帧F2IR。
具体说明根据图8的(c)的3个帧的拍摄信号生成图8(d)的各帧的影像信号的中间模式的动作。
将从A/D变换器4输出的与图8的(c)所示的拍摄信号对应的各帧的影像数据经由开关51输入到预信号处理部52。
使用图9，对预信号处理部52的预信号处理进行说明。图9的(a)表示在投射波长IR1的红外光的定时生成的影像数据的任意帧FmIR1。向帧FmIR1内的R、B、Gr、Gb像素数据附加表示在投射波长IR1的红外光的状态下生成的添标1。
图9的(b)表示在投射波长IR2的红外光的定时生成的影像数据的任意帧FmIR2。向帧FmIR2内的R、B、Gr、Gb像素数据附加表示在投射波长IR2的红外光的状态下生成的添标2。
图9的(c)表示在投射波长IR3的红外光的定时生成的影像数据的任意帧FmIR3。向帧FmIR3内的R、B、Gr、Gb像素数据附加表示在投射波长IR3的红外光的状态下生成的添标3。
图9的(a)所示的帧FmIR1是在投射了与R光的相关性较高的波长IR1的红外光的状态下生成的影像数据，因此R像素数据是与投射的红外光对应的像素数据，B、G像素数据是不与投射的红外光对应的像素数据。向B、Gr、Gb像素数据附加的阴影表示不与投射的红外光对应的像素数据。
图9的(b)所示的帧FmIR2是在投射了与G光的相关性较高的波长IR2的红外光的状态下生成的影像数据，因此G像素数据是与投射的红外光对应的像素数据，R、B像素数据是不与投射的红外光对应的像素数据。向R、B像素数据附加的阴影表示不与投射的红外光对应的像素数据。
图9的(c)所示的帧FmIR3是在投射了与B光的相关性较高的波长IR3的红外光的状态下生成的影像数据，因此B像素数据是与投射的红外光对应的像素数据，R、G像素数据是不与投射的红外光对应的像素数据。向R、Gr、Gb像素数据附加的阴影表示不与投射的红外光对应的像素数据。
预信号处理部52内的同一位置像素加法部522按照以下的式(1)～(3)分别对相互相同的像素位置的R、Gr、Gb、B像素数据进行相加，来生成像素数据R123、Gr123、Gb123、B123。在中间模式下，预信号处理部52内的周围像素加法部521不动作。
R123＝ka×R1+kb×R2+kc×R3…(1)
G123＝kd×G1+ke×G2+kf×G3…(2)
B123＝kg×B1+kh×B2+ki×B3…(3)
在式(1)～(3)中，R1、G1、B1是帧FmIR1中R、G、B的像素数据，R2、G2、B2是帧FmIR2中R、G、B的像素数据，R3、G3、B3是帧FmIR3中的R、G、B的像素数据。ka～ki是预定系数。式(2)中的G123为Gr123或Gb123。
此时，同一位置像素加法部522分别对没有阴影的R、Gr、Gb、B的各像素数据加上有阴影的相同像素位置的R、Gr、Gb、B的像素数据。
即，同一位置像素加法部522根据式(1)对帧FmIR1中的R的像素数据加上帧FmIR2、FmIR3中的相同像素位置的R的像素数据，生成像素数据R123。也就是说，仅使用与受光元件中红色的滤色片对应的区域的像素数据来生成红色用像素数据R123。
同一位置像素加法部522根据式(2)对帧FmIR2中的Gr、Gb的像素数据加上帧FmIR1、FmIR3中的相同像素位置的Gr、Gb的像素数据，生成像素数据R123。也就是说，仅使用与受光元件中绿色的滤色片对应的区域的像素数据来生成绿色用像素数据R123。
同一位置像素加法部522根据式(3)对帧FmIR3中的B的像素数据加上帧FmIR1、FmIR2中的相同像素位置的B的像素数据，生成像素数据B123。也就是说，仅使用与受光元件中蓝色的滤色片对应的区域的像素数据来生成蓝色用像素数据R123。
预信号处理部52内的合成部523根据在各个像素位置生成的像素数据R123、Gr123、Gb123、B123，来生成图9(d)所示的合成影像信号的帧FmIR123。
具体地，合成部523选择合成帧FmIR1中的像素数据R123、帧FmIR2中的像素数据Gr123、Gb123、帧FmIR3中的像素数据B123。由此，合成部523生成合成影像信号的帧FmIR123。
这样，合成部523生成使像素数据R123、Gr123、Gb123、B123排列成与滤色片32中的滤色元件阵列相同的阵列的帧FmIR123。
在第1中间模式中，使用没有阴影的像素数据和有阴影的像素数据，生成帧FmIR123的影像数据。
由于如下原因，通过同一位置像素加法部522对相互相同像素位置的像素数据进行相加。在中间模式中，在微弱存在可见光的环境下进行拍摄，因此有阴影的像素数据包含基于可见光的曝光的各颜色成分。因此，通过对相同像素位置的像素数据进行相加，能够提高各个颜色的灵敏度。
在可见光和红外光混合存在的状况下，若可见光较多，则基于可见光的曝光起主导作用。在该情况下，在帧FmIR123的影像数据中，基于通过可见光曝光的影像信号的成分成为主要成分。在可见光和红外光混合存在的状况下，若红外光较多，则基于红外光的曝光起主导作用。在该情况下，在帧FmIR123的影像数据中，基于通过红外光曝光的影像信号的成分成为主要成分。
在可见光较少的情况下，在式(1)中，将系数ka、kb、kc的大小关系设为ka＞kb、kc，在式(2)中，将系数kd、ke、kf的大小关系设为kf＞kd、ke，在式(3)中，将系数kg、kh、ki的大小关系设为kh＞kg、ki即可。这是因为波长IR1与R光的相关性较高，波长IR2与G光的相关性较高，波长IR3与B光的相关性较高。
这样，在R的像素数据中将帧FmIR1中的R的像素数据设为主要像素数据，在G的像素数据中将帧FmIR2中的G的像素数据设为主要像素数据，在B的像素数据中将帧FmIR3中的B的像素数据设为主要像素数据。
通过预信号处理部52输出的帧FmIR123影像数据经由开关53输入到去马赛克处理部54。与通常模式同样地，去马赛克处理部54对所输入的帧FmIR123的影像数据实施去马赛克处理。除了去马赛克处理外，影像处理部5实施白平衡修正、增益修正等各种影像处理，输出R、G、B三原色数据。
使用图10，对去马赛克处理部54的去马赛克处理进行说明。图10(a)表示帧FmIR123。去马赛克处理部54使用周围的R的像素数据计算出不存在R的像素数据的像素位置的R的像素数据，生成R的插补像素数据R123i。去马赛克处理部54生成图10(b)所示的1个帧的全部像素由R像素数据构成的R帧FmIR123R。
去马赛克处理部54使用周围的G像素数据计算出不存在G像素数据的像素位置的G像素数据，生成G的插补像素数据G123i。去马赛克处理部54生成图10(c)所示的1个帧的全部像素由G像素数据构成的G帧FmIR123G。
去马赛克处理部54使用周围的B像素数据计算出不存在B像素数据的像素位置的B像素数据，生成B的插补像素数据B123i。去马赛克处理部54生成图10(d)所示的1个帧的全部像素由B像素数据构成的B帧FmIR123B。
比较通常模式下的图7所示的去马赛克处理部54的动作与中间模式下的图10所示的去马赛克处理部54的动作可知，两者实质上相同。去马赛克处理部54的动作在通常模式和中间模式下都不发生变化。
在通常模式下使预信号处理部52不动作，在中间模式下去除周围像素加法部521，使预信号处理部52动作即可。在通常模式和中间模式下，可以共享影像处理部5中的去马赛克处理部54以及白平衡修正、增益修正等信号处理部。
＜中间模式：第2中间模式＞
使用图11和图12，对第2中间模式下的动作进行说明。在第2中间模式下的动作中，省略了与第1中间模式下的动作相同的部分的说明。图11(a)～图11(c)的帧FmIR1、FmIR2、FmIR3与图9(a)～图9(c)的帧FmIR1、FmIR2、FmIR3相同。
合成部523选择并合并帧FmIR1中的R像素数据即R1、帧FmIR2中的G像素数据即Gr2、Gb2、帧FmIR3中的B像素数据即B3。由此，合成部523生成图11(d)所示的合成影像信号的帧FmIR123’。
即，帧FmIR123’是将帧FmIR1、FmIR2、FmIR3中的没有阴影的R、Gr、Gb、B的像素数据集中到1个帧的影像数据。
也就是说，在帧FmIR123’中成为仅使用了与投射波长IR1的红外光的状态下的红色的滤色片对应的区域的像素数据的红色用像素数据、仅使用了与投射波长IR2的红外光的状态下的绿色的滤色片对应的区域的像素数据的绿色用像素数据、仅使用了与投射波长IR3的红外光的状态下的蓝色的滤色片对应的区域的像素数据的蓝色用像素数据。
这样，合成部523生成使像素数据R1、Gr2、Gb2、B排列成与滤色片32中的滤色元件阵列相同的阵列的帧FmIR123’。
在第2中间模式中，同一位置像素加法部522将式(1)中的系数ka设为1，系数kb、kc设为0，将式(2)中的系数ke设为1，系数kd、kf设为0，将式(3)中的系数ki设为1，系数kg、kh设为0。
由此，帧FmIR1中的R的像素数据、帧FmIR2中的Gr、Gb的像素数据、帧FmIR3中的B的像素数据分别保持不变。
由此，与第1中间模式中的动作同样地，若能够选择帧FmIR1中的R像素数据、帧FmIR2中的Gr、Gb像素数据、帧FmIR3中的B像素数据，则合成部523生成帧FmIR123’。
在第2中间模式中，预信号处理部52仅使用在投射了用于生成与像素数据的颜色相同的颜色的像素数据的红外光的状态下生成的像素数据(没有阴影的像素数据)，来生成帧FmIR123’的影像数据。
根据第2中间模式，虽然灵敏度、颜色的再现性比第1中间模式下降，但能够简化运算处理，或削减帧存储器。
使用图12，对去马赛克处理部54的去马赛克处理进行说明。图12(a)表示帧FmIR123’。去马赛克处理部54使用周围R的像素数据计算出不存在R的像素数据的像素位置的R的像素数据，生成R的插补像素数据R1i。去马赛克处理部54生成图12(b)所示的1个帧的全部像素由R的像素数据构成的R帧FmIR123’R。
去马赛克处理部54使用周围的G的像素数据计算出不存在G的像素数据的像素位置的G的像素数据，生成G的插补像素数据G2i。去马赛克处理部54生成图12(c)所示的1个帧的全部像素由G的像素数据构成的G帧FmIR123’G。
去马赛克处理部54使用周围的B的像素数据计算出不存在B的像素数据的像素位置的B的像素数据，生成B的插补像素数据B3i。去马赛克处理部54生成图12(d)所示的1个帧的全部像素由B的像素数据构成的B帧FmIR123’B。
如上所述，在中间模式下，根据从与受光元件中的红色的滤色片对应的区域得到的像素数据生成红色用像素数据，根据从与受光元件中的绿色的滤色片对应的区域得到的像素数据生成绿色用像素数据，根据从与受光元件中的蓝色的滤色片对应的区域得到的像素数据生成蓝色用像素数据。
＜暗视模式：第1暗视模式＞
在暗视模式(第1暗视模式和后述的第2暗视模式)中，与中间模式同样地，控制部7通过驱动部8使白玻璃22插入到光学透镜1和拍摄部3之间。投光控制部71打开(ON)红外线投光器9进行的红外光的投射。模式切换部72控制成开关51、53与端子Ta连接。
暗视模式下的概要性动作与图8相同。但是，暗视模式为在几乎没有可见光的环境下的拍摄，因此，将图8(b)中的曝光Ex1R、Ex1G、Ex1B、Ex2R、Ex2G、Ex2B……假定为仅基于红外光的曝光。
在几乎没有可见光而仅有红外光的环境下，滤色片32中的各个滤色元件的特性差异消失，因此可以将拍摄部3视为单色的拍摄元件。
因此，预信号处理部52内的周围像素加法部521为了在暗视模式下提高红外光的灵敏度，对各个像素数据加上位于周围的像素数据。
具体地，如图13(a)所示，在R像素为关注像素时，周围像素加法部521对关注像素即R像素数据加上位于周围的G(Gr、Gb)以及B的8个像素的像素数据。
也就是说，为中间模式时，根据从与受光元件中的红色的滤色片对应的区域得到的像素数据生成红色用像素数据，但在暗视模式下，根据从比中间模式时广的区域得到的像素数据生成红色用像素数据。在图13(a)～图13(d)所示的例子中，各颜色都使用从包含关注像素的9个像素量的区域得到的像素数据。
如图13(b)所示，在Gr像素为关注像素时，周围像素加法部521对关注像素即Gr像素数据加上位于周围的R、Gb、B的8个像素的像素数据。如图13(c)所示，在Gb像素为关注像素时，周围像素加法部521对关注像素即Gb像素数据加上位于周围的R、Gr、B的8个像素的像素数据。
也就是说，为中间模式时，根据从与受光元件中的绿色的滤色片对应的区域得到的像素数据生成绿色用像素数据，但在暗视模式下，根据从比中间模式时广的区域得到的像素数据生成绿色用像素数据。
如图13(d)所示，在B像素为关注像素时，周围像素加法部521对关注像素即B像素数据加上位于周围的R以及G(Gr、Gb)的8个像素的像素数据。
也就是说，为中间模式时，根据从与受光元件中的蓝色的滤色片对应的区域得到的像素数据生成蓝色用像素数据，但在暗视模式中，根据从比中间模式时广的区域得到的像素数据生成蓝色用像素数据。
周围像素加法部521既可以简单地将关注像素的像素数据和周围的8个像素的像素数据这9个像素进行相加，也可以对周围的8个像素的像素数据进行预定加权后相加到关注像素的像素数据中。
然而，存在称为分箱(binning)的对多个像素进行汇总并可读出为1个像素的拍摄元件。作为拍摄元件31，在使用具有分箱功能的拍摄元件的情况下，也可以不进行基于周围像素加法部521的相加处理，而进行基于具有叠加功能的拍摄元件的相加处理。实质上，基于拍摄元件的分箱与基于周围像素加法部521的相加处理是等价的。
图14的(a)～(c)的帧FmIR1、FmIR2、FmIR3与图9的(a)～(c)的帧FmIR1、FmIR2、FmIR3相同。在图14的(d)～图14(f)中，R1ad、Gr1ad、Gb1ad、B1ad、R2ad、Gr2ad、Gb2ad、B2ad、R3ad、Gr3ad、Gb3ad、B3ad分别是对R、Gr、Gb、B的像素数据加上周围的8个像素的像素数据而得的加法像素数据。
周围像素加法部521对帧FmIR1、FmIR2、FmIR3的各个像素数据实施图13所示的相加处理，由此生成图14的(d)～(f)所示的帧FmIR1ad、FmIR2ad、FmIR3ad。
图15的(a)～(c)的帧FmIR1ad、FmIR2ad、FmIR3ad与图14(d)～图14(f)的帧FmIR1ad、FmIR2ad、FmIR3ad相同。
与第1中间模式同样地，同一位置像素加法部522根据式(1)对帧FmIR1ad中的R1ad像素数据加上帧FmIR2ad、FmIR3ad中的相同像素位置的R2ad、R3ad的像素数据，生成像素数据R123ad。
同一位置像素加法部522根据式(2)对帧FmIR2ad中的Gr2ad、Gb2ad的像素数据加上帧FmIR1ad、FmIR3ad中的相同像素位置的Gr1ad、Gb1ad、Gr3ad、Gb3ad的像素数据，生成像素数据Gr123ad、Gb123ad。
同一位置像素加法部522根据式(3)对帧FmIR3ad中的B3ad的像素数据加上帧FmIR1ad、FmIR2ad中的相同像素位置的B1ad、B2ad的像素数据，生成像素数据B123ad。
与第1中间模式同样地，合成部523选择合成帧FmIR1ad中的像素数据R123ad、帧FmIR2ad中的像素数据Gr123ad、Gb123ad、帧FmIR3ad中的像素数据B123ad。由此，合成部523生成图15(d)所示的合成影像信号的帧FmIR123ad。
合成部523生成使像素数据R123ad、Gr123ad、Gb123ad、B123ad排列成与滤色片32中的滤色元件阵列相同的阵列的帧FmIR123ad。
图16的(a)表示帧FmIR123ad。去马赛克处理部54使用周围R的像素数据计算出不存在R像素数据的像素位置的R像素数据，生成R的插补像素数据R123adi。去马赛克处理部54生成图16(b)所示的1个帧的全部像素由R像素数据构成的R帧FmIR123adR。
去马赛克处理部54使用周围的G像素数据计算出不存在G像素数据的像素位置的G像素数据，生成G的插补像素数据G123adi。去马赛克处理部54生成图16(c)所示的1个帧的全部像素由G像素数据构成的G帧FmIR123adG。
去马赛克处理部54使用周围的B像素数据计算出不存在B像素数据的像素位置的B像素数据，生成B的插补像素数据B123adi。去马赛克处理部54生成图16(d)所示的1个帧的全部像素由B像素数据构成的B帧FmIR123adB。
第1中间模式和第1暗视模式的不同点在于，前者使周围像素加法部521不动作，而后者使周围像素加法部521动作。暗视模式时，模式切换部72使周围像素加法部521动作即可。
实质上，暗视模式下的去马赛克处理部54的动作与通常模式和中间模式下的去马赛克处理部54的动作相同。在通常模式、中间模式、暗视模式下，可以共享影像处理部5中的去马赛克处理部54以及白平衡修正、增益修正等信号处理部。
＜暗视模式：第2暗视模式＞
使用图17和图18，对第2暗视模式下的动作进行说明。在第2暗视模式下的动作中，省略了与第1暗视模式下的动作相同的部分的说明。图17的(a)～(c)的帧FmIR1ad、FmIR2ad、FmIR3ad与图15的(a)～(c)的FmIR1ad、FmIR2ad、FmIR3ad相同。
合成部523选择合成帧FmIR1ad中的R像素数据即R1ad、帧FmIR2ad中的G像素数据即Gr2ad、Gb2ad、帧FmIR3ad中的B像素数据即B3ad。由此，合成部523生成图17(d)所示的合成影像信号的帧FmIR123’ad。
合成部523生成使像素数据R1ad、Gr2ad、Gb2ad、B3ad排列成与滤色片32中的滤色元件阵列相同的阵列的帧FmIR123’ad。
另外，例如如使用图13说明的那样，根据从比中间模式时为了生成红色用像素数据而使用的区域广的区域得到的像素数据，来生成帧FmIR123’ad中的红色用像素数据R1ad。
此外，根据从比中间模式时为了生成绿色用像素数据而使用的区域广的区域得到的像素数据，来生成帧FmIR123’ad中的绿色用像素数据Gr2ad。
并且，根据从比中间模式时为了生成蓝色用像素数据而使用的区域广的区域得到的像素数据，来生成帧FmIR123’ad中的蓝色用像素数据B3ad。
在第2暗视模式中，与第2中间模式同样地，同一位置像素加法部522将式(1)中的系数ka设为1，系数kb、kc设为0，将式(2)中的系数ke设为1，系数kd、kf设为0，将式(3)中的系数ki设为1，系数kg、kh设为0。
由此，帧FmIR1ad中的R1ad的像素数据、帧FmIR2ad中的Gr2ad、Gb2ad的像素数据、帧FmIR3ad中的B3ad的像素数据维持原值。
由此，与第1暗视模式中的动作同样地，若能够选择帧FmIR1ad中的R1ad的像素数据、帧FmIR2ad中的Gr2ad、Gb2ad的像素数据、帧FmIR3ad中的B3ad的像素数据，则合成部523能够生成帧FmIR123’ad。
使用图18，对去马赛克处理部54的去马赛克处理进行说明。图18(a)表示帧FmIR123’ad。去马赛克处理部54使用周围R1ad像素数据计算出不存在R像素数据的像素位置的R像素数据，生成R的插补像素数据R1adi。去马赛克处理部54生成图18(b)所示的1个帧的全部像素由R像素数据构成的R帧FmIR123’adR。
去马赛克处理部54使用周围的Gr2ad、Gb2ad的像素数据计算出不存在G像素数据的像素位置的G像素数据，生成G的插补像素数据G2adi。去马赛克处理部54进行插补而生成图18(c)所示的1个帧的全部像素由G像素数据构成的G帧FmIR123’adG。
去马赛克处理部54生成使用周围的B3ad像素数据计算出不存在B像素数据的像素位置的B像素数据而得的B的插补像素数据B3adi。去马赛克处理部54生成图18(d)所示的1个帧的全部像素由B像素数据构成的B帧FmIR123’adB。
第2中间模式和第2暗视模式的不同点在于，前者使周围像素加法部521不动作，而后者使周围像素加法部521动作。
此外，在中间模式下，分别根据从与受光元件中的各颜色对应的区域得到的像素数据生成各色用像素数据，但在暗视模式下，为了对周围像素进行相加，因此可以说根据从比中间模式下用于生成各色用像素数据的区域广的区域得到的像素数据，来生成各色用像素数据。
＜模式切换的例子＞
使用图19，对模式切换部72的模式切换的例子进行说明。作为一例，图19(a)概要性地示出了时间从白天的时间段向夜晚的时间段经过时，周围环境的亮度变化的情况。
如图19的(a)所示，随着时间从白天向夜晚经过亮度下降，时刻t3以后几乎成为漆黑的状态。图19(a)所示的亮度实质上表示可见光的量，时刻t3以后，成为几乎没有可见光的状态。
控制部7可以根据从影像处理部5输入的影像信号(影像数据)的亮度等级判断周围环境的亮度。如图19(b)所示，模式切换部72在亮度为预定阈值Th1(第1阈值)以上时设为通常模式，在亮度不到阈值Th1且为预定阈值Th2(第2阈值)以上时设为中间模式，在不到阈值Th2时设为暗视模式。
本实施方式的拍摄装置按如下方式自动地切换模式：到亮度成为阈值Th1的时刻t1之前切换为通常模式，从时刻t1开始到亮度成为阈值Th2的时刻t2切换为中间模式，在时刻t2以后切换为暗视模式。在图19(b)中，中间模式可以是第1中间模式和第2中间模式中的任一个，暗视模式可以是第1暗视模式和第2暗视模式中的任一个。
在图19的(a)中，将几乎没有可见光的时刻t3之前的亮度设为阈值Th2，但也可以将时刻t3的亮度设为阈值Th2。
如图19的(c)所示，模式切换部72也可以在中间模式的期间，将可见光较多的时刻t1侧的期间设为第1中间模式，将可见光较少的时刻t2侧的期间设为第2中间模式。在图19的(c)中，暗视模式也可以是第1暗视模式和第2暗视模式中的任一个。
在本实施方式的拍摄装置中，投光控制部71控制红外线投光器9的打开/关闭，模式切换部72切换影像处理部5内的各部的动作/不动作，由此能够实现各个模式。
如图20所示，通常模式是红外线投光器9关闭，周围像素加法部521、同一位置像素加法部522、合成部523都不动作，去马赛克处理部54动作的状态。
第1中间模式是红外线投光器9打开，周围像素加法部521不动作，同一位置像素加法部522、合成部523、去马赛克处理部54动作的状态。第2中间模式是红外线投光器9打开，周围像素加法部521和同一位置像素加法部522不动作，合成部523和去马赛克处理部54动作的状态。
如上所述，通过适当地设定式(1)～(3)的系数ka～ki的值，能够容易地切换同一位置像素加法部522的动作和不动作。
第1暗视模式是红外线投光器9打开，周围像素加法部521、同一位置像素加法部522、合成部523、去马赛克处理部54全部动作的状态。第2暗视模式是红外线投光器9打开，同一位置像素加法部522不动作，周围像素加法部521、合成部523、去马赛克处理部54动作的状态。
然而，若周围像素加法部521在对关注像素的像素数据加上周围的像素数据的计算式中，将对周围的像素数据相乘的系数设为超过0的系数(例如1)，则可以将周围像素的相加处理设为动作的状态。
此外，若周围像素加法部521在该计算式中，将对周围的像素数据相乘的系数设为0，则可以将周围像素的相加处理设为不动作的状态。
通过适当地设定系数值，能够容易地切换周围像素加法部521的动作和不动作。
＜拍摄装置的第1变形例＞
控制部7检测周围环境的亮度的方法并不限定于基于影像信号的亮度等级的方法。
如图21所示，也可以通过亮度传感器11检测周围环境的亮度。在图21中，也可以根据影像信号的亮度等级和通过亮度传感器11检测出的亮度双方，来判断周围环境的亮度。
＜拍摄装置的第2变形例＞
控制部7不直接检测周围环境的亮度，根据1年中的时期(天数)和时刻(时间段)概要性地假定周围环境的亮度，使模式切换部72切换为各模式即可。
如图22所示，与天数和时间段的组合对应地，对模式设定表12设定通常模式、中间模式、暗视模式中的某一个。控制部7内的时钟74管理天数和时刻。控制部7参照时钟74所示的天数和时刻，从模式设定表12读出所设定的模式。
投光控制部71和模式切换部72对拍摄装置进行控制以便成为从模式设定表12读出的模式。
＜拍摄装置的第3变形例＞
如图23所示，用户也可以通过操作部13手动选择模式，以投光控制部71和模式切换部72成为所选择的模式的方式对拍摄装置进行控制。操作部13既可以是设置在拍摄装置的壳体上的操作按钮，也可以是远程控制器。
＜影像信号处理方法＞
使用图24，再次对通过图1所示的拍摄装置执行的影像信号处理方法进行说明。
在图24中，若拍摄装置开始动作，则在步骤S1中，控制部7判定周围环境的亮度是否为阈值Th1以上。若为阈值Th1以上(是)，则在步骤S3中，控制部7执行通常模式下的处理。若为不是阈值Th1以上(否)，则在步骤S2中，控制部7判定周围环境的亮度是否为阈值Th2以上。
若为阈值Th2以上(是)，则在步骤S4中，控制部7执行中间模式下的处理。若为不是阈值Th2以上(否)，则在步骤S5中，控制部7执行暗视模式下的处理。
在步骤S3～S5后，控制部7使处理返回到步骤S1，重复进行步骤S1以后的处理。
图25表示步骤S3的通常模式的具体的处理。在图25中，在步骤S31中，控制部7(投光控制部71)关闭红外线投光器9。在步骤S32中，控制部7插入红外线截止滤色器21。在步骤S33中，控制部7(模式切换部72)使开关51、53连接到端子Tb。步骤S31～S33的顺序是任意的，也可以是同时的。
在步骤S34中，控制部7通过拍摄部3拍摄被摄体。在步骤S35中，控制部7对影像处理部5进行控制以便通过去马赛克处理部54对构成拍摄部3拍摄被摄体而生成的影像信号的帧进行去马赛克处理。
图26表示步骤S4的中间模式的具体的处理。在图26中，在步骤S41中，控制部7(投光控制部71)打开红外线投光器9以便从投光部91～93以时间分割的方式投射波长IR1～IR3的红外光。
在步骤S42中，控制部7插入白玻璃22。在步骤S43中，控制部7(模式切换部72)使开关51、53连接到端子Ta。步骤S41～S43的顺序是任意的，也可以是同时的。
在步骤S44中，控制部7通过拍摄部3拍摄被摄体。拍摄部3在分别投射了与R相对应的波长IR1的红外光、与G相对应的波长IR2的红外光、与B相对应的波长IR3的红外光的状态下拍摄被摄体。
在步骤S45中，控制部7(模式切换部72)对预信号处理部52进行控制使周围像素加法部521不动作，使合成部523动作来生成合成影像信号。
在分别投射了波长IR1、IR2、IR3的红外光的状态下，将构成拍摄部3拍摄被摄体而生成的影像信号的帧设为第1帧、第2帧、第3帧。
合成部523使基于第1帧内的R像素数据、第2帧内的G像素数据、第3帧内的B像素数据的三原色的像素数据排列成为与滤色片32中的滤色元件的阵列相同的阵列。合成部523这样生成将第1～第3帧合成为1个帧的合成影像信号。
在步骤S46中，控制部7对影像处理部5进行控制以便通过去马赛克处理部54对合成影像信号的帧进行去马赛克处理。
去马赛克处理部54根据合成影像信号的帧，实施用于生成R帧、G帧、B帧的去马赛克处理，依次生成去马赛克处理后的三原色的帧。
去马赛克处理部54可以通过对没有R像素数据的像素位置插补R像素数据来生成R帧。去马赛克处理部54可以通过对没有G像素数据的像素位置插补G像素数据来生成G帧。去马赛克处理部54可以通过对没有B像素数据的像素位置插补B像素数据来生成B帧。
在设为第1中间模式的情况下，在步骤S45中，使同一位置像素加法部522动作，在设为第2中间模式的情况下，在步骤S45中，使同一位置像素加法部522不动作即可。
图27表示步骤S5的暗视模式的具体的处理。在图27中，在步骤S51中，控制部7(投光控制部71)打开红外线投光器9以便从投光部91～93以时间分割的方式投射波长IR1～IR3的红外光。
在步骤S52中，控制部7插入白玻璃22。在步骤S53中，控制部7(模式切换部72)使开关51、53连接到端子Ta。步骤S51～S53的顺序是任意的，也可以是同时的。
在步骤S54中，控制部7通过拍摄部3拍摄被摄体。在步骤S55中，控制部7(模式切换部72)对预信号处理部52进行控制以便使周围像素加法部521和合成部523动作来生成合成影像信号。
在步骤S56中，控制部7对影像处理部5进行控制以便通过去马赛克处理部54对合成影像信号的帧进行去马赛克处理。
在设为第1暗视模式的情况下，在步骤S55中，使同一位置像素加法部522动作，在设为第2暗视模式的情况下，在步骤S55中，使同一位置像素加法部522不动作即可。
＜影像信号处理程序＞
在图1中，控制部7或影像处理部5、控制部7通过计算机(微型计算机)构成一体化部，使计算机执行影像信号处理程序(计算机程序)，由此能够实现与上述的本实施方式的拍摄装置相同的动作。
使用图28，对图24的步骤S4即通过影像信号处理程序构成中间模式的控制的情况下使计算机执行的步骤的例子。图28表示使计算机执行影像信号处理程序的处理。
在图28中，在步骤S401中，影像信号处理程序使计算机执行控制红外线投光器9的处理以便分别投射与R、G、B相对应的波长IR1、IR2、IR3的红外光。
也可以在影像信号处理程序的外部执行步骤S401所示的步骤。在图28中省略了插入白玻璃22的步骤。也可以在影像信号处理程序的外部执行插入白玻璃22的步骤。
在步骤S402中，在投射波长IR1的红外光的状态下，影像信号处理程序使计算机执行用于取得构成影像信号的第1帧的像素数据的处理，其中，影像信号是由拍摄部3拍摄被摄体而生成的。
在步骤S403中，在投射波长IR2的红外光的状态下，影像信号处理程序使计算机执行用于取得构成影像信号的第2帧的像素数据的处理，其中，影像信号是由拍摄部3拍摄被摄体而生成的。
在步骤S404中，在投射波长IR3的红外光的状态下，影像信号处理程序使计算机执行用于取得构成影像信号的第3帧的像素数据的处理，其中，影像信号是由拍摄部3拍摄被摄体而生成的。步骤S402～S404的顺序是任意的。
在步骤S405中，影像信号处理程序使计算机执行将R、G、B像素数据排列成与滤色片32中的滤色元件的阵列相同的阵列，生成合成为1帧的合成影像信号的处理。
在中间模式下，在步骤S405中，影像信号处理程序不使计算机执行周围像素的相加处理的处理。
在步骤S406中，影像信号处理程序使计算机执行对合成影像信号的帧实施去马赛克处理，来生成R、G、B帧的处理。
虽然省略了图示，但在通过影像信号处理程序构成图24的步骤S5即暗视模式下的控制的情况下，在图28的步骤S405中，只要使计算机执行周围像素的相加处理的处理即可。
影像信号处理程序可以是记录在可通过计算机读取的记录介质中的计算机程序。既可以在记录在存储介质中的状态下提供影像信号处理程序，也可以以使计算机加载的方式经由因特网等网络提供影像信号处理程序。可通过计算机读取的记录介质可以是CD-ROM、DVD－ROM等非临时性的任意的记录介质。
＜关于减轻拍摄移动体时的色边纹＞
接着，说明在以上说明的中间模式或暗视模式中，通过本实施方式的拍摄装置拍摄正在移动的被摄体(移动体)时发生色边纹的情况下，减轻色边纹的方法。
图29概要性地表示不特别考虑色边纹的减轻，通过拍摄装置生成影像信号的帧时的拍摄装置的控制方法。
图29的(a)与图8的(a)相同，表示红外线投光器9的红外光的投射状态。在此，示出了不将投射波长IR1～IR3的红外光的期间设为拍摄部3中的最大曝光时间的1帧期间整体，而设为比1帧期间短的期间的情况。
如图29的(b)所示，在投射波长IR1～IR3各自的红外光的定时，进行曝光Ex1R、Ex1G、Ex1B、Ex2R、Ex2G、Ex2B……。
图29的(c)表示通过图29的(b)所示的曝光拍摄的图像的帧F。在此，仅示出了通过曝光Ex1R、Ex1G、Ex1B拍摄的帧F。如3个帧F所示，设成矩形状的物体OB在水平方向上以速度v从左向右移动。
如图29的(d)所示，根据曝光Ex1R、Ex1G、Ex1B得到帧F1IR1、F1IR2、F1IR3。根据曝光Ex2R、Ex2G、Ex2B得到帧F2IR1、F2IR2、F2IR3。根据曝光Ex3R、Ex3G、Ex3B得到帧F3IR1、F3IR2、F3IR3。
图29的(b)所示的拍摄信号的帧频率、图29的(d)所示的帧的帧频率为90帧/秒。在曝光Ex1R、Ex1G、Ex1B的全体、曝光Ex2R、Ex2G、Ex2B的全体、曝光Ex3R、Ex3G、Ex3B的全体中，帧频率为30帧/秒。
如图29的(e)所示，通过合成帧F1IR1、F1IR2、F1IR3来生成帧F1IR，通过合成帧F2IR1、F2IR2、F2IR3来生成F2IR。帧F1IR、F2IR具有30帧/秒的帧频率。
在图29中，如(a)、(b)所示，使投射波长IR1～IR3各自的红外光的期间的中央定时与最大曝光时间即1帧期间的中央定时一致。
在曝光Ex1R中，向物体OB照射用于生成R信号的波长IR1的红外光，因此以红色或以红色为基准的颜色来表现帧F1IR1的物体OB。在曝光Ex1G中，向物体OB照射用于生成G信号的波长IR2的红外光，因此以绿色或以绿色为基准的颜色来表现帧F1IR2的物体OB。
在曝光Ex1B中，向物体OB照射用于生成B信号的波长IR3的红外光，因此以蓝色或以蓝色为基准的颜色来表现帧F1IR3的物体OB。
实际上，有时无法通过物体OB的材料表现各颜色。在此，在说明时，用红色表现帧F1IR1的物体OB，用绿色表现帧F1IR2的物体OB，用蓝色表现帧F1IR3的物体OB。
将图29的(b)中的各个最大曝光时间的中央定时的间隔设为时间t0。在帧F1IR1、F1IR2之间，物体OB移动ΔLrg＝v×t0的距离。因此，如图29的(f)所示，在帧F1IR中产生相当于距离ΔLrg长度的红色色边纹区域C1。
在帧F1IR中，与色边纹区域C1相邻地，帧F1IR1的红色物体OB与帧F1IR1的绿色物体OB重合，由此产生黄色色边纹区域C2。严格上，有时不会成为黄色色边纹，但在进行说明时，设为产生黄色色边纹。
在帧F1IR中，与色边纹区域C2相邻，帧F1IR1的物体OB、帧F1IR2的物体OB、帧F1IR3的物体OB完全重合，由此产生表现了正确的颜色区域C3。
在帧F1IR中，与区域C3相邻，帧F1IR2的绿色物体OB与帧F1IR3的蓝色物体OB重合，由此产生青色的色边纹区域C4。严格上，有时不会成为青色色边纹，但在进行说明时，设为产生青色色边纹。
在帧F1IR2、F1IR3之间，物体OB移动ΔLgb＝v×t0的距离。因此，帧F1IR中，与色边纹区域C4相邻地，产生相当于距离ΔLgb长度的蓝色色边纹区域C5。
这样，当物体OB为移动体时，在表现正确颜色的区域C3的周围产生色边纹区域C1、C2、C4、C5，从而画质下降。
因此，当物体OB为移动体时，为了减轻色边纹，可以使用如图30～图32所示那样的拍摄装置的控制方法。依次说明图30～图32的控制方法。
如图30的(b)所示，将曝光Ex1R的曝光开始定时设为ExRs，将曝光结束定时设为ExRe，将曝光Ex1G的曝光开始定时设为ExGs，将曝光结束定时设为ExGe，将曝光Ex1B的曝光开始定时设为ExBs，曝光结束定时设为ExBe。
在图30所示的第1例中，如图30的(a)所示，使在曝光Ex1R的期间内投射波长IR1的红外光的期间的中央定时向曝光Ex1R的最大曝光时间的中央定时后方的曝光结束定时ExRe侧偏移。
此外，使在曝光Ex1B的期间内投射波长IR3的红外光的期间的中央定时向曝光Ex1B的最大曝光时间的中央定时前方的曝光开始定时ExBs侧偏移。
与图29的(a)同样地，使投射波长IR2的红外光的期间的中央定时与曝光Ex1G的最大曝光时间的中央定时一致。
另外，并不一定必须使投射波长IR2的红外光的期间的中央定时与曝光Ex1G的最大曝光时间的中央定时一致。但是，优选使投射波长IR2的红外光的期间的中央定时与曝光Ex1G的最大曝光期间的中央定时一致。
针对曝光Ex2R、Ex2G、Ex2B、Ex3R、Ex3G、Ex3B、……的波长IR1～IR3的红外光的定时与曝光Ex1R、Ex1G、Ex1B中的波长IR1～IR3的红外光的定时相同。
将投射波长IR2的红外光的期间的中央定时与投射波长IR1的红外光的期间的中央定时的间隔设为时间t1。将投射波长IR2的红外光的期间的中央定时与投射波长IR3的红外光的期间的中央定时的间隔设为时间t1。
时间t1比时间t0短Δt。因此，物体OB在帧F1IR1、F1IR2之间移动的距离缩短ΔL＝v×Δt。物体OB在帧F1IR2、F1IR3之间移动的距离缩短ΔL＝v×Δt。
因此，图30(f)中，色边纹区域C1、C2、C4、C5的长度缩短ΔL。相反，表现了正确的颜色的区域C3的长度变长。因此，色边纹减轻。
在第1例中，使投射波长IR1的红外光的期间的中央定时向曝光结束定时ExRe侧偏移，使投射波长IR3的红外光的期间的中央定时向曝光开始定时ExBs侧偏移。
在仅有投射波长IR1的红外光的期间的中央定时向曝光结束定时ExRe侧偏移的情况下，可缩短色边纹区域C1、C2。在仅有投射波长IR3的红外光的期间的中央定时向曝光开始定时ExBs侧偏移的情况下，可缩短色边纹区域C4、C5。
如上所述，在第1例中，位于中央的红外光投射期间的中央定时与位于前后的红外光投射期间的中央定时的间隔比位于中央的红外光投射期间的中央定时与曝光Ex1R、Ex1B的最大曝光时间的中央定时的间隔短。因此，通过第1例，可减轻色边纹。
总结采用第1例的控制方法的拍摄装置的结构如以下所示。按照投射红外光的顺序设为第1红外光、第2红外光、第3红外光。第1红外光具有与红色、绿色、蓝色中的第1颜色相对应的第1波长。第2红外光具有与红色、绿色、蓝色中的第2颜色相对应的第2波长。第3红外光具有与红色、绿色、蓝色中的第3颜色相对应的第3波长。
投光控制部71控制红外线投光器9按照第1红外光、第2红外光、第3红外光的顺序选择性地投射红外光。
拍摄部3在1帧期间的至少一部分投射第1红外光的状态下拍摄被摄体，来生成基于第1拍摄信号的第1帧。根据拍摄部3的最大曝光时间决定1帧期间。
拍摄部3在1帧期间的至少一部分投射第2红外光的状态下拍摄被摄体，来生成基于第2拍摄信号的第2帧。拍摄部3在1帧期间的至少一部分投射第3红外光的状态下拍摄被摄体，来生成基于第3拍摄信号的第3帧。
影像处理部5合成第1～第3帧，来生成影像信号的帧。
将投射第2红外光的期间的中央定时设为第1定时。将投射第1红外光或第3红外光的期间的中央定时设为第2定时。将第1帧或第3帧的1帧期间的中央定时设为第3定时。
投光控制部71以将第1定时与第2定时的间隔设定得比第1定时与第3定时的间隔短的方式控制红外线投光器9，来投射第1～第3红外光。
将第2帧的1帧期间的中央定时设为第4定时。投光控制部71还能够以第1定时与第4定时一致的方式控制红外线投光器9，来投射第2红外光。
也可以通过计算机执行拍摄装置的控制程序(计算机程序)，由此实现采用以上的第1例的控制方法的拍摄装置的动作。与上述的影像信号处理程序同样地，拍摄装置的控制程序可以是记录在可通过计算机读取的非临时性记录介质中的计算机程序。
具体地，拍摄装置的控制程序使计算机执行控制红外线投光器9投射第1红外光的第1步骤、生成第1帧的第2步骤。拍摄装置的控制程序使计算机执行控制红外线投光器9投射第2红外光的第3步骤、生成第2帧的第4步骤。
拍摄装置的控制程序使计算机执行控制红外线投光器9投射第3红外光的第5步骤、生成第3帧的第6步骤、合成第1～第3帧来生成影像信号的帧的第7步骤。
拍摄装置的控制程序将第1定时与第2定时的间隔设定得比第1定时与第3定时的间隔短。
接着，以与图30的第1例的不同点为中心，对图31所示的第2例进行说明。图31的(a)、图31的(c)～图31(g)分别与图30的(a)～图30的(f)对应。
在第2例中，如图31的(a)所示，将投射波长IR1～IR3的红外光的期间设为曝光Ex1R、Ex1G、Ex1B、Ex2R、Ex2G、Ex2B、Ex3R、Ex3G、Ex3B、……的1帧期间的大致整体。
图31的(b)表示打开被电子快门控制部73控制的拍摄部3的电子快门的期间和定时。在曝光Ex1G的1帧期间中，使电子快门的打开期间St12的中央定时与最大曝光时间的中央定时一致。
在曝光Ex1R的1帧期间中，使电子快门的打开期间St11的中央定时向曝光Ex1R的最大曝光时间的中央定时后方的曝光结束定时ExRe侧偏移。在曝光Ex1B的1帧期间中，使电子快门的打开期间St13的中央定时向曝光Ex1B的最大曝光时间的中央定时前方的曝光开始定时ExBs侧偏移。
针对曝光Ex2R、Ex2G、Ex2B、Ex3R、Ex3G、Ex3B、……的电子快门的打开期间St21、St22、St23、St31、St32、St33、……的定时与曝光Ex1R、Ex1G、Ex1B中的打开期间St11、St12、St13的定时相同。
即使在曝光的1帧期间的大致整体投射红外光，将仅在电子快门的打开期间投射了红外光的状态下拍摄物体OB而得的拍摄信号取入到A/D变换器4。
因此，在第2例中，图31(g)所示的表现帧F1IR的正确的颜色的区域C3以及色边纹区域C1、C2、C4、C5的状态与图30(f)所示的帧F1IR相同。在第2例中，也可以减轻色边纹。
并且，以与图30的第1例、图31的第2例的不同点为中心，对图32所示的第3例进行说明。图32(a)～图32(g)分别与图31(a)～图31(g)对应。
在第3例中，如图32(a)、图32(b)所示，使投射波长IR1～IR3的红外光的期间与电子快门的打开期间一致。第3例中的投射波长IR1～IR3的红外光的期间和定时与图30的第1例相同。
相对于第1例，在第3例中，在与红外光投射期间相同的定时设定电子快门的打开期间。在第3例中，也可以减轻色边纹。
以与采用第1例的控制方法的拍摄装置的结构不同点为中心总结采用第2或第3例的控制方法的拍摄装置的结构如以下所示。
电子快门控制部73控制拍摄部3中的电子快门的功能。将在投射第2红外光的状态下使拍摄部3曝光的期间的中央定时设为第1定时。将在投射第1红外光或第3红外光的状态下使拍摄部3曝光的期间的中央定时设为第2定时。将第1帧或第3帧的1帧期间的中央定时设为第3定时。
电子快门控制部73控制使拍摄部3曝光的期间和定时以便将第1定时与第2定时的间隔设定得比第1定时与第3定时的间隔短。
也可以通过计算机执行拍摄装置的控制程序(计算机程序)，由此实现采用以上的第2或第3例的控制方法的拍摄装置的动作。
拍摄装置的控制程序使计算机执行如下处理即可，即通过拍摄部3中的电子快门的功能控制使拍摄部3曝光的期间和定时，以便将第1定时与第2定时的间隔设定得比第1定时与第3定时的间隔短。
本发明并不限定于上述说明的实施方式，在没有脱离发明的主旨的范围内能够进行各种变更。可以使用1个或多个硬件(电路、处理器)来实现控制部7、影像处理部5。硬件和软件的区分使用是任意的。可以仅通过硬件来构成拍摄装置，也可以通过软件来实现一部分结构。
工业上的可利用性
本发明的拍摄装置、拍摄装置的控制方法以及控制程序可用于在可见光较少的环境下监视被摄体的监视摄像机。