红外线摄像装置、图像处理方法及图像处理程序与流程

本发明涉及一种红外线摄像装置、图像处理方法及图像处理程序。

背景技术：

例如，已知有一种如热像仪和夜视镜等拍摄红外线图像的红外线摄像装置(例如，参考专利文献1～3)。

专利文献1中公开了一种在摄像光学系统中具有光圈的红外线摄像装置。

专利文献2中公开了一种在拍摄高温被摄体的情况下，通过将摄像光学系统中所包含的光圈的开口面积设为最小而防止成像元件受损的红外线摄像装置。

专利文献3中公开了通过根据拍摄中的被摄体的温度中的最高温度控制光圈而改变测定温度范围的红外线摄像装置。

以往技术文献

专利文献

专利文献1：日本特开2013-080130号公报

专利文献2：日本特开2008-278036号公报

专利文献3：日本特开平9-101207号公报

技术实现要素：

发明要解决的技术课题

专利文献2中所记载的红外线摄像装置中，拍摄高温被摄体时，光圈的开口面积被控制为最小，因此到达成像元件的来自低温被摄体的红外线量减少，且无法良好地拍摄低温被摄体。

专利文献3中所记载的红外线摄像装置中，测定温度范围根据被摄体的最高温度而改变，因此在该最高温度非常高的情况下，对来自低温的被摄体的红外线的灵敏度降低，且无法良好地拍摄低温被摄体。

专利文献1中，并未设想控制光圈的开口面积，且无法提高混合存在低温被摄体和高温被摄体的场景中的拍摄质量。

本发明是鉴于上述情况而完成的，本发明的目的在于提供一种能够提高混合存在低温被摄体和高温被摄体的场景中的拍摄质量的红外线摄像装置、图像处理方法及图像处理程序。

用于解决技术课题的手段

本发明的红外线摄像装置具备：成像元件，包含二维配置的多个红外线检测像素；光圈，配置在比上述成像元件更靠被摄体侧；温度检测部，检测上述光圈的温度；及图像处理部，从将上述光圈的F值设为多个值的状态下通过上述成像元件拍摄而得到的多个摄像图像数据各自的至少一部分减去信号值，并合成上述减去后的上述多个摄像图像数据而生成合成图像数据，该信号值与上述各自的获取时的F值及基于通过上述温度检测部检测出的温度的从上述光圈射出的红外线量相对应。

本发明的图像处理方法为基于红外线摄像装置的图像处理方法，该红外线摄像装置具有：成像元件，包含二维配置的多个红外线检测像素；光圈，配置在比上述成像元件更靠被摄体侧；及温度检测部，检测上述光圈的温度，其中，

该图像处理方法具备：图像处理步骤，从将上述光圈的F值设为多个值的状态下通过上述成像元件拍摄而得到的多个摄像图像数据各自的至少一部分减去信号值，并合成上述减去后的上述多个摄像图像数据而生成合成图像数据，该信号值与上述各自的获取时的F值及基于通过上述温度检测部检测出的温度的从上述光圈射出的红外线量相对应。

本发明的图像处理程序为用于使红外线摄像装置执行图像处理步骤的程序，上述红外线摄像装置具有：成像元件，包含二维配置的多个红外线检测像素；光圈，配置在比上述成像元件更靠被摄体侧；及温度检测部，检测上述光圈的温度，上述图像处理步骤中，从将上述光圈的F值设为多个值的状态下通过上述成像元件拍摄而得到的多个摄像图像数据各自的至少一部分减去信号值，并合成上述减去后的上述多个摄像图像数据而生成合成图像数据，该信号值与上述各自的获取时的F值及基于通过上述温度检测部检测出的温度的从上述光圈射出的红外线量相对应。

发明效果

根据本发明，可提供一种能够提高混合存在低温被摄体和高温被摄体的场景中的拍摄质量的红外线摄像装置、图像处理方法及图像处理程序。

附图说明

图1为表示用于说明本发明的一实施方式的红外线摄像装置的概略结构的图。

图2为用于说明利用将F值改变为F1和F1.4而拍摄得到的两个摄像图像数据的FPN计算方法的图。

图3为表示F值与表示透射光圈2的红外线量的红外线透射率α的关系的图。

图4为用于说明图1所示的红外线摄像装置中的FPN计算动作的流程图。

图5(a)、图5(b)、图5(c)为表示从成像元件3侧观察到的光圈2的图。

图6为表示F值与从光圈2射出的红外线量的关系的图。

图7为用于说明FPN计算方法的变形例的图。

图8为表示通过成像元件3拍摄温度相同的被摄体时的各红外线检测像素的检测灵敏度的图。

图9为用于说明从位置“L”或“R”红外线检测像素输出的像素信号值的图。

图10为表示从成像元件3的各红外线检测像素输出的像素信号值相对于被摄体温度的变化(红外线检测像素的输出响应特性)的图。

图11为表示运算系数a的图。

图12为表示运算系数b的图。

图13为表示两个摄像图像数据的合成结果的图。

图14表示通过图1的红外线摄像装置拍摄的被摄体的一例的图。

图15(a)、图15(b)为表示根据两个值改变光圈2的F值并拍摄图14的被摄体而得到的摄像图像数据的图。

图16为表示合成摄像图像数据151和摄像图像数据152而得到的合成图像数据155的图。

具体实施方式

以下，参考附图对本发明的实施方式进行说明。

图1为表示用于对本发明的一实施方式进行说明的红外线摄像装置的概略结构的图。

图1所示的红外线摄像装置具备成像透镜1、光圈2、通过成像透镜1及光圈2而拍摄被摄体的成像元件3、用于检测光圈2的温度的温度检测部4、模拟信号处理部6、模数转换电路(A/D转换电路)7、光圈驱动部9及成像元件驱动部10。

成像元件3具有经由成像透镜1及光圈2而聚光且检测从被摄体射出的红外线(通常为波长8μm～12μm的光)的二维配置的多个红外线检测像素。成像元件3通过成像元件驱动部10而被驱动。

作为红外线检测像素中所使用的红外线检测元件，例如可举出热释电元件。或者，还可使用连接有产生塞贝克效应的热电偶的热电堆型、利用基于温度上升的电阻值的变化的热辐射计型等红外线检测元件。

另外，关于红外线检测元件，并不限定于这些，若能够检测出红外线，则其种类并无限制。本说明书中，将从成像元件3的所有红外线检测像素输出的像素信号的集合称为摄像图像数据。

光圈2配置在比成像元件3更靠被摄体侧，并通过光圈驱动部9控制开口面积。

温度检测部4由配置在光圈2附近的热敏电阻等温度传感器构成，并向系统控制部11通知所检测出的温度。

模拟信号处理部6进行模拟信号处理，该模拟信号处理包含对从成像元件3输出的摄像图像数据的各像素信号值乘以增益而增幅的增幅处理。

A/D转换电路7将从模拟信号处理部6输出的模拟摄像图像数据转换为数字数据。

模拟信号处理部6、A/D转换电路7、光圈驱动部9及成像元件驱动部10通过系统控制部11而被控制。

系统控制部11中输入有通过操作部14而由用户发出的指示信号。

而且，红外线摄像装置的电控系统具备：主存储器16；存储器控制部15，连接在主存储器16；数字信号处理部17，进行将从A/D转换电路7输出的摄像图像数据改变为能够通过显示部23显示的形式的处理等；FPN计算部19，计算通过成像元件3拍摄而得到的摄像图像数据中所包含的FPN；外部存储器控制部20，与装卸自如的记录介质21连接；及显示控制部22，与显示部23连接。

存储器控制部15、数字信号处理部17、FPN计算部19、外部存储器控制部20及显示控制部22通过控制总线24及数据总线25而彼此连接，并通过来自系统控制部11的命令而被控制。

FPN计算部19根据在将光圈2的F值设为第一值的状态下通过成像元件3拍摄被摄体而得到的第一摄像图像数据及在将光圈2的F值设为第二值的状态下通过成像元件3拍摄被摄体而得到的第二摄像图像数据和第一值及第二值计算通过成像元件3拍摄而得到的摄像图像数据中所包含的FPN。

图2为用于说明第一值为F1，第二值为F1.4时的FPN的计算方法的图。

图2中，符号31表示在F值＝F1的状态下得到的第一摄像图像数据中的任意坐标位置的像素信号值。符号32表示在F值＝F1.4的状态下得到的第二摄像图像数据中的上述任意坐标位置的像素信号值。

如图2所示，第一摄像图像数据的各像素信号值31和第二摄像图像数据的各像素信号值32分别由FPN成分C_fpn和FPN成分C_fpn以外的信号成分SG构成。

在此，第一摄像图像数据和第二摄像图像数据利用接近时刻(例如连续的拍摄)内获取的数据。因此，可认为第一摄像图像数据的各像素信号值31和第二摄像图像数据的各像素信号值32中所包含的FPN成分C_fpn为完全相同的值。

图3为表示F值与红外线透射率α的关系的图，该红外线透射率α表示透射光圈2的红外线量。图3中，将透射F值＝F1(光圈2的开口面积为最大的状态)时的光圈2的红外线透射率α设为“100％”而标准化。

如图3所示，F值＝F1.4时，与F值＝F1时相比，入射于成像元件3的红外线量变成一半。

即，图2所示的第二摄像图像数据的各像素信号值32中所包含的信号成分SG(以下，还称为SG(2))成为第一摄像图像数据的各像素信号值31中所包含的信号成分SG(以下，还称为SG(1))乘以F值＝F1.4和F值＝F1中的红外线透射率α之比(＝0.5)的值。

如此，根据得到像素信号值31时的F值与得到像素信号值32时的F值之差，唯一确定像素信号值31中所包含的信号成分SG(1)与像素信号值32中所包含的信号成分SG(2)的比。

FPN计算部19根据F值＝F1.4和F值＝F1中的红外线透射率α之比(＝0.5)，设定用于将信号成分SG(2)设为与信号成分SG(1)相同的值的系数，将所设定的系数乘以像素信号值31和像素信号值32的至少一方。

例如，当像素信号值31仅乘以系数时，将F值＝F1.4和F值＝F1中的红外线透射率α之比(＝0.5)设定为系数。

并且，当像素信号值32仅乘以系数时，将F值＝F1.4和F值＝F1中的红外线透射率α之比(＝0.5)的倒数(＝2)设定为系数。

并且，当像素信号值31和像素信号值32各自乘以系数时，以各自相乘的系数之比成为F值＝F1.4和F值＝F1中的红外线透射率α之比(＝0.5)的方式设定系数。

例如，将与像素信号值31相乘的系数设定为“1.5”，与像素信号值32相乘的系数设定为“3”。

图2中示出像素信号值32乘以系数(＝2)而得到的像素信号值33。通过乘以该系数，像素信号值31的信号成分SG与像素信号值33的信号成分SG成为相同的值。

从而，FPN计算部19在乘以该系数之后，从像素信号值33减去像素信号值31，由此能够计算FPN成分C_fpn。

另外，当像素信号值31仅乘以系数时，从像素信号值32减去将像素信号值31乘以0.5倍而得到的像素信号值，并将减去后的像素信号值设为2倍，由此能够计算FPN成分C_fpn。

并且，当像素信号值31和像素信号值32各自乘以系数时，从将像素信号值32乘以3倍而得到的像素信号值减去将像素信号值31乘以1.5倍而得到的像素信号值，并将减去后的像素信号值除以1.5，由此能够计算FPN成分C_fpn。

图4为用于说明图1所示的红外线摄像装置中的FPN计算动作的流程图。

图4所示的处理中，例如，为将通过成像元件3对被摄体进行多次拍摄的而得到的红外图像显示于显示部23的动态图像拍摄模式时隔开恒定间隔(例如10秒一次)进行。

并且，动态图像拍摄模式时，将光圈2的F值在动态图像拍摄开始时预先通过手动操作等设定为第一值。

首先，若开始进行动态图像拍摄，则从成像元件3隔开恒定间隔输出的摄像图像数据通过数字信号处理部17而被处理并生成记录用数据。该记录用数据记录于记录介质21，并且基于该记录用数据的红外图像显示于显示部23。

数字信号处理部17对摄像图像数据进行的处理包括从摄像图像数据减去记录在主存储器16的FPN记录用区域的FPN成分C_fpn而校正FPN的处理。

动态图像拍摄开始时，在主存储器16的FPN记录用区域中未记录有FPN成分C_fpn，因此在设定为动态图像拍摄模式时，红外线摄像装置首先进行以下进行说明的处理。

系统控制部11将光圈2的F值维持在作为拍摄条件而设定的第一值，且在该状态下对成像元件3进行成像(步骤S1)。通过该成像而从成像元件3输出的第一摄像图像数据暂时存储于主存储器16(步骤S2)。

接着，系统控制部11将光圈2的F值从第一值变更为第二值，且在该状态下对成像元件3进行拍摄(步骤S3)。通过该成像而从成像元件3输出的第二摄像图像数据暂时存储于主存储器16(步骤S4)。

接着，FPN计算部19获取暂时存储在主存储器16的第一摄像图像数据及第二摄像图像数据，并根据所获取的第一摄像图像数据及第二摄像图像数据和作为获取第一摄像图像数据时的F值的第一值及作为获取第二摄像图像数据时的F值的第二值计算FPN成分C_fpn(步骤S5)。

FPN计算部19在计算出FPN成分C_fpn时，将其记录于主存储器16中的FPN记录用区域。

而且，数字信号处理部17从暂时存储在主存储器16的第一摄像图像数据及第二摄像图像数据各自减去在步骤S5中生成的FPN成分C_fpn，从而校正FPN(步骤S6)。

接着，数字信号处理部17进行对FPN校正后的第二摄像图像数据乘以增益的处理，以使减少FPN校正后的第二摄像图像数据的亮度与FPN校正后的第一摄像图像数据的亮度之差(步骤S7)。

具体而言，数字信号处理部17将与第二值和第一值之差相对应的增益乘以FPN校正后的第二摄像图像数据。数字信号处理部17作为增益处理部而发挥功能。

例如，若第一值为F1，第二值为F1.4，则数字信号处理部17根据图2所示的F1与F1.4中的红外线透射率α的差异，作为增益＝2而将第二摄像图像数据的各像素信号值乘以2倍。

若第一值为F2，第二值为F1.4，则数字信号处理部17根据图2所示的F2与F1.4中的红外线透射率α的差异，作为增益＝0.5而将第二摄像图像数据的各像素信号值乘以0.5倍。

步骤S7之后，数字信号处理部17根据在步骤S6、步骤7中进行处理之后的第一摄像图像数据及第二摄像图像数据生成记录用数据，并将其记录于记录介质21(步骤S8)。

步骤S8之后，系统控制部11将F值从第二值还原到第一值，并继续进行动态图像拍摄。

如以上，根据图1的红外线摄像装置，不中断动态图像即能够以高精度计算FPN。并且，如以往技术，在动态图像拍摄中不会定期发生散焦的拍摄图像，能够拍摄高质量的动态图像。

并且，并不关闭快门或者制作非聚焦状态，能够在动态图像拍摄中仅通过瞬间关闭或打开光圈2的动作来计算FPN。因此，能够减少用于FPN计算的电力。

并且，根据图1的红外线摄像装置，第二摄像图像数据的亮度通过增益而被校正，因此在动态图像拍摄中记录于记录介质的记录用数据的亮度变均匀。并且，在动态图像拍摄中显示于显示部23的图像的亮度也变均匀。从而，在动态图像拍摄中能够去除通过变更光圈2的F值而产生的画质变动而维持动态图像的质量。

另外，若在动态图像拍摄中改变光圈的F值，则景深有可能发生变化。拍摄主要使用于观赏目的的可见光像的撮像装置中，根据景深的变化而画质变动明显，导致给鉴赏动态图像的利用者带来不协调感。

然而，红外线摄像装置中，例如在拍摄平面被摄体的情况下，能够容许基于景深的变化的画质变动。

如此，红外线摄像装置中，存在动态图像拍摄中容许景深的变化的场景，因此上述FPN计算方法在红外线摄像装置中成为有效的方法。

上述FNP计算方法中，根据改变F值而获得的两个摄像图像数据计算FPN，因此若在该两个摄像图像数据的内容中存在较大的差异，则很难正确计算FPN。

于是，FPN计算部19在图4的步骤S4之后，对第一摄像图像数据与第二摄像图像数据进行比较，并通过周知的运动物体检测处理判定在该两个摄像图像数据中是否存在运动物体部分。FPN计算部19作为运动物体判定部而发挥功能。

当判定为存在运动物体部分时，FPN计算部19判断FPN计算精度降低，且省略步骤S5的处理。

而且，在步骤S6中，数字信号处理部17利用存储在主存储器16中的FPN而对第一摄像图像数据和第二摄像图像数据进行FPN校正，之后，将处理移到步骤S7。

由此，能够防止存储在主存储器16中的FPN被更新为精度较低的FPN，并能够提高动态图像质量。

另外，由FPN计算部19进行上述FPN计算处理的时刻可以为通过温度检测部4检测出的温度的变动量成为阈值以上的时刻。温度的变动量较大时，认为FPN的变化较大，因此该时刻为有效。

并且，当通过FPN计算部19计算出的FPN成为阈值以上时，系统控制部11有效停止连续拍摄，并冷却成像元件3。由此，能够防止画质劣化。

图1的红外线摄像装置具备光圈2，因此入射于成像元件3的红外线中还包含从光圈2的光圈叶片射出的红外线。

以上说明中，FPN计算部19未考虑从高光圈叶片射出的红外线而进行FPN的计算。以下，为了进一步提高FPN的计算精度，考虑从光圈叶片射出的红外线而对计算FPN的方法进行说明。

图5(a)、图5(b)、图5(c)为表示从成像元件3侧观察光圈2的图。图5(a)表示F值＝F1时的光圈2的状态，图5(b)表示F值＝F1.4时的光圈2的状态，图5(c)表示完全关闭光圈2的状态下(设为F值＝F∞)的光圈2的状态。图5(a)、图5(b)、图5(c)中，符号2a表示基于成像元件3的拍摄范围与光圈叶片外周的重复部分，符号2b表示光圈叶片的表面，符号2c表示光圈2的开口。

如图5(a)、图5(b)、图5(c)所示，从成像元件3侧观察时，光圈2的F值发生变化时，光圈叶片的露出面积发生改变。F值＝F∞与F值＝F1.4的比较中，相对于F值＝F∞时，在F值＝F1.4时光圈叶片的露出面积成为约1/2倍。光圈叶片的露出面积表示从成像元件3观察时，光圈叶片未被遮挡红外线的障碍物遮蔽的部分的面积。

从该光圈叶片的露出部分射出红外线而入射于成像元件3，因此如上所述，通过F值＝F1而得到的第一摄像图像数据的信号成分SG(1)与通过F值＝F1.4而得到的第二摄像图像数据的信号成分SG(2)之比优选考虑从光圈2射出的红外线量。

图6为表示F值与从光圈2射出的红外线量的关系的图。图6中，将F值＝F1时从光圈2射出的红外线量β设为“0”，将F值＝F∞时从光圈2射出的红外线量设为“100”而进行标准化。

如图6所示，与F值＝F∞时相比，F值＝F1.4时，从光圈2射出的红外线量β成为约1/2倍。另外，图6的数据根据光圈2的温度而不同，因此主存储器16中按每一光圈2的温度而存储有图6所示的数据。

并且，根据从光圈2射出的红外线量而从成像元件3的各红外线检测像素输出的像素信号值并不相同，且根据红外线检测像素的受光面上的位置而不同。

例如，从位于与光圈2的开口部分相对置的位置的红外线检测像素输出的像素信号值变小，但从位于与光圈2的光圈叶片相对置的位置的红外线检测像素输出的像素信号值变大。

图1的红外线摄像装置的主存储器16按能够设定的每一F值预先存储有表格数据，该表格数据中记录有根据从光圈2射出的红外线而从各红外线检测像素输出的像素信号值。

并且，与任意F值相对应的表格数据按每一光圈2的温度而存储多个。其理由为如下，即若光圈2的温度不同，则光圈叶片的露出面积即使相同，从光圈2射出的红外线量也不同。

例如，从通过成像元件3拍摄温度为已知且温度分布相同的被摄体而得到的摄像图像数据的各像素信号值减去相当于该被摄体的温度的信号值，由此能够按红外线检测像素求出与从光圈2射出的红外线相对应的像素信号值。

改变F值来反复进行这种操作，由此能够求出上述表格数据。并且，将F值固定而直接改变光圈2的温度的同时反复进行上述操作，由此能够相对于相同的F值而生成多个表格数据。

另外，根据从光圈2射出的红外线从各红外线检测像素输出的像素信号值与光圈2的温度的4次方和光圈2的露出面积的积成比例。

因此，相对于任意F值(最小值以外的值)，求出根据从光圈2射出的红外线而从各红外线检测像素输出的像素信号值，并通过光圈2的温度和F值对该像素信号值进行校正，由此也能够制作上述表格数据。

图7为用于说明FPN计算方法的变形例的图。

图7中示出在F值＝F1的状态下得到的第一摄像图像数据中的任意坐标位置的像素信号值41和在F值＝F1.4的状态下得到的第二摄像图像数据中的上述任意坐标位置的像素信号值42。

像素信号值41和像素信号值42各自所包含的信号成分SG包含与从被摄体射出的红外线相对应的信号成分SG(obj)和从光圈2射出的信号成分SG(ap)。另外，当F值＝F1时，光圈2的露出面积成为“0”，因此像素信号值41的信号成分SG(ap)为“0”。

像素信号值41的信号成分SG(obj)与像素信号值42的信号成分SG(obj)之比根据F1和F1.4时的红外线透射率α之比而确定，约为“0.5”。并且，像素信号值41的信号成分SG(ap)和像素信号值42的信号成分SG(ap)为通过上述表格数据而已知的值。

FPN计算部19从与通过温度检测部4检测出的光圈2的温度及F值＝F1的组合相对应的表格数据检索而获取像素信号值41的信号成分SG(ap)。

并且，从与通过温度检测部4检测出的光圈2的温度及F值＝F1.4的组合相对应的表格数据检索而获取像素信号值42的信号成分SG(ap)。

接着，FPN计算部19设定系数，该系数用于将从像素信号值41减去上述获取的信号成分SG(ap)而得到的像素信号值41a和从像素信号值42减去上述获取的信号成分SG(ap)而得到的像素信号值42a设为相同。

而且，FPN计算部19将所设定的系数与像素信号值41a和像素信号值42a的至少一方相乘。相乘后的处理与在图2中说明的处理相同。

如以上，还考虑根据F值的改变而从光圈2射出的红外线量发生变化的情况来计算FPN，由此能以更高的高精度计算FPN，并能够提高画质。

至此，在成像元件3的受光面的任意位置，将表示从与相同量的红外线相对应的红外线检测像素输出的像素信号值的检测灵敏度设为相同而进行了说明。但是，实际上，根据红外线检测像素的受光面中的位置而红外线检测像素的检测灵敏度发生变化，且在摄像图像数据中产生阴影(shading)。

图8为表示通过成像元件3拍摄温度相同的被摄体时的各红外线检测像素的检测灵敏度γ的图。图8的横轴表示受光面上的一方向上的位置，并以0表示与摄像光学系统的光轴相交的位置。

“R”表示在成像元件3的受光面上所设定的直线即位于通过位置0的红外线检测像素的直线上且位于红外线检测像素中的一端部的红外线检测像素的位置。“L”表示位于该直线上且位于红外线检测像素中的另一端部的红外线检测像素的位置。

并且，图8中，以虚线表示F值＝F1时的检测灵敏度γ，并以实线表示F值＝F1.4时的检测灵敏度γ。图8中，将位置0的红外线检测像素的检测灵敏度γ设为“100％”而进行标准化。

如图8所示，红外线检测像素的检测灵敏度γ在受光面的中心成为最高，并随着接近受光面的端部而下降。并且，检测灵敏度γ的下降程度根据F值而不同。

从而，相对于从位于受光面的中心的红外线检测像素输出的像素信号值，成为图2所示的关系，但相对于从位于受光面的周边的红外线检测像素输出的像素信号值，并不成为图2所示的关系。

图9为用于说明从位置“L”或“R”的红外线检测像素输出的像素信号值的图。

图9中，符号31a表示在F值＝F1的状态下通过拍摄而得到的像素信号值。符号32a表示在F值＝F1.4的状态下通过拍摄而得到的像素信号值。图9中以虚线示出图2所示的像素信号值31、像素信号值32。

根据图2所示的关系，与像素信号值31a的信号成分SG相比，像素信号值32a的信号成分SG减少。然而，根据图8所示的关系，与位于受光面的中心的红外线检测像素相比，其减少幅度变小。

从而，优选考虑因在该受光面上的位置的差异而引起的第一摄像图像数据的像素信号值的信号成分SG与第二摄像图像数据的像素信号值的信号成分SG之比的差异而计算FPN。

已知图2所示的关系、图6所示的关系及图8所示的关系。因此，FPN计算部19参考图2、图6及图8所示的数据将以下系数设定为与在受光面上的红外线检测像素的位置相对应的值，该系数用于将第一摄像图像数据的像素信号值的信号成分SG和第二摄像图像数据的像素信号值的信号成分SG设为相同。

FPN计算部19将所设定的系数与第一摄像图像数据的像素信号值的信号成分SG和第二摄像图像数据的像素信号值的信号成分SG的至少一方相乘。

FPN计算部19根据相乘后的第一摄像图像数据的像素信号值的信号成分SG与第二摄像图像数据的像素信号值的信号成分SG之差计算FPN成分C_fpn。

由此，能够进一步正确计算FPN，并能够实现画质的提高。

利用数式对以上所说明的FPN计算方法进行进一步具体的说明。

将摄像图像数据的坐标(x，y)的像素信号值中的与从被摄体射出的红外线量相对应的成分的数字值设为S_obj(x，y)。

将摄像图像数据的坐标(x，y)的像素信号值中的FPN成分的数字值设为C_fpn(x，y)。

将任意F值中的图2所示的红外线透射率α设为α(F)。α(F)为存储于主存储器16的数据。

将摄像图像数据的坐标(x，y)的像素信号值中与任意F值及光圈2的温度为T时从光圈2射出的红外线量相对应的像素信号值设为β(x，y，F，T)。β(x，y，F，T)为预先通过实验而求出并记录于主存储器16的数据。

将任意的F值状态下的红外线检测像素的受光面中的坐标(x，y)的检测灵敏度γ设为γ(x，y，F)。γ(x，y，F)为实验性求出并存储在主存储器16的数据。

将摄像图像数据的坐标(x，y)中的像素信号值的数字值设为Out(x，y)。

如以上设定时，Out(x，y)由以下式(1)表示。

[数式1]

Out(x，y)＝S_obi(x，y)×α(F)×γ(x，y，F)+β(x，y，F，Ｔ)+C_fpn(x，y)……(1)

从而，F值＝F1时的Out(x，y)_F1由以下式(2)表示，F值＝F1.4时的Out(x，y)_F1.4由以下式(3)表示。

[数式2]

Out(x，y)_F1＝S_obi(x，y)×α(F1)×γ(x，y，F1)+β(x，y，F1，T)+C_fpn(x，y)……(2)

Out(x，y)_F1.4＝S_obi(x，y)×α(F1.4)×γ(x，y，F1.4)+β(x，y，F1.4，T)+C_fpn(x，y)……(3)

式(2)中，若将两边除以α(F1)×γ(x，y，F1)，则能够变形为以下式(4)。

[数式3]

式(3)中，若将两边除以α(F1.4)×γ(x，y，F1.4)，则能够变形为以下式(5)。

[数式4]

若从式(5)减去式(4)，则成为式(6)。

[数式5]

在式(6)中，若求出C_fpn(x，y)，则成为式(7)。

[数式6]

式(7)中所有数值为已知，因此能够计算出FPN成分C_fpn(x，y)。

式(7)中的{1/α(F1.4)×γ(x，y，F1.4)}和{1/α(F1)×γ(x，y，F1)}为与F值＝F1和F值＝F1.4之差相对应的系数，并成为用于将改变F值而获取的两个像素信号值中所包含的S_obj(x，y)设为相同的系数。

式(7)中，将γ(x，y，F)设为“1”，将β(x，y，F，T)设为“0”的情况下的处理为在图2中进行说明的处理。并且，式(7)中，将γ(x，y，F)设为“1”的情况下的处理为在图7中进行说明的处理。

至此，对拍摄动态图像时的FPN的计算方法进行了说明。以下，对根据来自用户的指示等通过成像元件3对被摄体进行一次拍摄，并对通过该拍摄而得到的摄像图像数据进行处理而得到的记录用数据记录于记录介质21的静止图像拍摄模式的动作进行说明。

静止图像拍摄模式中，数字信号处理部17对改变光圈2的F值而获取的多个摄像图像数据进行合成而生成一个摄像图像数据，并根据该摄像图像数据生成记录用数据而记录于记录介质21。

图10为表示从成像元件3的各红外线检测像素输出的像素信号值相对于被摄体温度的变化(红外线检测像素的输出响应特性)的图。

图10中，符号101表示F值＝F1的状态下的各红外线检测像素的输出响应特性。符号102表示F值＝F1.4的状态下的各红外线检测像素的输出响应特性。

输出响应特性101和输出响应特性102均表示去除与从光圈2射出的红外线相对应的信号成分(上述β(x，y，F，T))的像素信号值。

F值＝F1的状态下，较多的红外线从被摄体入射于成像元件3。从而，相对于被摄体温度的像素信号值的变化成陡峭。

图10的例中，在F值＝F1的状态下，相对于20℃以上的被摄体，像素信号值为饱和。因此，对于小于20℃的被摄体，能够在S/N比(信噪比)较高的状态下进行拍摄，但对于20℃以上的被摄体，无法正确地进行拍摄。

另一方面，在F值＝F1.4的状态下，与F值＝F1时相比，入射于成像元件3的红外线量减少。从而，相对于被摄体温度的像素信号值的变化变得平缓。

图10的例中，在F值＝F1.4的状态下，相对于小于80℃的被摄体，像素信号值不饱和。即，能够正确地拍摄小于80℃的被摄体像，但对于小于20℃的被摄体，像素信号值变小，因此S/N比恶化。

图10中，将F值＝F1时的红外线检测像素达到饱和电平的温度(＝20℃)称为饱和温度。并且，将F值＝F1.4时的红外线检测像素达到饱和电平的温度(＝80℃)称为饱和温度。

如此，若改变光圈2的F值，则能够正确拍摄的被摄体的上限温度(饱和温度)发生变化。

将在设为F值＝F1的状态下得到的坐标位置(x，y)的像素信号值设为Out(x，y，F1)，将在设为F值＝F1.4的状态下得到的坐标位置(x，y)的像素信号值设为Out(x，y，F2)。在该设定的基础上，数字信号处理部17进行以下式(8)的运算，并生成像素信号值D(x，y)。

D(x，y)＝{Out(x，y，F1)-β(x，y，F1，T)}×a+{Out(x，y，F1.4)-β(x，y，F1.4，T)}×b……(8)

图11为表示式(8)的运算系数a的一例的图。如图11所示，被摄体温度小于20℃的范围时，运算系数a成为与输出响应特性101成反比例的值。并且，被摄体温度为20℃以上的范围时，运算系数a成为“0”，而与被摄体温度无关。被摄体温度为0℃时的运算系数a成为图10中的被摄体温度＝20℃时的输出响应特性101的像素信号值与输出响应特性102的像素信号值之比，即“0.25”。

图12为表示式(8)的运算系数b的一例的图。如图12所示，运算系数b在被摄体温度小于20℃的范围内成为与输出响应特性101成比例的值。并且，运算系数b在被摄体温度为20℃以上的范围内成为“1”，而与被摄体温度无关。并且，被摄体温度为0℃时的运算系数b成为“0”。

运算系数a为与F值＝F1时的输出响应特性101(表示被摄体温度与从所述成像元件的各红外线检测像素输出的像素信号值的关系的信息)相对应的系数。

运算系数a为与F值＝F1.4时的输出响应特性102(表示被摄体温度与从所述成像元件的各红外线检测像素输出的像素信号值的关系的信息)相对应的系数。

进行式(8)的运算而得到的摄像图像数据与通过具有以图13的符号130表示的输出响应特性的红外线检测像素拍摄被摄体而得到的数据成为等效。

以符号130表示的输出响应特性与图10的输出响应特性102变得相同。但是，在式(8)的运算结果、被摄体温度为20℃以下的范围内，被摄体温度越低，则合成后的像素信号值D(x，y)中，{Out(x，y，F1)-β(x，y，F1，T)}所占的比例越高。

{Out(x，y，F1)-β(x，y，F1，T)}中，信号成分相对变多，与{Out(x，y，F1.4)-β(x，y，F1.4，T)}相比，S/N比更优异。从而，通过具有以图13的符号130表示的输出响应特性的红外线检测像素拍摄被摄体，由此关于小于20℃的低温被摄体，不会使各像素信号值饱和，并且与F值＝F1.4时相比，能够在进一步提高S/N比的状态下进行拍摄。

并且，关于20℃以上且小于80℃的温度范围的被摄体，不使各像素信号值饱和即能够进行拍摄。因此，即使在低温被摄体和高温被摄体混合存在的场景中，也能够提高拍摄质量。

以上的说明中，按成像元件3中所包含的每一红外线检测像素进行通过运算系数a、运算系数b对改变F值而获取的多个像素信号值进行加权相加的处理，由此生成一个摄像图像数据。

作为该变形例，数字信号处理部17从改变F值而获取的多个摄像图像数据的每一个减去与从光圈2射出的红外线相对应的数据。数字信号处理部17从减去而得到的多个摄像图像数据切取非饱和部分，并通过拼接所切取的部分而生成一个摄像图像数据。

图14为表示通过图1的红外线摄像装置拍摄的被摄体的一例的图。图14中例示包括物体140、物体141、物体142的被摄体。图14中，物体140和物体141的温度为相同程度，物体142的温度比物体140、物体141更高。

图15(a)、图15(b)为表示将光圈2的F值改变为两个值而拍摄图14的被摄体而得到的摄像图像数据的图。

图15(a)例如表示以F值＝F1拍摄而得到的摄像图像数据151。图15(b)例如表示以F值＝F1.4拍摄而得到的摄像图像数据152。

图15(a)、图15(b)中，符号142a为与图14的被摄体142相对应的数据。符号140a为与图14的被摄体140相对应的数据。符号141a为与图14的被摄体141相对应的数据。

图15(a)、图15(b)的例中，F值＝F1时的图像数据部分142a的各像素信号值达到饱和电平，但F值＝F1.4时的图像数据部分142a的各像素信号值小于饱和电平。

并且，F值＝F1、F值＝F1.4时，图像数据部分140a、图像数据部分141a的各像素信号值均小于饱和电平。而且，F值＝F1时的图像数据部分140a、图像数据部分141a的各像素信号值电平相比，F值＝F1.4时的图像数据部分140a、图像数据部分141a的各像素信号值的电平变小。

图15(a)、图15(b)的例中，数字信号处理部17根据摄像图像数据151检测像素信号值达到饱和电平的图像数据部分142a，并从摄像图像数据151切取图像数据部分142a以外的部分。

数字信号处理部17从该切取的部分的各像素信号值根据获取摄像图像数据151时的F值及通过温度检测部4检测出的光圈2的温度减去与从光圈2射出的红外线量相对应的信号值(上述的β(x，y，F1，T))而生成第一修整数据。

接着，数字信号处理部17在摄像图像数据152中对与上述检测出的图像数据部分相对应的图像数据部分的各像素信号值与饱和电平进行比较，判定各像素信号值是否小于饱和电平。各像素信号值小于饱和电平时，数字信号处理部17从摄像图像数据152切取该图像数据部分。

数字信号处理部17从该切取的部分的各像素信号值根据获取摄像图像数据152时的F值及通过温度检测部4检测出的光圈2的温度减去与从光圈2射出的红外线量相对应的信号值(上述的β(x，y，F1.4，T))而生成第二修整信息。

而且，数字信号处理部17通过拼接第一修整信息和第二修整信息，合成两个摄像图像数据151、摄像图像数据152，并生成图16所示的合成图像数据155。数字信号处理部17对合成图像数据155进行处理而得到记录用数据。

如以上，在改变F值而获取的多个摄像图像数据中存在包括像素信号值达到饱和电平的物体部分的摄像图像数据(设为摄像图像数据(1))的情况下，数字信号处理部17包括与该物体部分相对应且像素信号值小于饱和电平的物体部分，并且从多个摄像图像数据中确定获取时的F值成为最小的摄像图像数据。

而且，数字信号处理部17以上述确定的摄像图像数据中所包括的上述物体部分的数据取代摄像图像数据(1)的上述物体部分。由此，即使在低温被摄体和高温被摄体混合存在的场景中，也能够得到正确地拍摄两者的合成图像数据。

另外，在改变F值而获取的多个摄像图像数据中不存在包括像素信号值达到饱和电平的物体部分的摄像图像数据的情况下，数字信号处理部17对获取时的F值成为最小的摄像图像数据进行处理而生成记录用数据即可。

并且，图15(a)、图15(b)的例中，对改变F值而进行两次拍摄的情况进行了说明，但也可以改变F值而进行3次以上的拍摄。

例如，以F值＝F1得到的摄像图像数据中饱和的物体部分存在两处，该两处之一即使在F值＝F1.4时也饱和，但可考虑F值＝F2时并不饱和的情况。

该情况中，将以F值＝F1得到的摄像图像数据的两处的物体部分取代为以F值＝F1.4得到的摄像图像数据中所包括的物体部分和以F值＝F2得到的摄像图像数据中所包括的物体部分即可。

另外，静止图像拍摄模式中，如上述改变F值而进行多次拍摄，因此能够进行利用在该多次拍摄下得到的多个摄像图像数据的前述FPN计算处理。数字信号处理部17从上述合成图像数据减去在该FPN计算处理中得到的FPN数据而对其进行FPN校正即可。

能够将由本实施方式的FPN计算部19及数字信号处理部17进行的各步骤作为用于使计算机执行的程序而提供。这种程序记录于能够由计算机读取的非暂时性(non-transitory)记录介质中。

这种“计算机可读取的记录介质”例如包括CD-ROM(Compact Disc-ROM)等光学介质、存储卡等磁记录介质等。并且，这种程序还可通过网络下载而提供。

如以上说明，本说明书中公开有以下内容。

所公开的红外线摄像装置具备：成像元件，包含二维配置的多个红外线检测像素；光圈，配置在比上述成像元件更靠被摄体侧；温度检测部，检测上述光圈的温度；及图像处理部，从将上述光圈的F值设为多个值的状态下通过上述成像元件拍摄而得到的多个摄像图像数据各自的至少一部分减去信号值，并合成上述减去后的上述多个摄像图像数据而生成合成图像数据，该信号值与上述各自的获取时的F值及基于通过上述温度检测部检测出的温度的从上述光圈射出的红外线量相对应。

所公开的红外线摄像装置中，上述图像处理部拼接从上述多个摄像图像数据中的包含像素信号值达到饱和电平的物体部分的摄像图像数据的上述物体部分以外的部分减去上述信号值而得到的部分和从上述多个摄像图像数据中确定并包含与上述物体部分相对应且像素信号值小于饱和电平的物体部分，并且从获取时的F值成为最小的摄像图像数据中的上述物体部分减去上述信号值而得到的部分，并生成上述合成图像数据。

所公开的红外线摄像装置中，上述图像处理部从上述多个摄像图像数据各自的各像素信号值减去上述信号值，对上述减去后的多个摄像图像数据各自的各像素信号值乘以与表示根据上述各自的获取时的F值确定的被摄体温度和从上述成像元件的各红外线检测像素输出的像素信号值的关系的信息相对应的系数，通过上述多个摄像图像数据相加上述相乘后的各像素信号值而生成上述合成图像数据。

所公开的红外线摄像装置中，上述多个摄像图像数据包含在将上述光圈的F值设为第一值的状态下通过上述成像元件拍摄而得到的第一摄像图像数据和在将上述光圈的F值设为第二值的状态下通过上述成像元件拍摄而得到的第二摄像图像数据，所述红外线摄像装置还具备固定图案噪声计算部，所述固定图案噪声计算部根据上述第一摄像图像数据及上述第二摄像图像数据和上述第一值及上述第二值计算通过上述成像元件拍摄而得到的摄像图像数据中所包含的固定图案噪声。

所公开的红外线摄像装置中，上述固定图案噪声计算部对上述第一摄像图像数据及上述第二摄像图像数据各自中位于任意坐标位置的两个像素信号值的至少一个乘以与上述第一值和上述第二值之差相对应的系数，并利用上述相乘后的上述两个像素信号值的差分计算上述任意坐标位置中的固定图案噪声。

所公开的红外线摄像装置中，上述固定图案噪声计算部根据上述第一摄像图像数据及上述第二摄像图像数据、上述第一值及上述第二值和通过上述温度检测部检测出的上述光圈的温度计算上述固定图案噪声。

所公开的红外线摄像装置中，上述固定图案噪声计算部对上述第一摄像图像数据及上述第二摄像图像数据各自中位于任意坐标位置的两个像素信号值的至少一个乘以与上述第一值和上述第二值之差相对应的系数及与通过上述温度检测部检测出的温度相对应的系数，并利用上述相乘后的上述两个像素信号值的差分计算上述任意坐标位置中的固定图案噪声。

所公开的红外线摄像装置中，上述固定图案噪声计算部作为上述系数利用根据上述红外线检测像素的位置而不同的值。

所公开的红外线摄像装置的图像处理方法为基于红外线摄像装置的图像处理方法，该红外线摄像装置具有：成像元件，包含二维配置的多个红外线检测像素；光圈，配置在比上述成像元件更靠被摄体侧；及温度检测部，检测上述光圈的温度，其中，该图像处理方法具备：图像处理步骤，从将上述光圈的F值设为多个值的状态下通过上述成像元件拍摄而得到的多个摄像图像数据各自的至少一部分减去信号值，并合成上述减去后的上述多个摄像图像数据而生成合成图像数据，该信号值与上述各自的获取时的F值及基于通过上述温度检测部检测出的温度的从上述光圈射出的红外线量相对应。

所公开的红外线摄像装置的图像处理方法中，上述图像处理步骤中，拼接从上述多个摄像图像数据中的包含像素信号值达到饱和电平的物体部分的摄像图像数据的上述物体部分以外的部分减去上述信号值而得到的部分和从上述多个摄像图像数据中确定并包含与上述物体部分相对应且像素信号值小于饱和电平的物体部分，并且从获取时的F值成为最小的摄像图像数据中的上述物体部分减去上述信号值而得到的部分，并生成上述合成图像数据。

所公开的红外线摄像装置的图像处理方法中，上述图像处理步骤中，从上述多个摄像图像数据各自的各像素信号值减去上述信号值，对上述减去后的多个摄像图像数据各自的各像素信号值乘以与表示根据上述各自的获取时的F值确定的被摄体温度和从上述成像元件的各红外线检测像素输出的像素信号值的关系的信息相对应的系数，通过上述多个摄像图像数据相加上述相乘后的各像素信号值而生成上述合成图像数据。

所公开的红外线摄像装置的图像处理方法中，上述多个摄像图像数据包含在将上述光圈的F值设为第一值的状态下通过上述成像元件拍摄而得到的第一摄像图像数据和在将上述光圈的F值设为第二值的状态下通过上述成像元件拍摄而得到的第二摄像图像数据，述图像处理方法还具备：固定图案噪声计算步骤，根据上述第一摄像图像数据及上述第二摄像图像数据和上述第一值及上述第二值计算通过上述成像元件拍摄而得到的摄像图像数据中所包含的固定图案噪声。

所公开的红外线摄像装置的图像处理方法中，上述固定图案噪声计算步骤中，对上述第一摄像图像数据及上述第二摄像图像数据各自中位于任意坐标位置的两个像素信号值的至少一个乘以与上述第一值和上述第二值之差相对应的系数，并利用上述相乘后的上述两个像素信号值的差分计算上述任意坐标位置中的固定图案噪声。

所公开的红外线摄像装置的图像处理方法中，上述固定图案噪声计算步骤中，根据上述第一摄像图像数据及上述第二摄像图像数据、上述第一值及上述第二值和通过上述温度检测部检测出的上述光圈的温度计算上述固定图案噪声。

所公开的红外线摄像装置的图像处理方法中，上述固定图案噪声计算步骤中，对上述第一摄像图像数据及上述第二摄像图像数据各自中位于任意坐标位置的两个像素信号值的至少一个乘以与上述第一值和上述第二值之差相对应的系数及与通过上述温度检测部检测出的温度相对应的系数，并利用上述相乘后的上述两个像素信号值的差分计算上述任意坐标位置中的固定图案噪声。

所公开的红外线摄像装置的图像处理方法中，上述固定图案噪声计算步骤中，利用根据上述红外线检测像素的位置而不同的值来作为上述系数。

所公开的图像处理程序为用于使红外线摄像装置执行图像处理步骤的程序，上述红外线摄像装置具有：成像元件，包含二维配置的多个红外线检测像素；光圈，配置在比上述成像元件更靠被摄体侧；及温度检测部，检测上述光圈的温度，上述图像处理步骤中，从将上述光圈的F值设为多个值的状态下通过上述成像元件拍摄而得到的多个摄像图像数据各自的至少一部分减去信号值，并合成上述减去后的上述多个摄像图像数据而生成合成图s像数据，该信号值与上述各自的获取时的F值及基于通过上述温度检测部检测出的温度的从上述光圈射出的红外线量相对应。

产业上的可利用性

本发明尤其在应用于车载用相机等而便利性较高且有效。

将本发明详细地并参考特定实施方式进行了说明，但对于本领域技术人员而言，在不脱离本发明的精神和范围的情况下可施加各种变更和修正是显而易见的。

本申请主张基于2014年9月30日于日本申请的日本专利申请(专利申请2014-200076)，并将其内容通过参考而并入本说明书中。

符号说明

2-光圈，3-成像元件，4-温度检测部，11-系统控制部，17-数字信号处理部(图像处理部)，19-FPN计算部。