摄像装置和线变动噪声降低装置的制作方法

[0001]
本发明涉及摄像装置和线变动噪声降低装置。


背景技术：

[0002]
摄像元件(例如图像传感器)通过二维排列的多个检测元件对被摄体进行摄像，由此，依次输出与多个检测元件对应的多个像素的像素值作为影像信号。有时该影像信号包含由于每个水平扫描线的噪声成分而引起的每个水平扫描线的像素值的电平变动即线变动噪声(例如参照专利文献1)。
[0003]
线变动噪声使影像产生闪烁，使影像的视觉辨认性降低。作为抑制线变动噪声的方法，存在对影像信号进行校正以使影像信号的每个水平扫描线的像素值的平均值固定的方法。在该方法中，使用1个水平扫描线的全部像素的像素值的平均值与前1帧的帧中的同一水平扫描线的全部像素的像素值的平均值之差、或1个水平扫描线的各像素的像素值与前1帧的帧中的相同水平扫描线的相同像素的像素值的差分的平均值即线变动值，作为校正值。
[0004]
现有技术文献
[0005]
专利文献
[0006]
专利文献1：日本特许第4749397号公报


技术实现要素：

[0007]
发明要解决的课题
[0008]
但是，被摄体包含运动部分时计算的线变动值包含不是由于每个水平扫描线的噪声成分而引起的变动成分，即由于运动部分而引起的变动成分即运动成分。因此，当使用上述线变动值作为校正值来校正影像信号时，存在无法适当地降低线变动噪声这样的课题。
[0009]
本发明正是为了解决上述现有技术的课题而完成的，其目的在于，提供在被摄体包含运动部分的情况下也能够适当地减低线变动噪声的摄像装置、以及在检测对象包含运动部分的情况下也能够适当地减低线变动噪声的线变动噪声降低装置。
[0010]
用于解决课题的手段
[0011]
本发明的一个方式的摄像装置的特征在于，所述摄像装置具有：摄像部，其具有在水平扫描方向和垂直方向上二维排列的多个检测元件，通过对被摄体进行摄像，输出与所述多个检测元件对应的多个像素的像素值；像素值变动量计算部，其计算所述像素值各自的时间方向上的变动量即像素值变动量；线变动量计算部，其计算部分线内的n个像素的n个像素值变动量的平均值即线变动量，n是比水平扫描线的像素的总数小的整数，所述部分线是水平扫描线内连续的n个像素的范围；方差值计算部，其根据所述n个像素值变动量和所述线变动量计算所述n个像素值变动量的方差值；运动自适应权重决定部，其根据所述方差值计算运动自适应权重；校正量计算部，其根据所述线变动量和所述运动自适应权重，计算与从所述摄像部输出的所述像素值分别对应的线变动噪声校正量；以及线变动噪声校正
部，其使用所述线变动噪声校正量对从所述摄像部输出的所述像素值分别进行校正，生成校正后的影像信号。
[0012]
本发明的另一个方式的线变动噪声降低装置接收从检测部输出的检测信号，该检测部具有在水平扫描方向和垂直方向上二维排列的多个检测元件，通过对检测对象的物理量进行检测，输出与所述多个检测元件对应的多个检测点的检测值，其特征在于，所述线变动噪声降低装置具有：检测值变动量计算部，其计算所述检测值各自的时间方向上的变动量即检测值变动量；线变动量计算部，其计算部分线内的n个检测点的n个检测值变动量的平均值即线变动量，n是比水平扫描线的检测点的总数小的整数，所述部分线是水平扫描线内连续的n个检测点的范围；方差值计算部，其根据所述n个检测值变动量和所述线变动量计算所述n个检测值变动量的方差值；运动自适应权重决定部，其根据所述方差值计算运动自适应权重；校正量计算部，其根据所述线变动量和所述运动自适应权重，计算与从所述检测部输出的所述检测值分别对应的线变动噪声校正量；以及线变动噪声校正部，其使用所述线变动噪声校正量对从所述检测部输出的所述检测值分别进行校正，生成校正后的检测信号。
[0013]
发明效果
[0014]
根据本发明的摄像装置，在被摄体包含运动部分的情况下，也能够抑制影像信号对运动成分的影响，并且能够适当地降低线变动噪声。
[0015]
根据本发明的线变动噪声降低装置，在检测对象包含运动部分的情况下，也能够抑制检测信号对运动成分的影响，并且能够适当地降低线变动噪声。
附图说明
[0016]
图1是概略地示出本发明的实施方式1的摄像装置的结构的框图。
[0017]
图2是概略地示出图1所示的摄像装置的摄像元件的结构例的图。
[0018]
图3的(a)和(b)是示出部分线的范围的基于移动平均法的决定方式的概要的图。
[0019]
图4的(a)和(b)是示出部分线的范围的基于固定分割法的决定方式的概要的图。
[0020]
图5是示出标准参考方差值为384时的运动自适应权重特性的曲线图的图。
[0021]
图6是概略地示出本发明的实施方式2的摄像装置的结构的框图。
[0022]
图7是概略地示出本发明的实施方式3的线变动噪声降低装置的结构的框图。
[0023]
图8是概略地示出实施方式1～3的变形例的硬件结构的图。
具体实施方式
[0024]
下面，参照附图说明本发明的实施方式的摄像装置和线变动噪声降低装置。以下的实施方式只不过是例子，能够在本发明的范围内进行各种变更。
[0025]
《1》实施方式1
[0026]
《1-1》实施方式1的主要结构
[0027]
图1是概略地示出本发明的实施方式1的摄像装置1的结构的框图。如图1所示，实施方式1的摄像装置1具有作为摄像部的摄像元件20、以及作为线变动噪声降低装置的线变动噪声降低部10。
[0028]
摄像元件20具有在水平扫描方向和垂直方向上二维排列的多个检测元件，利用多
个检测元件对被摄体进行摄像，由此输出与多个检测元件对应的多个像素的像素值作为影像信号。影像信号由yin表记。构成影像信号yin的各像素值由yin(i)表记。构成影像信号yin的各像素值中的、第f帧的帧(以下也称作“第f帧”)中的第i个像素的像素值表记为yin(i)[f]。在以下的说明中，圆括号()内的i是表示某个帧中的像素的编号的正整数。此外，方括号[]内的f是表示帧编号的正整数。
[0029]
线变动噪声降低部10例如是信号处理电路。如图1所示，线变动噪声降低部10具有延迟部101、像素值变动量计算部102、线变动量计算部103、方差值计算部104、画面方差值平均计算部105、目标参考方差值计算部106、参考方差值计算部107、缩放倍率计算部108、方差值指标计算部109、运动自适应权重计算部110、校正量计算部111、线变动噪声校正部112和帧延迟部113。画面方差值平均计算部105、目标参考方差值计算部106、参考方差值计算部107、缩放倍率计算部108、方差值指标计算部109和运动自适应权重计算部110构成运动自适应权重决定部114。
[0030]
像素值变动量计算部102计算像素值各自的时间方向上的变动量即像素值变动量d(i)。被输入第f帧的第i个像素的像素值yin(i)[f]时的像素值变动量即与第f帧的第i个像素的像素值对应的像素值变动量表记为d(i)[f]。
[0031]
在n为比水平扫描线的像素的总数即总像素数l小的整数，部分线是水平扫描线内连续的n个像素的范围的情况下，线变动量计算部103计算部分线内的n个像素的n个像素值变动量的平均值即线变动量ave(i)。与第f帧的第i个像素的像素值对应的线变动量表记为ave(i)[f]。此外，部分线的具体例在后面叙述。
[0032]
方差值计算部104根据部分线内的n个像素的n个像素值变动量和线变动量计算n个像素值变动量的方差值var(i)。根据第f帧的n个像素的n个像素值变动量和与第f帧的第i个像素的像素值对应的线变动量ave(i)[f]计算出的n个像素值变动量的方差值表记为var(i)[f]。
[0033]
运动自适应权重决定部114根据方差值var(i)计算运动自适应权重w(i)。与第f帧的第i个像素的像素值对应的运动自适应权重表记为w(i)[f]。在实施方式1中，在被摄体包含的运动部分较多的情况下，运动自适应权重w(i)[f]成为较小的值，在被摄体包含的运动部分较少的情况下，运动自适应权重w(i)[f]成为较大的值。
[0034]
校正量计算部111根据线变动量ave(i)和运动自适应权重w(i)计算与从摄像部20输出的像素值分别对应的线变动噪声校正量c_lfn(i)。与第f帧的第i个像素的像素值对应的线变动噪声校正量表记为c_lfn(i)[f]。在实施方式1中，在被摄体包含的运动部分较多的情况下，线变动噪声校正量c_lfn(i)[f]成为较小的值，在被摄体包含的运动部分较少的情况下，线变动噪声校正量c_lfn(i)[f]成为较大的值。
[0035]
线变动噪声校正部112使用线变动噪声校正量c_lfn(i)对从摄像部20输出的像素值yin(i)分别进行校正，生成校正后的影像信号yout(i)。与第f帧的第i个像素的像素值对应的校正后的影像信号的像素值表记为yout(i)[f]。
[0036]
根据实施方式1的摄像装置1，在被摄体包含的运动部分较多的情况下，线变动噪声校正量c_lfn(i)[f]成为较小的值，在被摄体包含的运动部分较少的情况下，线变动噪声校正量c_lfn(i)[f]成为较大的值。因此，在被摄体包含较多的运动部分的情况下，很难削减影像信号的运动成分。此外，在被摄体包含的运动部分较少的情况下，适当地降低线变动
噪声。
[0037]
《1-2》实施方式1的结构和动作
[0038]
摄像元件20具有多个检测元件，该多个检测元件在预定的波段具有灵敏度。多个检测元件以多行多列的方式配置于二维平面。摄像元件20按照预定的每个帧期间进行摄像。预定的波段例如是8μm～14μm的范围的波段即红外线波段。但是，预定的波段也可以是其他波段。预定的波段也可以是200nm～400nm的范围的波段即紫外线波段。在实施方式1中，对预定的波段是红外线波段的情况进行说明。
[0039]
图2是概略地示出图1的摄像元件20的结构的图。如图2所示，在摄像元件20中，多个像素(即多个检测元件)401～425在行方向和列方向上呈矩阵状配置。排列在行方向上的各行的像素(在第1行的情况下为像素401、402、403、404、405)与共同的驱动线(在第1行的情况下为驱动线301)连接。排列在列方向上的各列的像素(在第1列的情况下为像素401、406、411、416、421)与共同的信号线(在第1列的情况下为信号线201)连接。各行的驱动线301、302、303、304、305被作为垂直扫描部的垂直扫描电路300依次驱动(即被施加驱动脉冲)。在各行的驱动线301、302、303、304、305被驱动的期间内(即1个水平扫描期间内)，该行的像素(在驱动线301的情况下为像素401、402、403、404、405)的信号(即像素值或检测值)经由信号线201、202、203、204、205和作为水平扫描部的水平扫描电路200依次输出。另外，在图2中示出5行5列的像素，但是，摄像元件20的像素数不限于该例子。摄像元件的像素数例如也可以是240行320列。
[0040]
摄像装置1也可以具有使摄像元件20对被摄体的像进行成像的作为成像光学系统的透镜部。透镜部例如具有由1枚透镜或多枚透镜构成的透镜组。透镜部也可以具有使预定的波段的光成分透过的功能。从被摄体放射的光被透镜部聚光，在摄像元件20的多个检测元件即多个像素上成像。摄像元件20的各检测元件输出与入射光的强度对应的值(即像素值)的信号作为影像信号yin。在实施方式1中，摄像元件20按照光栅扫描的顺序输出多个像素值作为影像信号yin。
[0041]
图1所示的延迟部101使从摄像元件20输出的影像信号yin即像素值yin(i)[f]延迟根据后述的线变动噪声校正处理决定的延迟时间。
[0042]
像素值变动量计算部102根据从摄像元件20输出的影像信号yin即第f帧中的第i个像素的像素值yin(i)[f]和线变动噪声校正信号即前1帧的帧(即第f-1帧)中的相同像素的像素值yout(i)[f-1]，求出第i个像素的像素值变动量d(i)。将这里的第f帧定义为基准帧。具体而言，像素值变动量计算部102从影像信号yin的第f帧中的第i个像素的像素值yin(i)[f]减去影像信号yout的第f-1帧中的相同第i个像素的像素值yout(i)[f-1]，由此求出第f帧中的第i个像素的像素值变动量d(i)[f]。该像素值变动量d(i)[f]例如通过以下的式1来计算。
[0043]
【数式1】
[0044]
d(i)[f]＝yin(i)[f]-yout(i)[f-1]
ꢀꢀꢀ
式1
[0045]
例如，像素值变动量计算部102从由摄像元件20输出的影像信号yin的第10帧的第5个像素yin(5)[10]减去第9帧(即第10帧的前1帧)的影像信号即线变动噪声校正信号yout的第5个像素yout(5)[9]，由此计算与第10帧的第5个像素yin(5)[10]有关的像素值变动量d(5)[10]。
[0046]
线变动量计算部103在部分线的范围内对从像素值变动量计算部102输出的像素值变动量d(i)[f]进行平均。即，线变动量计算部103计算部分线的范围内包含的n个像素的像素值的平均值即线变动量ave(i)[f]。
[0047]
图3的(a)和(b)是示出部分线的范围的基于移动平均法的决定方式的概要的图。在移动平均法中，如图3的(a)和(b)所示，一边使部分线的范围(即部分线的区间)1个像素1个像素地偏移，一边在部分线的范围内计算线变动量ave(i)[f]。
[0048]
图4的(a)和(b)是示出部分线的范围的基于固定分割法的决定方式的概要的图。在固定分割法中，如图4的(a)和(b)所示，一边使部分线的范围(即部分线的区间)以部分线中包含的像素的像素数偏移，一边在部分线的范围内计算线变动量ave(i)[f]。
[0049]
部分线的范围即部分线中包含的像素的像素数n是根据图像尺寸的宽度即1个水平扫描线的像素数而决定的。例如，在1个水平扫描线的像素数为320个像素的情况下，表示部分线的范围的n是1个水平扫描线的像素数的二十分之一即16个像素。但是，部分线中包含的像素的像素数n也可以为16个像素以外的像素数(例如1个水平扫描线的像素数的十分之一即32个像素或1水平扫描线的像素数的五分之一即64个像素等)。
[0050]
这样，能够在1个水平扫描线的像素数的二十分之一～五分之一的范围内决定部分线中包含的像素的像素数。但是，部分线中包含的像素的像素数n还能够为比1个水平扫描线的像素数少的其他像素数。此外，也可以是图像尺寸越大，则越增大部分线的范围。或者，也可以是即使图像尺寸增大，也不变更部分线的范围。也可以根据摄像装置1的视场角和像素数、摄像装置1摄像的场景中的被摄体的大小、与被摄体之间的距离等，适当地决定部分线的范围中包含的像素的像素数。
[0051]
在使用移动平均法的情况下，线变动量ave(i)中不容易出现与被摄体的移动对应的不自然。但是，在使用移动平均法的情况下，运算量增加。在使用固定分割法的情况下，在水平扫描方向上进行平滑处理，因此，能够使相邻的部分线之间的边界的不自然变得不明显。在使用固定分割法的情况下，运算量能够减少。在使用固定分割法的情况下，与使用移动平均法的情况相比，能够减小线变动量计算部103的电路规模。
[0052]
线变动量计算部103也可以根据被输入的影像信号变更部分线的范围。例如，也可以在被输入的影像中运动部分较多的情况下，使部分线的范围中包含的像素的像素数成为较少的值(例如n＝16个像素)，在被输入的影像中运动部分较多的情况下，使部分线的范围中包含的像素的像素数成为较多的值(例如n＝32个像素的范围)。部分线的范围中包含的n个像素的像素值的平均值即线变动量ave(i)[f]例如通过以下的式2来计算。
[0053]
【数式2】
[0054][0055]
方差值计算部104根据从像素值变动量计算部102输出的像素值变动量d(i)[f]和从线变动量计算部103输出的线变动量ave(i)[f]计算部分线的方差值var(i)[f]。方差值计算部104能够通过与平均值之差的平方平均来求出方差值var(i)[f]。此外，方差值计算部104也可以先针对部分线的范围计算像素值变动量d(i)[f]的平方平均s_ave(i)[f]，从该平方平均s_ave(i)[f]减去线变动量ave(i)[f]的平方(ave(i)[f])2，由此求出方差值
var(i)[f]。从方差值计算部104输出的方差值var(i)[f]例如通过以下的式3来计算。
[0056]
【数式3】
[0057]
var(i)[f]＝s_ave(i)[f]-(ave(i)[f])2ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
式3
[0058][0059]
画面方差值平均计算部105根据从方差值计算部104输出的方差值var(i)计算画面整体中的各部分线的方差值的平均即第f帧的画面方差值平均ave_var[f]。从画面方差值平均计算部105输出的第f帧的画面方差值平均ave_var[f]例如通过以下的式4来计算。
[0060]
【数式4】
[0061][0062]
在式4中，m是1帧的全部像素数。在1帧是横向320个像素、纵向240个像素的情况下，m是320
×
240个像素。画面方差值平均ave_var[f]是表示第f帧的画面中还包含运动成分的随机噪声电平的指标。
[0063]
目标参考方差值计算部106对从画面方差值平均计算部105输出的画面的方差值平均ave_var[f]乘以设定值rv，由此计算目标参考方差值tvar[f]，该设定值rv用于调整运动着的物体(即运动物体)和静止中的物体(即静止物体)的判别阈值(例如后述的图5所示的第1阈值和第2阈值)。即，设定值rv是用于调整用于判别运动物体和静止物体的阈值的值。设定值rv的默认值例如是1.0。设定值rv可以从外部输入，但是，也可以存储在摄像装置1内的存储部。如果利用tvar[f]表示第f帧中的目标参考方差值，则从目标参考方差值计算部106输出的目标参考方差值tvar[f]例如通过以下的式5来计算。另外，在rv＝1的情况下，也可以构成为不具有目标参考方差值计算部106，而将画面的方差值平均ave_var[f]供给到参考方差值计算部107。
[0064]
【数式5】
[0065]
tvar[f]＝rv*ave_var[f]
ꢀꢀꢀ
式5
[0066]
参考方差值计算部107根据从目标参考方差值计算部106输出的目标参考方差值tvar[f]，计算表示用于按照每个画面即每个帧判别运动物体和静止物体的阈值的参考方差值rvar[f]。rvar[f]是第f帧中的参考方差值。参考方差值通过在时间方向上进行指数平滑，抑制时间方向上的较大变动。如果利用rvar[f]表示第f帧中的参考方差值，利用rvar[f-1]表示前1帧即第f-1帧中的已取得的参考方差值，则从参考方差值计算部107输出的参考方差值rvar[f]例如通过以下的式6来计算。
[0067]
【数式6】
[0068]
rvar[f]＝rvar[f-1]*(1-α)+tvar[f]*α
ꢀꢀꢀ
式6
[0069]
当rvar[f]较小时，运动成分的比例增加(即判定为像素的像素值包含运动成分的运动判定的比例增加)，当rvar[f]较大时，运动成分的比例减少(即判定为像素的像素值包含运动成分的运动判定的比例减少)。这里，α表示指数平滑系数。α的默认值例如是0.25。α可以是从外部输入的值，但是，也可以预先存储在摄像装置1的存储部。
[0070]
图5是示出标准的参考方差值为384时的运动自适应权重特性的曲线图的图。缩放倍率计算部108根据预定的标准的参考方差值与从参考方差值计算部107输出的参考方差值rvar[f]之比计算缩放倍率rs，以使用图5所示的标准的运动自适应权重特性。从缩放倍率计算部108输出的第f帧中的缩放倍率rs[f]例如通过以下的式7来计算。
[0071]
【数式7】
[0072][0073]
方差值指标计算部109将由方差值计算部104计算的方差值var(i)[f]和由缩放倍率计算部108计算的缩放倍率rs[f]相乘，计算方差值指标i_var(i)[f]。方差值指标i_var(i)[f]是基于标准的运动自适应权重特性的运动自适应权重w(i)[f]的计算中使用的指标。方差值指标计算部109例如通过以下的式8计算第f帧中的方差值指标i_var(i)[f]。
[0074]
【数式8】
[0075]
i_var(i)[f]＝rs[f]*var(i)[f]
ꢀꢀꢀꢀ
式8
[0076]
运动自适应权重计算部110根据从方差值指标计算部109输出的方差值指标i_var(i)[f]，计算作为运动物体和静止物体中分别应用的系数的权重，即运动自适应权重w(i)[f]。在影像中仅存在静止物体而不存在运动物体的情况下，方差值成为影像中的随机噪声量，在影像中存在运动物体的情况下，方差值成为“(随机噪声量)+(运动量)”。运动自适应权重计算部110根据方差值判断运动量，控制运动自适应权重w(i)[f]。将运动自适应权重w(i)[f]的范围为0.0～1.0中运动自适应权重w(i)[f]为0.5时的方差值，定义为用于判别运动物体和静止物体的阈值的参考方差值。
[0077]
运动自适应权重w(i)[f]的范围例如是0.0～1.0的范围。在运动自适应权重w(i)[f]的值为0.0时，不对影像信号进行校正，在运动自适应权重w(i)[f]的值为1.0时，直接使用线变动量对影像信号进行校正。
[0078]
此外，在运动自适应权重w(i)[f]的范围为0.0与1.0之间(即大于0.0且小于1.0时)，线性地变更运动自适应权重w(i)[f]。在图5中示出运动自适应权重w(i)[f]的特性的例子的曲线图。运动自适应权重w(i)[f]的曲线图也可以利用4次式来表现。由运动自适应权重计算部110输出的运动自适应权重w(i)例如通过以下的式9来计算。
[0079]
【数式9】
[0080][0081]
这里，在设运动自适应权重w(i)[f]的最小值即最小的权重为wmin的情况下，w(i)[f]＝wmin，也可以设置最小权重的饱和限制。最小的权重wmin的默认值例如是0.0，但是，也可以设定成大于0.0的值。
[0082]
运动自适应权重的范围也可以不是0.0～1.0而是0～100。但是，为了在校正量计算部111中使用运动自适应权重w(i)的值，优选进行归一化以能够直接与影像信号yin[f]相乘。
[0083]
校正量计算部111对从运动自适应权重计算部110输出的运动自适应权重w(i)[f]
乘以从线变动量计算部103输出的线变动量ave(i)[f]，由此计算线变动噪声校正量c_lfn(i)[f]。
[0084]
在运动自适应权重为0.0的情况下不进行校正，因此，能够防止由于影像信号中的运动成分而引起的不适当的校正，但是，无法降低线变动噪声。另一方面，在运动自适应权重w(i)为1.0的情况下，在影像信号的校正中直接使用线变动量ave(i)，因此，如果被摄体是静止物体，则适当地校正线变动噪声。但是，在被摄体包含运动物体的情况下，降低由于影像信号的运动成分而引起的线变动(即线变动噪声以外的线变动)，因此，进行不适当的校正。
[0085]
因此，在本实施方式中，例如通过以下的式10计算从校正量计算部111输出的线变动噪声校正量c_lfn(i)[f]。
[0086]
【数式10】
[0087]
c_lfn(i)[f]＝w(i)[f]*ave(i)[f]
ꢀꢀꢀ
式10
[0088]
线变动噪声校正部112从由延迟部101输出的影像信号中减去由校正量计算部111输出的线变动噪声校正量c_lfn(i)[f]，由此输出校正线变动噪声后的校正后的数字信号即校正后的影像信号yout(i)[f]。在减去线变动噪声校正量c_lfn(i)[f]时，优选减去乘以校正比率rc后的线变动噪声校正量rc*c_lfn(i)[f]。在将校正比率rc设定为1.0并进行100％校正时，作为基准的图像的垂直线之间偏置偏移(横条图案)继续保留而不会消失。因此，优选将校正比率rc设定为小于1.0，以比100％少的方式进行校正(泄漏)，使基准图像的线偏置收敛于变动的平均值。如果利用yout(i)[f]表示线变动噪声校正后的影像信号，则从线变动噪声校正部112输出的线变动噪声校正后的影像信号yout(i)[f]例如通过以下的式11来计算。
[0089]
【数式11】
[0090]
yout(i)[f]＝yin(i)[f]-rc*c_lfn(i)[f]
ꢀꢀꢀ
式11
[0091]
rc的默认值例如是0.875。rc可以从外部输入，但是，也可以预先存储在摄像装置1所具有的存储部。
[0092]
帧延迟部113针对从线变动噪声校正部112输出的影像信号的像素值yout(i)[f]，进行还考虑到处理延迟量的1帧延迟，使得能够进行与相同像素位置的前1帧的像素之间的差分运算。
[0093]
如以上说明的那样，根据实施方式1的摄像装置1，不是针对1个水平扫描线整体而是针对1个水平扫描线的一部分即部分线计算线变动量，由此，在被摄体存在运动物体的情况下，也能够适当地抑制线变动噪声。
[0094]
此外，如果使用实施方式1的线变动噪声降低部10，则使用1帧的画面方差值平均ave_var[f]估计随机噪声的量。因此，能够提高1帧内的运动量的估计精度，能够计算与运动量对应的适当的校正量c_lfn(i)[f]。
[0095]
此外，通过计算参考方差值，能够根据画面方差值平均值，将运动自适应权重特性曲线图(图6所示)变更成与输入影像场景对应的更加适当的曲线图。
[0096]
《2》实施方式2
[0097]
图6是概略地示出本发明的实施方式2的摄像装置2的结构的框图。在图6中，对与图1所示的结构要素相同或对应的结构要素标注与图1所示的标号相同的标号。如图6所示，
摄像装置2在摄像元件20、透镜部21和线变动噪声降低部10的基础上，具有将状态切换成使来自被摄体的光通过的打开状态或遮断来自被摄体的光的闭合状态的快门40、计算由摄像元件20产生的固定图案噪声(fpn)成分的固定图案噪声计算部(fpn计算部)50、用于控制快门40的动作的控制部60、以及从影像信号yin(i)[f]减去fpn成分的减法部30。
[0098]
快门40配置于透镜部21的前方(即被摄体侧)，被用作光透过/遮断部，其能够切换许可摄像元件20能够检测的波段成分的光(例如红外线、紫外线或可视光线等)入射到摄像元件20的打开状态和不许可光入射的闭合状态。快门40也可以配置于透镜部21与摄像元件20之间。该情况下，在用于去除fpn成分的校正处理时，优选追加进行考虑到透镜部21的影响的处理。
[0099]
在快门40处于打开状态时，从被摄体放射的光被透镜部21聚光，在摄像元件20的多个检测元件上成像。摄像元件20依次(例如按照光栅扫描顺序)输出与入射到多个检测元件的光的强度对应的电平的像素值作为影像信号。在快门40处于打开状态时从摄像元件20输出的影像信号中，不仅包含与从被摄体放射的光对应的成分即信号成分，还包含fpn成分以及由于施加给摄像元件20的驱动线的垂直驱动脉冲的波高值的偏差而引起的偏差成分。
[0100]
在快门40处于闭合状态时，光向摄像元件20的入射被遮断。在该闭合状态下，从摄像元件20输出的影像信号不包含信号成分，仅包含fpn成分和由于垂直驱动脉冲的波高值的偏差而引起的成分。
[0101]
控制部60例如是具有定时生成部601和快门控制部602的控制电路。fpn计算部50例如是具有加法部501、作为存储部的帧存储器502、帧存储器控制部503和除法部504的处理电路。
[0102]
定时生成部601输出表示摄像装置2是处于用于更新基于fpn成分等噪声成分的校正值的更新模式还是处于用于对被摄体进行摄像的通常摄像模式的定时信号即动作模式信号st。快门控制部602进行用于根据从定时生成部601输出的动作模式信号st将快门40切换成打开状态(通常摄像模式时)或闭合状态(更新模式时)的控制。
[0103]
摄像装置2在摄像装置2的电源被接通时和用户通过操作输入部(未图示)指示了更新模式时，将动作模式设定成更新模式。例如，定时生成部601使动作模式信号st成为比通常电平低的低电平时，快门控制部602使快门40成为闭合状态，帧存储器控制部503进行用于向帧存储器502进行写入即用于更新帧存储器502中存储的fpn成分的值的控制。
[0104]
fpn计算部50计算从摄像元件20输出的影像信号中包含的fpn成分，保持其计算结果，输出与保持着的fpn成分对应的信号。
[0105]
在动作模式信号st是指示更新帧存储器502中存储的fpn成分的更新模式时，快门40处于闭合状态，利用加法部501以预定的帧数的帧(例如64帧)将从线变动噪声降低部10中的线变动噪声校正部112输出的影像信号yout(i)[f]相加，将相加后的影像信号存储到帧存储器502。除法部504从帧存储器502读出相加后的影像信号，将相加后的影像信号的各像素值除以预定的帧数，作为fpn成分供给到减法部30。
[0106]
在动作模式信号st指示了通常摄像模式时，快门40处于打开状态，除法部504从帧存储器502读出相加后的影像信号，将相加后的影像信号的各像素值除以预定的帧数，作为fpn成分供给到减法部30。用户可以根据随机噪声的性能或振幅而任意地决定要相加的帧数。
[0107]
加法部501将从帧存储器502读出的信号和从线变动噪声校正部112输出的影像信号yout(i)[f]相加，将加法结果存储到帧存储器502。
[0108]
在从定时生成部601输出的动作模式信号st是更新模式时，帧存储器控制部503以预定的帧数反复进行将从加法部501输出的加法结果存储到帧存储器502的动作，在预定的帧数的加法结果存储于帧存储器502时，停止向帧存储器502存储加法结果。
[0109]
除法部504将从帧存储器502输出的影像信号的各像素值除以与进行相加的帧数相同的值。除法部504将该除法结果作为输入信号提供给减法部30。减法部30用于与下一帧中的影像信号之间的差分运算。
[0110]
如以上说明的那样，根据实施方式2的摄像装置2，除了由实施方式的摄像装置1得到的效果以外，还可得到以下的效果。
[0111]
根据摄像装置2，通过设置快门40，去除fpn成分后的影像信号被输入到线变动噪声降低部10，因此，能够适当地抑制线变动噪声。
[0112]
另外，在实施方式2中，先进行fpn的去除，然后进行线变动噪声的去除。但是，根据fpn和线变动噪声各自的性质和振幅、分配给fpn和线变动噪声各自的校正部的处理的比特数或信号动态范围，也可以构成为先进行线变动噪声的去除，然后进行fpn的去除。
[0113]
《3》实施方式3
[0114]
在上述实施方式1、2中，说明了输入到线变动噪声降低部10的信号是从摄像元件20输出的影像信号的情况，该摄像元件20具有检测任意波长的电磁波即光的多个检测元件。但是，也可以代替对被摄体进行摄像的摄像元件20，使用具有计测检测对象的温度的二维排列的多个检测元件的检测部或具有计测与检测对象之间的距离(其结果是计测检测对象的表面的形状)的二维排列的多个检测元件的检测部。对作为检测对象的被摄体进行摄像而得到的像素值、检测对象的各位置的温度以及与检测对象的各位置之间的距离是检测对象的物理量的例子。
[0115]
图7是概略地示出本发明的实施方式3的检测装置1a和线变动噪声降低部10a的结构的框图。如图7所示，实施方式3的检测装置1a具有检测部20a和线变动噪声降低装置10a。
[0116]
与实施方式1、2中的摄像元件20同样，检测部20a具有二维排列的多个检测元件。多个检测元件检测检测对象的温度或与检测对象之间的距离等物理量。检测部20a输出与多个检测元件对应的多个检测值作为检测信号。
[0117]
线变动噪声降低装置10a进行与实施方式1、2中的线变动噪声降低部10相同的校正处理。
[0118]
线变动噪声降低装置10a具有延迟部101a、检测值变动量计算部102a、线变动量计算部103a、方差值计算部104a、方差值平均计算部105a、目标参考方差值计算部106a、参考方差值计算部107a、缩放倍率计算部108a、方差值指标计算部109a、运动自适应权重计算部110a、校正量计算部111a、线变动噪声校正部112a和帧延迟部113a。方差值平均计算部105a、目标参考方差值计算部106a、参考方差值计算部107a、缩放倍率计算部108a、方差值指标计算部109a和运动自适应权重计算部110a构成运动自适应权重决定部114a。
[0119]
实施方式3中的延迟部101a、检测值变动量计算部102a、线变动量计算部103a、方差值计算部104a、方差值平均计算部105a、目标参考方差值计算部106a、参考方差值计算部107a、缩放倍率计算部108a、方差值指标计算部109a、运动自适应权重计算部110a、校正量
计算部111a、线变动噪声校正部112a、帧延迟部113a和运动自适应权重决定部114a分别进行与实施方式1、2中的延迟部101、像素值变动量计算部102、线变动量计算部103、方差值计算部104、画面方差值平均计算部105、目标参考方差值计算部106、参考方差值计算部107、缩放倍率计算部108、方差值指标计算部109、运动自适应权重计算部110、校正量计算部111、线变动噪声校正部112、帧延迟部113和运动自适应权重决定部114相同的处理。
[0120]
如以上说明的那样，如果使用实施方式3的线变动噪声降低装置10a，则在检测对象存在运动物体的情况下，也能够适当地抑制线变动噪声。
[0121]
此外，如果使用实施方式3的线变动噪声降低装置10a，则使用1帧的方差值平均ave_var[f]估计随机噪声的量。因此，能够提高1帧内的运动量的估计精度，能够计算与运动量对应的适当的校正量c_lfn(i)[f]。
[0122]
关于上述以外的方面，实施方式3的线变动噪声降低装置10a与实施方式1、2的线变动噪声降低部10相同。
[0123]
《4》变形例
[0124]
图8是概略地示出实施方式1或2中的线变动噪声降低部或实施方式3的线变动噪声降低装置的硬件结构的例子的图。图1所示的线变动噪声降低部10和图7所示的线变动噪声降低装置10a能够使用存储作为软件的程序的作为存储装置的存储器91、以及执行存储器91中存储的程序的作为信息处理部的处理器92(例如通过计算机)实现。此外，也可以通过图8所示的存储器91和执行程序的处理器92实现图1所示的线变动噪声降低部10和图7所示的线变动噪声降低装置10a的一部分。
[0125]
标号说明
[0126]
1、2：摄像装置；10：线变动噪声降低部(线变动噪声降低装置)；20：摄像元件(摄像部)；21：透镜部；30：减法部；40：快门；50：固定图案噪声计算部；60：控制部；101：延迟部；102：像素值变动量计算部；103：线变动量计算部；104：方差值计算部；105：画面方差值平均计算部；106：目标参考方差值计算部；107：参考方差值计算部；108：缩放倍率计算部；109：方差值指标计算部；110：运动自适应权重计算部；111：校正量计算部；112：线变动噪声校正部；113：帧延迟部；114：运动自适应权重决定部；501：加法部；502：帧存储器；503：帧存储器控制部；504：除法部；601：定时生成部；602：快门控制部；10a：线变动噪声降低装置；20a：检测部；101a：延迟部；102a：检测值变动量计算部；103a：线变动量计算部；104a：方差值计算部；105a：方差值平均计算部；106a：目标参考方差值计算部；107a：参考方差值计算部；108a：缩放倍率计算部；109a：方差值指标计算部；110a：运动自适应权重计算部；111a：校正量计算部；112a：线变动噪声校正部；113a：帧延迟部。