图像处理装置、图像处理方法和程序与流程

本发明涉及图像处理装置、图像处理方法和程序，对具有二维状配置的多个像素的摄像元件中产生的rts噪声这样的、像素值在一定范围内变动的闪烁缺陷噪声进行校正。

背景技术：

近年来，在cmos(complementarymetaloxidesemiconductor：互补金属氧化物半导体)等摄像元件中，像素和从该像素读出信号的读出电路的细微化得以发展。在这种细微化的读出电路中，感光度的降低和各种噪声的增加成为问题。针对感光度的降低，通过采取多个像素共享一个读出电路来读出信号的共享像素结构，削减摄像元件中的电路所需要的面积，提高各像素的开口率(受光部的比例)，由此提高感光度。

另一方面，在摄像元件产生的噪声中，除了由于暗电流而引起的暗电流散粒噪声和由于读出电路中的热噪音等而引起的随机噪声以外，还存在像素值始终示出异常值的缺陷像素、以及像素值随机变动的闪烁缺陷噪声等。在这种闪烁缺陷噪声中存在由于读出电路而引起的rts(randomtelegraphsignal：随机电报信号)噪声。作为对该rts噪声进行校正的技术，公知有如下技术：根据所拍摄的图像中的关注像素的像素值、该关注像素的周边像素的像素值和预先按照摄像元件的每个像素检测到的rts噪声的噪声电平(以下称为“rts噪声电平”)，针对关注像素判定是否存在rts噪声的影响，在判定为存在rts噪声的影响的情况下，针对该关注像素的像素值加上或减去rts噪声电平(参照专利文献1)。

现有技术文献

专利文献

专利文献1：日本特开2012-105063号公报

技术实现要素：

发明要解决的课题

但是，在上述专利文献1中，在关注像素的像素值与该关注图像的周边像素的像素值的相关度较高的情况下，能够降低rts噪声。但是，在上述专利文献1中，有时由于亮点或细微构造物等被摄体而使关注像素的像素值与周边像素的像素值的相关度降低，由此使画质劣化。

本发明是鉴于上述情况而完成的，其目的在于，提供在关注像素的像素值与周边像素的像素值的相关度较低的情况下也能够提高画质的图像处理装置、图像处理方法和程序。

用于解决课题的手段

为了解决上述课题并实现目的，本发明的图像处理装置对具有多个像素和多个读出电路的摄像元件生成的图像数据中包含的闪烁缺陷噪声进行校正，所述多个像素呈二维状配置，从外部接收光并生成与受光量对应的信号，所述多个读出电路读出所述信号作为像素值，其特征在于，所述图像处理装置具有：取得部，其取得包含产生由所述读出电路引起的闪烁缺陷噪声的所述读出电路的位置信息或所述多个像素各自的位置信息在内的噪声信息以及所述图像数据；以及校正部，其将所述取得部取得的所述图像数据作为校正对象图像数据，根据参照图像数据和所述噪声信息，对所述校正对象图像数据中的关注像素的像素值进行校正，所述参照图像数据基于与该校正对象图像数据不同的时间取得的所述图像数据。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述图像处理装置具有移动量计算部，该移动量计算部根据所述校正对象图像数据和所述参照图像数据计算被摄体的移动量，所述校正部根据所述移动量计算部计算出的所述移动量取得与所述关注像素或所述关注像素附近的像素对应的所述参照图像数据的参照像素，根据该参照像素的像素值对所述关注像素的像素值进行校正。

并且，本发明的图像处理装置的特征在于，在上述发明中，在所述关注像素中产生所述闪烁缺陷噪声的情况下，与未产生所述闪烁缺陷噪声的情况相比，所述校正部增大所述关注像素处的噪声降低处理的强度。

并且，本发明的图像处理装置的特征在于，在上述发明中，在所述关注像素中产生所述闪烁缺陷噪声的情况下，所述校正部增大使用所述参照图像数据的时间方向的噪声降低处理的强度。

并且，本发明的图像处理装置的特征在于，在上述发明中，在所述关注像素中产生所述闪烁缺陷噪声的情况下，所述校正部增大使用所述关注像素周边的像素的空间方向的噪声降低处理的强度。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述校正部根据所述参照像素的像素值计算与未产生所述闪烁缺陷噪声的情况下的像素值相当的代表值，根据该代表值对所述关注像素的像素值进行校正。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述校正部根据所述关注像素的像素值计算所述代表值。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述校正部根据未产生所述闪烁缺陷噪声的所述参照像素的像素值或对所述闪烁缺陷噪声进行校正后的所述参照像素的像素值，计算所述代表值。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述校正部根据未产生所述闪烁缺陷噪声的所述关注像素周边的像素的像素值，计算所述代表值。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述图像处理装置还具有噪声量估计部，该噪声量估计部估计所述关注像素周边的随机噪声量，所述校正部根据所述随机噪声量计算所述代表值。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述噪声信息还包含与产生由所述读出电路引起的闪烁缺陷噪声的所述读出电路的位置信息或所述多个像素各自的位置信息对应的所述闪烁缺陷噪声的噪声电平即闪烁缺陷噪声电平，所述校正部使用所述闪烁缺陷噪声电平对所述关注像素的像素值进行校正。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述噪声信息还包含与产生由所述读出电路引起的闪烁缺陷噪声的所述读出电路的位置信息或所述多个像素各自的位置信息对应的所述闪烁缺陷噪声的噪声电平即闪烁缺陷噪声电平，所述闪烁缺陷噪声电平越大，则所述校正部越增大所述关注像素处的噪声降低处理的强度。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述噪声信息还包含与产生由所述读出电路引起的闪烁缺陷噪声的所述读出电路的位置信息或所述多个像素各自的位置信息对应的所述闪烁缺陷噪声的噪声电平即闪烁缺陷噪声电平，所述校正部根据所述闪烁缺陷噪声电平计算所述代表值。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述图像处理装置具有置信度计算部，该置信度计算部计算表示所述移动量计算部计算出的所述移动量的似然性的置信度，所述校正部根据所述置信度计算所述代表值。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述参照图像数据是所述摄像元件在与所述校正对象图像数据对应的所述图像数据紧前生成的所述图像数据。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述参照图像数据是在所述校正部即将对所述校正对象图像数据进行校正之前由所述校正部进行了校正的图像数据。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述参照图像数据是所述摄像元件在与所述校正对象图像数据对应的所述图像数据之前生成的多个所述图像数据。

并且，本发明的图像处理装置的特征在于，在上述发明中，所述闪烁缺陷噪声是随机电报信号噪声。

并且，本发明的图像处理方法由图像处理装置来执行，所述图像处理装置对具有多个像素和多个读出电路的摄像元件生成的图像数据中包含的闪烁缺陷噪声进行校正，所述多个像素呈二维状配置，从外部接收光并生成与受光量对应的信号，所述多个读出电路读出所述信号作为像素值，其特征在于，所述图像处理方法包含以下步骤：取得步骤，取得包含产生由所述读出电路引起的闪烁缺陷噪声的所述读出电路的位置信息或所述多个像素各自的位置信息在内的噪声信息以及所述图像数据；以及校正步骤，将所述取得步骤中取得的所述图像数据作为校正对象图像数据，根据参照图像数据和所述噪声信息，对所述校正对象图像数据中的关注像素的像素值进行校正，所述参照图像数据基于与该校正对象图像数据不同的时间取得的所述图像数据。

并且，本发明的程序的特征在于，该程序使图像处理装置执行取得步骤和校正步骤，所述图像处理装置对具有多个像素和多个读出电路的摄像元件生成的图像数据中包含的闪烁缺陷噪声进行校正，所述多个像素呈二维状配置，从外部接收光并生成与受光量对应的信号，所述多个读出电路读出所述信号作为像素值，在所述取得步骤中，取得包含产生由所述读出电路引起的闪烁缺陷噪声的所述读出电路的位置信息或所述多个像素各自的位置信息在内的噪声信息以及所述图像数据；在所述校正步骤中，将所述取得步骤中取得的所述图像数据作为校正对象图像数据，根据参照图像数据和所述噪声信息，对所述校正对象图像数据中的关注像素的像素值进行校正，所述参照图像数据基于与该校正对象图像数据不同的时间取得的所述图像数据。

发明效果

根据本发明，发挥在关注像素的像素值与周边像素的像素值的相关度较低的情况下也能够提高画质这样的效果。

附图说明

图1是示意地示出本发明的实施方式1的摄像系统的结构的框图。

图2是示意地示出本发明的实施方式1的摄像装置所具有的摄像元件的主要部分的结构的概略图。

图3是示出在进行遮光使得光照射不到本发明的实施方式1的摄像元件的情况下、在产生rts噪声时从放大器部输出的放大器输出的变动的例子的图。

图4是示出使用产生本发明的实施方式1的rts噪声的放大器部读出的像素值的分布的例子的图。

图5是示出本发明的实施方式1的图像处理装置执行的处理的概要的流程图。

图6是示出本发明的实施方式1的图像处理装置所具有的一览表存储的噪声模型的一例的图。

图7是示出图5的时间方向nr处理的概要的流程图。

图8是示出本发明的实施方式1的图像处理装置所具有的噪声降低处理部设定的rts_value与系数co_we_pre的关系的图。

图9是示出图5的空间方向nr处理的概要的流程图。

图10是示出本发明的实施方式1的图像处理装置所具有的噪声降低处理部设定的rts_value与系数co_cb的关系的图。

图11是示意地示出本发明的实施方式2的摄像系统的结构的框图。

图12是示出本发明的实施方式2的rts噪声校正部的详细结构的框图。

图13是示出本发明的实施方式2的代表值计算部的详细结构的框图。

图14是示出本发明的实施方式2的校正值计算部的详细结构的框图。

图15是示出本发明的实施方式2的图像处理装置执行的处理的概要的流程图。

图16是示出图15的代表值计算处理的概要的流程图。

图17是示出图15的校正值计算处理的概要的流程图。

图18是示出本发明的实施方式3的噪声降低部的详细结构的框图。

图19是示出本发明的实施方式3的rts噪声校正部的详细结构的框图。

图20是示出本发明的实施方式3的图像处理装置执行的代表值计算处理的概要的流程图。

图21是示出本发明的实施方式3的变形例的rts噪声校正部的详细结构的框图。

图22是示出本发明的实施方式3的变形例的代表值计算处理的概要的流程图。

图23是示意地示出本发明的实施方式3的变形例的代表值决定部计算的混合率的计算方法的图。

图24是示出本发明的实施方式4的噪声降低部的详细结构的框图。

图25是示出本发明的实施方式4的rts噪声校正部的详细结构的框图。

图26是示出本发明的实施方式4的图像处理装置执行的代表值计算处理的概要的流程图。

图27是示出本发明的实施方式4的变形例1的rts噪声校正部的详细结构的框图。

图28是示出本发明的实施方式4的变形例1的图像处理装置执行的代表值计算处理的概要的流程图。

图29是示出本发明的实施方式4的变形例2的图像处理装置执行的代表值计算处理的概要的流程图。

图30是示出本发明的实施方式4的变形例3的图像处理装置执行的代表值计算处理的概要的流程图。

图31是示意地示出本发明的实施方式5的摄像系统的结构的框图。

图32是示出本发明的实施方式5的摄像系统执行的处理的概要的流程图。

图33是示出图30的图像处理的概要的流程图。

具体实施方式

下面，参照附图对用于实施本发明的方式(以下称为“实施方式”)进行说明。另外，本发明不由以下说明的实施方式进行限定。进而，在附图的记载中，对相同部分标注相同标号进行说明。

(实施方式1)

〔摄像系统的结构〕

图1是示意地示出本发明的实施方式1的摄像系统的结构的框图。图1所示的摄像系统1具有摄像装置10、图像处理装置30、显示装置40。

〔摄像装置的结构〕

首先，对摄像装置10的结构进行说明。如图1所示，摄像装置10具有光学系统101、光圈102、快门103、驱动器104、摄像元件105、模拟处理部106、a/d转换部107、操作部108、存储器接口部109、记录介质110、易失存储器111、非易失存储器112、总线113、摄像控制部114、第1外部接口部115。

光学系统101使用一个或多个透镜构成。光学系统101例如使用对焦透镜和变焦镜头构成。

光圈102对光学系统101会聚的光的入射量进行限制，由此进行曝光的调整。光圈102在后述摄像控制部114的控制下，对光学系统101会聚的光的入射量进行限制。另外，也可以不使用光圈102而使用快门103或摄像元件105中的电子快门对光的入射量进行限制。另外，光学系统101和光圈102可以能够相对于摄像装置10拆装自如。

快门103将摄像元件105的状态设定为曝光状态或遮光状态。快门103例如使用焦面快门等构成。另外，也可以不使用快门103而使用摄像元件105中的电子快门。

驱动器104在后述摄像控制部114的控制下，对光学系统101、光圈102和快门103进行驱动。例如，驱动器104使光学系统101沿着光轴o1移动，由此进行摄像装置10的变焦倍率的变更或焦点位置的调整。

摄像元件105在后述摄像控制部114的控制下，接收光学系统101会聚的光，将其转换为图像数据(电信号)进行输出。摄像元件105使用呈二维状配置有多个像素的cmos(complementarymetaloxidesemiconductor：互补金属氧化物半导体)等构成。在该各像素的前表面配置有拜耳排列的rgb滤波器。另外，摄像元件105不限于拜耳排列，当然也可以是例如fovion这样的层叠型的形式。并且，所使用的滤波器不限于rgb，也可以应用补色滤波器等任意滤波器。并且，也可以另行配置能够以分时的方式照射不同颜色光的光源，不在摄像元件105中配置滤波器，而能够使用一边变更要照射的颜色一边依次取入的图像来构成彩色图像。并且，摄像元件105具有能够以电子方式对受光量进行控制的电子快门功能。

这里，对摄像元件105的结构进行详细说明。图2是示意地示出摄像元件105的主要部分的结构的概略图。另外，图2所示的摄像元件105示出在多个像素中共享读出电路以通过提高像素的开口率来提高感光度的例子。另外，图2所示的摄像元件105针对水平方向(横向)上2个像素×垂直方向(纵向)上4个像素这8个像素配置一个读出电路。另外，在图2中，说明了针对水平方向(横向)上2个像素×垂直方向(纵向)上4个像素这8个像素，将一个读出电路作为一个群组的例子，但是，在本实施方式1的摄像元件105上，在水平方向和垂直方向上并列配置有上述像素和读出电路。

如图2所示，摄像元件105具有：多个像素105a(光电二极管)，它们通过曝光来接收光，进行光电转换，由此产生与曝光量对应的电荷；第1开关105b，其分别设置在多个像素105a上，根据摄像控制部114的控制进行开闭；垂直传输线105c，其在垂直方向上传输从多个像素105a分别输出的信号(电荷)；fd部105d(floatingdiffusion：浮置扩散)，其蓄积从多个像素105a分别输出的信号；放大器部105e，其对从fd部105d输出的信号进行放大；第2开关105f，其根据摄像控制部114的控制进行开闭；控制线105g，其对第2开关105f进行控制；以及传输线105h，其传输由放大器部105e放大后的电信号。

这样构成的摄像元件105在读出与像素105a(1)～105a(8)中的曝光量对应的信号作为像素值的情况下，首先，使fd部105d成为复位状态，摄像控制部114仅接通第1开关105b(1)，由此向fd部105d传输像素105a(1)中产生的电荷。然后，摄像控制部114接通第2开关105f，由此，摄像元件105通过放大器部105e对fd部105d中蓄积的电荷进行放大，作为像素值进行读出(输出)。接着，摄像元件105使fd部105d成为复位状态，摄像控制部114仅接通第1开关105b(2)，由此向fd部105d传输像素105a(2)中产生的电荷。然后，摄像控制部114接通第2开关105f，由此，摄像元件105通过放大器部105e对fd部105d中蓄积的电荷进行放大，作为像素值进行读出。摄像元件105通过依次进行这种读出动作，能够依次输出与像素105a(1)～105a(8)中的曝光量对应的信号作为像素值。另外，在本实施方式1中，放大器部105e作为从多个像素105a分别读出电荷的读出电路发挥功能。

返回图1，继续进行摄像装置10的结构的说明。

模拟处理部106对从摄像元件105输入的模拟信号实施规定模拟处理，将其输出到a/d转换部107。具体而言，模拟处理部106对从摄像元件105输入的模拟信号进行噪声降低处理和增益放大处理等。例如，模拟处理部106在针对模拟信号降低了复位噪声等之后进行波形整形，进而进行增益放大以成为目标明亮度。

a/d转换部107对从模拟处理部106输入的模拟信号进行a/d转换，由此生成数字的图像数据(以下称为“raw图像数据”)，经由总线113输出到易失存储器111。另外，a/d转换部107也可以直接对后述摄像装置10的各部输出raw图像数据。另外，也可以在摄像元件105中设置上述模拟处理部106和a/d转换部107，摄像元件105直接输出数字的raw图像数据。

操作部108给出摄像装置10的各种指示。具体而言，操作部108具有将摄像装置10的电源状态切换为接通状态或断开状态的电源开关、给出静态图像拍摄指示的释放开关、切换摄像装置10的各种设定的操作开关和给出动态图像拍摄指示的动态图像开关等。

记录介质110使用从摄像装置10的外部安装的存储卡构成，经由存储器接口部109以拆装自如的方式安装在摄像装置10上。并且，记录介质110也可以在后述摄像控制部114的控制下，经由存储器接口部109分别向非易失存储器112输出程序和各种信息。

易失存储器111暂时存储经由总线113从a/d转换部107输入的图像数据。例如，易失存储器111暂时存储经由模拟处理部106、a/d转换部107和总线113而由摄像元件105按照每1帧依次输出的图像数据。易失存储器111使用sdram(synchronousdynamicrandomaccessmemory：同步动态随机存取存储器)等构成。

非易失存储器112使用闪存等构成，记录用于使摄像装置10进行动作的各种程序、程序的执行中所使用的各种数据。并且，非易失存储器112具有：程序记录部112a；rts噪声信息记录部112b，其记录rts噪声位置信息，该rts噪声位置信息是将读出像素值的读出电路(放大器部105e)的位置信息或多个像素105a各自的位置信息和与读出电路(放大器部105e)引起的rts噪声有关的特征量对应起来而得到的；以及随机噪声模型信息记录部112c，其记录一个或多个随机噪声模型。这里，特征量是rts噪声的振幅(rts_value)、闪烁缺陷噪声的产生频度和小于rts噪声的振幅的rts噪声的产生频度中的任意一方。

总线113使用连接摄像装置10的各结构部位的传送路径等构成，将摄像装置10的内部产生的各种数据传输到摄像装置10的各结构部位。

摄像控制部114使用cpu(centralprocessingunit：中央处理单元)等构成，根据来自操作部108的指示信号、释放信号，针对构成摄像装置10的各部进行指示、数据的传输等，对摄像装置10的动作进行总括控制。例如，摄像控制部114在从操作部108输入了第二释放信号的情况下，开始进行摄像装置10中的拍摄动作的控制。这里，摄像装置10中的拍摄动作是指模拟处理部106和a/d转换部107对摄像元件105的曝光定时、模拟信号的输出定时和摄像元件105输出的模拟信号实施规定处理的动作。这样实施了处理后的图像数据在摄像控制部114的控制下，经由总线113和存储器接口部109记录在记录介质110中。

第1外部接口部115将经由总线113从外部的设备输入的信息输出到非易失存储器112或易失存储器111，另一方面，经由总线113向外部的设备输出易失存储器111存储的信息、非易失存储器112存储的信息和摄像元件105生成的图像数据。具体而言，第1外部接口部115经由总线113向图像处理装置30输出摄像元件105生成的raw图像数据、rts噪声信息和随机噪声模型信息。

〔图像处理装置的结构〕

接着，对图像处理装置30的结构进行说明。图像处理装置30具有第3外部接口部31、插值处理部32、帧存储器33、运动检测部34、噪声降低部35、存储部36、操作部37、图像处理部38、图像处理控制部39。

第3外部接口部31经由摄像装置10的第1外部接口部115取得由摄像元件105生成的图像数据、非易失存储器112内的rts噪声信息记录部112b记录的与rts噪声有关的rts噪声信息和随机噪声模型信息记录部112c记录的随机噪声模型信息，将所取得的raw图像数据(校正对象图像数据)、rts噪声信息和随机噪声模型信息输出到插值处理部32和存储部36。第3外部接口部31和第1外部接口部115经由例如能够双向交换信息的控制缆线或无线通信等进行连接。另外，在本实施方式1中，第3外部接口部31作为取得部发挥功能。

插值处理部32对从第3外部接口部31输入的由摄像元件105生成的raw图像数据进行插值处理。具体而言，在摄像元件105为拜耳排列的情况下，插值处理部32对与raw图像数据对应的raw图像(以下称为“当前图像”)的各像素进行插值处理，由此对缺失的像素值(信号值)进行插值，生成在各像素中具有r、g和b信号的全部像素值的当前图像，将该当前图像输出到噪声降低部35。

帧存储器33与噪声降低部35双向连接，暂时存储用于在显示装置40中显示的图像的帧数据。

运动检测部34根据从插值处理部32输入的当前图像和存储在帧存储器33中且由噪声降低部35校正了噪声的当前图像、以及与时间上与该当前图像连续的校正后图像数据对应的校正后图像(以下称为“过去图像”)，检测被摄体的运动矢量(移动量)，将该检测结果输出到噪声降低部35。运动检测部34例如使用公知的块匹配处理等检测运动矢量。例如，运动检测部34在检测当前图像的关注像素的特征量和与当前图像的关注像素的特征量位置对应的过去图像的特征量后，检测该特征量与当前图像的关注像素的特征量的距离最小的过去图像的像素，根据该检测到的像素的位置和当前图像的关注像素的像素位置检测运动矢量。这里，当前图像的关注像素的特征量和与当前图像的关注像素的特征量位置对应的过去图像的特征量是像素值或亮度值等。另外，运动检测部34可以针对当前图像的各像素检测运动矢量。并且，在本实施方式1中，运动检测部34作为移动量计算部发挥功能。

噪声降低部35对从插值处理部32输入的当前图像进行噪声降低处理(以下称为“nr处理”)。具体而言，噪声降低部35在当前图像的各像素中判别静止状态和动作状态，根据该判别结果切换nr处理。例如，噪声降低部35在判别为当前图像为静止状态的情况下，选择能够保持高频成分的降低时间方向上的噪声的第1nr处理(以下称为“时间方向nr处理”)，另一方面，在判定为当前图像为动作状态的情况下，选择降低空间方向上的噪声的第2nr处理(以下称为“空间方向nr处理”)。这里，时间方向nr处理是指，通过使用作为nr处理的对象的当前图像和与该当前图像不同的时间取得的过去图像(参照图像数据)的加权平均处理来降低噪声。在加权平均处理中使用当前图像的关注像素(处理对象像素)和与当前图像的关注像素的位置对应的过去图像的像素(处理对象像素)。并且，空间方向nr处理是指，通过使用作为nr处理的处理对象的关注像素(处理对象像素)和该关注像素周边的周边像素的加权平均处理来降低噪声。并且，静止状态表示摄像元件105(摄像装置10)与被摄体的相对位置关系在时间上没有变化的状态。进而，动作状态表示摄像元件105(摄像装置10)与被摄体的相对位置关系在时间上变化的状态。另外，在本实施方式1中，噪声降低部35作为校正部发挥功能。并且，在被摄体未移动的情况下，噪声降低部35也可以从存储部36取得与当前图像的关注像素附近的像素对应的过去图像的像素的像素值，根据所取得的过去图像的像素的像素值对关注像素的像素值进行校正。

这里，对噪声降低部35的详细结构进行说明。噪声降低部35具有评价值计算部351、估计噪声量取得部352、一览表353、判定部354、噪声降低处理部355。

评价值计算部351计算用于判定从插值处理部32输入的时间上连续的当前图像和从帧存储器33输入的过去图像中分别包含的被摄体在帧间是否处于静止状态的评价值。

估计噪声量取得部352取得在与从插值处理部32输入的图像数据对应的图像中估计出的估计噪声量。

一览表353存储估计噪声量取得部352估计噪声量时使用的噪声模型。

判定部354根据评价值计算部351计算出的评价值和估计噪声量取得部352取得的估计噪声量，判定从插值处理部32输入的当前图像内的被摄体是否处于静止状态。

噪声降低处理部355在关注像素可能产生rts噪声时，加强噪声降低的强度，由此对关注像素的像素值进行校正，将其输出到图像处理部38。

存储部36使用易失存储器或非易失性存储器构成，存储从第3外部接口部31输出的rts噪声信息和多个过去图像。

操作部37受理与图像处理装置30有关的各种操作信号的输入。操作部37例如使用十字按钮、按钮和触摸面板等构成。

图像处理部38对噪声降低后的raw图像数据进行规定图像处理，将其输出到显示装置40。这里，关于规定图像处理，进行至少包含白平衡调整处理、γ校正处理、颜色再现处理和边缘强调处理等的基本图像处理。并且，图像处理部38根据预先设定的各图像处理的参数，进行再现自然图像的图像处理。这里，各图像处理的参数是对比度、清晰度、彩度、白平衡和灰度的值。

图像处理控制部39对构成图像处理装置30的各部进行总括控制。图像处理控制部39使用cpu(centralprocessingunit：中央处理单元)等构成。图像处理控制部39控制构成图像处理装置30的各部的指示和数据等的传输。

〔显示装置的结构〕

接着，对显示装置40的结构进行说明。显示装置40显示与从图像处理装置30输入的图像数据对应的图像。显示装置40使用液晶或有机el(electroluminescence：电致发光)等显示面板等构成。

在具有以上结构的摄像系统1中，图像处理装置30对摄像元件105中产生的rts噪声进行校正，显示装置40显示与由图像处理装置30实施了图像处理后的图像数据对应的图像。

〔rts噪声的产生原因和特性〕

接着，对rts噪声的产生原因和rts噪声的特性进行说明。

图3是示出在进行遮光使得光照射不到摄像元件105的情况下、在产生rts噪声时从放大器部105e输出的放大器输出的变动的例子的图。图4是示出使用产生rts噪声的放大器部105e读出的像素值的分布的例子的图。

在放大器部105e中的栅极氧化膜存在陷阱能级的情况下，以随机的定时在该陷阱能级中捕获或放出电荷，由此产生rts噪声。因此，如图3所示，在产生rts噪声的放大器部105e中，放大器输出在大约vrts的范围内随机变动。并且，不会在一瞬间引起电位的变动，需要较短的时间τ。

一般情况下，在摄像元件105中，为了在从像素105a读出的像素值中降低噪声，进行相关双取样处理(以下称为“cds处理”)。在cds处理中，摄像控制部114接通摄像元件105的复位开关(未图示)，使fd部105d的电荷复位，进而，摄像控制部114接通第2开关105f，设为复位状态，读出(输出)复位状态的信号(基准信号)。接着，在cds处理中，摄像控制部114仅接通第1开关105b(或第1开关105b(1)～105b(8)中的任意一方)，将像素105a中产生的电荷传输到fd部105d，进而，设为接通了第2开关105f的读出状态(输出状态)，读出(输出)读出状态的信号。接着，在cds处理中，将从读出状态的信号中减去复位状态的信号(基准信号)而得到的信号转换为像素值。

如图3所示，摄像元件105通过cds处理读出各个时间tr1(复位状态)和时间ts1(读出状态)的信号时，由于各个时间tr1和时间ts1的放大器输出v大致相同，所以，主要受到随机噪声的影响，所读出的像素值成为图4所示的分布a那样的以0为中心的分布。同样，在摄像元件105中，在时间tr2(复位状态)和时间ts2(读出状态)，各个时间tr2和时间ts2的放大器输出v也大致相同，所以，所读出的像素值成为图4所示的分布a。

另一方面，摄像元件105通过cds处理读出各个时间tr3(复位状态)和时间ts3(读出状态)的信号时，与时间tr3的放大器输出相比，时间ts3的放大器输出低大约vrts，所以，取2个信号之差后，向负方向偏移与放大器输出的变化量即vrts对应的像素值即rts_value，所读出的像素值成为以-rts_value为中心的分布b。

与此相对，摄像元件105通过cds处理读出各个时间tr4(复位状态)和时间ts4(读出状态)的信号时，与时间tr4的放大器输出相比，时间ts4的放大器输出高大约vrts，所以，取2个信号之差后，向正方向偏移与放大器输出的变化量即vrts对应的像素值即rts_value，所读出的像素值成为以rts_value为中心的分布c。

这里，图3的放大器输出的变动需要时间τ来产生，所以，有时在电位变动的中途读出信号。该情况下，在复位状态的读出时间和读出状态的读出时间之间，放大器输出差大于-vrts且小于vrts。其结果，从摄像元件105读出的像素值也成为大于-rts_value且小于rts_value的值。认为如果摄像元件105的条件(例如温度或驱动电压等)恒定，则时间τ大致恒定，所以，以相同的概率产生大于-rts_value且小于rts_value的像素值。这里，将这些像素值的产生频度定义为αnoise。并且，关于分布b和分布c，仅各自的中央值不同，但是，除此以外成为相同的分布。因此，下面，将分布b或分布c相对于分布a的比例定义为αrts。放大器部105e的放大器输出的变动周期越短，则该αrts越大。

这样，通过cds处理且使用产生rts噪声的放大器部105e读出的像素值成为图4这样的分布。另外，在光照射到摄像元件105的条件下，读出状态的电位根据曝光量而变化。但是，由rts噪声引起的电位的变化恒定而与曝光量无关。即，rts噪声具有不依赖于曝光量，而在-rts_value以上且rts_value以下的范围内相对于正常像素值随机变动的特性。另外，在图4中，示意地示出分布a、分布b、分布c，但是，一般成为正态分布。

并且，rts噪声是由读出电路(放大器部105e)引起的噪声，所以，如图2所示，在多个像素105a分别共享一个读出电路的情况下，在全部共享像素(像素105a(1)～105a(8))中产生相同特性的rts噪声。

并且，除了图2所示的读出电路(放大器部105e)以外，有时在摄像元件105的列方向上共享的列放大器和源极跟随器等中也产生rts噪声。该情况下，在共享相同的列放大器和源极跟随器的列方向的全部像素中也产生相同特性的rts噪声。本实施方式还能够应用于读出电路(放大器部105e)以外的电路中产生的rts噪声。

这样，rts噪声成为在固定被摄体并以相同条件进行拍摄的情况下、通过拍摄而得到的图像的像素值在一定范围内(-rts_value以上且rts_value以下)振动(变动)的闪烁缺陷噪声中的一种。

〔图像处理装置的处理〕

接着，对图像处理装置30执行的处理进行说明。图5是示出图像处理装置30执行的处理的概要的流程图，是图像处理装置30执行的主例程的流程图。

如图5所示，首先，评价值计算部351使用从插值处理部32输出的当前图像(当前帧)和帧存储器33中存储的过去图像(过去帧)，计算差分平均值msad(帧间差分值)(步骤s1)。这里，过去图像是指在从插值处理部32输入的当前图像的前1帧的时点从噪声降低部35输出的nr处理后的图像。具体而言，评价值计算部351在将作为nr处理对象的像素即关注像素的坐标设为(x,y)的情况下，使用以下的式(1)计算差分平均值msad，将式(1)的sad(m、n)最小的(m、n)的值输出到噪声降低处理部355和判定部354。另外，下面说明与g信号有关的处理，但是，r信号和b信号也进行相同的处理。

这里，在上式(1)中，min{}表示取得括弧内的值的最小值的处理。并且，示出m＝-1、0、1、n＝-1、0、1的情况，但是不限于此，也可以设定m＝-10、-9、…、9、10、n＝-10、-9、…、9、10等更宽的范围。并且，fg_cur(x,y)是当前图像(rgb图像)的坐标(x,y)处的g信号值，fg_pre(x,y)是过去图像的坐标(x,y)处的g信号值。并且，k是自然数，(2k+1)相当于计算差分平均值msad时的核心尺寸。另外，k可以预先设定固定值，也可以构成为由用户经由操作部37设定任意值。并且，|a|表示取得实数a的绝对值的处理。

并且，上式(1)中说明的(m、n)相当于帧间的运动矢量，在m＝-1、0、1、n＝-1、0、1的情况下，该运动矢量的搜索范围是±1像素。在上式(1)中，选择搜索范围中最小的sad作为msad。

接着，估计噪声量取得部352参照一览表353，取得与当前图像中的关注像素的像素值(信号值)对应的估计噪声量n(步骤s2)。

图6是示出一览表353存储的噪声模型的一例的图。在图6中，纵轴示出噪声量，横轴示出像素值。另外，在图6中，使用像素值的标准偏差作为纵轴的噪声量，示出与摄像元件105的特性对应的噪声模型。

如图6的曲线lx1所示，摄像元件105中的噪声量随着像素值的增大而增加。因此，在本实施方式1中，估计噪声量取得部352参照图6的曲线lx1的噪声模型，取得与当前图像的关注像素的像素值对应的估计噪声量n。另外，除了图6所示的曲线以外，也可以是利用近似式或折线来对噪声模型进行近似后的特性。

然后，判定部354判定由评价值计算部351计算出的差分平均值msad是否为由估计噪声量取得部352取得的噪声量n以下(msad≦n)，由此进行是处于静止状态还是处于动作状态的判别处理(步骤s3)。在判定部354判定为由评价值计算部351计算出的差分平均值msad为由估计噪声量取得部352取得的噪声量n以下的情况下(步骤s3：是)，图像处理装置30转移到后述步骤s4。与此相对，在判定部354判定为由评价值计算部351计算出的差分平均值msad不是由估计噪声量取得部352取得的噪声量以下的情况下(步骤s3：否)，图像处理装置30转移到后述步骤s5。

在步骤s4中，噪声降低处理部355对当前图像中的关注像素执行时间方向nr处理。另外，时间方向nr处理在后面详细叙述。在步骤s4之后，图像处理装置30转移到后述步骤s6。

在步骤s5中，噪声降低处理部355对当前图像中的关注像素执行空间方向nr处理。另外，空间方向nr处理在后面详细叙述。在步骤s5之后，图像处理装置30转移到后述步骤s6。

接着，在图像处理控制部39判断为对当前图像的全部像素执行了nr处理的情况下(步骤s6：是)，图像处理装置30转移到后述步骤s7。与此相对，在图像处理控制部39判断为未对当前图像的全部像素执行nr处理的情况下(步骤s6：否)，图像处理装置30返回上述步骤s1。

在步骤s7中，噪声降低处理部355将nr图像输出到帧存储器33和图像处理部38。在步骤s7之后，图像处理装置30结束本处理。

判定部354判定由评价值计算部351计算出的差分平均值msad是否为噪声量n以下，由此，切换噪声降低处理部355是进行时间方向nr处理还是进行空间方向nr处理，但是，噪声降低处理部355也可以进行时间方向nr处理和空间方向nr处理双方，根据基于差分平均值msad的大小(或表示运动矢量的似然性的置信度的大小)设定的混合值，对各nr处理的结果进行混合。

〔时间方向nr处理的概要〕

接着，对上述图5的步骤s4的时间方向nr处理进行详细说明。图7是示出时间方向nr处理的概要的流程图。

如图7所示，噪声降低处理部355从存储部36取得rts噪声信息，根据该rts噪声信息，判断当前图像的关注像素中是否可能产生rts噪声(步骤s10)。在噪声降低处理部355判断为当前图像的关注像素中可能产生rts噪声的情况下(步骤s10：是)，图像处理装置30转移到后述步骤s11。与此相对，在噪声降低处理部355判断为当前图像的关注像素中不可能产生rts噪声的情况下(步骤s10：否)，图像处理装置30转移到后述步骤s12。

在步骤s11中，噪声降低处理部355根据从存储部36取得的rts噪声信息中包含的rts_value，设定时间方向nr处理中使用的系数co_we_pre。在步骤s11之后，图像处理装置30转移到后述步骤s13。

图8是示出噪声降低处理部355设定的rts_value与系数co_we_pre的关系的图。在图8中，横轴示出rts_value的大小，纵轴示出系数co_we_pre。

如图8所示，如直线l1、曲线l2和折线l3所示，噪声降低处理部355根据rts_value的大小设定系数co_we_pre。例如，噪声降低处理部355根据rts_value的大小，可以设定系数co_we_pre以使其如直线l1所示线性地增大，也可以设定系数co_we_pre以使其如曲线l2所示指数地增大，还可以设定系数co_we_pre以使其如折线l3所示阶段地增大。这样，噪声降低处理部355在关注像素中可能产生rts噪声的情况下，与关注像素中未产生rts噪声的情况相比，增大时间方向nr处理中使用的系数co_we_pre。

返回图7，继续进行步骤s12以后的说明。

在步骤s12中，噪声降低处理部355将系数co_we_pre设定为1(系数co_we_pre＝1)。在步骤s12之后，图像处理装置30转移到后述步骤s13。

接着，噪声降低处理部355使用上述步骤s11或步骤s12中设定的系数co_we_pre，计算权重系数we_pre(步骤s13)。具体而言，噪声降低处理部355通过以下的式(2)计算权重系数we_pre。

we_per＝co_we_pre×we_pre…(2)

然后，噪声降低处理部355使用上述步骤s13中计算出的权重系数we_pre执行时间方向nr处理(步骤s14)，图像处理装置30返回图5的主例程。具体而言，噪声降低处理部355使用以下的式(3)执行时间方向nr处理。

这里，在上述(3)中，fg_nr(x,y)是nr图像的坐标(x,y)中的当前图像的像素值。并且，we_cur和we_pre是加权平均处理时的权重系数。另外，在本实施方式1中，通过使we_pre比we_cur大，可以增大噪声降低量。并且，在本实施方式1中，可以预先将we_pre设定为固定值，也可以构成为能够由用户经由操作部37设定任意值。

〔空间方向nr处理的概要〕

接着，对图5的步骤s5中说明的空间方向nr处理进行详细说明。图9是示出空间方向nr处理的概要的流程图。

如图9所示，噪声降低处理部355从存储部36取得rts噪声信息，根据该rts噪声信息，判断当前图像的关注像素中是否可能产生rts噪声(步骤s21)。在噪声降低处理部355判断为当前图像的关注像素中可能产生rts噪声的情况下(步骤s21：是)，图像处理装置30转移到后述步骤s22。与此相对，在噪声降低处理部355判断为当前图像的关注像素中不可能产生rts噪声的情况下(步骤s21：否)，图像处理装置30转移到后述步骤s22。

在步骤s21中，噪声降低处理部355根据从存储部36取得的rts噪声信息中包含的rts_value，设定空间方向nr处理中使用的系数co_cb。在步骤s21之后，图像处理装置30转移到后述步骤s23。

图10是示出噪声降低处理部355设定的rts_value与系数co_cb的关系的图。在图10中，横轴示出rts_value的大小，纵轴示出系数co_cb。

如图10所示，如直线l11、曲线l12和折线l13所示，噪声降低处理部355根据rts_value的大小设定系数co_cb。例如，噪声降低处理部355根据rts_value的大小，可以设定系数co_cb以使其如直线l11所示线性地增大，也可以设定系数co_cb以使其如曲线l12所示指数地增大，还可以设定系数co_cb以使其如折线l13所示阶段地增大。这样，噪声降低处理部355在关注像素中可能产生rts噪声的情况下，与关注像素中未产生rts噪声的情况相比，增大空间方向nr处理中使用的系数co_cb。

返回图9，继续进行步骤s22以后的说明。

在步骤s22中，噪声降低处理部355将系数co_cb设定为1(系数co_cb＝1)。在步骤s22之后，图像处理装置30转移到后述步骤23。

接着，噪声降低处理部355使用上述步骤s21或步骤s22中设定的系数co_cb，计算权重系数cb(步骤s24)。具体而言，噪声降低处理部355通过以下的式(4)计算权重系数cb。

cb＝co_cb×cb…(4)

然后，噪声降低处理部355使用上述步骤s23中计算出的权重系数cb执行空间方向nr处理(步骤s24)，图像处理装置30返回图5的主例程。具体而言，噪声降低处理部355使用以下的式(5)执行空间方向nr处理。

这里，在上式(5)中，we_diff_cur(x+i、y+j)和we_diff_pre(x+i、y+j)相当于加权平均处理时的权重系数。如以下的式(6)所示，该系数由高斯分布给出。并且，i和j是自然数。进而，m和n是上述式(1)中作为差分平均值msad选择出的sad(m、n)。

如上述式(6)所示，在本实施方式1中使用的空间方向nr处理中，根据当前图像的关注像素的像素值与该关注像素的周边像素的像素值的差分的大小，自适应地设定权重系数。具体而言，在当前图像的关注像素的像素值与该关注像素的周边像素的像素值的差分较大的情况下，加权平均处理时的权重较小。因此，边缘部等像素值急剧变化的区域的像素无助于加权平均处理，因此，能够保持边缘部而仅降低噪声成分。但是，在该空间方向nr处理中，根据当前图像的关注像素的像素值与该关注像素的周边像素的像素值的差分对权重系数进行控制，因此，噪声降低的程度(平滑化的强度)依赖于图像中包含的噪声量。具体而言，噪声越大，则差分越大，因此，权重系数较小，上式(3)的加权平均中的作用较小。因此，噪声越大，噪声降低的程度越弱，没有降低噪声。

因此，在本实施方式1中，噪声降低处理部355根据图5的步骤s2中输出的噪声量n计算上式(6)的高斯分布的标准偏差σ。具体而言，噪声降低处理部355使用以下的式(7)计算标准偏差σ。

σ＝cb×n…(7)

这里，在上式(7)中，权重系数cb是正实数。另外，权重系数cb可以预先设定固定值，也可以构成为能够由用户经由操作部37设定为任意值。

这样，噪声降低处理部355根据噪声量n计算高斯分布的标准偏差σ，由此，能够对噪声量执行自适应的噪声降低处理。即，噪声量越大，则标准偏差σ越大，因此，在上式(6)中差分(例如fg_cur(x+i、y+j)-fg_cur(x+、y))由于噪声而增大的情况下，与标准偏差σ不依赖于估计噪声量n的情况相比，噪声降低处理部355能够增大权重系数。因此，在噪声较大的情况下，也能够维持平滑化的强度。

根据以上说明的本发明的实施方式1，噪声降低部35根据从第3外部接口部31输入的rts噪声信息，在当前图像的关注像素中可能产生rts噪声的情况下，针对关注像素的像素值，与对未产生rts噪声的像素进行的nr处理的系数相比，增大nr处理的系数，由此，在关注像素的像素值与周边像素的像素值的相关度较低的情况下，也能够降低动态图像中可能产生的rts噪声，因此，能够提高画质。

进而，根据本发明的实施方式1，在当前图像的关注像素中可能产生rts噪声的情况下，针对关注像素的像素值，仅增大现有的摄像装置等所具有的nr功能的系数即可，所以，能够利用简易的结构降低rts噪声。

另外，在本发明的实施方式1中，运动检测部34使用sad以计算运动矢量(m、n)，但是，除此之外，也可以通过ssd(sumofsquareddifference：误差平方和)或ncc(normalizedcross-correlation：归一化互相关)等现有方法进行计算。

(实施方式2)

接着，对本发明的实施方式2进行说明。本实施方式2的摄像系统与上述实施方式1的图像处理装置30的结构不同，而且，本实施方式2的图像处理装置执行的处理也不同。具体而言，本实施方式2的图像处理装置根据利用当前图像计算出的代表值和利用过去图像计算出的代表值，计算对关注像素进行校正时的代表值，根据该代表值对关注像素的像素值进行校正。下面，在对本实施方式2的摄像系统的结构进行说明后，对本实施方式2的图像处理装置执行的处理进行说明。另外，对与上述实施方式1的摄像系统1相同的结构标注相同标号并省略说明。

〔摄像系统的结构〕

图11是示意地示出本发明的实施方式2的摄像系统的结构的框图。图11所示的摄像系统1a代替上述实施方式1的摄像系统1的图像处理装置30而具有图像处理装置30a。

〔图像处理装置的结构〕

图像处理装置30a从上述实施方式1的图像处理装置30中省略插值处理部32、帧存储器33和运动检测部34的结构，并且，代替噪声降低部35而具有噪声降低部35a。

噪声降低部35a针对从第3外部接口部31输入的当前图像校正rts噪声，将其输出到图像处理部38。噪声降低部35a具有rts噪声校正部320。

rts噪声校正部320进行针对从第3外部接口部31输入的当前图像校正rts噪声的rts噪声校正处理，将进行了该rts噪声校正后的当前图像输出到图像处理部38。

这里，对rts噪声校正部320的详细结构进行说明。图12是示出rts噪声校正部320的详细结构的框图。

如图12所示，rts噪声校正部320具有rts噪声像素判定部321、候选值计算部322、代表值计算部323、随机噪声量估计部324、校正值计算部325。

rts噪声像素判定部321根据从第3外部接口部31输入的rts噪声信息，判定从第3外部接口部31输入的当前图像的关注像素中是否可能产生rts噪声，将判定结果输出到候选值计算部322和代表值计算部323。具体而言，当对rts噪声像素判定部321输入像素的位置后，判定是否存在与该像素(关注像素)对应的rts噪声信息，在存在rts噪声信息的情况下，输出该rts噪声信息(表示存在rts噪声的信息)，另一方面，在不存在rts噪声信息的情况下，视为未产生rts噪声的像素，不输出rts噪声信息。

候选值计算部322根据关注像素的像素值和rts噪声像素判定部321的判定结果，在由rts噪声像素判定部321判定为关注像素中可能产生rts噪声的情况下，针对关注像素的像素值计算校正量的多个候选值，将关注像素的像素值和计算出的多个候选值分别输出到代表值计算部323、随机噪声量估计部324和校正值计算部325。

代表值计算部323在由rts噪声像素判定部321判定为关注像素中可能产生rts噪声的情况下，根据关注像素周围的至少由rts噪声像素判定部321判定为未产生rts噪声的像素、和后述随机噪声量估计部324计算出的与关注像素对应的随机噪声量，计算与未产生rts噪声的情况下的像素值相当的代表值。并且，代表值计算部323根据从第3外部接口部31输入的当前图像和存储部36中存储的过去图像计算当前图像的代表值，将其输出到校正值计算部325。

这里，对代表值计算部323的详细结构进行说明。图13是示出代表值计算部323的详细结构的框图。

如图13所示，代表值计算部323具有第1参照值计算部323a、第1随机噪声量估计部323b、容许范围计算部323c、代表值决定部323d。

第1参照值计算部323a计算估计随机噪声量时使用的参照值。具体而言，第1参照值计算部323a计算对关注像素的像素值加上rts_value而得到的值或对关注像素的像素值加上校正量的候选值中的最大值而得到的值作为参照值。

第1随机噪声量估计部323b根据从第3外部接口部31输入的随机噪声模型和第1参照值计算部323a计算出的参照值，计算随机噪声量。

容许范围计算部323c根据位于以关注像素为基准设定的计算范围内的像素的像素值和由第1随机噪声量估计部323b计算出的随机噪声量，计算代表值计算处理中能够使用的像素值的范围即容许范围(有效范围)。

代表值决定部323d针对计算范围内的关注像素以外的像素值，选择容许范围内(有效范围内)包含的像素值(在使用了滤色器的摄像元件105的情况下为与关注像素相同颜色的像素值)，在选择出的像素值为规定值以上的情况下，决定该选择出的像素值的中央值作为代表值。并且，代表值决定部323d根据当前图像和存储部36中存储的过去图像决定当前图像的代表值。

返回图12，继续进行rts噪声校正部320的结构的说明。

随机噪声量估计部324根据从第3外部接口部31输入的随机噪声模型，估计与像素值对应的随机噪声量，将估计结果分别输出到候选值计算部322、代表值计算部323和校正值计算部325。即，在对随机噪声量估计部324输入像素值后，输出与该像素值对应的随机噪声量。

校正值计算部325在由rts噪声像素判定部321针对关注像素判定为可能产生rts噪声的像素的情况下，根据候选值计算部322计算出的多个候选值，对关注像素的像素值进行校正。具体而言，校正值计算部325根据关注像素的像素值、由候选值计算部322计算出的多个候选值、由代表值计算部323计算出的代表值，计算对rts噪声进行了校正后的像素值，将其输出到图像处理部38。更具体而言，校正值计算部325根据候选值计算部322计算出的多个候选值中、校正结果最接近代表值计算部323计算出的代表值的候选值，对关注像素的像素值进行校正。与此相对，校正值计算部325在由rts噪声像素判定部321针对关注像素判定为未产生rts噪声的像素的情况下，直接输出关注像素的像素值。另外，在本实施方式2中，校正值计算部325作为校正部发挥功能。

这里，对校正值计算部325的详细结构进行说明。图14是示出校正值计算部325的详细结构的框图。

如图14所示，校正值计算部325具有第2参照值计算部325a、第2随机噪声量估计部325b、校正量决定部325c、像素值校正部325d。

第2参照值计算部325a计算从关注像素的像素值中减去rts_value而得到的值或从关注像素的像素值中减去校正量的候选值中的最大值而得到的值作为参照值。

第2随机噪声量估计部325b根据从第3外部接口部31输入的随机噪声模型和第2参照值计算部325a计算出的参照值，计算随机噪声量。

校正量决定部325c计算对第2随机噪声量估计部325b计算出的随机噪声量乘以固定系数而得到的值作为阈值，判定由候选值计算部322计算出的校正量的候选值中的最大候选值是否为阈值以上，然后，选择代表值计算部323计算出的代表值和最接近关注像素的绝对值的校正量的候选值作为校正量。

像素值校正部325d针对关注像素的像素值加上或减去校正量以接近代表值，由此计算校正后的关注像素的像素值。

〔图像处理装置的处理〕

接着，对图像处理装置30a执行的处理进行说明。图15是示出图像处理装置30a执行的处理的概要的流程图，是图像处理装置30a执行的主例程的流程图。

如图15所示，首先，rts噪声校正部320设定用于依次进行后述步骤s102～步骤s105的处理的关注像素(步骤s101)。另外，rts噪声校正部320按照每个像素，从左上方朝向右下方，按照光栅顺序，如1、2、3…那样依次分配大于0的整数作为索引。接着，rts噪声校正部320每次执行步骤s101时，使计数器增加1(在图15的处理开始的时点，计数器复位为0)。rts噪声校正部320设定被分配了计数器所表示的索引的像素作为关注像素。即，在通过rts噪声校正部320最初执行步骤s101后，rts噪声校正部320使复位为0的计数器增加1，所以，计数器示出1，左上方的像素成为关注像素。在rts噪声校正部320执行2次(第2次)步骤s101的处理后，计数器示出2，所以，左上方的像素的右侧的像素成为关注像素。

接着，rts噪声像素判定部321经由第3外部接口部31、第1外部接口部115和总线113，取得摄像装置10的非易失存储器112的rts噪声信息记录部112b记录的rts噪声信息，根据所取得的rts噪声信息，判定关注像素中是否可能产生rts噪声(步骤s102)。即，rts噪声像素判定部321判定包含关注像素的共享像素块的位置信息是否包含在rts噪声信息中。具体而言，rts噪声像素判定部321判定包含关注像素的共享像素块的位置信息是否作为可能产生rts噪声的共享像素块而包含在rts噪声信息中。在由rts噪声像素判定部321判定为关注像素中可能产生rts噪声(判定为包含关注像素的共享像素块的位置信息包含在rts噪声信息中)的情况下(步骤s102：是)，图像处理装置30a转移到后述步骤s103。与此相对，在由rts噪声像素判定部321判定为关注像素中不可能产生rts噪声(判定为包含关注像素的共享像素块的位置信息不包含在rts噪声信息中)的情况下(步骤s102：否)，图像处理装置30a转移到后述步骤s106。该情况下，rts噪声像素判定部321在判定为关注像素中不可能产生rts噪声的情况下，直接将该关注像素的像素值作为校正后的像素值输出到代表值计算部323。

在步骤s103中，候选值计算部322计算用于对rts噪声进行校正的校正量的多个候选值。具体而言，候选值计算部322根据与关注像素对应的rts_value(包含在从rts噪声像素判定部321输出的rts噪声信息中)，将可取为0以上rts_value以下的像素值的全部值(在只能取整数作为raw图像的情况下，为0以上rts_value以下的全部整数)设为候选值。另外，在由摄像控制部114对摄像元件105的列放大器等设定的放大器增益值在rts噪声检测时(设放大器增益值＝g0)和rts噪声校正时(设放大器增益值＝g1)不同的情况下，候选值计算部322也可以将rts_value置换为对rts噪声校正时的放大器增益值与rts噪声检测时的放大器增益值之比(g＝g1/g0)乘以rts_value而得到的值。并且，候选值计算部322也可以使rts噪声信息具有能够预先设定的每个放大器增益值的rts_value，使用与该设定的放大器增益值对应的rts_value。

接着，代表值计算部323执行如下代表值计算处理：根据存储部36存储的过去图像和当前图像的关注像素的周边像素的像素值计算代表值(在关注像素中未产生rts噪声的情况下预测的像素值)(步骤s104)。另外，代表值计算部323可以包含产生rts噪声的像素。

〔代表值计算处理的概要〕

图16是示出图15的步骤s104的代表值计算处理的概要的流程图。

如图16所示，首先，代表值计算部323以关注像素为基准，设定作为代表值计算对象的最小的计算范围(步骤s201)。具体而言，例如在以关注像素为中心、将对象范围内最大7×7的范围作为计算范围的情况下，代表值计算部323将作为7×7以下的最小的范围的3×3设定为最小的计算范围。

接着，第1参照值计算部323a计算在关注像素的像素值中加上rts_value而得到的值或在关注像素的像素值中加上校正量候选值的最大值而得到的值作为参照值(步骤s202)。

然后，第1随机噪声量估计部323b根据从第3外部接口部31输入的随机噪声模型和步骤s202中由第1参照值计算部323a计算出的参照值，计算随机噪声量(步骤s203)。本实施方式2中的第1随机噪声量估计部323b根据上述图6的曲线lx1的噪声模型(随机噪声模型)和第1参照值计算部323a计算出的参照值计算随机噪声量(计算标准偏差)。另外，除了图6所示的曲线以外，也可以是利用近似式或折线来对随机噪声模型进行近似后的特性。

在步骤s203之后，容许范围计算部323c根据位于计算范围内的像素的像素值，计算能够在代表值计算处理中使用的像素值的范围即容许范围(有效范围)(步骤s204)。具体而言，容许范围计算部323c通过以下的式(8)计算容许范围(有效范围)的上限。

参照值+随机噪声量(标准偏差)×r+rts_value…(8)

这里，r是规定系数，根据相对于随机噪声而言在视觉上能够以何种程度掌握rts噪声来设定。例如，作为r的系数，优选为2左右的值。并且，代表值计算部323通过以下的式(9)计算容许范围的下限。

参照值-随机噪声量(标准偏差)×r-rts_value…(9)

另外，也可以代替rts_value而使用多个候选值的最大值。并且，式(8)和式(9)中的参照值也可以是与上述步骤s203中第1随机噪声量估计部323b为了估计随机噪声量而使用的参照值通过不同的参照值方法得到的参照值。这样，容许范围计算部323c能够计算考虑了关注像素的rts噪声和该关注像素周边的随机噪声的容许范围。

然后，容许范围计算部323c判定计算范围内、关注像素以外的像素的像素值(在使用滤色器的摄像元件105的情况下，为与关注像素相同颜色的像素值)是否分别在上述步骤s204中计算出的容许范围内，对该容许范围内的像素值的个数进行计数(步骤s205)。该步骤s205中得到的计数值存在如下倾向：在平坦的被摄体的情况下较大，在包含边缘的被摄体的情况下较小。另外，计算范围内可能产生rts噪声的像素也可以不计数。

接着，在上述步骤s205中计数的计数值(像素数)大于规定值thref的情况下(步骤s206：是)，图像处理装置30a转移到后述步骤s209。这里，优选规定值thref为1以上，使得代表值计算部323根据关注像素的周边像素计算代表值。与此相对，在上述步骤s205中计数的计数值不大于规定值thref的情况下(步骤s206：否)，图像处理装置30a转移到后述步骤s207。

在步骤s207中作为代表值计算对象的计算范围最大的情况下(步骤s207：是)，图像处理装置30a转移到后述步骤s209。与此相对，在作为代表值计算对象的计算范围不是最大的情况下(步骤s207：否)，图像处理装置30a转移到后述步骤s208。

在步骤s208中，容许范围计算部323c扩大计算代表值的计算范围(步骤s208)。具体而言，容许范围计算部323c在使作为代表值计算对象的计算范围收敛在最大范围内的范围内，在水平或垂直方向上扩大1个像素以上。例如，容许范围计算部323c在设定以关注像素为中心的3×3的范围作为计算范围的情况下，将以关注像素为中心的5×5的范围重新设定为计算范围。在步骤s208之后，图像处理装置30a返回步骤s202。另外，在步骤s208中，容许范围计算部323c将3×3或5×5的范围设定为计算范围，但是，例如，也可以仅水平或垂直地扩大，将5×3或3×5的范围设定为计算范围。

在步骤s209中，代表值决定部323d计算当前图像的代表值。具体而言，首先，代表值决定部323d针对计算范围内的关注像素以外的像素的像素值，选择容许范围内(有效范围内)包含的像素值(在使用滤色器的摄像元件105的情况下，为与关注像素相同颜色的像素值)。然后，代表值决定部323d在选择出的像素数为规定值thref以上的情况下，计算该选择出的像素值的中央值作为当前图像的代表值。另外，代表值决定部323d在选择出的像素值的数量为偶数的情况下，计算接近关注像素的像素值的一侧的中央值作为当前图像的代表值。该情况下，能够防止过校正。并且，代表值决定部323d在选择出的像素数小于规定值thref的情况下，计算具有最接近关注像素像素值的像素值的计算范围内的关注像素以外的像素的像素值作为当前图像的代表值。另外，代表值决定部323d使用中央值计算代表值，但是，例如也可以通过平均或分布的中间值等其他方法进行计算。并且，代表值决定部323d也可以进行计算范围内的边缘方向判别，根据该边缘方向判别的结果，计算相关度最高的方向的周边像素值作为当前图像的代表值。进而，代表值决定部323d也可以排除关注像素以外的计算范围内的像素中可能产生rts噪声的像素。此时，在执行步骤s209的时点的计算范围内完全不存在不可能产生rts噪声的像素的情况下，代表值决定部323d将关注像素在当前图像中的像素值作为当前图像的代表值。

接着，在当前图像是计算代表值的最初的图像数据的情况下(步骤s210：是)，代表值决定部323d将上述步骤s209中计算出的当前图像的代表值决定为代表值(步骤s211)。在步骤s211之后，图像处理装置30a返回上述图15的主例程。

在步骤s210中当前图像不是计算代表值的最初的图像数据的情况下(步骤s210：否)，代表值决定部323d决定当前图像的代表值与存储部36存储的过去图像的代表值的平均值作为代表值(步骤s212)。该情况下，代表值决定部323d可以使用存储部36中的多个过去图像各自的代表值计算平均值。并且，代表值决定部323d决定当前图像的代表值与过去图像的代表值的平均值作为代表值，但是，也可以决定加权平均或中央值作为代表值。进而，代表值决定部323d在存储部36中存储有多个过去图像的情况下，可以根据该多个过去图像(例如3张以上)各自的代表值和当前图像的代表值决定代表值。进而，为了进行防止以使得不会在之前的结果的一定范围内变动，代表值决定部323d也可以根据存储部36存储的过去图像的代表值设定规定范围，决定当前图像的代表值，使得当前图像的代表值进入该范围内。在步骤s212之后，图像处理装置30a返回上述图15的主例程。

这样，代表值计算部323在上述代表值计算处理中计算当前图像的代表值后，在当前图像是最初的图像数据的情况下(存储部36中未存储过去图像的情况下)，计算当前图像的代表值作为代表值，另一方面，在当前图像不是最初的图像数据的情况下(存储部36中存储有过去图像的情况下)，计算当前图像的代表值与过去图像的代表值的平均值作为代表值。

另外，代表值计算部323也可以在存储部36中存储当前图像和时间上与该当前图像连续的校正前的图像(以下为“校正前的过去图像”)，根据校正前的过去图像的代表值和当前图像的代表值计算代表值。

返回图15，继续进行步骤s105以后的说明。

在步骤s105中，校正值计算部325执行如下的校正值计算处理：根据上述步骤s103中由候选值计算部322计算出的多个候选值和上述步骤s104中由代表值计算部323计算出的代表值，计算对关注像素中的rts噪声进行校正后的像素值。在步骤s105之后，图像处理装置30a转移到后述步骤s106。

〔校正值计算处理的概要〕

图17是示出图15的步骤s105的校正值计算处理的概要的流程图。

如图17所示，首先，第2参照值计算部325a计算从关注像素的像素值减去rts_value(校正量候选值的最大值)而得到的值作为参照值(步骤s301)。

接着，第2随机噪声量估计部325b经由第3外部接口部31、第1外部接口部115和总线113取得随机噪声模型信息记录部112c中记录的随机噪声模型，根据所取得的随机噪声模型和步骤s301中由第2参照值计算部325a计算出的参照值，计算随机噪声量(步骤s302)。

然后，校正量决定部325c计算对上述步骤s302中由第2随机噪声量估计部325b计算出的随机噪声量乘以固定系数而得到的值作为阈值(步骤s303)。这里，通过以下的式(10)计算阈值。

随机噪声量×rm…(10)

rm根据相对于随机噪声而言在视觉上能够以何种程度看到rts噪声来决定。例如，优选rm的值为2左右。

接着，校正量决定部325c判定上述图15的步骤s103中由候选值计算部322计算出的校正量的候选值中的最大候选值是否为上述步骤s303中计算出的阈值以上(步骤s304)。在校正量决定部325c判定为上述图15的步骤s103中由候选值计算部322计算出的校正量的候选值中的最大候选值为阈值以上的情况下(步骤s304：是)，图像处理装置30a转移到后述步骤s305。与此相对，在校正量决定部325c判定为上述图15的步骤s103中由候选值计算部322计算出的校正量的候选值中的最大候选值不是阈值以上的情况下(步骤s304：否)，图像处理装置30a转移到后述步骤s306。

在步骤s305中，校正量决定部325c选择如下校正量的候选值作为校正量，该校正量的候选值最接近上述图15的步骤s104中由代表值计算部323计算出的代表值与关注像素的像素值之差的绝对值。在步骤s305之后，图像处理装置30a转移到后述步骤s307。

在步骤s306中，校正量决定部325c设定0作为校正量。在步骤s306之后，图像处理装置30a转移到步骤s307。

接着，像素值校正部325d针对关注像素的像素值加上或减去校正量，以接近代表值，由此对校正后的关注像素的像素值进行校正(步骤s307)。在步骤s307之后，图像处理装置30a返回图15的主例程。

返回图15，继续进行步骤s106以后的说明。

在步骤s106中，rts噪声校正部320针对全部像素判定上述步骤s101～步骤s105的处理是否结束。在rts噪声校正部320针对全部像素判定为上述步骤s101～步骤s105的处理结束的情况下(步骤s106：是)，图像处理装置30a结束本处理。与此相对，在rts噪声校正部320针对全部像素判定为上述步骤s101～步骤s105的处理未结束的情况下(步骤s106：否)，图像处理装置30a返回上述步骤s101。

根据以上说明的本发明的实施方式2，代表值计算部323根据从第3外部接口部31输入的当前图像的代表值和存储部36存储的过去图像的代表值，计算与未产生rts噪声的情况下的像素值相当的代表值，校正值计算部325根据由代表值计算部323计算出的代表值对当前图像的关注像素的像素值进行校正，因此，在关注像素的像素值固定、关注像素的周边像素的像素值按照每个当前图像而大小变化的情况下，通过包含过去图像的代表值在内来计算代表值，也能够减少校正后的关注像素的像素值的变动。其结果，在关注像素的像素值与周边像素的像素值的相关度较低的情况下，也能够提高画质。

(实施方式3)

接着，对本发明的实施方式3进行说明。本实施方式3的摄像系统与上述实施方式2的图像处理装置30a的噪声降低部35a的结构不同，而且，本实施方式3的图像处理装置执行的代表值计算处理不同。具体而言，本实施方式3在进行当前图像的关注像素和与当前图像的关注像素对应的过去图像的像素的位置对齐后，计算与未产生rts噪声的情况下的像素值相当的代表值。下面，在对本实施方式3的噪声降低部的结构进行说明后，对本实施方式3的图像处理装置执行的代表值计算处理进行说明。另外，对与上述实施方式1的摄像系统1相同的结构标注相同标号并省略说明。

图18是示出本实施方式3的噪声降低部的详细结构的框图。图18所示的噪声降低部35b具有上述实施方式1的运动检测部34和rts噪声校正部320b。

rts噪声校正部320b进行针对从第3外部接口部31输入的当前图像(raw)校正rts噪声的rts噪声校正处理，将进行了该校正后的raw图像输出到图像处理部38。

这里，对rts噪声校正部320b的详细结构进行说明。图19是示出rts噪声校正部320b的详细结构的框图。

如图19所示，rts噪声校正部320b代替上述实施方式2的代表值计算部323而具有代表值计算部326。

代表值计算部326根据运动检测部34检测到的运动矢量、从第3外部接口部31输入的当前图像(raw图像)的关注像素的像素值和存储部36存储的与当前图像(raw图像)的关注像素对应的过去图像的关注像素的像素值，计算与未产生rts噪声的情况下的像素值相当的代表值。具体而言，代表值计算部326使用运动检测部34检测到的运动矢量进行当前图像的关注像素和与当前图像的关注像素对应的过去图像的像素的位置对齐后，根据当前图像的关注像素的像素值和过去图像的关注像素的像素值，计算与未产生rts噪声的情况下的像素值相当的代表值。

〔代表值计算处理的概要〕

接着，对本实施方式3的图像处理装置30a执行的代表值计算处理进行说明。图20是示出本实施方式3的图像处理装置30a执行的代表值计算处理的概要的流程图。

在图20中，在从第3外部接口部31输入的当前图像是计算代表值的最初的图像数据的情况下(步骤s311：是)，图像处理装置30a转移到后述步骤s312。与此相对，在从第3外部接口部31输入的当前图像不是计算代表值的最初的图像数据的情况下(步骤s311：否)，图像处理装置30a转移到后述步骤s321。

步骤s312～步骤s320分别对应于上述图16的步骤s201～步骤s209。在步骤s320之后，图像处理装置30a返回上述图15的主例程。

在步骤s321中，代表值计算部326根据存储部36中存储的过去图像和当前图像，决定与未产生rts噪声的情况下的像素值相当的代表值。具体而言，代表值计算部326根据运动检测部34检测到的运动矢量，进行当前图像的关注像素和与当前图像的关注像素的位置对应的过去图像的像素的位置对齐后，决定与当前图像的关注图像的位置对应的过去图像的像素值作为代表值。另外，代表值计算部326优选使用局部矢量作为运动矢量。并且，代表值计算部326也可以使用全局矢量。该情况下，能够进行针对手抖等图像整体运动的位置对齐。在步骤s321之后，图像处理装置30a返回上述图15的主例程。

根据以上说明的本发明的实施方式3，代表值计算部326根据运动检测部34检测到的运动矢量，进行当前图像的关注像素和与当前图像的关注像素的位置对应的过去图像的像素的位置对齐后，计算与当前图像的关注图像的位置对应的过去图像的像素值作为代表值，因此，在当前图像的关注像素的周边像素大小变化的情况下，也能够减少该大小变化，所以，不会使画质劣化，能够降低rts噪声。

并且，根据本发明的实施方式3，在仅关注像素的像素值大小变化的情况下，也不会使画质劣化，能够降低rts噪声。

(实施方式3的变形例)

接着，对本发明的实施方式3的变形例进行说明。在本实施方式3的变形例中，噪声降低部的结构不同，而且，图像处理装置执行的代表值计算处理不同。具体而言，本实施方式3的变形例的噪声降低部具有计算运动矢量的置信度的置信度计算部。进而，在本实施方式3的变形例中，使用当前图像的关注像素的像素值和与当前图像的关注像素对应的过去图像的像素的像素值，计算与未产生rts噪声的情况下的像素值相当的代表值。下面，在对本实施方式3的变形例的噪声降低部的结构进行说明后，对本实施方式3的变形例的图像处理装置执行的代表值计算处理进行说明。另外，对与上述实施方式相同的结构标注相同标号并省略说明。

图21是示出本发明的实施方式3的变形例的噪声降低部的详细结构的框图。图21所示的噪声降低部35b1在上述实施方式3的噪声降低部35b的结构的基础上还具有置信度计算部34a。

置信度计算部34a计算置信度，该置信度表示运动检测部34计算出的被摄体的移动量的似然性。

〔代表值计算处理的概要〕

图22是示出本发明的实施方式3的变形例的代表值计算处理的概要的流程图。

在图22中，步骤s401～步骤s410分别对应于上述图20的步骤s311～步骤s320。并且，步骤s411～步骤s418分别对应于上述图20的步骤s312～步骤s319。

在步骤s419中，代表值计算部326决定代表值repi。具体而言，代表值计算部326通过进行与步骤s410相同的处理，决定代表值repi。在步骤s419之后，图像处理装置30a转移到后述步骤s421。

在步骤s420中，代表值计算部326计算过去图像的像素值作为代表值repr。在步骤s420之后，图像处理装置30a转移到后述步骤s421。

接着，代表值计算部326计算当前图像的代表值repi与过去图像的代表值repr的相似度(步骤s421)。具体而言，代表值计算部326计算当前图像的代表值repi与过去图像的代表值repr之差(|repi-repr|)。

然后，代表值计算部326根据从运动检测部34输入的运动矢量的大小、置信度计算部34a计算出的置信度以及步骤s421中计算出的当前图像的代表值repi与过去图像的代表值repr之差(|repi-repr|)，计算相似度，根据该相似度计算当前图像的代表值repi和过去图像的代表值repr各自的混合率b(步骤s422)。具体而言，计算当前图像的代表值repi与过去图像的代表值repr的相似度除以运动矢量的大小|vec|而得到的值(|repi-repr|/|vec|)作为相似度，在相似度较大的情况下，进行计算以使混合率b增大。

图23是示意地示出代表值计算部326计算的混合率b的计算方法的图。在图23中，横轴示出相似度，纵轴示出混合率b。并且，在图23中，直线lb1、曲线lb2和折线lb3分别示出混合率的一例。

在图23所示的情况下，在相似度增大时，当前图像的状态处于在相同像素中像素值急剧变化的情况，因此，与过去图像的像素值相比，代表值计算部326对当前图像的像素值进行加权。

并且，代表值计算部326也可以计算将当前图像的代表值repi与过去图像的代表值repr的相似度和由置信度计算部34a计算出的运动矢量的置信度rel相乘而得到的值(|repi-repr|*rel)作为相似度。该情况下，在相似度增大时，由置信度计算部34a计算出的运动矢量的置信度较高，并且，过去图像是正常图像的像素值的可能性较高，因此，对过去图像的像素值(代表值)进行加权。另外，也可以将过去图像的关注像素是正常图像的像素值作为前提。并且，置信度rel是根据在图像之间进行位置对齐后的图像表示各运动矢量的似然性的值。通过上述实施方式1的差分平均值msad或公知的ssd、mcc和zmcc等计算该置信度rel。

返回图22，继续进行步骤s423以后的说明。

在步骤s423中，代表值计算部326决定代表值rep。在步骤s423之后，图像处理装置30a返回图15的主例程。具体而言，代表值决定部323d通过以下的式(11)决定代表值rep。

rep＝repi×b+repr×(1-b)…(11)

另外，代表值计算部326也可以使用当前图像的像素值vali和过去图像的像素值valr，通过以下的式(12)决定代表值rep。

rep＝vali×b+valr×(1-b)…(12)

另外，代表值计算部326也可以在存储部36中存储当前图像和校正前的过去图像，代替过去图像而使用校正前的过去图像。

根据以上说明的本发明的实施方式3的变形例，发挥与上述实施方式3相同的效果。

(实施方式4)

接着，对本发明的实施方式4进行说明。本实施方式4的摄像系统与上述实施方式2的图像处理装置30a的噪声降低部35a的结构不同，而且，本实施方式4的图像处理装置执行的代表值计算处理不同。具体而言，在本实施方式4中，使用当前图像和多个过去图像，计算与未产生rts噪声的情况下的关注像素的像素值相当的代表值。下面，在对本实施方式4的噪声降低部的结构进行说明后，对本实施方式4的图像处理装置执行的代表值计算处理进行说明。另外，对与上述实施方式1的摄像系统1相同的结构标注相同标号并省略说明。

图24是示出本实施方式4的噪声降低部的详细结构的框图。图24所示的噪声降低部35c具有上述实施方式1的运动检测部34和rts噪声校正部320c。

rts噪声校正部320c进行针对从第3外部接口部31输入的当前图像校正rts噪声的rts噪声校正处理，将进行了该校正后的raw图像输出到图像处理部38。

这里，对rts噪声校正部320c的详细结构进行说明。图24是示出rts噪声校正部320c的详细结构的框图。

如图25所示，rts噪声校正部320c代替上述实施方式2的代表值计算部323而具有代表值计算部327。

代表值计算部327根据运动检测部34检测到的运动矢量、当前图像和存储部36存储的在时间上与当前图像连续的多个过去图像，计算与未产生rts噪声的情况下的关注像素的像素值相当的代表值。

〔代表值计算处理的处理〕

接着，对图像处理装置30a执行的代表值计算处理进行说明。图26是示出本实施方式4的图像处理装置30a执行的代表值计算处理的概要的流程图。

如图26所示，代表值计算部327计算当前图像中的关注像素的像素值与多个过去图像各自的关注像素的像素值的平均值ave(步骤s500)。另外，除了平均值以外，代表值计算部327也可以使用当前图像中的关注像素的像素值与多个过去图像各自的关注像素的像素值的中央值等统计值进行计算。

接着，代表值计算部327将上述步骤s500中计算出的平均值ave决定为代表值(步骤s501)。在步骤s501之后，图像处理装置30a返回上述图15的主例程。

根据以上说明的本发明的实施方式4，代表值计算部323使用从第3外部接口部31输入的当前图像和存储部36存储的多个过去图像，计算与未产生rts噪声的情况下的像素值相当的代表值，因此，在当前图像的关注像素的周边像素大小变化的情况下，也能够减小该大小变化，因此，不会使画质劣化，能够降低rts噪声。

另外，在本发明的实施方式4中，代表值计算部323使用当前图像和多个过去图像计算与未产生rts噪声的情况下的像素值相当的代表值，但是，例如也可以使用当前图像的拍摄时刻(生成定时)和前后的过去图像或与未来(新)的图像数据对应的图像(以下为“未来图像”)计算代表值。该情况下，在使用m张过去图像和未来图像的情况下，将该m张中的n张设为过去图像，将m-n张设为未来图像即可。在使用该未来图像的情况下，可能产生帧延迟，因此，优选在能够容许帧延迟的范围内使用未来图像。

并且，在本发明的实施方式4中，代表值计算部323也可以在存储部36中存储时间上与当前图像连续的校正前的图像，代替过去图像而使用校正前的过去图像。

(实施方式4的变形例1)

接着，对本发明的实施方式4的变形例1进行说明。在本实施方式4的变形例1中，噪声降低部的结构不同，而且，图像处理装置执行的代表值计算处理不同。具体而言，本实施方式4的变形例1的图像处理装置使用当前像素和校正前的过去图像计算代表值。下面，在对本实施方式4的变形例1的噪声降低部的结构进行说明后，对本实施方式4的变形例1的图像处理装置执行的代表值计算处理进行说明。另外，对与上述实施方式相同的结构标注相同标号并省略说明。

图27是示出本发明的实施方式4的变形例1的噪声降低部的详细结构的框图。图27所示的噪声降低部35c1在上述实施方式4的噪声降低部35c的结构的基础上还具有置信度计算部34a。

〔代表值计算处理的概要〕

图28是示出本实施方式4的变形例1的图像处理装置30a执行的代表值计算处理的概要的流程图。

如图28所示，容许范围计算部323c根据关注像素的rts噪声信息，计算代表值计算处理中能够使用的像素值的范围即容许范围th(有效范围)(步骤s511)。具体而言，容许范围计算部323c通过以下的式(13)计算容许范围th(有效范围)。

th＝关注像素的rts_value×co…(13)

这里，co是规定系数，例如优选为1以上的值。另外，co可以预先设定固定值，也可以由用户设定任意值。

接着，代表值计算部327对计数器进行初始化(i＝0)(步骤s512)，提取从存储部36输入的多个校正前的过去图像中的第i个图像的关注像素的像素值val(i)(步骤s513)。具体而言，代表值计算部327按照时序顺序将从存储部36输入的m张校正前的过去图像设为第0、1、…m-1个(值大的一方为过去)校正前的过去图像。另外，步骤s513中从存储部36输入的多个校正前的过去图像分别被实施关注像素的位置对齐的处理。并且，第0个过去图像与当前图像相同。

然后，代表值计算部327判断当前图像的关注像素的像素值val与第i个校正前的过去图像的关注像素的像素值val(i)之差是否为容许范围th以下(|val(i)-val|≦th)(步骤s514)。在代表值计算部327判断为当前图像的关注像素的像素值val与第i个校正前的过去图像的关注像素的像素值val(i)之差为容许范围th以下的情况下(步骤s514：是)，图像处理装置30a转移到后述步骤s515。与此相对，在代表值计算部327判断为当前图像的关注像素的像素值val与第i个校正前的过去图像的关注像素的像素值val(i)之差不是容许范围th以下的情况下(步骤s514：否)，图像处理装置30a转移到后述步骤s517。

在步骤s515中，代表值计算部327判断由置信度计算部34a计算出的第i个校正前的过去图像的运动矢量的置信度rel(i)是否为规定阈值rel_th以上(rel(i≧(rel_th))。这里，阈值rel_th可以预先设定固定值，也可以构成为由用户设定任意值。在代表值计算部327判断为由置信度计算部34a计算出的第i个校正前的过去图像的运动矢量的置信度rel(i)为规定阈值rel_th以上的情况下(步骤s515：是)，图像处理装置30a转移到后述步骤s516。与此相对，在代表值计算部327判断为由置信度计算部34a计算出的第i个校正前的过去图像的运动矢量的置信度rel(i)不是规定阈值rel_th以上的情况下(步骤s515：否)，图像处理装置30a转移到后述步骤s517。

在步骤s516中，代表值计算部327在存储部36的mval[]中存储第i个校正前的过去图像的关注像素的像素值val(i)。

接着，代表值计算部327判断计数器i是否小于从存储部36输入的校正前的过去图像的张数m(i<m)(步骤s517)。在由代表值计算部327判断为计数器i小于从存储部36输入的校正前的过去图像的张数m的情况下(步骤s517：是)，代表值计算部327使计数器向上计数(i＝i+1)(步骤s518)，返回步骤s513。与此相对，在由代表值计算部327判断为计数器i不小于从存储部36输入的校正前的过去图像的张数m的情况下(步骤s517：否)，图像处理装置30a转移到步骤s519。

在步骤s519中，代表值计算部327在存储部36的mval[]中存储当前图像的关注像素的像素值val。

接着，代表值计算部327计算存储部36的mval[]中存储的全部像素值的平均值ave(步骤s520)。另外，代表值计算部327也可以对各图像的关注像素的像素值进行加权，计算平均值。作为该加权系数的计算方法，可以在运动矢量的置信度较大的情况下增大加权系数，也可以在|val(i)-val|较小的情况下减小加权系数，还可以根据多个参数(例如运动矢量的置信度或差等)的组合计算加权。并且，除了平均值和进行了加权后的平均值以外，代表值计算部327也可以使用中央值或最频值等其他统计值。

然后，代表值计算部327将步骤s520中计算出的平均值ave决定为代表值(步骤s521)。在步骤s521之后，图像处理装置30a返回图115的主例程。

根据以上说明的本发明的实施方式4的变形例1，代表值计算部327根据当前图像中的关注像素的像素值，决定从与当前图像中的关注像素的位置对应的校正前的多个过去图像的各个像素的像素值中提取并计算出的值作为代表值。由此，在被摄体的亮度值变化的情况下，仅根据与当前图像的像素值相似的像素值计算代表值，因此，能够提高代表值的可置信性。

(实施方式4的变形例2)

接着，对本发明的实施方式4的变形例2进行说明。在本实施方式4的变形例2中，仅上述实施方式4的图像处理装置30a执行的代表值计算处理不同。具体而言，本实施方式4的变形例2的图像处理装置30a使用校正前的过去图像和过去图像计算代表值。下面，对本实施方式4的变形例2的图像处理装置30a执行的代表值计算处理进行说明。

〔代表值计算处理的概要〕

图29是示出本实施方式4的变形例2的图像处理装置30a执行的代表值计算处理的概要的流程图。

在图29中，步骤s601～步骤s607分别对应于上述图26的步骤s511～步骤s518。另外，在步骤s602中，不需要i＝0，也可以设为i＝1，仅使用校正前的过去图像计算代表值。

在步骤s608中，代表值计算部327判断存储部36的mval[]中存储的像素数是否大于阈值thref(mval[]>thref)。在代表值计算部327判断为存储部36的mval[]中存储的像素数大于阈值thref的情况下(步骤s608：是)，图像处理装置30a转移到后述步骤s611。与此相对，在代表值计算部327判断为存储部36的mval[]中存储的像素数不大于阈值thref的情况下(步骤s608：否)，图像处理装置30a转移到后述步骤s609。

在步骤s609中，代表值计算部327判断当前图像的关注像素的像素值val与过去图像的关注像素的像素值val(i)之差是否为容许范围th以下(|val(i)-val|≦th)(步骤s609)。在代表值计算部327判断为当前图像的关注像素的像素值val与过去图像的关注像素的像素值val(i)之差为容许范围th以下的情况下(步骤s609：是)，图像处理装置30a转移到后述步骤s610。与此相对，在代表值计算部327判断为当前图像的关注像素的像素值val与过去图像的关注像素的像素值val(i)之差不是容许范围th以下的情况下(步骤s609：否)，图像处理装置30a转移到后述步骤s611。

在步骤s610中，代表值计算部327在存储部36的mval[]中存储过去图像的关注像素的像素值val(i)。在步骤s610之后，图像处理装置30a转移到步骤s611。

步骤s611～步骤s613分别对应于上述图26的步骤s519～步骤s521。在步骤s613之后，图像处理装置30a返回图15的主例程。

根据以上说明的本发明的实施方式4的变形例2，在与校正前的过去图像中的关注像素相似的像素值较少的情况下，代表值计算部327参照过去像素的像素值计算代表值，因此，能够提高代表值的可置信性。

(实施方式4的变形例3)

接着，对本发明的实施方式4的变形例3进行说明。在本实施方式4的变形例3中，上述实施方式4的图像处理装置30a执行的代表值计算处理不同。具体而言，本实施方式4的变形例3的图像处理装置30a使用过去图像的周边像素的像素值计算代表值。下面，对本实施方式4的变形例3的图像处理装置30a执行的代表值计算处理进行说明。

〔代表值计算处理的处理〕

图30是示出本实施方式4的变形例3的图像处理装置30a执行的代表值计算处理的概要的流程图。

在图30中，步骤s701～步骤s704分别对应于上述图16的步骤s201～步骤s204。

在步骤s705中，对计数器进行初始化(i＝0)(步骤s705)，将容许范围th内的周边像素的像素值存储在存储部36的mval[]中(步骤s706)。

接着，在存储部36中存储的mval[]的像素数多于预先设定的阈值thref的情况下(步骤s707：是)、或计数器i多于从存储部36输入的过去图像的张数m的情况下，图像处理装置30a转移到后述步骤s709。

在步骤s707中存储部36中存储的mval[]的像素数不多于预先设定的阈值thref的情况下、且计数器i不多于从存储部36输入的过去图像的张数m的情况下(步骤s707：否)，图像处理装置30a转移到后述步骤s708。

在步骤s708中，代表值计算部327使计数器向上计数(i＝i+1)。在步骤s708之后，图像处理装置30a返回步骤s706。

步骤s709和步骤s710分别对应于上述图27的步骤s612和步骤s613。

并且，代表值计算部327也可以在存储部36中存储时间上与当前图像连续的校正前的图像，代替过去图像而使用校正前的过去图像。

根据以上说明的本发明的实施方式4的变形例3，代表值计算部327使用过去图像的周边像素的像素值计算代表值，因此，能够提高代表值的可置信性。

(实施方式5)

接着，对本发明的实施方式3进行说明。在上述实施方式1中，单独设置有图像处理装置30，但是，在本实施方式5中，在摄像装置主体中设置图像处理装置。因此，下面，对与上述实施方式1的摄像系统1相同的结构标注相同标号并省略说明。

〔摄像系统的结构〕

图31是示意地示出本发明的实施方式5的摄像系统2的结构的框图。图31所示的摄像系统2具有主体部3、以及能够以拆装自如的方式与主体部3连接的镜头部4。

〔主体部的结构〕

主体部3具有快门103、摄像元件105、模拟处理部106、a/d转换部107、操作部108、存储器接口部109、记录介质110、易失存储器111、非易失存储器112、总线113、摄像控制部114、ae处理部116、af处理部117、外部接口部118、显示部119、驱动器120、rts噪声校正部320。驱动器120在摄像控制部114的控制下，对快门103进行驱动。

ae处理部116经由总线113取得易失存储器111中存储的图像数据，根据该取得的图像数据，设定进行静态图像拍摄或动态图像拍摄时的曝光条件。具体而言，ae处理部116根据图像数据计算亮度，根据计算出的亮度决定例如光圈值、曝光时间、iso感光度等，由此进行摄像系统2的自动曝光(autoexposure)。

af处理部117经由总线113取得易失存储器111中存储的图像数据，根据所取得的图像数据，进行摄像系统2的自动焦点调整。例如，af处理部117从图像数据中取出高频成分的信号，对高频成分的信号进行af(autofocus：自动对焦)运算处理，由此决定摄像系统2的合焦评价，从而进行摄像系统2的自动焦点调整。另外，关于摄像系统2的自动焦点调整方法，也可以利用摄像元件105取得相位差信号。

外部接口部118能够进行主体部3中的各种块中的数据的读写、基于专用命令等的控制等。外部接口部118是如下的接口：通过与搭载有fpga、dsp或gpu等的专用电路或个人计算机(pc)等外部设备连接，能够对主体部3中的各种块进行控制。

显示部119使用由液晶或有机el(electroluminescence：电致发光)等构成的显示面板构成。显示部119显示与摄像元件105生成的图像数据对应的图像。

〔镜头部的结构〕

如图31所示，镜头部4使从规定视野区域会聚的被摄体像形成在摄像元件105上。具有光学系统101、光圈102、驱动器104。

〔摄像系统的处理〕

接着，对摄像系统2执行的处理进行说明。图32是示出摄像系统2执行的处理的概要的流程图。

如图32所示，首先，当用户对操作部108的电源按钮(未图示)进行操作而接通主体部3的电源后，摄像控制部114进行摄像系统2的初始化(步骤s801)。具体而言，摄像控制部114进行使表示动态图像记录中的记录中标志成为无效状态的初始化。该记录中标志是在动态图像的拍摄中成为有效状态、在未拍摄动态图像时成为无效状态的标志，存储在易失存储器111中。

接着，在按下了操作部108的动态图像按钮的情况下(步骤s802：是)，摄像控制部114使以有效状态表示处于动态图像记录中的记录中标志反转(步骤s803)，摄像控制部114判断摄像系统2是否处于动态图像记录中(步骤s804)。具体而言，摄像控制部114判定易失存储器111中存储的记录中标志是否是有效状态。在由摄像控制部114判断为摄像系统2处于动态图像记录中的情况下(步骤s804：是)，摄像系统2转移到后述步骤s805。与此相对，在由摄像控制部114判断为摄像系统2未处于动态图像记录中的情况下(步骤s804：否)，摄像系统2转移到后述步骤s806。

在步骤s805中，摄像控制部114生成用于在记录介质110中沿着时间序列记录图像数据的动态图像文件。在步骤s805之后，摄像系统2转移到后述步骤s806。

在步骤s802中未按下操作部108的动态图像按钮的情况下(步骤s802：否)，摄像系统2转移到步骤s806。

接着，摄像控制部114判断摄像系统2是否处于动态图像记录中(步骤s806)。在由摄像控制部114判断为摄像系统2处于动态图像记录中的情况下(步骤s806：是)，摄像系统2转移到后述步骤s817。与此相对，在由摄像控制部114判断为未处于动态图像记录中的情况下(步骤s806：否)，摄像系统2转移到后述步骤s807。

在步骤s807中按下了操作部108的再现按钮的情况下(步骤s807：是)，摄像系统2使显示部119再现显示与记录介质110中记录的图像数据对应的图像(步骤s808)。在步骤s808之后，摄像系统2转移到后述步骤s809。

在步骤s807中未按下操作部108的再现按钮的情况下(步骤s807：否)，摄像系统2转移到步骤s809。

接着，在按下了操作部108的菜单按钮的情况下(步骤s809：是)，摄像系统2执行进行各种设定的设定处理(步骤s810)。在步骤s810之后，摄像系统2转移到后述步骤s811。

在步骤s809中未按下操作部108的菜单按钮的情况下(步骤s809：否)，摄像系统2转移到步骤s811。

在步骤s811中操作部108的释放按钮从断开状态转变到1st状态的情况下(步骤s811：是)，摄像控制部114使ae处理部116执行调整曝光的ae处理，并且使af处理部117执行调整焦点的af处理(步骤s812)。然后，摄像系统2转移到后述步骤s824。

在步骤s811中操作部108的释放按钮未从断开状态转变到1st状态的情况下(步骤s811：否)，摄像系统2转移到步骤s813。

接着，在操作部108的释放按钮转变到2nd状态的情况下(步骤s813：是)，摄像控制部114执行利用机械快门的拍摄(步骤s814)。具体而言，摄像控制部114通过对快门103进行控制，使摄像元件105执行拍摄。

接着，摄像系统2执行如下图像处理：在对摄像元件105生成的图像数据进行rts噪声的校正后，进行规定处理(步骤s815)。另外，图像处理在后面详细叙述。

然后，摄像控制部114将图像处理部303实施了图像处理后的图像数据记录在记录介质110中(步骤s816)。在步骤s816之后，摄像系统2转移到后述步骤s824。

在步骤s813中操作部108的释放按钮未转变到2nd状态的情况下(步骤s813：否)，摄像系统2转移到步骤s817。

接着，摄像控制部114使ae处理部116执行调整曝光的ae处理(步骤s817)，使af处理部117执行调整焦点的af处理(步骤s818)。

然后，摄像控制部114经由驱动器120使摄像元件105执行利用以电子方式对曝光时间进行控制的所谓电子快门的拍摄(步骤s819)。通过利用电子快门的拍摄而由摄像元件105生成的图像数据经由模拟处理部106、a/d转换部107和总线113输出到易失存储器111中。

接着，摄像系统2执行与步骤s815相同的图像处理(步骤s820)。另外，图像处理在后面详细叙述。

然后，摄像系统2使显示部119显示实时取景图像，该实时取景图像与通过电子快门的拍摄而由摄像元件105生成的图像数据对应(步骤s821)。

接着，在摄像系统2处于动态图像记录中的情况下(步骤s822：是)，摄像控制部114使未图示的图像压缩解压缩部以通过步骤s810的设定处理而设定的记录形式压缩图像数据，使记录介质110将该压缩后的图像数据作为动态图像记录在所生成的动态图像文件中(步骤s823)。在步骤s823之后，摄像系统2转移到步骤s824。

在步骤s822中摄像系统2未处于动态图像记录中的情况下(步骤s822：否)，摄像系统2转移到步骤s824。

接着，在按下操作部108的电源按钮而使摄像系统2的电源成为断开状态的情况下(步骤s824：是)，摄像系统2结束本处理。与此相对，在摄像系统2的电源未成为断开状态的情况下(步骤s824：否)，摄像系统2返回步骤s802。

〔图像处理的概要〕

接着，对图32的步骤s815和步骤s820中说明的图像处理进行说明。图33是示出图像处理的概要的流程图。

如图33所示，rts噪声校正部320针对摄像元件105生成的图像数据执行校正rts噪声的rts噪声校正处理(步骤s901)。这里，rts噪声校正处理对应于上述实施方式1的图像处理装置30执行的处理或上述实施方式2～4的图像处理装置30a执行的处理，所以省略说明。

接着，图像处理部303针对由rts噪声校正部320校正了rts噪声后的图像数据执行基本图像处理(步骤s902)。在步骤s902之后，摄像系统2返回图32的主例程。

根据以上说明的本发明的实施方式5，具有与上述实施方式1相同的效果。

(其他实施方式)

本发明不限于上述实施方式，当然能够在本发明的主旨的范围内进行各种变形和应用。例如，除了本发明的说明中使用的摄像装置以外，还能够应用于便携电话或智能手机中的具有摄像元件的便携设备、摄像机、内窥镜、监视照相机、显微镜这样的通过光学设备拍摄被摄体的摄像装置等、能够对被摄体进行摄像的任意设备。

在本发明中，根据rts噪声的特征量即rts_value或作为基于rts_value的值的候选值的最大值，对随机噪声模型的参照值、或要参照的噪声模型进行变更，但是，也可以组合它们，根据rts噪声的特征量选择随机噪声模型，进而变更参照值来估计随机噪声量。并且，随机噪声量根据温度而不同，所以，也可以根据拍摄图像数据时的摄像元件的温度选择随机噪声模型，进而应用上述方法。

并且，在本发明中，rts噪声信息记录部设置在摄像装置内，但是，也可以设置在上述图像处理装置内，还可以在能够经由网络进行双向通信的服务器内设置rts噪声信息记录部，经由网络取得rts噪声信息。

并且，本发明还能够应用于显示或记录用的图像数据以外的图像数据、例如ob区域的图像数据或光学上未设计保证的像圈外的区域的图像数据等图像数据。

并且，在本说明书中，在所述各动作流程图的说明中，为了简便而使用“首先”、“接着”、“接下来”、“然后”等对动作进行了说明，但是，并不意味着必须按照该顺序来实施动作。

并且，上述实施方式中的图像处理装置的各处理的方法、即各流程图所示的处理均能够作为能够使cpu等控制部执行的程序预先进行存储。除此以外，还能够存储在存储卡(rom卡、ram卡等)、磁盘(软盘(注册商标)、硬盘等)、光盘(cd-rom、dvd等)、半导体存储器等外部存储装置的存储介质中进行发布。而且，cpu等控制部读入该外部存储装置的存储介质中存储的程序，通过该读入的程序对动作进行控制，由此能够执行上述处理。

并且，本发明不限于上述实施方式和变形例的原样，能够在实施阶段在不脱离发明主旨的范围内对结构要素进行变形而具体化。并且，通过适当组合上述实施方式所公开的多个结构要素，能够形成各种发明。例如，可以从上述实施方式和变形例所记载的全部结构要素中删除若干个结构要素。进而，可以适当组合各实施方式和变形例中说明的结构要素。

并且，在说明书或附图中，至少一次与更加广义或同义的不同术语一起记载的术语能够在说明书或附图的任意部位置换为该不同的术语。这样，能够在不脱离发明主旨的范围内进行各种变更和应用。

标号说明

1、1a、2：摄像系统；3：主体部；4：镜头部；10：摄像装置；30、30a：图像处理装置；31：第3外部接口部；32：插值处理部；33：帧存储器；34：运动检测部；34a：置信度计算部；35、35a、35b、35c、35b1、35c1：噪声降低部；36：存储部；37：操作部；38：图像处理部；39：图像处理控制部；40：显示装置；101：光学系统；102：光圈；103：快门；104：驱动器；105：摄像元件；105a：像素；105b：第1开关；105c：垂直传输线；105d：fd部；105e：放大器部；105f：第2开关；105h：传输线；106：模拟处理部；107：a/d转换部；108：操作部；109：存储器接口部；110：记录介质；111：易失存储器；112：非易失存储器；112a：程序记录部；112b：rts噪声信息记录部；112c：随机噪声模型信息记录部；113：总线；114：摄像控制部；115：第1外部接口部；116：ae处理部；117：af处理部；118：外部接口部；119：显示部；120：驱动器；303：图像处理部；310：插值处理部；320、320b、320c：rts噪声校正部；321：rts噪声像素判定部；322：候选值计算部；323、326、327：代表值计算部；323a：第1参照值计算部；323b：第1随机噪声量估计部；323c：容许范围计算部；324：随机噪声量估计部；325：校正值计算部；325a：第2参照值计算部；325b：第2随机噪声量估计部；325c：校正量决定部；325d：像素值校正部；351：评价值计算部；352：估计噪声量取得部；353：一览表；354：判定部；355：噪声降低处理部。