图像处理装置和图像处理方法

专利名称：图像处理装置和图像处理方法
技术领域：
本发明涉及对按时间序列方式所输入的图像进行降噪处理的图像处理装置和图 像处理方法。
背景技术：
动态图像信号是收集多个按指定时间间隔所拍摄的帧(场)图像而构成的信号。 该动态图像信号一般可假定为各帧(场)图像具有针对帧内(场内)的局部空间的相关， 并且邻接帧(场)具有针对帧间(场间)的局部时间的相关。这样的动态图像信号主要是通过利用具有CXD和CMOS等摄像元件的摄像机拍摄 任意的被摄体而获得的。例如，数字摄像机中的数字动态图像信号按以下获得。首先，利用 构成摄像机的摄像部的镜头，使光学被摄体像在摄像元件上成像。所成像的光学被摄体像 按排列在摄像元件上的各像素进行光电转换而成为电信号。该电信号按预定顺序从摄像元 件被输出。从该摄像元件输出的信号是模拟图像信号。该模拟图像信号以预定的增益量进 行放大，之后由A/D转换部转换成数字图像信号。这样获得的数字图像信号通常在此后由 数字信号处理电路进行预定的图像处理。在这样的由摄像机所拍摄的图像中一般重叠有噪声。噪声的产生有各种要因，其 中之一是由摄像元件的特性引起。作为起因于该摄像元件的特性的噪声中的代表性噪声， 可列举起因于光电转换时的统计性质的散粒噪声。该散粒噪声具有与图像信号值的平方根 成正比的平均振幅，一般针对时间方向和空间方向在统计上成为随机噪声。随机噪声照字义是“随机”，相对于此，动态图像信号如上所述被认为在局部空间 上和局部时间上有相关性，因而作为针对重叠有这样的随机噪声的动态图像信号进行的降 噪处理，能利用以下的降噪处理利用了空间相关的帧内(场内)降噪处理，以及利用了时 间相关的帧间(场间)降噪处理。于是，以往提出了各种针对动态图像信号能利用的这些 降噪处理技术。另外，以下，只要不作特别区别，就将1个摄像图像记载为帧，然而即使将帧置换 为场，也能同样应用发明。首先，在上述的2种降噪处理中的利用时间相关的降噪处理中，有将降噪后的帧 用作以前帧的巡回型降噪处理，对于该巡回型降噪处理，公知其是在有数的降噪处理技术 中可获得较大的降噪效果的技术。不过，该技术是以处理对象帧和该处理对象帧的以前的 帧之间的相关作为前提的技术，因而当应用于具有运动的场景时，具有以前的帧重叠在当 前的帧上而产生残像的问题。为了应对该问题，还开发出控制成减少残像的技术，然而新产 生这样的问题当减少了残像时，下次不能期待充分的降噪效果。作为用于解决该问题的技术，例如在日本特开平2-184176号公报中记载了这样 的技术检测影像的各画面部分的变化量，进一步计算与该变化量成正比的动态信号，根据 该动态信号分别切换前一帧的影像信号的权重和当前帧的前一行的影像信号的权重，将这 些加权后的影像信号相加后的信号与当前的影像信号以预定比率进行混合，从而进行降噪处理。在该技术中，由于根据影像的变化量计算动态信号，因而当在影像的边缘部有变动 时，导致当前影像信号相对于前一帧或前一行的影像信号的混合比率增大，具有降噪效果 下降的问题。对此，例如在日本特开平6-62283号公报中记载了这样的降噪处理技术将帧内相关和帧间相关一起利用，即使对于有运动的场景，也能提高降噪能力。该公报记载的降噪 系统具有用于延迟1个帧或者1个场的图像存储器，通过对以下的像素数据进行非线性滤 波器处理，输出进行了降噪后的像素数据，这些像素数据是新输入的中心像素数据；该中 心像素数据的附近的像素数据；以及记录在该图像存储器内的已进行了降噪的前一帧或者 前一场的图像数据中的所述中心像素数据的附近的像素数据。所述非线性滤波器是这样的 非线性滤波器对与所述中心像素数据值相关高的附近像素的数据分配大的权重系数，反 之对相关低的像素分配小的权重系数，进行加权平均。这样，可进行利用了帧内相关和帧间 相关这两者的降噪。在该技术中，特别是在摄像图像在静止状态的情况下，由于在加权平 均中使用的前一帧或前一场的像素和当前场的像素中权重系数大的像素增加，因而有助于 平均化的像素数增加，能有效地进行降噪。并且，在摄像图像有运动的情况下，与前一帧或 前一场的像素相比，对当前场的像素赋予大的权重系数，进行使用了大致当前场的像素的 加权平均，因而降噪量与在静止状态的情况下相比减小，然而与使用当前帧和以前帧的相 同位置的像素的简单的巡回型降噪处理相比，降噪效果可以说很大。不过，在该处理中，由 于存在这样的情况，即，不仅针对与处理对象像素本来有相关的像素设定大的权重，而且即 使是与处理对象像素没有时间方向的相关的像素，也由于噪声影响而判定为外观上的相关 高，设定大的权重，因而当使用这些像素来进行滤波器处理时，有可能消除了本来应再现的 图像的细微结构。并且，在日本特开平6-350879号公报中记载了这样的技术在进行帧间的降噪处 理时，进行当前帧的预定块与前一帧的图像信号的块匹配来计算相关，提取判定为相关最 高的前一帧的块，对该提取块和当前帧的预定块进行降噪处理。在该技术中，即使在有运动 的情况下，也能有效利用帧间相关来进行降噪。不过，在该技术中，当图像信号内包含噪声 时，块匹配的精度下降，具有这样的可能性在摄影图像中的不包含结构上显著的特征(边 缘)等的处于静止的细微结构区域中，作为来自前一帧的图像信号的提取块，(在噪声是随 机噪声的情况下例如任意地)提取了本来不应提取的块。由于这与将时间上运动的图像进 行累计是等效的，因而有可能消除了静止区域的细微结构并招致分辨率下降。这样，对于使用时间相关的现有的降噪处理，特别是针对动态区域，是实质切换到 主要使用帧内相关的降噪处理的技术，或者是计算运动矢量、提取帧间相关高的区域、更积 极地利用帧间相关来进行降噪处理的技术。然而，对于上述的现有技术，如上所述，可以说都不能利用帧间相关来提高降噪能 力，而且不能充分保持细微结构。

发明内容
本发明是鉴于上述情况而完成的，本发明的目的是提供一种可在良好保持细微结 构的同时、充分降低动态图像的噪声的图像处理装置和图像处理方法。为了达到上述目的，本发明的图像处理装置对按时间序列输入的图像进行降噪处理，所述图像处理装置具有像素提取单元，其提取处理对象图像内的包含对象像素在内的 第1预定区域的多个像素、以及该处理对象图像之前的过去图像的包含空间位置与所述对 象像素相同的像素在内的第2预定区域的多个像素；运动矢量计算单元，其根据所述第1预 定区域内的一部分或全部像素、以及所述第2预定区域内的一部分像素，计算所述第1预定 区域相对于所述过去图像的运动矢量；滤波器系数决定单元，其根据所述运动矢量，决定针 对所述第2预定区域的多个像素的滤波器系数；以及降噪单元，其根据所述第2预定区域的 多个像素和所述滤波器系数，降低所述对象像素的噪声。并且，根据本发明的图像处理方法对按时间序列输入的图像进行降噪处理，所述 图像处理方法具有像素提取步骤，提取处理对象图像内的包含对象像素在内的第1预定 区域的多个像素、以及该处理对象图像之前的过去图像的包含空间位置与所述对象像素相 同的像素在内的第2预定区域的多个像素；运动矢量计算步骤，根据所述第1预定区域内的 一部分或全部像素、以及所述第2预定区域内的一部分像素，计算所述第1预定区域相对于 所述过去图像的运动矢量；滤波器系数决定步骤，根据所述运动矢量，决定针对所述第2预 定区域的多个像素的滤波器系数；以及降噪步骤，其根据所述第2预定区域的多个像素和 所述滤波器系数，降低所述对象像素的噪声。


图1是示出本发明的实施方式1中的图像处理装置的结构的框图。图2是示意示出在上述实施方式1中、当前帧与前一帧的像素的位置关系的图。图3是示出上述实施方式1中的针对当前帧的处理对象像素的提取块区域(5X5 像素)的图。图4是示出上述实施方式1中的针对前一帧的空间位置与处理对象像素相同的像 素的提取块区域(5X5像素)的图。图5是示出上述实施方式1中的当前帧的差值块(5X5像素)的图。图6是示出上述实施方式1中的前一帧的差值块(5X5像素)的图。图7是示出上述实施方式1中的运动矢量计算部的详细结构的框图。图8是示出在上述实施方式1中、与运动矢量计算中的块匹配结果相乘的权重 W(k)的配置例的图。图9是示出在上述实施方式1中、图像信号中所包含的噪声量与亮度级的关系的 线图。图10是示出上述实施方式1中的运动矢量决定部的详细结构的框图。图11是示出在上述实施方式1中、当由相关值判定部判定为中央部的3X3像素 区域的相关高时的5X5像素区域的图。图12是示出在上述实施方式1中、当由相关值判定部判定为左侧偏上方的Eltl和 E12之间的相关高时的5 X 5像素区域的图。图13是示出在上述实施方式1中、当由相关值判定部判定为右上角部的Εμ、E04, E14的相关高时的5X5像素区域的图。图14是示出在上述实施方式1中、针对图11所示的2值化相关值E(k)计算出的 运动矢量ν的图。
图15是示出在上述实施方式1中、针对图12所示的2值化相关值E (k)计算出的 运动矢量ν的图。图16是示出在上述实施方式1中、针对图13所示的2值化相关值E (k)计算出的 运动矢量ν的图。图17是示出在上述实施方式1中、对应于图14所示的运动矢量所决定的空间距 离滤波器的系数例的图。图18是示出在上述实施方式1中、对应于图15所示的运动矢量所决定的空间距 离滤波器的系数例的图。图19是示出在上述实施方式1中、对应于图16所示的运动矢量所决定的空间距 离滤波器的系数例的图。图20是示出上述实施方式1中的滤波器系数决定部的详细结构的框图。
图21是示出上述实施方式1中的空间距离滤波器系数表的图。图22是示出上述实施方式1中的存储有与像素值间差值对应的权重系数值的像 素值间距离滤波器系数表的图。图23是示出上述实施方式1中的降噪处理部的详细结构的框图。图24是示出上述实施方式1中的图像处理装置的处理进程的流程图。图25是示出本发明的实施方式2中的图像处理装置的结构的框图。
具体实施例方式
以下，参照

本发明的实施方式。[实施方式1]图1至图24示出本发明的实施方式1，图1是示出图像处理装置的结构的框图，图 2是示意示出当前帧与前一帧的像素的位置关系的图。在进行具体说明之前，参照图2说明在本实施方式中使用的表记的定义。首先，假定时间由t表示，图像中的空间位置由r表示。不过，由于图像是二维，因 而期望的是，空间位置r以矢量表记作为基准例如用粗体字符表示，然而在本文中用通常 的字符代替。然后，设作为处理对象图像的当前帧中的降噪处理对象的处理对象像素为P(rQ， tc)0而且，设由处理对象像素POv t。)和位于该处理对象像素POv t。)的空间附近的周边 像素构成的当前帧的提取块区域(第1预定区域)202内所包含的像素为P (r，tc)。而且，将降噪后的前一帧中的提取块区域(第2预定区域)(而且，在图2中示出 降噪前的前一帧中的提取块区域202。该提取块区域202被提取成包含与上述的处理对象 像素POv t。)为同一空间位置A的像素P Ovtp)。而且，这里假定提取块区域201是与提 取块区域202同一尺寸的区域，然而如后所述不限于此)所包含的像素为Pn(r，tp)(另外， 附给P的下标η表示是已进行了降噪处理的像素。并且，空间位置A与处理对象像素P (r0, tc)相同的像素是Pn (r。，tp)。)。并且，将当前帧的提取块区域的像素P (r，tc)相对于处理对象像素POv tc)的差 值设为D (r, tc)，根据以下算式进行定义。D (r, tc) = P (r, tc) -P (r0, tc)
式中，假定将r = rQ时的差值D定义为D(r0，tc) = P(r0，tc)。而且，设前一帧的提取块区域的像素Pn(r，tp)相对于处理对象像素POv t。)的差值为D (r, tp)，根据以下算式进行定义。D (r，tp) = Pn (r, tp) -P (r0，tc)然后，设针对当前帧的提取块区域的像素P(r，tc)的降噪用滤波器系数为C(r， t。)，设针对前一帧的提取块区域的像素Pn(r，tp)的降噪用滤波器系数为C(r，tp)，则降噪用 滤波器处理后的处理对象像素Pr Ov tc)按以下计算。Pr (r0, tc) = Σ rC (r, tc) P (r, tc) + Σ rC (r, tp) Pn(r，tp)这里，符号“Σ广表示提取区域内的总和。并且，假定上述的各降噪用滤波器系数 C(r, t。)、C(r，tp)满足下面的标准化条件。Σ r{C(r, tc)+C(r, tp)} = 1并且，图3 图6示出分别用5X5像素的二维排列要素。、。、^、 表现上述P(r， tc)、Pn(r，tp)、D(r，tc)、D(r，tp)的例子。这里，图3是示出针对当前帧的处理对象像素的 提取块区域(5X5像素)的图，图4是示出针对前一帧的空间位置与处理对象像素相同的 像素的提取块区域(5X5像素)的图，图5是示出当前帧的差值块(5X5像素)的图，图6 是示出前一帧的差值块(5X5像素)的图。S卩，P(r，t。)对应于图3中用Petltl Pe44表示的排列要素301，Pn(r，tp)对应于图4 中用Pp。。 Pp44表示的排列要素401，D(r, tc)对应于图5中用Detltl D。44表示的排列要素 501,D(r,tp)对应于图6中用0_ Dp44表示的排列要素601。这里，处理对象像素的空间 位置r。分别对应于位于各排列中央的要素即P。22、Pp22, Dc22, Dp220并且，根据上述的r = r0 时的差值D的定义，Dc22等于P。22。下面，参照图1说明本实施方式的图像处理装置的基本结构。该图像处理装置具有行存储器101 ；作为像素值间差值计算单元的像素值间差 值计算部102 ；作为运动矢量计算单元的运动矢量计算部103 ；作为滤波器系数决定单元的 滤波器系数决定部104 ；作为降噪单元的降噪处理部105 ；帧存储器106 ；控制部107 ；以及 作为像素提取单元的区域提取部108。数字动态图像信号例如按光栅扫描顺序被输入到行存储器101。这里，假定动态图 像信号是这样的动态图像信号例如经由未图示的摄像部的镜头成像在摄像元件上的光学 像由该摄像元件进行光电转换而作为模拟信号被输出，然后该模拟信号进行A/D转换而成 为数字数据。该行存储器101构成为能存储多行的数据。更详细地说，行存储器101构成为至 少能存储可包含由降噪处理部105进行了滤波处理的处理区域在内的行数的数据。区域提取部108根据来自控制部107的控制信号，从存储在行存储器101内的多 行数据中提取包含处理对象像素P(IV tc)在内的附近的预定尺寸的块区域的各像素P(r， 、)，将提取出的块区域的各像素P(r，tc)分别输出到像素值间差值计算部102和降噪处理 部 105。并且，区域提取部108根据来自控制部107的控制信号，从存储在帧存储器106内 的降噪后的前一帧的输出图像数据中提取包含与处理对象像素POv tc)为同一像素位置r0的像素PnOvtp)在内的附近的预定块区域的各像素Pn(r，tp)，将提取出的块区域的各像 素？ 0·，tp)分别输出到像素值间差值计算部102和降噪处理部105。这里，帧存储器106构成为具有可存储2帧的图像数据的容量的环形缓存器。艮口， 帧存储器106构成为，使用所输入的降噪后的当前帧图像的各像素Pn(r，t。)，改写已记录的 降噪后的前一帧图像的各像素Pn(r，tp)。像素值间差值计算部102根据所输入的像素P(r，t。)和其中的处理对象像素P(rQ， t。)，如上所述计算差值D (r，t。)，然后，根据所输入的前一帧的像素Pn(r，tp)和当前帧的处 理对象像素P Ov t。)，如上所述计算差值D (r，tp)。然后，像素值间差值计算部102将计算 出的差值D(r，t。)和D(r，tp)分别输出到运动矢量计算部103和滤波器系数决定部104。 运动矢量计算部103根据所输入的差值D (r，t。)和D(r，tp)计算运动矢量(这里， ν也用通常字符代替粗体字符)，将计算出的运动矢量ν输出到滤波器系数决定部104。并 且，运动矢量计算部103将计算出的运动矢量ν输出到其他处理部，以使得也能在例如手抖 校正等其他处理中使用。滤波器系数决定部104根据所输入的差值D (r，tc)和D(r，tp)以及运动矢量v， 计算用于对当前帧的提取块区域的各像素P (r，t。)应用的滤波器系数C (r，t。)和用于对前 一帧的提取块区域的各像素Pn(r，tp)应用的滤波器系数C(r，tp)，将计算出的滤波器系数 C(r, tc)和C(r，tp)输出到降噪处理部105。降噪处理部105根据从区域提取部108输入的当前帧的预定的提取块区域的像素 P(r，t。)、从区域提取部108输入的前一帧的预定的提取块区域的像素Pn(r，tp)、从滤波器 系数决定部104输入的滤波器系数C (r，t。)和C(r，tp)、以及从控制部107输入的噪声估计 参数(如后所述，例如ISO灵敏度和增益量等)，针对处理对象像素POv t。)进行降噪处理。 然后，降噪处理部105将降噪后的处理对象像素PnOv tc)输出到未图示的输出缓存器，并 且还输出到帧存储器106。接着，图7是示出运动矢量计算部103的详细结构的框图。该运动矢量计算部103具有区域选择部701 ；块匹配处理部702 ；作为噪声量估 计单元的噪声量估计部703 ；以及运动矢量决定部704。输入到运动矢量计算部103的来自像素值间差值计算部102的输出即提取块区域 的差值D(r，tc)被输入到区域选择部701。于是，区域选择部701提取所输入的差值D(r， tc)的例如中央部的区域(另外，这里提取与提取块区域的一部分对应的差值D，然而也可 以提取与提取块区域的全部对应的差值D (特别是，当使前一帧的提取块区域取大于当前 帧的提取块区域的尺寸时等)。在该图7所示的例子中，运动矢量计算部103提取与图5所 示的5X5像素的排列要素501的中央部的3X3像素区域对应的D。n、Dcl2, D。13、Dc21, Dc22, D。23、D。31、D。32、D。33。然后，运动矢量计算部103按以下计算该提取区域内的累计值S。S =Σ rDx(r，tc)+P(r0，tc)这里的符号“Σ /’表示由区域选择部701提取出的3X3像素区域内的总和。并 且，Dx(r, tc)表示将提取出的中央部3X3像素区域的中央的D。22 = P。22置换为0(也就是 说，设Dc22 = Pc22 = 0)的区域内所包含的像素(在图7中，图示出该Dx (r，t。))。运动矢量计算部103将计算出的累计值S输出到噪声量估计部703，并将Dx (r, tc) 输出到块匹配处理部702。
这样，来自区域选择部701的差值数据提取区域的像素Dx (r，tc)被输入到块匹配 处理部702。然后，来自像素值间差值计算部102的差值D(r，tp)被输入到该块匹配处理部 702。然后，块匹配处理部702通过进行如下的运算，计算当前帧与前一帧的提取块内的相 关值E(k)(这里，k也使用通常字符代替粗体字符)。E (k) =Er|D (r+k，tp) -Dx (r, tc) | Xff (k)式中，假定在(r+k)超过前一帧的提取区域D(r+k，tp)的情况下，不追加加法运算处理。并且，W(k)是为了补充由于在外周部的相关值计算中使用的像素数减少从而变为较 小值而设置的权重。这里，图8是示出与运动矢量计算中的块匹配结果相乘的权重W(k)的 配置例的图。在该图8中，示出5X5像素的区域中的权重一例。另外，在上述中，使用差值绝对值来进行相关值E (k)的计算，使得减少计算量，然 而不限于此。当然，在计算量即使少许增大也没关系的情况下，可以使用例如平方和来计算 相关值E(k)。块匹配处理部702将这样计算出的相关值E(k)输出到运动矢量决定部704。另一方面，来自控制部107的噪声估计参数被输入到噪声量估计部703，并且来自 区域选择部701的提取区域的累计值S被输入到噪声量估计部703。然后，噪声量估计部 703根据噪声估计参数和累计值S，估计噪声量。这里，图9是示出图像信号中所包含的噪 声量(噪声统计量(标准偏差))与亮度级的关系的线图。在该图9中，将作为用于进行噪 声量估计的噪声估计参数之一的噪声模型表描绘成7点(包含零在内的8点)的折线图形 来示出。这里，噪声模型表按以下构成。首先，利用生成噪声模型表的对象的摄像装置，预 先拍摄特定的被摄体。该特定的被摄体是由多个不同亮度级的补片(patch)构成的被摄 体，是亮度级在各补片的区域内均一的被摄体，可列举灰度图等为例。然后，将各区域内的 平均值用作亮度级，将标准偏差用作噪声量，使这些亮度级和噪声量对应起来制表。噪声量估计部703将上述提取区域累计值S用作亮度级，根据在该亮度级的上侧 和下侧附近的2个登记亮度级，参照上述噪声模型表，取得与该2个登记亮度级对应的2个 标准偏差。然后，噪声量估计部703根据上述2个登记亮度级和累计值S的亮度级对这2 个标准偏差进行线性插补，针对累计值S的亮度级计算噪声量Ν (ι。然后，噪声量估计部703 通过根据作为来自控制部107的噪声估计参数之一的摄像条件(ISO感光度和增益量这样 的参数)校正计算出的噪声量Ν (ι，由此计算最终的估计噪声量 。该最终的估计噪声量Nq 的计算例如按以下进行。Nq = NtltlXF(增益量，…)这里，F(x，…)是具有1个以上变量的函数。之后，噪声量估计部703将计算出的估计噪声量Nq输出到运动矢量决定部704。然后，图10是示出运动矢量决定部704的详细结构的框图。该运动矢量决定部704具有相关值判定部1001，高相关区域候选提取部1002，以 及重心计算部1003。输入到运动矢量决定部704的估计噪声量Nq和相关值E (k)被输入到相关值判定 部1001。于是，相关值判定部1001将估计噪声量Nq和相关值E (k)进行比较。不过，由于 所输入的估计噪声量Nq是相对于1个像素的量，因而为了使估计噪声量Nq的大小与相关值E(k)的大小一致，相关值判定部1001将使估计噪声量Nq成为预定系数倍后的结果重新用 作估计噪声量 ，之后进行上述比较。然后，相关值判定部1001在判定为相关值E(k)大于估计噪声量Nq的情况下，认 为是相关低的区域而输出值0 ；在除此以外的情况下，认为是虽然被噪声埋没但具有相关 高的可能性的区域，输出值1。图11 图13示出5X5像素区域中的相关值E(k)的判定结果的若干例。这里， 图11是示出当由相关值判定部1001判定为中央部的3X3像素区域的相关高时的5X5像 素区域的图，图12是示出当由相关值判定部1001判定为左侧偏上方的Eltl和E12之间的相 关高时的5X5像素区域的图，图13是示出当由相关值判定部1001判定为右上角部的EQ3、 E04, E14的相关高时的5X5像素区域的图。另外，图11 图13中，阴影线的区域对应于认 为具有相关高的可能性而设置了 1的区域，除此以外的区域对应于认为相关低而设置了 0 的区域。
S卩，在图11的标号1101所示的例子中，认为中央部3X3像素区域的相关高而设 置了值1，除此以外的区域认为相关低而设置了 0。并且，在图12的标号1201所示的例子中，认为Eltl和E12的相关高而设置了值1， 除此以外的区域认为相关低而设置了 0。同样，在图13的标号1301所示的例子中，认为EQ3、EQ4、E14的相关高而设置了值1， 除此以外的区域认为相关低而设置了 0。相关值判定部1001将这样进行了 2值化后的相关值E (k)重新用作2值化相关值 E (k)，输出到高相关区域候选提取部1002。高相关区域候选提取部1002对在所输入的2值化相关值E (k)中设置了 1的区域 的中心位置E22计算位置矢量ke，将计算出的位置矢量ke输出到重心计算部1003。重心计算部1003通过进行下面的计算来计算运动矢量V，将计算出的运动矢量ν 输出到滤波器系数决定部104。V=E ke/Ne这里，Ne是从高相关区域候选提取部1002输出的位置矢量的数量。S卩，在所输入的2值化相关值E (k)例如相对于图11所示的中心位置E22为上下左 右对称的情况下，重心计算部1003将图14的标号1401所示的零矢量计算为运动矢量ν。 这里，图14是示出针对图11所示的2值化相关值E(k)计算出的运动矢量ν的图。并且，在所输入的2值化相关值E (k)例如相对于图12所示的中心位置E22向左上 方偏离的情况下，重心计算部1003将图15的标号1501所示的矢量计算为运动矢量ν。这 里，图15是示出针对图12所示的2值化相关值E (k)计算出的运动矢量ν的图。然后，在所输入的2值化相关值E (k)例如相对于图13所示的中心位置E22向右上 角部偏离的情况下，重心计算部1003将图16的标号1601所示的矢量计算为运动矢量ν。 这里，图16是示出针对图13所示的2值化相关值E(k)计算出的运动矢量ν的图。然后，图20是示出滤波器系数决定部104的详细结构的框图。该滤波器系数决定部104具有空间距离滤波器系数表2000 ；作为最大权重位置 决定单元和空间权重系数决定单元的空间距离滤波器系数选择部2001 ；作为像素值间距 离权重系数决定单元的像素值间距离滤波器系数选择部2002 ；像素值间距离滤波器系数表2003 ；构成滤波器系数计算单元的乘法器2004 ；构成滤波器系数计算单元的标准化系数 计算部2005 ；构成滤波器系数计算单元的滤波器系数计算部2006 ；以及构成滤波器系数计 算单元的除数乘数转换部2007。来自像素值间差值计算部102的输出即差值D(r，tc)和D(r，tp)、以及来自运动 矢量计算部103的输出即运动矢量ν被输入到滤波器系数决定部104。该各输入中的差值 D(r, tc)和D(r，tp)被输入到像素值间距离滤波器系数选择部2002，运动矢量ν被输入到 空间距离滤波器系数选择部2001。空间距离滤波器系数选择部2001将所输入的运动矢量ν的二维坐标转换成从左 上向右下的光栅扫描顺序的序列编号η。然后，空间距离滤波器系数选择部2001从存储在 空间距离滤波 器系数表2000内的图21的标号2101所示的索引是1到N的系数表中，选择 序列编号η的表进行读入。这里，图21是示出空间距离滤波器系数表的图。并且，在各索 引的表内存储有滤波器尺寸(例如5X5像素)的系数值。并且，在运动矢量ν是以像素间距作为精度的情况下，索引的总数N是与运动矢量 计算区域的像素数相同的数量。或者，在运动矢量ν是以半像素间距作为精度的情况下，索 引的总数N是所述像素数的4倍的数量。图17 图19示出所选择的例如5X5像素的滤波器系数值的例子。这里，图17 是示出对应于图14所示的运动矢量所决定的空间距离滤波器的系数例的图，图18是示出 对应于图15所示的运动矢量所决定的空间距离滤波器的系数例的图，图19是示出对应于 图16所示的运动矢量所决定的空间距离滤波器的系数例的图。S卩，在运动矢量是图14的标号1401所示的运动矢量的情况下，决定了图17的标 号1701所示的滤波器系数。另外，该标号1701所示的滤波器系数也对应于与当前帧的提 取块的差值D (r，tc)对应的空间距离滤波器。并且，在运动矢量是图15的标号1501所示的运动矢量的情况下，决定了图18的 标号1801所示的滤波器系数。而且，在运动矢量是图16的标号1601所示的运动矢量的情况下，决定了图19的 标号1901所示的滤波器系数。另外，图17 图19所示的滤波器系数值是为了示出滤波器系数根据运动矢量进 行二维变化的情况而作了例示，并不限定于该各图所示的滤波器系数值。该图17 图19所示的滤波器系数是根据高斯函数Gs (r) = Aexp {-(r-v)2/2 σ s2} 构成的滤波器系数。高斯函数的中心位置(r = ν)(该中心位置是最大权重位置)对应于 在图17 图19中施加了阴影线的位置，具有系数值根据距该中心位置的空间距离|r|而 减小的特性。也就是说，图17 图19所示的滤波器系数设置成使高斯函数的滤波器移动 以使得用运动矢量表示的位置ν作为中心位置，并提取出核心尺寸区域(在图示的例子中 是5X5像素尺寸的区域)。另外，这里说明了使用高斯函数来构成滤波器系数的例子，然而不限于此，当然可 以使用高斯函数以外的函数来构成滤波器系数。空间距离滤波器系数选择部2001将这样选择出的空间距离滤波器系数输出到乘 法器2004。另一方面，像素值间距离滤波器系数选择部2002分别取得从像素值间差值计算部102输入的差值D(r，tc)和D(r，tp)的绝对值来作为像素值间距离，从像素值间距离滤波器系数表2003中选择与这些像素值间距离对应的滤波器系数，将所选择的滤波器系数 输出到乘法器2004。这里，图22是示出存储有与像素值间差值对应的权重系数值的像素值间距离滤 波器系数表的图。标号2201例示的像素值间距离滤波器系数表具有从0到M的索引，对应 于差值绝对值的可取范围。然后，像素值间距离滤波器系数表存储着输入了像素值间距离 (差值绝对值)时的预定函数值。另外，像素值间距离滤波器可以与上述的空间距离滤波器一样根据高斯函数 Gd(d) = Bexp {_d2/2 ο d2}(这里d是像素值间距离)来设计，或者也可以根据函数值随着变 量值增大而减小的任意函数(例如有理函数等)来设计。来自空间距离滤波器系数选择部2001的空间距离滤波器系数、和来自像素值间 距离滤波器系数选择部2002的像素值间距离滤波器系数是针对每个相同滤波器系数位 置，通过乘法器2004进行乘法运算而成为双向滤波器系数值的。然后，该双向滤波器系数 值被输出到滤波器系数计算部2006和标准化系数计算部2005。这里，由于计算出的双向滤 波器系数值在核心内的总和一般不能固定为1而是可变，因而通过滤波器系数计算部2006 进行用于使滤波器系数的总和成为1的滤波器系数校正。因此，首先由标准化系数计算部2005计算与所输入的当前帧和前一帧的提取块 分别对应的双向滤波器系数值的总和，作为标准化系数值输出到除数乘数转换部2007。除数乘数转换部2007具有将输入值转换为倒数的表，将所输入的标准化系数值 转换为倒数，并输出到滤波器系数计算部2006。滤波器系数计算部2006通过将标准化系数值的倒数乘以所输入的双向滤波器系 数值，由此求出总和为1的滤波器系数C (r，t。)、C(r，tp)，将求出的滤波器系数C (r，t。)、 C(r，tp)输出到降噪处理部105。另外，上述滤波器系数用于双向滤波器，然而取而代之，可以用于仅使用空间距离 的单向滤波器。在该情况下，尽管相对于陡峭的边缘结构而言的保存性下降，然而在保持细 微结构方面可充分发挥功能。然后，图23是示出降噪处理部105的详细结构的框图。该降噪处理部105具有基准信号计算部2301，核化处理部2302，以及噪声量估计 部 2303。从区域提取部108输出的提取块区域的像素P (r，tc)、Pn(r, tp)和处理对象像素 P(r0, t。)、从滤波器系数决定部104输出的滤波器系数C(r，tc)和C(r，tp)、以及从控制部 107输出的噪声估计参数被输入到降噪处理部105。该各输入中的提取块区域的像素P (r， tc) *Pn(r，tp)以及滤波器系数C(r，tc)和C(r，tp)被输入到基准信号计算部2301，处理 对象像素P Ov tc)被输入到核化处理部2302，噪声估计参数被输入到噪声量估计部2303。基准信号计算部2301根据所输入的像素P(r，tc)和Pn(r，tp)以及滤波器系数 C(r, tc)和C(r，tp)，进行以下那样的滤波器处理，将处理结果输出到噪声量估计部2303和 核化处理部2302。 噪声量估计部2303根据所输入的基准信号P, Ov t。)和上述的噪声估计参数(ISO灵敏度、信号增益量、传感器温度、曝光时间、以及噪声模型表)估计噪声量，将估计出的噪 声量输出到核化处理部2302。这里，对于该噪声量估计部2303的噪声量估计，除了使用基 准信号PJrtl, tc)取代提取区域累计值S来作为亮度级这一方面以外，与运动矢量计算部 103内所包含的噪声量估计部703相同，因而省略说明。核化处理部2302根据所输入的基准信号PjrQ，tc)、处理对象像素P(rQ，tc)以及 估计噪声量Nq，进行基于以下条件的核化处理，从而计算降噪后的处理对象像素PnOv tc)， 将计算出的降噪后的处理对象像素PnOv tc)分别输出到未图示的输出缓存器和帧存储器 106。|P(r。，tc)_Pr(r。，tc) I < 时Pn(r0, tc) =Pr(r0, tc)P(r0, tc)-Pr(r0, tc) ^NqWPn(r0, tc) =P(r0, tc)-NqP (r0, tc) -Pr (r0, tc) ( -Nq 时Pn(r0, tc) =P(r0, tc)+Nq另外，这里使降噪处理部105采用图23所示的结构，然而不限于这样的结构，可以 采用从该图23所示的结构中省略噪声量估计部和核化处理部后的更简单的结构。在该情 况下，降噪处理是将基准信号Pr Ov t。)用作降噪后的处理对象像素Pn(IVtc)的处理，也就 是说，Pn(r0, tc) =Pr(r0, tc)图24是示出图像处理装置的处理进程的流程图。开始该处理后，使帧存储器106的内容初始化为零(步骤S2401)。然后，将按光栅扫描顺序输入的输入图像信号按预定行数存储在行存储器101内 (步骤S2402)。例如，在利用降噪处理部105针对5X5像素的提取像素块进行降噪处理的 情况下，在该步骤S2402中要存储的是例如4行。接下来，在输入图像信号是从行的开头起第5像素(在提取像素块的水平方向的 像素数是5个像素的情况下)以下的情况下，将5个像素存储在行存储器101内，在是第6 像素以上的情况下，将1个像素存储在行存储器101内(步骤S2403)。由此，例如在步骤 S2402中已在行存储器101内存储了 4行的情况下，在该步骤S2403中存储4行+5个像素， 能将最初的5X5像素用作提取块。并且，在行存储器101内已存储了例如4行+5个像素的 情况下，在该步骤S2403中存储4行+6个像素，能使提取块水平错开1个像素，也就是说， 能使处理对象像素水平移动1个像素。因此，利用区域提取部108从行存储器101中提取当前帧的处理对象块区域的像 素 P(r，tc)(步骤 S2404)。然后，利用区域提取部108从帧存储器106中提取前一帧的处理对象块区域的像 素？ 0·，tp)(步骤 S2405)。然后，通过利用像素值间差值计算部102求出P(r，tc)以及Pn(r，tp)与处理对象 像素P(rQ，tc)之间的差值，由此计算像素值间差值D(r，tc)和D(r，tp)(步骤S2406)。之后，利用运动矢量计算部103，使用像素值间差值D (r，tc)和D(r，tp)来计算运 动矢量ν (步骤S2407)。
然后，利用滤波器系数决定部104，根据像素值间差值D (r，tc)和D(r，tp)以及运 动矢量v，计算滤波器系数C (r，tc)和C(r，tp)(步骤S2408)。然后，利用降噪处理部105，根据滤波器系数C(r，t。)和C(r，tp)以及像素P(r，tc) 和Pn(r，tp)，计算进行了降噪的处理对象像素Pn(rQ，t0)(步骤S2409)。然后，将计算出的降噪后的处理对象像素Pn (I^tci)分别存储在未图示的输出缓存 器和帧存储器内(步骤S2410)。之后，判定帧像素数量的处理是否结束(步骤S2411)，在判定为帧像素数量的处 理未结束的情况下，回到步骤S2403，重复进行上述的处理。另一方面，在判定为帧像素数量的处理结束的情况下，进一步判定预定处理帧数 量的处理是否结束(步骤S2412)。这里，在判定为预定处理帧数量的处理还未结束的情况下，回到步骤S2402，按上 述进行下一帧的处理。并且，在判定为预定处理帧数量的处理结束的情况下，结束全部该一系列处理。根据这样的实施方式1，由于根据动态图像信号的小振幅的变动来变更使前一帧 的提取块进行作用的滤波器系数，因而能进行保持了细微结构的降噪。并且，针对大的变动，由于根据像素值间差值来变更滤波器系数，因而能抑制边缘 部变弱。而且，估计噪声量，根据估计出的噪声量决定运动矢量，因此，尽管针对没有强的 边缘等特征的图像区域计算出的运动矢量原本没有时间方向的相关性，然而可减少起因于 噪声而被误检测为运动矢量的情况。[实施方式2]图25示出本发明的实施方式2，是示出图像处理装置的结构的框图。在该实施方 式2中，对于与上述实施方式1相同的部分附上相同标号而省略说明，主要仅说明不同点。首先，说明在该实施方式2中使用的表记的定义与在上述实施方式1中使用的表 记的定义的不同。在该实施方式2中，使用未进行降噪的前一帧的信号(即，不是巡回型降 噪处理)。因此，由于前一帧未进行降噪，因而前一帧的提取块区域的表记为P (r，tp)。伴随于此，针对前一帧的提取块区域的差值D (r，tp)的定义为下式。D(r, tp) = P(r, tp)-P(r0, tc)然后，降噪用滤波器处理后的处理对象像素PJiv tc)的定义为下式。 然后，如图25所示，本实施方式的图像处理装置具有开关2501 ；帧存储器2502 ； 帧存储器2503 ；作为像素提取单元的区域提取部2504 ；像素值间差值计算部102 ；运动矢 量计算部103 ；滤波器系数决定部104 ；降噪处理部105 ；以及控制部107。数字的动态图像信号例如按光栅扫描顺序被输入到开关2501。这里，动态图像信 号是这样的动态图像信号例如经由未图示的摄像部的镜头成像在摄像元件上的光学像由 该摄像元件进行光电转换而作为模拟信号被输出，然后该模拟信号进行A/D转换而成为数 字数据。开关2501将所输入的动态图像信号的输出目的地切换到帧存储器2502或帧存储 器2503。该开关2501的输出目的地的切换是根据控制部107的控制按每个帧期间进行的。
区域提取部2504根据控制部107的控制信号，判定存储在帧存储器2502和帧存 储器2503内的数据内的哪一方是当前帧的数据、且另外哪一方是前_帧的数据，根据判定 结果，从当前帧的数据中提取包含处理对象像素P Ov tc)在内的附近的预定尺寸的块区域 的像素P(r，t。)，并从前一帧的数据中提取预定块区域的像素P (r，tp)。然后，区域提取部 2504将这些提取块区域的像素P(r，t。)和P(r，tp)输出到像素值间差值计算部102和降噪 处理部105。像素值间差值计算部102根据所输入的P(r，t。)和P(I^te)计算差值D(r，t。)，然 后，根据所输入的P (r，tp)和P Ov tc)计算差值D (r，tp)。然后，像素值间差值计算部102 将计算出的差值D(r，t。)和D(r，tp)分别输出到运动矢量计算部103和滤波器系数决定部 104。运动矢量计算部103根据所输入的差值D (r，t。)和D(r，tp)计算运动矢量v，将计 算出的运动矢量ν输出到滤波器系数决定部104。
滤波器系数决定部104根据所输入的差值D(r，t。)和D(r，tp)以及运动矢量v，计 算滤波器系数C(r，t。)和C(r，tp)，将计算出的滤波器系数C(r，t。)和C(r，tp)输出到降噪 处理部105。降噪处理部105根据从区域提取部2504输入的当前帧的预定的提取块区域的像 素P(r，tc)、从区域提取部2504输入的前一帧的预定的提取块区域的像素P(r，tp)、从滤波 器系数决定部104输入的滤波器系数C(r，t。)和C(r，tp)、以及从控制部107输入的用于调 整降噪量的噪声估计参数，针对处理对象像素P Ov tc)进行降噪处理。然后，降噪处理部 105将进行了降噪后的处理对象像素PnOv tc)输出到未图示的输出缓存器。根据这样的实施方式2，与上述的实施方式1大致一样，由于根据动态图像信号的 小振幅的变动来变更使前一帧的提取块进行作用的滤波器系数，因而能进行保持了细微结 构的降噪。并且，针对大的变动，由于根据像素值间差值变更滤波器系数，因而能抑制边缘 部变弱。并且，该实施方式2由于不采用上述的实施方式1那样的巡回型滤波器结构，因而 不能期待与上述的实施方式1相同的降噪效果，然而即使在起因于运动矢量的误检测等而 使细微结构在某帧中例如消失的情况下，也能另行获得在短期间中(例如下一帧中)消除 该影响的效果。另外，在上述的各实施方式中，使前一帧的提取块尺寸和当前帧的提取块尺寸相 同，但是无需特意这样。例如，可考虑使前一帧的提取块尺寸大于当前帧的提取块尺寸。在 该情况下，能计算更宽范围内的运动矢量。并且，在该情况下，由于还能使用当前帧的提取 块整体来进行运动矢量的块匹配，因而能提高运动矢量检测精度。而且，在上述的各实施方式中，采用大致同时实施运动矢量计算处理、滤波器系数 计算处理以及降噪处理的结构，将帧存储器所需要的存储器尺寸抑制到最低限度。然而，不 限于此，还能将运动矢量计算处理与其他处理分开，设置在其他处理的前面。然而在该情况 下，有必要另行准备好用于计算运动矢量的帧存储器。另外，本发明并不限定于上述的实施方式，可在实施阶段中在不背离本发明主旨 的范围内对构成要素进行变形来具体化。并且，通过将上述实施方式公开的多个构成要素 适当组合，可形成各种发明。例如，可以从实施方式所示的全部构成要素中删除若干构成要素。而且，可以将不同实施方式中的构成要素适当组合。这样，当然能在不背离发明主旨的 范围内进行各种变形和应用。
本申请是以2007年11月21日在日本提交的日本特願2007-302099号作为优先 权主张的基础来进行申请的，上述公开内容被引用在本申请说明书、权利要求书和附图中。
权利要求
一种图像处理装置，该图像处理装置对按时间序列输入的图像进行降噪处理，其特征在于，所述图像处理装置具有像素提取单元，其提取处理对象图像内的包含对象像素在内的第1预定区域的多个像素、以及该处理对象图像之前的过去图像的包含空间位置与所述对象像素相同的像素在内的第2预定区域的多个像素；运动矢量计算单元，其根据所述第1预定区域内的一部分或全部像素、以及所述第2预定区域内的一部分像素，计算所述第1预定区域相对于所述过去图像的运动矢量；滤波器系数决定单元，其根据所述运动矢量，决定针对所述第2预定区域的多个像素的滤波器系数；以及降噪单元，其根据所述第2预定区域的多个像素和所述滤波器系数，降低所述对象像素的噪声。
2.根据权利要求1所述的图像处理装置，其特征在于，所述图像处理装置还具有像素 值间差值计算单元，该像素值间差值计算单元计算由所述像素提取单元提取出的所述第1 预定区域内的像素的像素值以及所述第2预定区域内的像素的像素值与上述对象像素的 像素值之间的差值，所述运动矢量计算单元根据针对所述第1预定区域内的一部分或全部像素的所述差 值、以及针对所述第2预定区域内的一部分像素的所述差值，计算所述第1预定区域相对于 所述过去图像的运动矢量。
3.根据权利要求2所述的图像处理装置，其特征在于，上述滤波器系数决定单元根据 所述像素值间的差值和所述运动矢量，决定针对所述第2预定区域的多个像素的滤波器系 数，并决定针对所述第1预定区域的多个像素的滤波器系数，上述降噪单元根据所述第1预定区域的多个像素、所述第2预定区域的多个像素以及 所述滤波器系数，降低所述对象像素的噪声。
4.根据权利要求1至权利要求3中任一项所述的图像处理装置，其特征在于，上述运动 矢量计算单元构成为具有估计针对上述对象像素的噪声量的噪声量估计单元，并根据估计 出的所述噪声量决定运动矢量。
5.根据权利要求1至权利要求4中任一项所述的图像处理装置，其特征在于，上述滤波 器系数决定单元构成为具有最大权重位置决定单元，其根据上述运动矢量决定最大权重位置；以及空间距离权重系数决定单元，其根据距所述最大权重位置的空间距离，决定针对所述 预定区域的像素的空间距离权重系数。
6.根据权利要求3所述的图像处理装置，其特征在于，上述滤波器系数决定单元构成 为具有最大权重位置决定单元，其根据上述运动矢量决定最大权重位置；空间距离权重系数决定单元，其根据距所述最大权重位置的空间距离，决定针对所述 预定区域的像素的空间距离权重系数；像素值间距离权重系数决定单元，其根据上述像素值间的差值，决定针对所述预定区 域的像素的像素值间距离权重系数；以及滤波器系数计算单元，其根据所述空间距离权重系数和所述像素值间距离权重系数，计算针对所述预定区域的像素的滤波器系数。
7.根据权利要求1至权利要求6中任一项所述的图像处理装置，其特征在于，所述过去 图像是由所述降噪单元降低了噪声后的图像。
8.一种图像处理方法，该图像处理方法对按时间序列输入的图像进行降噪处理，其特 征在于，所述图像处理方法具有像素提取步骤，提取处理对象图像内的包含对象像素在内的第1预定区域的多个像 素、以及该处理对象图像之前的过去图像的包含空间位置与所述对象像素相同的像素在内 的第2预定区域的多个像素；运动矢量计算步骤，根据所述第1预定区域内的一部分或全部像素、以及所述第2预定 区域内的一部分像素，计算所述第1预定区域相对于所述过去图像的运动矢量；滤波器系数决定步骤，根据所述运动矢量，决定针对所述第2预定区域的多个像素的 滤波器系数；以及降噪步骤，根据所述第2预定区域的多个像素和所述滤波器系数，降低所述对象像素 的噪声。
9.根据权利要求8所述的图像处理方法，其特征在于，所述图像处理方法还具有像素 值间差值计算步骤，该像素值间差值计算步骤计算由所述像素提取步骤提取出的所述第1 预定区域内的像素的像素值以及所述第2预定区域内的像素的像素值与上述对象像素的 像素值之间的差值，所述运动矢量计算步骤是这样的步骤根据针对所述第1预定区域内的一部分或全部 像素的所述差值、以及针对所述第2预定区域内的一部分像素的所述差值，计算所述第1预 定区域相对于所述过去图像的运动矢量。
10.根据权利要求9所述的图像处理方法，其特征在于，上述滤波器系数决定步骤是这 样的步骤根据所述像素值间的差值和所述运动矢量，决定针对所述第2预定区域的多个 像素的滤波器系数，并决定针对所述第1预定区域的多个像素的滤波器系数，上述降噪步骤是这样的步骤根据所述第1预定区域的多个像素、所述第2预定区域的 多个像素以及所述滤波器系数，降低所述对象像素的噪声。
11.根据权利要求8至权利要求10中任一项所述的图像处理方法，其特征在于，上述运 动矢量计算步骤是这样的步骤包含估计针对上述对象像素的噪声量的噪声量估计步骤， 并根据估计出的所述噪声量决定运动矢量。
12.根据权利要求8至权利要求11中任一项所述的图像处理方法，其特征在于，上述滤 波器系数决定步骤包含以下步骤最大权重位置决定步骤，根据上述运动矢量决定最大权重位置；以及空间距离权重系数决定步骤，根据距所述最大权重位置的空间距离，决定针对所述预 定区域的像素的空间距离权重系数。
13.根据权利要求10所述的图像处理方法，其特征在于，上述滤波器系数决定步骤包 含以下步骤最大权重位置决定步骤，根据上述运动矢量决定最大权重位置；空间距离权重系数决定步骤，根据距所述最大权重位置的空间距离，决定针对所述预 定区域的像素的空间距离权重系数；像素值间距离权重系数决定步骤，根据上述像素值间的差值，决定针对所述预定区域 的像素的像素值间距离权重系数；以及滤波器系数计算步骤，根据所述空间距离权重系数和所述像素值间距离权重系数，计 算针对所述预定区域的像素的滤波器系数。
14.根据权利要求8至权利要求13中任一项所述的图像处理方法，其特征在于，所述过 去图像是由所述降噪步骤降低了噪声后的图像。
全文摘要
一种图像处理装置，具有区域提取部(108)，其提取当前帧内的包含对象像素在内的第1预定区域和前一帧的包含空间位置与对象像素相同的像素在内的第2预定区域；运动矢量计算部(103)，其根据第1预定区域内的一部分或全部像素、以及第2预定区域内的一部分像素，计算第1预定区域相对于前一帧的运动矢量；滤波器系数决定部(104)，其根据运动矢量，决定针对第2预定区域的多个像素的滤波器系数；以及降噪处理部(105)，其根据第2预定区域的多个像素和滤波器系数，降低对象像素的噪声。
文档编号H04N5/21GK101868966SQ200880117358
公开日2010年10月20日 申请日期2008年11月13日 优先权日2007年11月21日
发明者佐佐木宽 申请人:奥林巴斯株式会社