专利名称：图像处理设备和图像处理方法
技术领域：
本公开涉及图像处理设备和图像处理方法，具体地，涉及降低包括在图像中的噪声的图像处理设备与图像处理方法。
背景技术：
在拍摄图像时，存在通过把相继拍摄的多个图像(帧)加以合成获得降低噪声的图像的已知技术。例如，在要被处理的图像(目标图像)上合成在目标图像的拍摄之前或者之后相继拍摄的、并通过运动估计和运动补偿而对准的多个图像(参照图像)的情况下， 在时间方向上集合了几乎互相相同的图像。因此，随机地包括在每个图像中的噪声被抵消 (cancel out)，因此结果噪声降低。以下，把通过这样的方法实现的噪声降低(NR)称为帧 NR。作为帧NR的优点，存在无论空间频率如何都可以降低噪声。例如，在使用空间滤波器的NR中，难以将高频分量的噪声与拍摄对象的边缘相区分。相比之下，在帧NR中，能够降低高频分量的噪声，同时保持拍摄对象的边缘(例如，参照JP 2009-81596A)。
发明内容
然而，包括在图像中的所有噪声不一定都是随机噪声。例如，在噪声中，由于传感器特性或者镜头特性的偏差，也存在作为固定样式而被包括在每个图像中的噪声。即使在时间方向上集合每个图像，也不能抵消这样的固定样式的噪声，因此难以使用帧NR降低这样的噪声。考虑到以上，希望提供新颖和改进的、并且能够增强通过合成图像进行的噪声降低处理的效果的图像处理设备和图像处理方法。根据本公开的实施例，提供了图像处理设备，包括运动补偿部分，补偿目标图像和参照图像之间的运动；图像合成部分，通过合成其之间的运动已被补偿的目标图像和参照图像，生成合成的图像；以及空间滤波部分，进行对该合成的图像的空间滤波。该空间滤波部分可以通过使用ε -滤波器进行对该合成的图像的空间滤波。该空间滤波部分可以缩小合成的图像，并且进行空间滤波。该合成的图像的图像信号可以是包括亮度分量和色差分量的图像信号，该空间滤波部分可以进行对该色差分量的空间滤波。所述目标图像的图像信号和所述参照图像的图像信号每个可以是包括亮度分量和色差分量的图像信号。根据本公开的另一实施例，提供了图像处理方法，包括补偿目标图像和参照图像之间的运动；通过合成其之间的运动已被补偿的目标图像和参照图像，生成合成的图像； 以及对该合成的图像进行空间滤波。根据以上所描述的本公开的实施例，可以增强通过合成图像进行的噪声降低处理的效果。
图I是示出根据本公开的第一实施例的成像设备的功能配置的框图；图2是根据本公开的第一实施例的帧NR处理的概念图；图3是关于根据本公开的第一实施例的运动向量估计处理的说明图；图4是示出根据本公开的第一实施例的成像设备的运动补偿部分的功能配置的框图；图5是示出在根据本公开的第一实施例的成像设备的运动补偿部分中包括的目标块缓冲部分的功能配置的框图；图6是示出在根据本公开的第一实施例的成像设备的运动补偿部分中包括的参照块缓冲部分的功能配置的框图；图7是示出根据本公开的第一实施例的成像设备的图像合成部分的功能配置的框图；图8是示出根据本公开的第一实施例的成像设备的色差NR部分的功能配置的框图；图9是用于将在帧NR之后进行使用具有大的抽头数的ε滤波器的空间滤波的情况与没有帧NR而进行空间滤波的情况相比较的示意图；图10是示出不使用由运动补偿部分提供的参照图像的数据的色差NR部分的功能配置的框图；图11是示出根据本公开的第一实施例的帧NR处理和色差NR处理的流程图；以及图12是示出根据本公开的第二实施例的成像设备的色差NR部分的功能配置的框图。
具体实施例方式以下，将参照附图详细描述本公开的优选实施例。注意，在本说明书和附图中，将以相同的附图标记表示具有基本相同的功能与结构的结构元件，并且省略对这些结构元件的重复说明。注意，将按以下顺序进行描述。I.第一实施例1-1.成像设备的总体配置1-2.关于帧NR处理1-3.帧NR处理和色差NR处理的细节2.第二实施例3.总结〈I.第一实施例><1-1.成像设备的总体配置>首先，将描述根据本公开的第一实施例的成像设备的配置。在本公开的第一实施例中，由成像设备表示图像处理设备，由图像合成部分表示相加部分，以及由色差NR部分表示空间滤波部分。
图I是示出根据本公开的第一实施例的成像设备100的功能配置的框图。成像设备100具有捕捉静止图像或者运动图像并且把所捕捉的静止图像或者运动图像作为数字图像数据记录在记录介质中的功能。成像设备100可以是诸如数字相机的任意电子设备。参照图I，成像设备100包括控制部分101、操作部分102、存储器(memory) 103、 存储区(storage) 104、成像光学系统111、定时生成器112、图像传感器113、信号处理部分 114、RAW/YC转换部分115、运动补偿部分116、图像合成部分117、色差NR部分118、静止图像编解码器119、运动图像编解码器120、NTSC编码器121、以及显示器122。那些各个结构元件经由系统总线125互相连接。控制部分101控制成像设备100的每个部分的操作。控制部分101可以是基于存储在存储器103中的程序而操作从而执行该控制所需的各种运算处理的CPU(中央处理单元)。控制部分101可以使用存储器103作为运算处理的临时存储区域。注意，用于控制部分101操作的程序可以是预先写在存储器103中的程序，或者可以是通过被存储在盘类记录介质或者诸如存储卡的可拆卸存储介质中而被提供给成像设备100的程序。另外，用于控制部分101操作的程序可以经由诸如LAN(局域网)或者因特网的网络而被下载到成像设备100。操作部分102起着用于操作成像设备100的用户接口的作用。例如，操作部分102 可以是提供在成像设备100的外部的诸如快门按钮的操作按钮、触摸面板、或者遥控器。操作部分102可以基于用户进行的操作向控制部分101输出用于成像设备100的激活和停止、拍摄静止图像或者运动图像的开始和结束、成像设备100的各种功能的设置等的操作信号。关于成像设备100的处理的数据可以存储在存储器103中。例如，存储器103可以是诸如快闪ROM(只读存储器)或者DRAM(动态随机存取存储器)的半导体存储器。例如，由控制部分101使用的程序和通过图像处理功能处理的图像信号被临时或者连续地存储在存储器103中。存储在存储器103中的图像信号可以是例如要在以下描述的基础帧 (base frame)和缩小中贞(reduced frame)的目标图像和参照图像、以及NR图像。由成像设备100拍摄的图像作为图像数据存储在存储区104中。例如，存储区104 可以是诸如快闪ROM的半导体存储器、诸如BD (蓝光盘)、DVD (数字通用盘)、或者CD (致密盘)的光盘、或者硬盘。存储区104也可以是内置于成像设备100中的存储设备、或者是诸如可向和从成像设备100拆卸的存储卡的可移除介质。成像光学系统11 I由诸如聚焦镜头和变焦镜头的各种类型的镜头以及诸如滤光器和光圈的光学组件形成。从拍摄对象进入的光学图像(拍摄对象的图像)经由成像光学系统11 I的每个光学组件形成到图像传感器113的曝光表面上的图像中。定时生成器112根据控制部分101给出的指令生成诸如用于垂直传输的4相位脉冲和场移位脉冲、以及用于水平传输的2相位脉冲和快门脉冲的各种类型的脉冲，并且向图像传感器113提供这些脉冲。例如，图像传感器113由诸如CXD (电荷耦合器件)或者CMOS (互补金属氧化物半导体)的固态图像传感器来配置。图像传感器113由来自定时生成器112的操作脉冲来驱动，并且对通过成像光学系统111引导的拍摄对象的图像进行光电转换。以此方式，表示拾取的图像的图像信号被输出到信号处理部分114。此处输出的图像信号是与从定时生成器112提供的操作脉冲同步的信号，并且是包括红(R)、绿(G)、以及蓝⑶三原色的Bayer阵列的RAW信号(原始信号)。例如，在信号处理部分114中以及其后所进行的每个部分的图像处理功能可以通过使用DSP (数字信号处理器)来实现。信号处理部分114对从图像传感器113所输入的图像信号执行诸如噪声降低、白平衡调整、颜色校正、边缘增强、伽马校正、以及分辨率转换的图像信号处理。信号处理部分114可以把数字图像信号临时存储在存储器103中。RAW/ YC转换部分115把从信号处理部分114所输入的RAW信号转换为YC信号，并且把YC信号输出到运动补偿部分116。此处，YC信号时包括亮度分量⑴和红/蓝色差分量(Cr/Cb) 的图像信号。运动补偿部分116从存储器103加载目标图像的图像信号和参照图像的图像信号。运动补偿部分116通过诸如块匹配的处理估计这些图像之间的运动向量，并且补偿目标图像和参照图像之间的运动。如稍后将描述的，运动补偿部分116可以向色差NR部分 118提供用于估计运动向量的处理的缩小的帧匹配处理范围的图像数据。图像合成部分117合成该目标图像和参照图像，其之间的运动已被运动补偿部分 116补偿，并且生成作为合成的图像的NR图像。图像合成部分117向色差NR部分118提供该NR图像。在该NR图像中，由于以上所描述的帧NR所达到的效果，包括在该图像中的噪声降低。注意，以下将描述运动补偿部分116和图像合成部分117的细节。色差NR部分118对图像合成部分117提供的NR图像进行空间滤波。色差NR部分118可以使用滤波器进行NR图像的空间滤波。通过进行空间滤波，可以去除包括在 NR图像中的具有低空间频率的噪声分量。色差NR部分118可以对包括在NR图像的YC信号中的色差分量进行空间滤波。色差NR部分118可以从运动补偿部分116获取用于估计运动向量的处理的缩小的帧匹配处理范围的图像数据。从色差NR部分118输出的图像信号可以临时存储在存储器103中。注意，以下将描述色差NR部分118的细节。在拍摄静止图像的指令由操作部分102获取的情况下(在拍摄静止图像时)，静止图像编解码器119从存储器103加载在NR处理之后所获得的图像信号，使用诸如JPEG(联合图像专家组)的预定压缩编码系统来压缩该图像信号，并且把压缩的图像信号作为图像数据存储在存储区104中。另外，在再现静止图像的指令由操作部分102获取的情况下(在再现静止图像时)，静止图像编解码器119可以从存储区104加载该图像数据，并且可以向 NTSC编码器121提供使用诸如MPEG的预定压缩编码系统所展开的图像信号。在拍摄运动图像的指令由操作部分102获取的情况下(在拍摄运动图像时)，运动图像编解码器120从存储器103加载在NR处理之后所获得的图像信号，使用诸如MPEG(运动画面专家组)的预定压缩编码系统压缩该图像信号，并且把压缩的图像信号作为图像数据存储在存储区104中。另外，在再现运动图像的指令被操作部分102获取的情况下(在再现运动图像时)，运动图像编解码器120可以从存储区104加载该图像数据，并且可以向 NTSC编码器121提供使用诸如MPEG的预定压缩编码系统展开的图像信号。NTSC(国家电视系统委员会)编码器121把该图像信号转换为NTSC系统标准彩色视频信号，并且向显示器122提供该NTSC系统标准彩色视频信号。在拍摄静止图像时或者在拍摄运动图像时，NTSC编码器121可以从存储器103加在载NR处理之后所获得的图像信号，并且可以把该图像作为完成图像(through image)或者拍摄的图像提供给显示器122。另外，在再现静止图像时或者在再现运动图像时，NTSC编码器121可以从静止图像编解码器119或者运动图像编解码器120获取图像信号，并且可以把该图像信号作为再现的图像提供给显示器122。显示器122显示从NTSC编码器121获取的视频信号。例如，显示器122可以是 LCD(液晶显示器)或者有机EL(电致发光)显示器。另外，可以使用图中未示出的诸如 HDMI (高清晰度多媒体接口)的通信部分从成像设备100把从NTSC编码器121输出的视频信号输出到外部。<1-2.关于帧NR处理〉接下来，将描述根据本公开的第一实施例的帧NR处理。在根据本实施例的成像设备100中，主要由运动补偿部分116和图像合成部分117执行帧NR处理。如以上所描述的，在成像设备100中，通过图像传感器113所执行的传感器编码而生成的RAW信号被RAW/YC转换部分115转换为YC信号。通常，关于RAW信号进行帧NR。 然而，对于关于RAW信号的帧NR，使用了成像设备100中的极大量的系统资源。因此，在本实施例中，通过对YC信号进行帧NR，抑制了用于帧NR的系统资源量。图2是根据本公开的第一实施例的帧NR处理的概念图。参照图2，在根据本实施例的帧NR处理中，相继拍摄的多个图像Pl到P3在被对准(运动补偿)之后被合成，并且形成噪声降低的图像Pmix。注意，如以上所描述的，当合成相继拍摄的多个图像时噪声降低的原因在于，在时间方向上集合了几乎相同的图像，并且随机包括在每个图像中的噪声被抵消。在图中所示的例子中，要合成的多个图像Pl到P3不是一定要是3个图像，并且可以是2个图像或者4个或更多的图像。例如，在根据本实施例的成像设备100拍摄静止图像的情况下，在以高速相继拍摄的多个图像中，可以把第一个图像用作目标图像，可以在该目标图像上合成被用作参照图像的第二和接下来的图像。另外，在成像设备100拍摄运动图像的情况下，可以把依次拍摄的相继帧的图像的每个用作目标图像，并且可以把紧接在各目标图像之前的帧的图像作为参照图像合成在这些目标图像上。即，可以把某一帧的图像用作目标图像，并且在把另一帧的图像用作目标图像的情况下，也可以将该某一帧的图像用作参照图像。以此方式，在合成相继拍摄的图像的帧NR的处理中，要被合成的目标图像和参照图像之间的对准(运动补偿)变得重要。在这些图像中，例如，存在由于拍摄者的手的抖动而出现图像错位(misregistration)的情况。另外,在每个图像中,还存在由于拍摄对象本身的运动而出现错位的情况。因此，在本实施例的帧NR中，对于通过划分目标图像所生成的多个目标块中的每个目标块，逐块估计运动向量。另外，对于每个个块，进行其中逐块反映了逐块的运动向量的运动补偿，然后合成目标图像和参照图像。此处，在逐块估计运动向量的处理中，对于目标图像的每个块(目标块)，使用块匹配方法，用于从参照图像的各块(参照块)中搜索具有与该每个块的最高相关性的块 (运动补偿块)。逐块的运动向量被确定为目标块和运动补偿块之间的错位。例如，可以使用各块中像素的亮度值的SAD (绝对差之和)值来估计目标块和参照块之间的相关性程度。图3是关于根据本公开的第一实施例的运动向量估计处理的说明图。参照图3，在根据本实施例的运动向量估计处理中，首先，估计缩小帧上的运动向量，并且基于其结果估
7计基础帧上的运动向量。在逐块估计运动向量的处理中，把具有最小SAD值的参照块指定为运动补偿块。 即，为了指定运动补偿块，需要搜索具有最小SAD值的参照块，同时顺序地移动该参照块的位置。例如，在试图估计具有I个像素精确度的运动向量的情况下，需要按I个像素的精确度指定运动补偿块，因此，同样，在搜索具有最小SAD值的参照块时，需要把参照块顺序地移动I个像素。在照原样对目标图像和参照图像进行这样的参照块搜索的情况下，计算SAD值的次数变得太大，并且处理负担增加。因此，在本实施例中，如图中的例子中所示，创建通过减小相应目标图像和参照图像所获得的图像(缩小帧)，并且基于通过对缩小帧估计运动向量所获得的结果，估计未被缩小的目标图像和参照图像(基础帧)上的运动向量。具体地，首先，在水平方向和垂直方向上把目标图像和参照图像每个缩小至1/η (η = 2,3,...)，并且创建缩小帧目标图像和缩小帧参照图像。因此，基础帧目标块201以及基于基础帧目标块201在参照图像上的投射图像而设置的搜索范围202和匹配处理范围203 每个被缩小至1/n，并且分别形成为缩小帧目标块301、缩小帧搜索范围302、以及缩小帧匹配处理范围303。接下来，在缩小帧参照图像中，计算在缩小帧匹配处理范围303内设置的多个缩小帧参照块304和缩小帧目标块301之间的SAD值，由此将缩小帧参照块304中具有与缩小中贞目标块301的最闻相关性的块指定为缩小巾贞运动补偿块。另外，获取缩小巾贞目标块301 和缩小帧运动补偿块之间的错位作为缩小帧运动向量305。接下来，在基础帧参照图像中，定义通过把缩小帧运动向量305乘以η所获得的基础帧临时运动向量205。另外，在按由基础帧临时运动向量205所指示的方向与距离从基础帧目标块201在基础帧参照图像上的投射图像而移动的位置的附近，设置基础帧搜索范围 206和基础帧匹配处理范围207。随后，计算在基础帧匹配处理范围207内所设置的多个基础帧参照块208和基础帧目标块201之间的SAD值，由此将基础帧参照块208中具有与基础中贞目标块201的最闻相关性的块指定为基础巾贞运动补偿块。另外，获取基础巾贞目标块201 和该基础帧运动补偿块之间的错位，作为基础帧运动向量。此处，由于与基础帧参照图像相比，缩小帧参照图像被缩小至1/η，所以缩小帧运动向量305的精确度比通过对基础帧进行的类似搜索所确定的运动向量的精确度低η倍。 例如，在试图通过把参照块顺序地移动I个像素而搜索运动补偿块来获得运动向量的情况下，尽管在基础帧的搜索中所获得的运动向量的精确度为I个像素，但是在缩小帧的搜索中所获得的运动向量的精确度为η个像素。因此，在本实施例中，基于在搜索缩小帧中所获得的缩小帧运动向量305，在基础帧参照图像上设置基础帧搜索范围206和基础帧匹配处理范围207，并且按所希望的精确度执行运动补偿块和运动向量的搜索。尽管精确度降低了 η倍，但是运动补偿块可能存在的范围由缩小帧运动向量305指定。因而，对基础帧所进行的搜索的范围可以是基础帧搜索范围206，这比初始搜索范围202小得多。例如，在图中所示的例子中，在试图通过基础帧的搜索获得以I个像素为单位的运动向量的情况下，基础帧搜索范围206可以具有水平方向η个像素乘以垂直方向η个像素的范围。在根据本实施例的运动向量估计处理中，用在缩小帧搜索范围302中的搜索代替在整个初始搜索范围202中的对运动补偿块的搜索。以此方式，例如，与其中照原样关于目标图像和参照图像进行计算的情况相比，计算参照块的SAD值的次数缩小至η/i。另外，在根据本实施例的运动向量估计处理中，尽管在基础帧搜索范围206中进行了另外的搜索， 但是在该另外的搜索中计算参照块的SAD值的次数并不大，因为基础帧搜索范围206表示比初始搜索范围202小得多的范围。因此，在根据本实施例的运动向量估计处理中，与其中照原样关于目标图像和参照图像进行处理的情况相比，降低了处理负担。如至此所描述的，在根据本实施例的帧NR处理中，通过在运动补偿之后合成相继拍摄的多个图像而降低图像的噪声。在对于运动补偿的运动向量的估计中，以较小的负荷、 使用通过缩小基础帧所获得的缩小帧的搜索来执行处理。(使用空间滤波的NR的优点)然而，如以上所描述的，包括在图像中的所有噪声不是一定是随机噪声，每个图像中也包括作为固定样式的噪声。例如，由于传感器特性或者镜头特性的偏差，出现这样的固定样式的噪声，并且这样的固定样式的噪声是具有低空间频率的噪声分量。由于即使在时间方向上集合相继拍摄的图像也无法抵消这样的固定样式的噪声，所以难以通过帧NR来降低它。人眼的视觉特性是，对亮度的低空间频率噪声分量不敏感，但对色差的低空间频率噪声分量敏感。因此，在固定样式的噪声仍存在而没有通过帧NR降低的情况下，可以观察到固定样式的噪声如下亮度的噪声不突出，色差的噪声突出。于是，可以考虑通过诸如低通滤波、带通滤波、或者ε -滤波的空间滤波去除固定样式的噪声。但是，空间滤波或多或少伴随着分辨率的降低。人眼的视觉特性在于，对亮度的分辨率不敏感，但对色差的分辨率敏感。因此，在对RAW信号等进行空间滤波并且亮度和色差两者的分辨率都降低的情况下，在空间滤波之后的图像中，由于特别降低了亮度的分辨率的事实，所以显著地观察到分辨率的明显降低。因此，在本实施例中，对以分离方式包括亮度分量和色差分量的YC信号进行空间滤波。以此方式，不对亮度分量进行空间滤波，而对色差分量进行空间滤波。在此情况下，尽管色差的分辨率降低，但亮度的分辨率没有降低。如以上所描述的，人眼的视觉特性在于， 对亮度的分辨率敏感，但对色差的分辨率不敏感，因此，在根据本实施例的空间滤波之后的图像中，没有显著观察到分辨率的明显降低。与以上所描述的根据本实施例的空间滤波的配置相关的人眼的视觉特性共同示出在以下表中。
权利要求
1.一种图像处理设备，包括运动补偿部分，补偿目标图像和参照图像之间的运动；图像合成部分，通过合成其之间的运动已被补偿的目标图像和参照图像，生成合成的图像；以及空间滤波部分，进行对该合成的图像的空间滤波。
2.根据权利要求I所述的图像处理设备，其中，所述空间滤波部分通过使用ε-滤波器进行对该合成的图像的空间滤波。
3.根据权利要求2所述的图像处理设备，其中，所述空间滤波部分缩小该合成的图像，并且进行空间滤波。
4.根据权利要求I所述的图像处理设备，其中，该合成的图像的图像信号是包括亮度分量与色差分量的图像信号，以及其中，该空间滤波部分进行对色差分量的空间滤波。
5.根据权利要求I所述的图像处理设备，其中，所述目标图像的图像信号和所述参照图像的图像信号每个是包括亮度分量和色差分量的图像信号。
6.—种图像处理方法,包括补偿目标图像和参照图像之间的运动；通过合成其之间的运动已被补偿的目标图像和参照图像，生成合成的图像；以及对该合成的图像进行空间滤波。
全文摘要
提供了图像处理设备，包括运动补偿部分，补偿目标图像和参照图像之间的运动；图像合成部分，通过合成其之间的运动已被补偿的目标图像和参照图像，生成合成的图像；以及空间滤波部分，进行对该合成的图像的空间滤波。该空间滤波部分可以通过使用ε-滤波器进行对该合成的图像的空间滤波。
文档编号H04N5/232GK102595027SQ20111044591
公开日2012年7月18日 申请日期2011年12月28日 优先权日2011年1月5日
发明者松下伸行, 沼田怜 申请人:索尼公司