专利名称：图像处理设备及其控制方法
技术领域：
本发明涉及一种图像处理设备及其控制方法，并且特别地，涉及一种用于降低图像信号中的噪声的图像处理设备及其控制方法。
背景技术：
使用图像传感器获得的图像信号一般包含噪声成分。在噪声成分中，时间或者空间上随机发生的随机噪声主要在高感光度拍摄期间发生。特别地，时间上随机发生的噪声是使运动图像的图像质量劣化的因素之一。作为针对运动图像的随机噪声降低技术，已知使用运动图像帧之间的相关的递归降噪处理。例如，日本特开2000-209507号公报公开了基于当前帧的图像信号与先前帧的图像信号之间的信号差值来控制递归降噪处理中的递归系数的技术。递归系数是表示要用在对当前帧的图像信号的降噪处理中的先前帧的成分的比例的系数。在当前帧与先前帧之 间的差值大的情况下，通过使用小的递归系数减少残像，而在差值小的情况下，通过使用大的递归系数降低噪声。日本特开2000-209507号公报中公开了基于信号差值控制递归系数的方法，这样计算复杂度小并且可以降低成本。然而，在随机噪声与帧间的运动成分之间的分离精度不够，因此降噪之后获得的图像质量不够。与此同时，在日本特开2009-147822号公报中，当通过使用已进行空间降噪处理的当前帧与一个或多个过去(应用空间降噪处理之后的)帧之间的差值来抑制运动被摄体的残像时，削减了时间的随机噪声。利用日本特开2009-147822号公报公开的方法，随机噪声与帧间的运动成分之间的分离精度得到改进，并且可以获得相对高的图像质量。然而，日本特开2009-147822号公报没有公开考虑到图像帧频的降噪。帧间的时间上的距离(拍摄时间间隔)根据图像帧频的高低而变化，并且连续帧间的相关度也受到影响。然而，传统上在未考虑帧频的情况下进行统一的降噪处理。相应地，利用日本特开2000-209507和2009-147822号公报公开的方法，在图像帧频可变的情况下不能实现足够的效果。
发明内容
考虑到传统技术中的上述问题作出了本发明，并且本发明提供一种用于对运动图像应用递归降噪处理的图像处理设备及其控制方法，该设备及方法根据图像帧频实现降噪处理。本发明的第一方面提供一种图像处理设备，用于将递归降噪处理应用到具有预定帧频的运动图像，该图像处理设备包括计算单元，用于使用将要应用所述递归降噪处理的当前帧的像素值与已应用所述递归降噪处理的、作为所述当前帧的前一帧的先前帧的像素值，计算表示所述当前帧与所述先前帧之间的相关度的信息；确定单元，用于基于所述相关度和所述帧频来确定递归系数，该递归系数是所述先前帧的权重；第一合成单元，用于使用所述递归系数合成所述先前帧与所述当前帧中的像素；以及输出单元，用于将由所述第一合成单元所获得的帧作为已应用所述递归降噪处理的所述当前帧进行输出，其中，对于所述计算单元计算出的所述信息所表示的同一相关度，所述帧频越低，则所述确定单元将所述递归系数确定得越小。本发明的第二方面提供一种用于控制图像处理设备的方法，该图像处理设备用于将递归降噪处理应用到具有预定帧频的运动图像，该方法包括由所述图像处理设备中的计算单元执行的计算步骤，用于使用将要应用所述递归降噪处理的当前帧的像素值与已应用所述递归降噪处理的、作为所述当前帧 的前一帧的先前帧的像素值，计算表示所述先前帧与所述当前帧之间的相关度的信息；由所述图像处理设备中的确定单元执行的确定步骤，用于基于所述相关度和所述帧频确定递归系数，该递归系数是所述先前帧的权重；由所述图像处理设备中的第一合成单元执行的第一合成步骤，用于使用所述递归系数合成所述先前帧和所述当前帧中的像素；以及由所述图像处理设备中的输出单元执行的输出步骤，用于将由所述第一合成单元所获得的帧作为进行所述递归降噪处理之后的所述当前帧进行输出，其中，在所述确定步骤中，对于由所述计算单元计算的所述信息所表示的同一相关度，所述帧频越低，则所述确定单元将所述递归系数确定得越小。通过以下参考附图对典型实施例的说明，本发明的其它特征将变得明显。
图I是示出根据本发明的第一实施例的作为图像处理设备的例子的数字照相机的典型结构的框图。图2是示出图I中的降噪单元4的典型结构的框图。图3是说明由降噪单元4中的空间NR单元402进行的滤波的图。图4是说明由降噪单元4中的LPF 403进行的滤波的图。图5A和5B是示出根据本发明的第一实施例的递归系数的具体例子的图。图6是示出根据本发明的第二实施例的用作图像处理设备的例子的信息处理设备的典型结构的框图。图7是说明根据第二实施例的信息处理设备的内存映射的例子的图。图8是说明根据第二实施例通过信息处理设备所进行的图像处理应用程序的执行的流程图。图9是说明在图8中的S4处的图像处理的细节的流程图。
具体实施例方式以下将根据附图详细说明本发明的典型实施例。第一实施例以下将根据附图详细说明本发明的典型实施例。在以下说明中，对具有运动图像拍摄功能的数字照相机作为根据本发明的图像处理设备的例子进行说明。然而，运动图像拍摄功能对本发明来说不是必要的，并且本发明可应用于诸如信息处理设备等的任何能够处理运动图像的装置。数字照相机的结构
图I是示意性示出根据本实施例的数字照相机中与运动图像拍摄以及降噪处理相关的构成元素的框图。在数字照相机100中，由包括光圈和镜头的光学系统I形成的光学图像通过诸如CMOS或者CCD图像传感器等的图像传感器2进行光电转换，并且以像素为单位作为模拟图像信号提供给第一信号处理单元3。第一信号处理单元3对模拟图像信号进行A/D转换和增益控制并且将此信号作为数字图像信号提供给降噪单元(NR单元)4。NR单元4对数字图像信号应用递归降噪处理并且将此信号提供给第二信号处理单元5。第二信号处理单元5对已经过降噪处理的数字图像信号进行大小调整、颜色校准等等并且将此信号提供给输出单元6。输出单元6进行下述的一个或多个处理，输出到诸如HDMI等的输出接口、记录在诸如半导体存储卡等的存储介质上、以及输出到数字照相机100中的显示装置(未示出)。n单元8具有诸如开关、按钮、以及对显示装置(未示出)设置的触摸面板等的一个或多个输入装置，并且由用户使用以对数字照相机100配置各种设置或者给出指示。用户通过n单元8向数字照相机100输入在运动图像拍摄模式与静止图像拍摄模式之间切 换的指示，在拍摄模式与再现模式之间切换的指示，运动图像拍摄的开始、暂停以及停止的指示，以及对显示装置上所显示的GUI的操作等。控制单元9控制数字照相机100的全部操作。控制单元9包括例如CPU、具有非易失性区域的RAM以及R0M，并且将ROM中存储的控制程序展开到RAM，并且CPU随后执行程序以控制每个组件来实现数字照相机100的各种功能。通过UI单元8配置的诸如包括图像帧频和分辨率的图像参数等的设置值存储在例如控制单元9中的非易失性RAM里。图I中示出的组件通过总线7以能够相互通信的方式连接。NR单元4的结构图2是示出NR单元4的典型结构的框图。以下参考图2说明NR单元4的结构和操作。空间NR单元402对通过输入终端401输入的来自第一信号处理单元3的数字图像信号进行二维(空间)降噪处理，并且将此信号提供给低通滤波器(LPF) 403、第一合成单元407以及第二合成单元409。将从例如UI单元8或者控制单元9经由总线7输入的图像帧频提供给递归系数计算单元405以及第二合成单元409。LPF 403对已经过二维降噪处理的数字图像信号进行二维低通滤波并且将信号输出到差值绝对值计算单元404。差值绝对值计算单元404计算在已经过二维降噪处理和低通滤波的数字图像信号与从帧存储器408输出的数字图像信号之间的差值绝对值，并且将结果提供给递归系数计算单元405。递归系数计算单元405基于图像帧频和差值绝对值计算递归系数，并且将结果提供给第一合成单元407。这里，递归系数是表示来自帧存储器408的过去帧中的图像信号成分用在当前帧的图像信号的降噪处理中的比例的系数。第一合成单元407基于来自递归系数计算单元405的递归系数将由空间NR单元402输出的已降噪的(当前帧的)数字图像信号与由帧存储器408输出的数字图像信号进行合成。然后，第一合成单元407将合成图像信号提供给第二合成单元409以及NR单元4下游的第二信号处理单元5。
第二合成单元409基于图像帧频将第一合成单元407所输出的合成图像信号与已由空间NR单元402进行空间降噪处理的当前帧的数字图像信号进行合成，并且将合成信号提供给帧存储器408。巾贞存储器408将输入的图像信号延迟一巾贞的时间，并且将该信号提供给第一合成单元407和差值绝对值计算单元404。NR单元4的操作的具体例子对由NR单元4进行的降噪操作的具体例子进行说明。在下面的例子中，假定以从UI单元8所配置的图像帧频来拍摄运动图像信号，但是进行降噪处理的运动图像数据以及用于输入帧频的方法不受特别的限制。例如，可以把由输出单元6从记录介质中读出的运动图像数据和从运动图像数据中的报头等获得的帧频提供给NR单元4。帧频不必须从NR单元4的外部装置输入，并且还可以从运动图像数据提取或者由NR单元4进行判断。从第一信号处理单元3以帧为单位顺次地输入运动图像信号。在本实施例中，运动图像的分辨率为1920像素xl080像素，并且图像帧频可以从60帧每秒(fps)和24fps中选择。图像感光度(ISO感光度)假定为12800。空间NR单元402利用e -滤波器进行空间降噪处理。假定关注像素的像素值为Xn,通过使用相邻像素值Xn_5至Xn+5进行平滑来降低噪声，其中如图3所示、只使用处于关注像素的像素值乂 与e之间的差值的范围内的像素值。在图3的例子中，Xn_5、Xn_2和Xn+4与Xn的差值超过了 e，它们被替换为Xn，并且计算Xn_5至Xn+5的加权平均。计算公式如下所示
权利要求
1.一种图像处理设备，用于将递归降噪处理应用到具有预定帧频的运动图像，该图像处理设备包括 计算单元，用于使用将要应用所述递归降噪处理的当前帧的像素值与已应用所述递归降噪处理的、作为所述当前帧的前一帧的先前帧的像素值，计算表示所述当前帧与所述先前帧之间的相关度的信息； 确定单元，用于基于所述相关度和所述帧频来确定递归系数，该递归系数是所述先前帧的权重； 第一合成单元，用于使用所述递归系数合成所述先前帧与所述当前帧中的像素；以及输出单元，用于将由所述第一合成单元所获得的帧作为已应用所述递归降噪处理的所述当前帧进行输出， 其中，对于所述计算单元计算出的所述信息所表示的同一相关度，所述帧频越低，则所述确定单元将所述递归系数确定得越小。
2.根据权利要求I所述的图像处理设备，其特征在于，对于同一帧频，所述相关度越高，则所述确定单元将所述递归系数确定得越大。
3.根据权利要求I所述的图像处理设备，其特征在于，还包括用于对进行所述递归降噪处理之前的所述当前帧与进行所述递归降噪处理之后的所述当前帧中的像素进行合成的第二合成单元， 其中，所述第二合成单元进行所述合成，以使得所述帧频越低，则进行所述递归降噪处理之后的所述当前帧的权重越小，以及 所述第一合成单元合成由所述第二合成单元获得的帧与所述当前帧中的像素。
4.根据权利要求I所述的图像处理设备，其特征在于，还包括滤波单元，所述滤波单元用于在应用所述递归降噪处理之前对所述当前帧应用空间降噪处理。
5.根据权利要求I至4中任一项所述的图像处理设备，其特征在于，所述计算单元计算所述当前帧与所述先前帧中的像素值之间的差值作为表示所述相关度的信息。
6.一种用于控制图像处理设备的方法，该图像处理设备用于将递归降噪处理应用到具有预定帧频的运动图像，该方法包括 由所述图像处理设备中的计算单元执行的计算步骤，用于使用将要应用所述递归降噪处理的当前帧的像素值与已应用所述递归降噪处理的、作为所述当前帧的前一帧的先前帧的像素值，计算表示所述当前帧与所述先前帧之间的相关度的信息； 由所述图像处理设备中的确定单元执行的确定步骤，用于基于所述相关度和所述帧频来确定递归系数，该递归系数是所述先前帧的权重； 由所述图像处理设备中的第一合成单元执行的第一合成步骤，用于使用所述递归系数合成所述先前帧与所述当前帧中的像素；以及 由所述图像处理设备中的输出单元执行的输出步骤，用于将由所述第一合成单元所获得的帧作为进行所述递归降噪处理之后的所述当前帧进行输出， 其中，在所述确定步骤中，对于所述计算单元计算出的所述信息所表示的同一相关度，所述帧频越低，则所述确定单元将所述递归系数确定得越小。
全文摘要
本发明涉及图像处理设备及其控制方法。在图像处理设备中，基于在应用递归降噪处理之前的当前帧中的像素值以及在进行递归降噪处理之后的先前帧中的像素值来计算表示在当前帧与先前帧之间的相关度的信息。然后，基于相关度和运动图像的帧频来确定递归系数，即先前帧的权重。通过利用递归系数合成先前帧和当前帧中的像素来将递归降噪处理应用到当前帧。对于相同的相关度，帧频越低，则确定为递归系数越小。实现了根据图像帧频的降噪处理。
文档编号H04N5/21GK102761682SQ201210135418
公开日2012年10月31日 申请日期2012年5月2日 优先权日2011年4月28日
发明者青景弘典 申请人:佳能株式会社