专利名称：图像处理装置及其方法,以及程序的制作方法
技术领域：
本公开涉及图像处理装置及其方法，以及程序，并且具体地，涉及能够在提高图像信号处理的画质性能的同时抑制负荷增加的图像处理装置及其方法，以及程序。
背景技术：
作为图像处理技术之一，一般使用边缘保留平滑。边缘保留平滑是一种用于平滑灰阶(grayscale)同时使得图像中的物体边界等的显著亮度水平差依然残留的非线性滤波处理。边缘保留平滑已被用在降噪处理或灰阶校正处理中(例如，参见A. Lev， S. W. Zucker, A. Rosenfeld, “ Iterative enhancement of noise images " , IEEE Trans. Systems, Man, and Cybernetics, Vol. SMC-7, 1977 ；D.C.C.Wang, A. H. Vagnucci, C.C. Li, " Gradient inverse weighted smoothing scheme and the evaluation of its performance“，CVGIP, Vol. 15，pp.167-181,1981 ；M. Nagao, Τ·Matsuyama，“ Edge preserving smoothing" , CGIP, Vol. 9, pp. 394-407,1978 ；F. Durand, J. Dorsey, " Fast bilateral filtering for the display of high-dynamic-range images" ,Proc. of ACM SIGGRAPH 2002,2002 ；以及 S. N. Pattanaik，H. Yee，“ Adaptive gain control for high dynamic range image display“ ，Proc. of Spring Conference in Computer Graphics 2002,2002)。在该边缘保留平滑中，近年来，常常使用称为双边滤波器的技术。在该双边滤波器中，运算量远大于常规线性FIR(有限冲激响应)滤波器等中的运算量。因此，已提出了加速双边滤波器计算的方法(例如,参见 F. Durand，J. Dorsey，“ Fast bilateral filtering for the display of high-dynamic-range images" ， Proc. of ACM SIGGRAPH 2002,2002 和 Weiss，“ Fast median and bilateral filtering"，Proc. of ACM SIGGRAPH 2006， 2006)。另外，还提出了通过对信号进行抽取的双边滤波器的高速计算方法(例如， 参见 S. Paris et al. “ A Fast Approximation of the Bilateral Filter using a Signal Processing Approach " , eccv 2006 ；日本未实审专利申请公报 No. 2009-177558 (US2011/0050934)；以及日本未实审专利申请公报 No. 2010-003297 (US20 09/0317015))。在上述处理中，使得输入信号的分辨率被降低的抽取信号是通过使用图像的每个区域和水平的信号的出现频度(局部直方图)而被创建的，并且通过相对于抽取信号进行卷积并且然后扩展滤波器核来减少双边滤波器的计算量。另外，与局部直方图的每个区间 (bin)相对应的像素的亮度值的总和(下面称为特性值)被用于滤波器计算。
发明内容
然而，在上述方法中，存在这样的担心，当局部直方图的分辨率被降低以抑制处理成本时，双边滤波器的计算精度也被降低。
另外，存在这样的担心，对于平坦输入图像特别容易出现误差。在很大程度上可以通过设置局部直方图的分辨率(区间的数目)来缓解这样的问题。然而，由于需要2倍的区间数目以通过分辨率将计算精度提高1比特，因此担心诸如计算量或存储容量之类的滤波负荷会增加。希望在提高图像信号处理的画质性能的同时抑制负荷的增加。根据本公开的一个实施例，提供了一种图像处理装置，包括频度值计算部件，其将输入图像的每个像素分配到通过基于亮度值在亮度方向上将该亮度值的可能范围的整体划分为多个单位而获得的各个部分区域的任意部分区域，并且在相对于各个部分区域计算表示被分配给这些部分区域的像素数目的频度值时，将输入图像的一个像素分配给多个部分区域，以更新这些部分区域的频度值；特性值计算部件，其计算表示部分区域的特性的特性值；以及加权乘积之和部件，其通过利用由频度值计算部件计算出的频度值和由特性值计算部件计算出的特性值，根据亮度方向上的距离来对特性值进行加权和平均，从而对输入图像执行边缘保留平滑。频度值计算部件可以包括权重计算部件，其计算权重，该权重用于以小数精度来扩展在分配输入图像的像素时的计数值，以及频度值更新部件，其利用由权重计算部件计算出的权重来更新多个部分区域的频度值，并且特性值计算部件可以包括权重相乘部件，其将输入图像的亮度值与由权重计算部件计算出的权重相乘，以及特性值更新部件，其利用被权重相乘部件乘以了权重的输入图像的亮度值来更新多个部分区域的特性值。权重计算部件可以根据预定加权函数来计算各个部分区域的权重。频度值计算部件还可以包括对输入图像的像素进行抽取的抽取部件，并且权重计算部件可以相对于经抽取部件抽取的输入图像的像素来计算各个部分区域的权重。抽取部件可以以与权重计算部件计算出的权重的小数精度相对应的抽取比率来抽取输入图像的像素。图像处理装置还可以包括空间模式确定部件，该空间模式确定部件确定表示输入图像的内容的空间模式，并且抽取部件可以以与通过空间模式确定部件执行的空间模式分析结果相应的抽取比率来抽取输入图像的像素。空间模式确定部件可以确定输入图像的每个部分区域的空间模式，并且抽取部件可以针对每个部分区域，以根据经由空间模式确定部件执行的空间模式分析结果的抽取比率来抽取输入图像的像素。根据本公开的另一实施例，存在一种图像处理装置的图像处理方法，包括致使频度值计算部件将输入图像的每个像素分配到通过基于亮度值在亮度方向上将该亮度值的可能范围的整体划分为多个单位而获得的各个部分区域的任意部分区域，并且在相对于各个部分区域计算表示被分配给这些部分区域的像素数目的频度值时，将输入图像的一个像素分配给多个部分区域，以更新这些部分区域的频度值；致使特性值计算部件计算表示部分区域的特性的特性值；以及致使加权乘积之和部件通过利用由频度值计算部件计算出的频度值和由特性值计算部件计算出的特性值，根据亮度方向上的距离来对特性值进行加权和平均，从而对输入图像执行边缘保留平滑。根据本公开的另一实施例，提供了一种程序，该程序使得计算机用作频度值计算部件，其将输入图像的每个像素分配到通过基于亮度值在亮度方向上将该亮度值的可能范围的整体划分为多个单位而获得的各个部分区域的任意部分区域，并且在相对于各个部分区域计算表示被分配给这些部分区域的像素数目的频度值时，将输入图像的一个像素分配给多个部分区域，以更新这些部分区域的频度值；特性值计算部件，其计算表示部分区域的特性的特性值；以及加权乘积之和部件，其通过利用由频度值计算部件计算出的频度值和由特性值计算部件计算出的特性值，根据亮度方向上的距离来对特性值进行加权和平均，从而对输入图像执行边缘保留平滑。根据本公开的另一实施例，输入图像的每个像素被分配到通过基于亮度值在亮度方向上将该亮度值的可能范围的整体划分为多个单位而获得的各个部分区域的任意部分区域，并且在相对于各个部分区域计算表示被分配给部分区域的像素数目的频度值时，输入图像的一个像素被分配给多个部分区域，以更新部分区域的频度值；表示部分区域的特性的特性值被计算出；并且通过利用计算出的频度值和计算出的特性值，根据亮度方向上的距离来对特性值进行加权和平均，从而对输入图像执行边缘保留平滑。根据本公开的实施例，能够处理图像。具体地，能够在提高图形信号处理的画质性能的同时抑制负荷的增加。
图IA至图IC是图示出双边滤波器的概况的示图。图2A和图2B是图示出相关技术中的双边滤波器的块直方图计算部件和块积分值计算部件的主要配置示例的框图。图3A和图;3B是图示出相关技术中的双边滤波器的处理的状态的示图。
图4A至图4C是图示出相关技术中的双边滤波器的处理的状态的示图。
图5A至图5D是图示出相关技术中的双边滤波器的处理的状态的示图。
图6是图示出应用了本公开的实施例的数字摄像机的主要配置示例的框图。
图7是图示出DSP的主要配置示例的框图。
图8是图示出拜耳阵列的示图。
图9是图示出灰阶校正处理部件的主要配置示例的框图。
图10是图示出亮度灰阶校正部件的主要配置示例的框图。
图11是图示出块直方图计算部件和块积分值计算部件的主要配置示例的框图。
图12A至图12C是图示出权重的示例的示图。
图13A和图13B是图示出权重的示例的示图。
图14是图示出加权函数的示例的示图。
图15是图示出误差特性的差异的示图。
图16A和图16B是图示出双边滤波器的处理的状态的示图。
图17是图示出加权乘积之和部件的主要配置示例的框图。
图18是图示出图像处理的流程的示例的流程图。
图19是图示出灰阶校正处理的流程的示例的流程图。
图20是图示出灰阶校正处理的流程的示例的延续图19的流程图。
图21是图示出用于块直方图计算的像素处理的示例的流程图。
图22是图示出用于块积分值计算的像素处理的示例的流程图。
图23是图示出用于块积分值计算的像素处理的示例的流程图。图24A和图24B是图示出块直方图计算部件和块积分值计算部件的主要配置示例的框图。图25是图示出用于块直方图计算的像素处理的示例的流程图。图沈是图示出用于块积分值计算的像素处理的示例的流程图。图27是图示出根据空间模式的加权函数的示例的示图。图观是图示出亮度灰阶校正部件的主要配置示例的框图。图四是图示出空间模式分析部件的主要配置示例的框图。图30是图示出信号强度的示例的示图。图31是图示出块直方图计算部件的主要配置示例的框图。图32是图示出块积分值计算部件的主要配置示例的框图。图33是图示出灰阶校正处理的流程的示例的流程图。图34是图示出灰阶校正处理的流程的示例的延续图33的流程图。图35是图示出空间模式分析处理的流程的示例的流程图。图36是图示出空间模式确定处理的流程的示例的流程图。图37是图示出用于块直方图计算的像素处理的示例的流程图。图38是图示出用于块积分值计算的像素处理的示例的流程图。图39A和图39B是图示出使用每个局部部分的直方图的示例的示图。图40是图示出块直方图计算部件的主要配置示例的框图。图41是图示出块积分值计算部件的主要配置示例的框图。图42是图示出用于块直方图计算的像素处理的示例的流程图。图43是图示出应用了本公开的实施例的个人计算机的主要配置示例的框图。
具体实施例方式下面，将描述用于实现本发明的多个实施例(下面称为实施例)。同时，将按以下顺序对其进行描述。1.第一实施例(双边滤波器)2.第二实施例(双边滤波器)3.第三实施例(双边滤波器)4.第四实施例(双边滤波器)5.第五实施例(个人计算机)<1.第一实施例〉[双边滤波器的概况]作为图像处理技术之一，已知了边缘保留平滑。边缘保留平滑是一种用于平滑灰阶同时使得图像中的物体边界等的显著亮度水平差依然残留的非线性滤波处理。例如，如图IA所示，具有高(明亮)亮度的区域2和具有(暗)低亮度的区域3 被包括在一个图像1中。该图像1的虚线上的像素值(亮度值)例如等于图IB的曲线图中所示的曲线4。在图IB中，水平轴表示图像1的水平方向上的位置，并且垂直轴表示每个像素的像素值(亮度值)。
如图IB中的曲线4所示，图IA的虚线上的像素的像素值在区域2的部分(4A)与区域3的部分GC)之间的边界附近急剧变化GB)。另外，在区域2的部分(4A)和区域3 的部分GC)中，像素值例如由于噪声分量等而分别微小地变化。边缘保留平滑按原样留下了指示这样的亮度值改变的、曲线4中具有急剧变化的部分(4B)，而仅去除(减少)了因噪声等引起的区域2的部分(4A)和区域3的部分GC) 中微小变化。即，通过边缘保留平滑，亮度值从图IB所示的曲线4变为图IC所示的曲线 5。边缘保留平滑去除了微小亮度变化而维持了影响视觉的物体轮廓，因此已被用在降噪处理中一段时间了。另外，边缘保留平滑由于能够分离物体内的纹理中的微小亮度变化与物理轮廓的显著亮度水平差的特性而不会改变由纹理表示的细节组成部分，并且还被用在灰阶校正处理中用于压缩其它组成部分的亮度差。在这样的边缘保留平滑中，近年来，称为双边滤波器的技术常常被使用。通常，在如下面的等式(1)所示的用于图像的双边滤波器BLF(pc)中，算术运算被执行，其中，通过加权函数ω (p-pc)在空间方向上并且通过加权函数φ (I(p)-I(pc))在亮度值方向上被加权的像素位置PC周围的像素的像素值I (P)被添加。
权利要求
1.一种图像处理装置，包括频度值计算部件，其将输入图像的每个像素分配到通过基于亮度值在亮度方向上将该亮度值的可能范围的整体划分为多个单位而获得的各个部分区域的任意部分区域，并且在相对于各个部分区域计算表示被分配给所述部分区域的像素数目的频度值时，将所述输入图像的一个像素分配给多个部分区域，以更新所述部分区域的频度值； 特性值计算部件，其计算表示部分区域的特性的特性值；以及加权乘积之和部件，其通过利用由所述频度值计算部件计算出的频度值和由所述特性值计算部件计算出的所述特性值，根据所述亮度方向上的距离来对所述特性值进行加权和平均，从而对所述输入图像执行边缘保留平滑。
2.根据权利要求1所述的图像处理装置， 其中，所述频度值计算部件包括权重计算部件，其计算权重，所述权重用于以小数精度来扩展在分配所述输入图像的像素时的计数值，以及频度值更新部件，其利用由所述权重计算部件计算出的所述权重来更新多个部分区域的频度值，并且其中，所述特性值计算部件包括权重相乘部件，其将所述输入图像的亮度值与由所述权重计算部件计算出的所述权重相乘，以及特性值更新部件，其利用被所述权重相乘部件乘以了所述权重的所述输入图像的亮度值来更新多个部分区域的特性值。
3.根据权利要求2所述的图像处理装置，其中，所述权重计算部件根据预定加权函数来计算各个部分区域的权重。
4.根据权利要求2所述的图像处理装置，其中，所述频度值计算部件还包括对所述输入图像的像素进行抽取的抽取部件，并且其中，所述权重计算部件相对于经所述抽取部件抽取的所述输入图像的像素来计算各个部分区域的权重。
5.根据权利要求4所述的图像处理装置，其中，所述抽取部件以与所述权重计算部件计算出的权重的小数精度相对应的抽取比率来抽取所述输入图像的像素。
6.根据权利要求4所述的图像处理装置，还包括空间模式确定部件，该空间模式确定部件确定表示所述输入图像的内容的空间模式，其中，所述抽取部件以与通过所述空间模式确定部件执行的空间模式分析结果相应的抽取比率来抽取所述输入图像的像素。
7.根据权利要求6所述的图像处理装置，其中，所述空间模式确定部件确定所述输入图像的每个部分区域的空间模式，并且其中，所述抽取部件针对每个部分区域，以与通过所述空间模式确定部件执行的空间模式分析结果相应的抽取比率来抽取所述输入图像的像素。
8.一种图像处理装置的图像处理方法，包括将输入图像的每个像素分配到通过基于亮度值在亮度方向上将该亮度值的可能范围的整体划分为多个单位而获得的各个部分区域的任意部分区域，并且在相对于各个部分区域计算表示被分配给所述部分区域的像素数目的频度值时，将所述输入图像的一个像素分配给多个部分区域，以更新所述部分区域的频度值； 计算表示部分区域的特性的特性值；以及通过利用计算出的频度值和计算出的特性值，根据所述亮度方向上的距离来对所述特性值进行加权和平均，从而对所述输入图像执行边缘保留平滑。
9. 一种使得计算机执行图像处理方法的程序，该方法包括将输入图像的每个像素分配到通过基于亮度值在亮度方向上将该亮度值的可能范围的整体划分为多个单位而获得的各个部分区域的任意部分区域，并且在相对于各个部分区域计算表示被分配给所述部分区域的像素数目的频度值时，将所述输入图像的一个像素分配给多个部分区域，以更新所述部分区域的频度值； 计算表示部分区域的特性的特性值；以及通过利用计算出的频度值和计算出的特性值，根据所述亮度方向上的距离来对所述特性值进行加权和平均，从而对所述输入图像执行边缘保留平滑。
全文摘要
本发明公开了图像处理装置及其方法，以及程序。提供了一种图像处理装置，包括频度值计算部件，其将输入图像的每个像素分配到通过基于亮度值在亮度方向上将该亮度值的可能范围的整体划分为多个单位而获得的各个部分区域的任意部分区域，并且在相对于各个部分区域计算表示被分配给部分区域的像素数目的频度值时，将输入图像的一个像素分配给多个部分区域，以更新部分区域的频度值；特性值计算部件，其计算表示部分区域的特性的特性值；以及加权乘积之和部件，其通过利用计算出的频度值和计算出的特性值，根据亮度方向上的距离来对特性值进行加权和平均，从而对输入图像执行边缘保留平滑。
文档编号G06T5/00GK102385746SQ201110260179
公开日2012年3月21日 申请日期2011年8月30日 优先权日2010年9月6日
发明者若园雅史 申请人:索尼公司