图像处理装置、方法、程序以及记录介质的制作方法
【专利摘要】本发明提供了一种图像处理装置、方法、程序和记录介质，使用其能够在不造成图像质量降低的情况下更有效地修正块噪声。运动预测单元根据当前图像和参考图像来检测构成图像的块单元中的运动矢量；运动补偿处理单元通过使用运动矢量对参考图像执行运动补偿来生成运动补偿图像；补偿计算单元基于当前图像与运动补偿图像的边界差值来计算修正值，该修正值修正运动补偿图像中的感兴趣块中的感兴趣像素的像素值，该边界差值是感兴趣块中连结邻接块的边界部分的边界像素的像素值的差值；以及加法单元将修正值加到运动补偿图像中的感兴趣像素的像素值上。本技术可以应用于图像处理装置。
【专利说明】图像处理装置、方法、程序以及记录介质
【技术领域】
[0001]本技术涉及图像处理装置、图像处理方法、程序以及记录介质，更具体地，涉及能够在不降低图像质量的情况下实现更准确的块噪声修正(block noise correction)的图像处理装置、图像处理方法、程序以及记录介质。
【背景技术】
[0002]在一些情况下，在逐块的基础上使用标准图像和参考图像执行的块匹配处理在彼此邻近的块之间产生色调差。这样的色调差常常尤其发生在色调变化缓慢的区域中。由这样的色调差引起的噪声被称为块噪声。
[0003]同时，通过MPEG-4 (运动图像专家组第四阶段)或H.264/AVC (高级视频编码)对图像进行编码的设备包括执行去块处理以去除块噪声的去块滤波器(参见非专利文献I)。图像质量的降低可以通过经由去块处理对块的边界部分进行平滑来减小。
[0004]引用列表
[0005]非专利文献
[0006]非专利文献1:“8.7Deblocking filter process，，、“ITU_T Recommendation
H.264Advanced video coding for generic audiovisual ”，2010 年 3 月，第 197-202 页。
【发明内容】
[0007]本发明要解决的问题
[0008]然而，通过上述技术，存在着由于去块处理而丢失纹理并且图像变模糊，从而导致图像质量较差的可能性。
[0009]此外，通过上述滤波处理可以使一定强度的块噪声不明显。然而，当由低精度的块匹配引起高强度的块噪声时，无法减小图像质量的降低。
[0010]鉴于这些情况已经开发了本技术，特别地本技术旨在使得能够在不降低图像质量的情况下实现更准确的块噪声修正。
[0011]解决问题的方案
[0012]本技术的一个方面的一种图像处理装置包括:根据标准图像和参考图像来检测图像中每个块的运动矢量的运动预测单元；通过使用运动矢量对参考图像执行运动补偿来生成运动补偿图像的运动补偿单元；基于标准图像与运动补偿图像之间的边界差值来计算修正值的修正值计算单元，该修正值用于修正运动补偿图像中的当前块中的当前像素的像素值，该边界差值是关于当前块中与邻近块邻近的边界部分中的边界像素的像素值的差值；以及将修正值加到运动补偿图像中的当前像素的像素值上的加法单元。
[0013]修正值计算单元可以基于边界差值和权重来计算当前像素的修正值，该权重对应于当前像素与边界像素之间的距离。
[0014]关于下述边界像素，修正值计算单元可以基于标准图像与运动补偿图像之间的边界差值来计算当前像素的修正值，其中从所述边界像素中减去当前块中与邻近块邻近的边界部分中的像素。
[0015]图像处理装置还可以包括:使用预定函数对差值进行近似的近似单元，该差值是逐块地在标准图像中的像素的像素值与运动补偿图像中的像素的像素值之间的差；对预定函数进行积分的积分单元；根据由积分单元获得的积分值和对应于图像亮度值的噪声强度分布来计算权重系数的权重计算单元；以及通过使用权重系数对当前像素的修正值进行加权的加权单元。在这种情况下，加法单元将由加权单元加权的修正值加到运动补偿图像中的当前像素的像素值上。
[0016]图像处理装置还可以包括:使用预定函数对差值进行近似的近似单元，该差值是逐块地在标准图像中的像素的像素值与运动补偿图像中的像素的像素值之间的差；对预定函数进行积分的积分单元；以及根据由积分单元获得的积分值和对应于图像亮度值的噪声强度分布来生成组合图像的组合单元，该组合图像是通过将标准图像中的像素的像素值与运动补偿图像中的像素的像素值进行组合而形成的。在这种情况下，修正值计算单元基于组合图像与运动补偿图像之间的边界差值来计算当前块中的当前像素的修正值，该边界差值是关于当前块中与邻近块邻近的边界部分中的边界像素的像素值的差值。
[0017]一种在图像处理装置中实现的图像处理方法，该图像处理装置包括:根据标准图像和参考图像来检测图像中每个块的运动矢量的运动预测单元；通过使用运动矢量对参考图像执行运动补偿来生成运动补偿图像的运动补偿单元；基于标准图像与运动补偿图像之间的边界差值来计算修正值的修正值计算单元，该修正值用于修正运动补偿图像中的当前块中的当前像素的像素值，该边界差值是关于当前块中与邻近块邻近的边界部分中的边界像素的像素值的差值；以及将修正值加到运动补偿图像中的当前像素的像素值上的加法单元。该图像处理方法包括下述步骤:通过根据标准图像和参考图像检测图像中每个块的运动矢量，并且使用运动矢量对参考图像执行运动补偿来生成运动补偿图像；基于标准图像与运动补偿图像之间的边界差值来计算修正值，该修正值用于修正运动补偿图像中的当前块中的当前像素的像素值，该边界差值是关于当前块中与邻近块邻近的边界部分中的边界像素的像素值的差值；以及将修正值加到运动补偿图像中的当前像素的像素值上，上述步骤由该图像处理装置执行。
[0018]本技术的一个方面的程序和记录在本技术的一个方面的记录介质中的程序使计算机执行包括下述步骤的处理:根据标准图像和参考图像来检测图像中每个块的运动矢量的运动矢量检测步骤；通过使用运动矢量对参考图像执行运动补偿来生成运动补偿图像的运动补偿步骤；基于标准图像与运动补偿图像之间的边界差值来计算修正值的修正值计算步骤，该修正值用于修正运动补偿图像中的当前块中的当前像素的像素值，该边界差值是关于当前块中与邻近块邻近的边界部分中的边界像素的像素值的差值；以及将修正值加到运动补偿图像中的当前像素的像素值上的相加步骤。
[0019]在本技术的一个方面中，根据标准图像和参考图像检测构成图像的块的运动矢量，并且通过使用运动矢量对参考图像执行运动补偿来生成运动补偿图像。基于标准图像与运动补偿图像之间的边界差值来修正运动补偿图像中的当前块中的当前像素的像素值，该边界差值是关于当前块中与邻近块邻近的边界部分中的边界像素的像素值的差值。将修正值加到运动补偿图像中的当前像素的像素值上。
[0020]本发明的效果[0021]根据本技术的一个方面，可以在不降低图像质量的情况下更准确地修正块噪声。【专利附图】
【附图说明】
[0022]图1是示出了应用本技术的图像处理装置的一个实施方式的示例功能结构的框图；
[0023]图2是示出了块噪声修正单元的示例结构的框图；
[0024]图3是用于说明块噪声修正的MC图像输出处理的流程图；
[0025]图4是用于说明块噪声修正处理的流程图；
[0026]图5是用于说明相对于当前块中的边界部分中的像素的差值的图；
[0027]图6是用于说明当前块中的当前像素与边界部分中的像素之间的距离的图；
[0028]图7是用于说明块中的边界部分中的减少数量的像素的图；
[0029]图8是示出了包括块噪声检测单元的图像处理装置的示例功能结构的框图；
[0030]图9是用于说明块噪声修正的MC图像输出处理的流程图；
[0031]图10是示出了块噪声检测单元和块噪声修正单元的示例结构的框图；
[0032]图11是用于说明要由图10中所示的块噪声检测单元执行的块噪声检测处理的流程图；
[0033]图12是用于说明对差值进行近似的图；
[0034]图13是用于说明相对于亮度值的噪声强度的图；
[0035]图14是用于说明Cur图像和LMC图像的组合图像的图；
[0036]图15是用于说明积分处理的图；
[0037]图16是用于说明分部积分的图；
[0038]图17是用于说明分部积分的图；
[0039]图18是示出了块噪声检测单元和块噪声修正单元的其他示例结构的框图；
[0040]图19是用于说明要由图18中所示的块噪声检测单元执行的块噪声检测处理的流程图；
[0041]图20是用于说明要由图18中所示的块噪声修正单元执行的块噪声修正处理的流程图；以及
[0042]图21是示出了计算机硬件的示例配置的框图。
【具体实施方式】
[0043]以下是参照附图对本技术的实施方式的描述。将按照以下顺序进行说明。
[0044]1.图像处理装置的示例结构
[0045]2.块噪声修正单元的示例结构
[0046]3.块噪声修正的MC图像输出处理和块噪声修正处理
[0047]4.包括块噪声检测单元的图像处理装置的示例结构
[0048]5.块噪声检测单元和块噪声修正单元的示例结构
[0049]6.块噪声检测单元和块噪声修正单元的其他示例结构
[0050]〈1.图像处理装置的示例结构>
[0051]图1示出了应用本技术的图像处理装置的一个实施方式的示例结构。[0052]图1中所示的图像处理装置11通过使用由成像设备(未示出)提供(输入)的标准图像(下文中称为Cur图像)和在时间上早于Cur图像的参考图像(下文中称为Ref图像)来执行块匹配，并且生成Cur图像的预测图像。使用Cur图像和预测图像，图像处理装置11对预测图像中所包含的块噪声进行修正，并且输出所得到的修正了块噪声的预测图像。输入至图像处理装置11的图像是以时间上连续的帧形成的运动图像，Ref图像是由另一图像处理装置基于修正了块噪声的预测图像对Cur图像执行降噪处理而形成的降噪图像。图像处理装置11可以安装在成像设备，诸如数字照相机中。
[0053]图1中所示的图像处理装置11包括运动预测单元31、运动补偿单元32以及块噪声修正单元33。
[0054]运动预测单元31根据作为当前帧的Cur图像和作为Cur图像之前的一帧的Ref图像来检测运动矢量MV，并且将运动矢量MV提供给运动补偿单元32。运动矢量MV属于构成那些图像的块。具体地，运动预测单元31执行Cur图像中的块与Ref图像中的相应块之间的位置匹配，以检测块的运动矢量MV。
[0055]使用由运动预测单元31提供的块的运动矢量MV，运动补偿单元32对Ref图像执行运动补偿，以将Ref图像中的块调整为Cur图像中的块，并且生成运动补偿图像(下文中称为MC图像)。将运动补偿图像提供给块噪声修正单元33。
[0056]基于Cur图像和运动补偿单元32提供的MC图像，块噪声修正单元33计算用于修正MC图像中的像素的像素值的修正值，并且修正MC图像中所包含的块噪声。输出修正结果或修正了块噪声的MC图像(下文中称为块噪声修正的MC图像或修正的MC图像)。具体地，块噪声修正单元33计算Cur图像中的像素与MC图像中的像素之间的像素值的差值，并且基于该差来计算修正值。以这种方式，对以块形成的MC图像中所包含的块噪声进行修正。
[0057]<2.块噪声修正单元的示例结构>
[0058]现在参考图2，描述块噪声修正单元33的示例结构。
[0059]图2中所示的块噪声修正单元33包括差计算单元51、修正值计算单元52以及加法单元53。
[0060]差计算单元51计算Cur图像中的像素的像素值与MC图像中的像素的像素值之间的差值，并且将该差值提供给修正值计算单元52。具体地，相对于与当前块的邻近块邻近的边界部分中的像素(下文中也称为边界像素)，差计算单元51计算Cur图像的像素值与MC图像的像素值之间的差值(下文中也称为边界差值)。
[0061]基于差计算单元51提供的边界差值，修正值计算单元52计算用于对MC图像中当前块中的当前像素的像素值进行修正的修正值，并且将该修正值提供给加法单元53。
[0062]加法单元53将修正值计算单元52提供的当前像素的修正值加到MC图像中当前像素的像素值上，以计算修正的MC图像中对应于当前像素的像素的像素值。将修正值加到MC图像中的块中的全部像素上，并且对MC图像中的全部块执行该相加处理，以输出修正的MC图像。
[0063]<3.块噪声修正的MC图像输出处理和块噪声修正处理>
[0064]现在参考图3和图4中所示的流程图，描述要由图1中所示的图像处理装置11执行的块噪声修正的MC图像输出处理，以及要由图2中所示的块噪声修正单元33执行的块噪声修正处理。[0065][块噪声修正的MC图像输出处理]
[0066]首先参考图3中所示的流程图，描述要由图1中所示的图像处理装置11执行的块噪声修正的MC图像输出处理。
[0067]在步骤Sll中，运动预测单元31根据Cur图像和Ref图像检测每个块的运动矢量MV,并且将运动矢量MV提供给运动补偿单元32。
[0068]在步骤S12中，使用运动预测单元31提供的运动矢量MV，运动补偿单元32对Ref图像执行运动补偿以生成运动补偿图像(MC图像)，并且将MC图像提供给块噪声修正单元33。[0069]在步骤S13中，块噪声修正单元33执行块噪声修正处理，以修正MC图像中所包含的块噪声，并且输出修正的MC图像作为修正结果。
[0070]按照以上方式，输出了修正的MC图像，该修正的MC图像修正了 MC图像中所包含的块噪声。
[0071][块噪声修正处理]
[0072]现在参考图4中所示的流程图，描述图3中所示的流程图的步骤S13中的块噪声检测处理。
[0073]在步骤S51中，相对于与当前块的邻近块邻近的边界位置中的像素(边界像素)，差计算单元51计算Cur图像的像素值与MC图像的像素值之间的差值(边界差值)。
[0074]现在参考图5，描述当前块的边界部分中的像素之间的差值。
[0075]图5的左半部分示出了 Cur图像中的当前块BL_cur，图5的右半部分示出了 MC图像中的当前块BL_mc。在图5中，当前块BL_cur和BL_mc中的每个正方形表示像素。也就是说，以8X8个像素形成当前块BL_cur和BL_mc中的每一个。
[0076]在当前块BL_cur和BL_mc中，边界像素(图中的阴影像素)的像素位置用i和j表示。当前块BL_cur中的边界像素的像素值Cur (i，j)与当前块BL_mc中的边界像素的像素值Mc (i，j)之间的差值，或边界差值S (i，j)，由以下等式(I)表示。
[0077][数学公式I]
[0078]
【权利要求】
1.一种图像处理装置，包括: 运动预测单元，其被配置成根据标准图像和参考图像来检测图像中每个块的运动矢量; 运动补偿单元，其被配置成通过使用所述运动矢量对所述参考图像执行运动补偿来生成运动补偿图像； 修正值计算单元，其被配置成基于所述标准图像与所述运动补偿图像之间的边界差值来计算修正值，所述修正值用于修正所述运动补偿图像中的当前块中的当前像素的像素值，所述边界差值是关于所述当前块中与邻近块邻近的边界部分中的边界像素的像素值的差值；以及 加法单元，其被配置成将所述修正值加到所述运动补偿图像中的当前像素的像素值上。
2.根据权利要求1所述的图像处理装置，其中，所述修正值计算单元基于所述边界差值和权重来计算所述当前像素的修正值，所述权重对应于所述当前像素与所述边界像素之间的距离。
3.根据权利要求1所述的图像处理装置，其中，关于边界像素，所述修正值计算单元基于所述标准图像与所述运动补偿图像之间的边界差值来计算所述当前像素的修正值，其中从所述边界像素中减去所述当前块中与邻近块邻近的边界部分中的像素。
4.根据权利要求1所述的图像处理装置，还包括: 近似单元，其被配置成使 用预定函数对差值进行近似，所述差值是逐块地在所述标准图像中的像素的像素值与所述运动补偿图像中的像素的像素值之间的差； 积分单元，其被配置成对所述预定函数进行积分； 权重计算单元，其被配置成根据由所述积分单元获得的积分值和对应于图像亮度值的噪声强度分布来计算权重系数；以及 加权单元，其被配置成通过使用所述权重系数对所述当前像素的修正值进行加权， 其中，所述加法单元将由所述加权单元加权的修正值加到所述运动补偿图像中的所述当前像素的像素值上。
5.根据权利要求1所述的图像处理装置，还包括: 近似单元，其被配置成使用预定函数对差值进行近似，所述差值是逐块地在所述标准图像中的像素的像素值与所述运动补偿图像中的像素的像素值之间的差； 积分单元，其被配置成对所述预定函数进行积分；以及 组合单元，其被配置成根据由所述积分单元获得的积分值和对应于图像亮度值的噪声强度分布来生成组合图像，所述组合图像是通过将所述标准图像中的像素的像素值与所述运动补偿图像中的像素的像素值进行组合而形成的， 其中，所述修正值计算单元基于所述组合图像与所述运动补偿图像之间的边界差值来计算所述当前块中的所述当前像素的修正值，所述边界差值是关于所述当前块中与邻近块邻近的边界部分中的边界像素的像素值的差值。
6.一种在图像处理装置中实现的图像处理方法，所述图像处理装置包括: 运动预测单元，其根据标准图像和参考图像来检测图像中每个块的运动矢量； 运动补偿单元，其通过使用所述运动矢量对所述参考图像执行运动补偿来生成运动补偿图像；修正值计算单元，其基于所述标准图像与所述运动补偿图像之间的边界差值来计算修正值，所述修正值用于修正所述运动补偿图像中的当前块中的当前像素的像素值，所述边界差值是关于所述当前块中与邻近块邻近的边界部分中的边界像素的像素值的差值；以及加法单元，其将所述修正值加到所述运动补偿图像中的所述当前像素的像素值上，所述图像处理方法包括下述步骤: 通过根据标准图像和参考图像检测图像中每个块的运动矢量，并且使用所述运动矢量对所述参考图像执行运动补偿，来生成运动补偿图像； 基于所述标准图像与所述运动补偿图像之间的边界差值来计算修正值，所述修正值用于修正所述运动补偿图像中的当前块中的当前像素的像素值，所述边界差值是关于所述当前块中与邻近块邻近的边界部分中的边界像素的像素值的差值；以及将所述修正值加到所述运动补偿图像中的所述当前像素的像素值上， 上述步骤由所述图像处理装置执行。
7.一种用于使计算机执行处理的程序，所述处理包括: 运动矢量检测步骤，用于根据标准图像和参考图像来检测图像中每个块的运动矢量；运动补偿步骤，用于通过使用所述运动矢量对所述参考图像执行运动补偿来生成运动补偿图像； 修正值计算步骤，用于基于所述标准图像与所述运动补偿图像之间的边界差值来计算修正值，所述修正值用于修正所述运动补偿图像中的当前块中的当前像素的像素值，所述边界差值是关于所述当前块中与邻近块邻近的边界部分中的边界像素的像素值的差值；以及 相加步骤，用于将所述修正值加到所`述运动补偿图像中的所述当前像素的像素值上。
8.—种记录有程序的记录介质，所述程序用于使计算机执行处理，所述处理包括: 运动矢量检测步骤，用于根据标准图像和参考图像来检测图像中每个块的运动矢量； 运动补偿步骤，用于通过使用所述运动矢量对所述参考图像执行运动补偿来生成运动补偿图像； 修正值计算步骤，用于基于所述标准图像与所述运动补偿图像之间的边界差值来计算修正值，所述修正值用于修正所述运动补偿图像中的当前块中的当前像素的像素值，所述边界差值是关于所述当前块中与邻近块邻近的边界部分中的边界像素的像素值的差值；以及 相加步骤，用于将所述修正值加到所述运动补偿图像中的所述当前像素的像素值上。
【文档编号】H04N19/136GK103858432SQ201280049210
【公开日】2014年6月11日 申请日期:2012年10月5日 优先权日:2011年10月14日
【发明者】横川昌俊, 名云武文, 罗俊 申请人:索尼公司