专利名称：图像处理装置和方法、程序以及记录介质的制作方法
技术领域：
本发明涉及图像处理装置及其方法、程序以及记录介质，更具体地，涉及用于更精确地检测块噪声(block noise)的图像处理装置和方法、程序以及记录介质。
背景技术：
一般地，以块为单位进行图像的编码和解码处理。然而，当图像信号的压缩率高时，在相邻块之间产生灰度差异。特别地，灰度差异容易出现在灰度适度变化的部分中。由灰度差异所造成的噪声被称为块噪声。为了检测块噪声，获取图像中的相邻块之间的第一微分值(例如，参见日本未实审专利申请公报No. 2001-119695)。
发明内容
然而，在上述公开中，当图像中包含的边缘部分与块的边界区相匹配时，虽然该块不包含块噪声，但是存在块被错误检测为包含块噪声的块的情形。在考虑到这样的情况下做出了本公开。期望能更准确地检测块噪声。根据本公开的实施例，提供了一种图像处理装置，包括运动估计处理部分，其从标准图像和参考图像中检测构成图像的块单元的运动矢量；运动补偿处理部分，其通过使用运动矢量执行参考图像的运动补偿来产生运动补偿图像；差分计算部分，其计算标准图像的像素的像素值和运动补偿图像的像素的像素值之间的差分值；以及阈值处理部分，其通过对差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。差分计算部分可以计算块单元的参考图像与运动补偿图像的像素的像素值之间的差分值，图像处理装置还可以包括近似处理部分，其将差分值近似为预定函数，和积分处理部分，其对预定函数积分，并且阈值处理部分可以通过对由积分处理部分获得的积分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。差分计算部分可以计算与标准图像和运动补偿图像处的目标块中的相邻块相邻的边界区处的像素的像素值之间的差分值。差分计算部分可以计算通过采样与目标块中的相邻块相邻的边界区处的像素而获得的像素的像素值之间的差分值。阈值处理部分可以通过将由积分处理部分获得的积分值和基于与图像的亮度值相对应的噪声强度设置的阈值进行比较来判断块噪声是否包含在块单元的运动补偿图像中。差分计算部分可以计算通过对标准图像的像素的像素值求微分而获得的第一微分值与通过对运动补偿图像的像素的像素值求微分而获得的第二微分值之间的差分值，并且阈值处理部分可以通过对第一微分值和第二微分值之间的差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。差分计算部分可以计算通过对目标块和相邻块的边界区的像素的像素值求微分而获得的第一微分值与通过对运动补偿图像中的目标块和相邻块的图像的边界区的像素的像素值求微分而获得的第二微分值之间的差分值。还可提供均值计算部分，其计算块的边界区处的差分值的平均值，并且阈值处理部分可以通过对由均值计算部分获得的平均值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。阈值处理部分可以通过将第一微分值和第二微分值之间的差分值和基于与图像的亮度值相对应的噪声强度设置的阈值进行比较来判断块噪声是否可能被包含在块单元的运动补偿图像中。还可提供微分处理部分，其对由差分计算部分计算出的差分值求微分，阈值处理部分可以通过对由微分处理部分计算的积分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。微分处理部分可以对目标块和相邻块之间的边界区的差分值求微分。还可提供平均值计算部分，其计算块中的边界区处的微分值的平均值，并且阈值处理部分可以通过对由平均值计算部分计算的平均值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。阈值处理部分可以通过将由微分处理部分计算的微分值和基于与图像的亮度值相对应的噪声强度设置的阈值进行比较来判断块噪声是否包含在块单元的运动补偿图像中。根据本公开的另一个实施例，提供了一种图像处理装置的图像处理方法，该图像处理装置包括运动估计处理部分，其从标准图像和参考图像中检测构成图像的块单元的运动矢量；运动补偿处理部分，其通过使用运动矢量执行参考图像的运动补偿来产生运动补偿图像；差分计算部分，其计算标准图像的像素的像素值和运动补偿图像的像素的像素值之间的差分值；以及阈值处理部分，其通过对差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中；该方法包括从标准图像和参考图像中检测构成图像的块单元的运动矢量；通过使用运动矢量执行参考图像的运动补偿来产生运动补偿图像；计算标准图像的像素的像素值和运动补偿图像的像素的像素值之间的差分值；以及通过对差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。根据本公开的再一个实施例，提供了一个程序，其导致计算机执行如下处理，包括从标准图像和参考图像中检测构成图像的块单元的运动矢量；通过使用运动矢量执行参考图像的运动补偿来产生运动补偿图像；计算标准图像的像素的像素值和运动补偿图像的像素的像素值之间的差分值；以及通过对差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。根据本公开的实施例，该方法从标准图像和参考图像中检测构成图像的块单元的运动矢量，通过使用运动矢量执行参考图像的运动补偿来产生运动补偿图像，计算标准图像的像素的像素值和运动补偿图像的像素的像素值之间的差分值，以及通过对差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。 本公开能够更准确地检测块噪声。
图1是示出了根据本公开的图像处理设备的一个实施例的功能配置示例的框图。图2是示出了块噪声检测部分的第一配置例的框图。图3A-3C是示出了块噪声检测的布置的视图。图4是示出了块噪声检测结果的输出处理的流程图。图5是示出了由图2中的块噪声检测部分进行的块噪声检测处理的流程图。图6是示出了块的边界区的差分值的视图。图7是示出了与亮度值对应的噪声强度的视图。图8是示出了块噪声检测部分的第一配置的修改示例的框图。图9是示出了由图8中的块噪声检测部分进行的块噪声检测处理的流程图。图10是示出了块噪声检测部分的第二配置示例的框图。图11是示出了由图10中的块噪声检测部分进行的块噪声检测处理的流程图。图12是示出了对差分值的近似的视图。图13是示出了积分处理的视图。图14是示出了分 部分求面积(quadrature by parts)的视图。图15是示出了分部分求面积的视图。图16是示出了计算机的硬件配置示例的框图。
具体实施例方式将参考下面的
本公开的实施例。其说明按照下列顺序进行。1.图像处理设备的配置2.块噪声检测部分的第一配置示例3.块噪声检测结果输出处理和块噪声检测处理4.块噪声检测部分的第一配置示例的修改示例和块噪声检测处理5.块噪声检测部分的第二配置示例和块噪声检测处理1.图像处理设备的配置图1示出了应用本公开的图像处理设备的实施例的配置。图1的图像处理设备11例如生成Cur图像的估计图像，它使用从图像设备(未示出)提供(输入)的标准图像(以下，称为Cur图像)和在时间上早于Cur图像的参考图像(以下，称为Ref图像)执行块匹配。此外，图像处理设备11检测包含在估计图像中的块噪声并通过比较Cur图像和估计图像来输出检测结果。此外，输入图像处理设备11中的图像是运动图像，其包括时间上连续的多个帧，并且Ref图像是噪声减少的图像，由另一个图像处理设备基于块噪声的检测结果相对于Cur图像在其上执行噪声减少处理。此外，图像处理设备11自身可被设置在诸如数码相机等之类的成像设备内。图1的图像处理设备11包括运动估计处理部分31、运动补偿处理部分32和块噪声检测部分33。运动估计处理部分31从作为受到关注的帧的Cur图像和一帧之前的Ref图像来检测包括其图像的块单元的运动矢量MV，并提供运动矢量给运动补偿处理部分32。具体地，运动估计处理部分31通过使用Ref图像的对应块来定位Cur图像的块，来获得块单元的运动矢量MV。
运动补偿处理部分32通过使用运动估计处理部分31的块单元的运动矢量MV来执行对Ref图像的运动补偿，而针对Ref图像生成以块单元为基础被定位到Cur图像的运动补偿图像(以下称为MC图像)，并将该图像提供给块噪声检测部分33。块噪声检测部分33通过将Cur图像和来自运动补偿处理部分32的MC图像相比较来检测MC图像中包含的块噪声并输出检测的结果。具体地，块噪声检测部分33通过获得Cur图像的像素的像素值和MC图像的像素的像素值之间的差分值值并通过对差分值值执行阈值处理来检测包含在块单元的MC图像中的块噪声。2.块噪声检测部分的第一配置示例下面将参照图2描述块噪声检测部分33的第一配置示例。图2的块噪声检测部分33包括滤波处理部分51、滤波处理部分52、微分处理部分53、微分处理部分54、差分计算部分55、平均值计算部分56和阈值处理部分57。滤波处理部分51对Cur图像执行滤波处理，并将滤波的Cur图像提供给微分处理部分53。具体来说，滤波处理部·分51使用中值滤波器和低通滤波器、中值滤波器和低通滤波器的组合滤波器等对Cur图像执行滤波处理。滤波处理部分52对MC图像执行滤波处理，并将滤波的MC图像提供给微分处理部分54。具体来说，滤波处理部分52使用中值滤波器和低通滤波器、中值滤波器和低通滤波器的组合滤波器等以与滤波处理部分51相同的方式对MC图像执行滤波处理。微分处理部分53获取对滤波处理部分51对其执行了滤波处理的Cur图像的像素的像素值求微分的微分值，并将微分值提供给差分计算部分55。例如，如图3A所示，获得了与附图中的箭头方向平行的Cur图像的像素之间的像素值的差分值(一次微分值)。如图3A所示，Cur图像的一次微分值在Cur图像的边缘部分(Cur图像的纵向方向上的中央部分)增大。微分处理部分54获取对滤波处理部分52对其执行了滤波处理的MC图像的像素的像素值求微分的微分值，并将微分值提供给差分计算部分55。例如，如图3B所示，获得了与附图中的箭头方向(X轴方向)平行的块单元的MC图像的像素之间的像素值的差分值(一次微分值)。如图3B所示，MC图像的一次微分值在MC图像的边缘部分(Cur图像的纵向方向上的中央部分)与包含块噪声的块(加阴影的块)之间的边界区中增大。差分计算部分55计算来自微分处理部分53的Cur图像的微分值和来自微分处理部分54的MC图像的微分值之间的差分值并将差分值提供给平均值计算部分56。也就是说，在图3A所示的Cur图像的一次微分值和图3B所示的MC图像的一次微分值之间的差分值中，其每个边缘的值被抵消，并且只有包括块噪声的块的边界区被形成为具有如图3C所示的值。平均值计算部分56以块单元为基础计算来自差分计算部分55的差分值的平均值，并将该值提供给阈值处理部分57。阈值处理部分57通过判断来自平均值计算部分56的平均值是否比块单元上的预定阈值高，来输出指示块噪声是否包含在该块的MC图像中的检测结果。3.块噪声检测结果输出处理和块噪声检测处理接下来，将参照图4和图5的流程图对由图1中的图像处理装置11进行的块噪声检测结果输出处理和由图2中的块噪声检测部分33进行的块噪声检测处理加以描述。
块噪声检测结果输出处理首先，参照图4的流程图，将描述在图1中描述的图像处理装置11中的块噪声检测结果输出处理。在步骤S11，运动估计处理部分31为来自Cur图像和Ref图像的每一个块检测运动矢量MV并且将检测到的矢量MV提供给运动补偿处理部分32。在步骤S12，运动补偿处理部分32通过使用来自运动估计处理部分31的运动矢量MV执行Ref图像的运动补偿来生成运动补偿图像(MC图像)，并将运动补偿图像提供给块噪声检测部分33。在步骤S13，块噪声检测部分33通过执行块噪声检测处理来检测包含在MC图像中的块噪声。如上所述，在MC图像中的块噪声的检测结果被输出。块噪声检测处理接下来，参照图5的流程图，将描述图4中的流程图的步骤S13中的块噪声检测处理。在步骤S31，滤波处理部分51对Cur图像执行滤波处理，并将Cur图像提供给微分处理部分 53。在步骤S32，滤波处理部分52对MC图像执行滤波处理，并将MC图像提供给微分处理部分54。如上所述，包含在每一幅图像中的噪声可通过对Cur图像和MC图像执行滤波处理进行控制。此外，步骤S31和S32中的处理可被并行执行。在步骤S33，微分处理部分53对位于由滤波处理部分51对其执行了滤波处理并接受关注的目标块和与目标块相邻的相邻块之间的边界区的Cur图像执行微分处理。具体地，微分处理部分53获得目标块的四个边和与Cur图像的四个边相邻的相邻块的像素的像素值之间的差分值，并将差分值提供给差分计算部分55。在步骤S34，微分处理部分54对位于由滤波处理部分52对其执行了滤波处理的目标块与相邻块之间的边界区的MC图像执行微分处理。具体来说，微分处理部分54获得目标块的四个边和与四个边相邻的相邻块的像素的像素值之间的差分值，并将差分值提供给差分计算部分55。在步骤S35，差分计算部分55计算来自微分处理部分53的目标块的四个边的Cur图像的微分值(差分值)和来自微分处理部分54的目标块的四个边的MC图像的微分值(差分值)之间的差分值，并将该差分值提供给平均值计算部分56。在步骤S36，平均值计算部分56针对每一个边计算来自差分计算部分55的四个边的差分值的平均值，并将平均值提供给阈值处理部分57。例如，如果一个块包括8X8个像素，则平均值计算部分56针对每一个边计算八个像素的差分值的平均值。也就是说，如图6右侧所示，目标块和相邻块之间的边界区的像素值不使用以像素(像素)为基础进行比较的值，而是使用以边界区(块的一个边的单位)为基础来比较目标块和相邻块之间的边界区的像素值的值。如上所述，可以通过相加和平均微分值来抑制由Cur图像中包含的图像传感器所引起的噪声的影响。在此，如果Cur图像的微分值(差分值)是ACur并且MC图像的微分值(差分值)是A MC,则由平均值计算部分56获得的平均值block_strength由以下的式I表示。
/ 权利要求
1.一种图像处理装置，包括 运动估计处理部分，其从标准图像和参考图像中检测构成图像的块单元的运动矢量； 运动补偿处理部分，其通过使用所述运动矢量执行所述参考图像的运动补偿来产生运动补偿图像； 差分计算部分，其计算所述标准图像的像素的像素值和所述运动补偿图像的像素的像素值之间的差分值；以及 阈值处理部分，其通过对所述差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。
2.根据权利要求1所述的图像处理装置， 其中，所述差分计算部分计算所述块单元的所述参考图像与所述运动补偿图像的像素的像素值之间的差分值， 其中，所述图像处理装置还包括 近似处理部分，其将所述差分值近似为预定函数，和 积分处理部分，其对所述预定函数积分，并且 其中所述阈值处理部分通过对由所述积分处理部分获得的积分值执行阈值处理来判断块噪声是否包含在所述块单元的运动补偿图像中。
3.根据权利要求2所述的图像处理装置， 其中，所述差分计算部分计算所述标准图像和所述运动补偿图像处的目标块中与相邻块相邻的边界区处的像素的像素值之间的差分值。
4.根据权利要求3所述的图像处理装置， 其中，所述差分计算部分计算通过采样所述标准图像和所述运动补偿图像处的所述目标块中与所述相邻块相邻的所述边界区处的像素而获得的像素的像素值之间的差分值。
5.根据权利要求2所述的图像处理装置， 其中，所述阈值处理部分通过将由所述积分处理部分获得的积分值和基于与图像的亮度值相对应的噪声强度设置的阈值进行比较来判断块噪声是否包含在块单元的运动补偿图像中。
6.根据权利要求1所述的图像处理装置， 其中，所述差分计算部分计算通过对所述标准图像的像素的像素值求微分而获得的第一微分值与通过对所述运动补偿图像的像素的像素值求微分而获得的第二微分值之间的差分值，并且 其中，所述阈值处理部分通过对所述第一微分值和所述第二微分值之间的所述差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。
7.根据权利要求6所述的图像处理装置， 其中，所述差分计算部分计算通过对所述标准图像中的目标块和相邻块中的边界区处的像素的像素值求微分而获得的所述第一微分值与通过对所述运动补偿图像中的所述目标块和所述相邻块中的图像的所述边界区处的像素的像素值求微分而获得的所述第二微分值之间的差分值。
8.根据权利要求7所述的图像处理装置，还包括 均值计算部分，其计算所述块的所述边界区处的所述差分值的平均值；其中，所述阈值处理部分通过对由所述均值计算部分获得的平均值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。
9.根据权利要求6所述的图像处理装置， 其中，所述阈值处理部分通过将所述第一微分值和所述第二微分值之间的差分值和基于与图像的亮度值相对应的噪声强度设置的所述阈值进行比较来判断块噪声是否包含在块单元的运动补偿图像中。
10.根据权利要求1所述的图像处理装置，还包括 微分处理部分，其对由差分计算部分计算出的差分值求微分； 其中，所述阈值处理部分通过对由所述微分处理部分计算的积分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。
11.根据权利要求10所述的图像处理装置， 其中，所述微分处理部分对所述目标块和所述相邻块之间的边界区的差分值求微分。
12.根据权利要求11所述的图像处理装置，还包括 平均值计算部分，其计算块中的边界区处的微分值的平均值， 其中，所述阈值处理部分通过对由所述平均值计算部分计算的平均值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。
13.根据权利要求10所述的图像处理装置， 其中，所述阈值处理部分通过将由所述微分处理部分计算的微分值和基于与图像的亮度值相对应的噪声强度设置的阈值进行比较来判断块噪声是否包含在块单元的运动补偿图像中。
14.一种图像处理装置的图像处理方法，该图像处理装置包括 运动估计处理部分，其从标准图像和参考图像中检测构成图像的块单元的运动矢量；运动补偿处理部分，其通过使用所述运动矢量执行所述参考图像的运动补偿来产生运动补偿图像； 差分计算部分，其计算所述标准图像的像素的像素值和所述运动补偿图像的像素的像素值之间的差分值；以及 阈值处理部分，其通过对所述差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中； 所述方法包括 从标准图像和参考图像中检测构成图像的块单元的运动矢量； 通过使用所述运动矢量执行所述参考图像的运动补偿来产生运动补偿图像； 计算所述标准图像的像素的像素值和所述运动补偿图像的像素的像素值之间的差分值；以及 通过对所述差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。
15.一种程序，其使计算机执行如下处理，包括 从标准图像和参考图像中检测构成图像的块单元的运动矢量； 通过使用所述运动矢量执行所述参考图像的运动补偿来产生运动补偿图像； 计算所述标准图像的像素的像素值和所述运动补偿图像的像素的像素值之间的差分值；以及通过对所述差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。
16.一种记录介质，其存储导致计算机执行如下处理的程序，所述处理包括 从标准图像和参考图像中检测构成图像的块单元的运动矢量； 通过使用所述运动矢量执行所述参考图像的运动补偿来产生运动补偿图像； 计算所述标准图像的像素的像素值和所述运动补偿图像的像素的像素值之间的差分值；以及 通过对所述差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。
全文摘要
本发明涉及图像处理装置和方法、程序以及记录介质。一种图像处理装置包括运动估计处理部分，其从标准图像和参考图像中检测构成图像的块单元的运动矢量；运动补偿处理部分，其通过使用运动矢量执行参考图像的运动补偿来产生运动补偿图像；差分计算部分，其计算标准图像的像素的像素值和运动补偿图像的像素的像素值之间的差分值；以及阈值处理部分，其通过对差分值执行阈值处理来判断块噪声是否包含在块单元的运动补偿图像中。
文档编号H04N5/14GK103037216SQ201210377429
公开日2013年4月10日 申请日期2012年9月27日 优先权日2011年10月4日
发明者横川昌俊, 名云武文, 罗俊 申请人:索尼公司