专利名称：感知块屏蔽估算系统的制作方法
技术领域：
这里所描述的技术一般地涉及确定图像中的噪声的可感知性(perceptibility)。 降噪技术可基于噪声的可感知性进行应用。
背景技术：
在多种应用中，数字图像和视频可以通过信道传输，所述应用例如是数字电视信号的传输。在一些应用中，数字图像和视频在传输之前可能会被压缩以增加可被传输的信息量。例如，如果数字电视信号被压缩，那么与没有压缩相比，可以传输更多数目的电视频道。数字图像和视频的压缩可以是无损的或有损的。如果是无损压缩，那么在数据解压后可以精确重现原始图像或视频。但是，如果是有损压缩，那么可能无法精确地重现原始的图像或视频，并可能存在由于有损压缩算法造成的“噪声”。在一些应用中，有损压缩可能比无损压缩更合适，因为其压缩率更高。图像和视频压缩可能会增加不同类型的噪声。噪声的一种例子是“块”噪声。一个图像或一个视频帧可分为多个块。一些压缩算法，如MPEG，可以处理图像块和视频块， 并且块边界周围的不同影响可能会导致噪声的出现。其他可能发生的噪声类型包括“自鸣 (ringing)”和“蚊式(mosquito) ”噪声。自鸣和蚊式噪声可能会出现在图像的锐利边缘附近，并可能会产生在空间和/或时间上从锐利边缘延伸的嘈杂伪影。在一些应用中，可以应用技术来降低解压噪声的出现。例如，可以使用滤波器降低图像和视频中的自鸣噪声。然而，应用降低噪声的技术也可能对图像或视频的无噪声部分产生不利影响。例如，使用滤波器降低噪声会模糊图像区域，并且降低可被重现的图像细节的质量。
实用新型内容根据本实用新型的一方面，公开了一种用于确定噪声可感知性信息的设备，所述噪声可感知性信息表示人对图像帧中的噪声的可感知性，所述图像帧包括多个块，所述设备包括标准化活动确定电路，被配置用于确定表示所述块中的可视信息的复杂等级的所述块的标准化活动等级；以及噪声可感知性信息确定电路，被配置用于利用所述标准化活动等级确定所述块的噪声可感知性信息。在一个优选实施例中，所述设备进一步包括纹理分析器，被配置用于确定所述块的纹理值，其中所述噪声可感知性信息确定电路利用所述纹理值确定所述噪声可感知性信肩、ο在一个优选实施例中，所述噪声可感知性信息确定电路包括查询表，该查询表存储用来确定所述噪声可感知性信息的值。在一个优选实施例中，所述查询表包括被选择的、使得所述块的所确定的噪声可感知性信息与所述帧编码过程中计算的所述块的标准化活动值相类似的值。[0010]在一个优选实施例中，已经预先使用计算所述标准化活动值的过程对所述帧进行编码；以及所述标准化活动计算器应用所述计算所述标准化活动值的过程。在一个优选实施例中，所述纹理分析器包括边缘幅值估计器。在一个优选实施例中，所述标准化活动计算器被配置用于计算在包括所选择的块的宏块中的每一个块的方差，并且选择在所述宏块中的各块的最小方差。在一个优选实施例中，所述纹理分析器被配置用于确定邻接于所述块的第二块的第二纹理值。在一个优选实施例中，所述块为宏块的一部分。在一个优选实施例中，所述块包括一个由像素组成的八乘八的方阵。在一个优选实施例中，所述图像帧为一视频帧。
在附图中，不同附图中的每一个相同或相似组件都用类似的参考符号表示。以阐述清楚为目的，并不是每一个组件都在每一个附图中标识。在附图中附图1所示为可以用于确定图像块中的感知的噪声的系统的示例实现；附图2所示为根据一些实施例的宏块级标准化活动计算器的示例实现；附图3A和图IBB所示为根据一些实施例的宏块级标准化活动计算器可以使用的块配置的示例；附图4所示为根据一些实施例的块级纹理分析器的示例实现；附图5A和图5B所示为根据一些实施例的可用于确定边缘幅值的示例真值表；附图6A和图6B所示为示出了根据一些实施例的可用于调整初始块纹理值的值的示例图；附图7所示为根据一些实施例的可由块级纹理分析器在分析邻接块的纹理中使用的示例块配置；附图8所示为根据一些实施例的可由块级纹理分析器在分析邻接块的纹理中使用的示例说明性过程的流程图；附图9所示为根据一些实施例的可由块屏蔽(mask)生成器使用的示例查询表；附图10所述为根据一些实施例的可用于确定块中噪声的可感知性的示例说明性过程的流程图；附图11所示为根据一些实施例的可用于确定块中噪声的可感知性的设备示例。
具体实施方式
用于降低图像中噪声的滤波器的强度可以基于图像中的噪声量来选择。例如，如果图像包含许多噪声，则可以应用较强的滤波器，而如果图像仅包含少量噪声，则可以应用较弱的滤波器。但是，应用较强的滤波器来降低噪声可能也会对图像和视频的不包含噪声的部分产生更大的不良影响。申请人:已经意识到，虽然图像和视频的有损压缩可能增加了解压图像和视频的噪声，但是图像和视频中出现的噪声并不总被观看它们的人们所感知。例如，如果一个图像或视频展示一个大草原，该图像的纹理可能会隐藏图像中出现的噪声，并且可能不需要应用技术来降低噪声的出现。相反，如果一个图像或视频包含与平滑区域相邻接的锐利边缘，噪声可能会清晰可见，那么可能就更需要应用技术来降低噪声的出现。这里所描述的技术涉及通过降低或去除噪声来提高数字图像或视频的显示效果。在一些实施例中，可以针对块计算噪声可感知性值，指示该块中噪声的可感知程度。在一些实施例中，可以使用标准化活动(normalized activility)计算器和纹理 (texture)分析器来确定块的噪声可感知性值。该噪声可感知性值可用作一屏蔽值，该屏蔽值可用来设置用于过滤图像的空间去噪滤波器的强度。所计算的活动等级可以表示一个图像的一部分中的可视内容的复杂度。例如，图像中没有重要细节的部分，如图像的背景部分，可以具有低活动等级，而具有大量细节的复杂帧可以具有高活动等级。标准化活动级别可作为一相对值来计算，该相对值表示一个帧的一部分(例如一个块)与该帧整体的活动等级相比的活动等级。在一些实施例中，标准化活动计算器可以使用与MPEG编码器所使用的相类似的技术来计算标准化活动。在MPEG编码器中，标准化活动等级可被用于确定编码过程中使用的量化步长的大小。可以通过一特定块的活动与一帧的活动之间的比较来确定该标准化活动。在MPEG编码器中，如果活动等级为高，用于对块进行编码的量化步长可以定的较大。如果活动等级为低，用于对块进行编码的量化步长可以定的较小以降低噪声量。在一些实施例中，标准化活动等级计算器可以使用这些技术来估算块中的活动量。当活动等级为高时， 由压缩产生的噪声可能没有由于块中大量活动而产生的噪声那么容易感知。当活动等级为低时，由压缩产生的噪声会更易被感知。可以基于所计算的活动值来选择用于处理解压图像的空间去噪滤波器的强度。纹理分析器可以计算块的纹理值。块的纹理可被视为块中的非随机或有序的空间信息的量。当该纹理等级为高时，可能由压缩产生的噪声可能没有由于块中的大量纹理产生的噪声那么容易被感知。当活动等级为低时，可能由压缩产生的噪声可能更易被感知。在一些实施例中，可以使用为探测块中的边缘而设计的空间滤波器来计算块中的有序空间信息的量。所计算的纹理值可能会受块中边缘的强度和/或数量所影响。如果一个块包含许多边缘，该块的纹理值可能为高，而如果该块不包含许多边缘，该块的纹理值可能为低。可以基于所计算的纹理值来选择用于处理解压图像的空间去噪滤波器的强度。在一些实施例中，块屏蔽生成器可以接收标准化活动值和纹理值作为输入，并且生成噪声可感知性值作为输出。该噪声可感知性值可以作为用于控制待使用的空间去噪滤波器的强度的屏蔽值。图1所示为可用于降低或去除帧中噪声的系统100的实施例。系统100可具有三个输入。第一输入可以为帧101。帧101可以为任何格式，并且在一些实施例中，帧101可以仅包括帧的亮度分量。另一输入可以为块参数102。帧101可以被细分为多个块和宏块， 而块参数102可以包括表示块的宽度及高度和/或块在帧101中的位置的数据。在一些实施例中，一个块可以为由像素组成的一个八乘八的方块，一个宏块可以为由块组成的一个更大的二乘二的方块，但是块和宏块的上述配置并不是本实用新型的限定特征。另一输入可以为交织标志103，其可以指示所述帧数据是否是交织的。在系统100的一些实施例中，某些处理可以针对帧101执行，某些处理可以针对帧 101的宏块执行，而某些处理可以针对帧101的块执行。例如，系统100可以包括帧级噪声估计器104，其产生可以指示帧101中的噪声量的帧噪声估计值122。系统100还可以包括宏块级标准化活动计算器105，其产生宏块标准化活动值123，并且可以使用与MPEG编码器所使用的相类似的技术。系统100还可以包括块级纹理分析器106，其使用例如计算块中边缘的平均值这样的技术产生块纹理值124。在系统100中，块屏蔽生成器160可以接收宏块标准化活动值123和块纹理值IM作为输入，并且使用这些值来生成块屏蔽值161。在一些实施例中，块屏蔽生成器160可以使用查询表来计算块屏蔽值161。所述帧噪声估计值122和块屏蔽值161可被用来确定应用于块的去噪滤波器的强度。例如，在一些实施例中，可以通过使用乘法器162来确定滤波强度参数108，该乘法器 162将所述帧噪声估计值122和块屏蔽值161相乘。然后，所述滤波强度参数108可被用于确定滤波器170的滤波器系数，并且滤波器170可被用来降低或去除出现在块中的噪声。附图2中所示为系统100中使用的宏块级标准化活动计算器105的一个示例。在附图2中，块选择器205接收帧101和块参数102作为输入，并从帧101产生块210作为输出。例如，在一些实施例中，块210可以为从101中产生的由像素组成的八乘八的方块。接着，块方差计算器215计算块210的块方差220，其中块方差220指示出块201中像素值的方差量。可以用任何合适的方式计算所述块方差220。例如，可以使用如下公式来计算块方差 220
__ , , . ,ιNumPix
平均值=一_1_一 Y(Pk) NumPix
.L > ^1 NumPix
块万差=TTi^ σ(α—平均值)2 NumPix其中，NumPix为所述块中的像素总量，Pk为所述块的像素k。块方差220可以被帧级平均方差计算器235用来计算帧平均方差M0，所述帧平均方差240可以为帧101中一些块上的块方差220的平均值。可以用任何合适的方式计算帧平均方差对0。例如，可以使用如下公式计算帧平均方差MO
帧平均方差二 ！mY(BlkVark)
NumBlk J^x其中，NumBlk为用于计算帧平均方差MO的块的数量，BlkVark为帧101的块k的块方差220。块方差220还可以被最小方差选择器230用来计算一个块集合的最小方差M5。 最小方差选择器230所考虑的块集合可以与包括块210的宏块相关。例如，在一些实施例中，最小方差选择器230可以在包含块210的宏块中的各个块中选择最小方差。如果宏块由四个块组成，则最小方差选择器230可以在如图3a中所示的四个块中选择所述最小方差。 在其它实施例中，最小方差选择器230可以在如图北所示的包含块210的宏块中的多个块以及在与该宏块相邻的多个块中选择所述最小方差。在其它实施例中，最小方差选择器230 可以将最小方差245设置为零，而不管块方差的实际值。标准化活动计算单元250可以使用帧平均方差240和最小方差245来计算宏块标准化活动值123。可以用任何合适的方式计算宏块标准化活动值123。在一些实施例中，可以使用如下公式计算宏块标准化活动值123
权利要求1.一种用于确定噪声可感知性信息的设备，所述噪声可感知性信息表示人对图像帧中的噪声的可感知性，所述图像帧包括多个块，其特征在于所述设备包括标准化活动确定电路，被配置用于确定表示所述块中的可视信息的复杂等级的所述块的标准化活动等级；以及噪声可感知性信息确定电路，被配置用于利用所述标准化活动等级确定所述块的噪声可感知性信息。
2.根据权利要求1所述的设备，其特征在于所述设备进一步包括纹理分析器，被配置用于确定所述块的纹理值，其中所述噪声可感知性信息确定电路利用所述纹理值确定所述噪声可感知性信息。
3.根据权利要求2所述的设备，其特征在于，所述噪声可感知性信息确定电路包括查询表，该查询表存储用来确定所述噪声可感知性信息的值。
4.根据权利要求3所述的设备，其特征在于，所述查询表包括被选择的、使得所述块的所确定的噪声可感知性信息与所述帧编码过程中计算的所述块的标准化活动值相类似的值。
5.根据权利要求4所述的设备，其特征在于，已经预先使用计算所述标准化活动值的过程对所述帧进行编码；以及所述标准化活动计算器应用所述计算所述标准化活动值的过程。
6.根据权利要求2所述的设备，其特征在于，所述纹理分析器包括边缘幅值估计器。
7.根据权利要求1所述的设备，其特征在于，所述标准化活动计算器被配置用于计算在包括所选择的块的宏块中的每一个块的方差，并且选择在所述宏块中的各块的最小方差。
8.根据权利要求2所述的设备，其特征在于，所述纹理分析器被配置用于确定邻接于所述块的第二块的第二纹理值。
9.根据权利要求1所述的设备，其特征在于，所述块为宏块的一部分。
10.根据权利要求1所述的设备，其特征在于，所述块包括一个由像素组成的八乘八的方阵。
11.根据权利要求1所述的设备，其特征在于，所述图像帧为一视频帧。
专利摘要本申请公开了感知块屏蔽估算系统。具体地，公开了用于确定图像块和/或视频块中的噪声的可感知性的系统和方法。所述系统和方法可以利用块屏蔽生成器来计算块的屏蔽值。所述屏蔽值可以指示块中噪声的可感知性。所述屏蔽值可以利用块的标准化活动值和/或纹理值来计算。所述标准化活动值可以指示与所述图像和/或视频中的活动相比较的所述块中的相对活动。所述纹理值可以指示所述块中边缘的强度和/或数量。
文档编号H04N5/213GK202190323SQ20102070153
公开日2012年4月11日 申请日期2010年12月30日 优先权日2010年12月30日
发明者A·拉法利, L·惠, P·常, 王海云 申请人:意法半导体亚太私人有限公司, 意法半导体研发(深圳)有限公司