专利名称：用于画面清晰度增强的自适应切割防护的制作方法
技术领域：
本发明涉及视频处理领域，尤其是用于增强视频图象的方法。
图1示出常规清晰度增强装置100的框图。清晰度增强装置100包括卷积核150，功能是作为高频滤波器来确定图象的高频分量。通常，电视屏幕上的一幅图象指一幅画面。在此处，术语图象和画面可互换使用，意味着包括数据集合的全部或其中的一部分，这些数据可被处理以形成对应于数据的视觉表现。根据一个像素的视觉特征与相邻像素特征的比较，卷积核150计算一幅图象中每个像素的卷积值。通常用来提供此卷积值的卷积核为0-1/40-1/4+1-1/40-1/40,]]>卷积核的中心对应于被处理的像素。在此例中，被处理的像素值乘以+1，与该像素上下左右紧邻的像素分别乘-1/4，这些乘积值的和即为被处理像素的已确定卷积值。例如，如果该像素位于像素值不变的区域，则像素值的和减去四个类似像素值中的每个的1/4后为0。也即，在像素值不变的区域内不做增强。反之，如果像素值为100，周围的像素值均为40，则卷积值为60(100-10-10-10-10)。即，像素值相对邻近像素的变化越大，卷积值越大。此卷积值C通过一个图中170处的增益因子g进行适当的尺度调整，并与180处的原像素值Yin相加，形成清晰度增强后的像素值Yout＝Yin+g*C(1)
在此例中，确定适当增益因子g包括四个过程110-140；成本较低的系统可以使用更少的过程，相应地确定适当增益因子的质量降低；也可以使用更多过程。对比度控制110确定可以使用的最大增益g1，而不会引入对比度反常。也即，如果卷积值C是正值，Yin值对应相对暗的区域(低Yin值)，则高度增强会产生高对比度的白色值(高Yout值)，将显示为白点。类似地，如果卷积值C为负值，Yin值对应亮的区域(高Yin值)，高度负向增强将会出现黑点(低Yout值)。例如，通常使用的像素值范围是0到255，因此允许将像素值以字节进行处理，而且在对比度控制110中通常使用的最大增益因子g1为g1＝Yin/255 如果C＞0 (2a)g1＝(255-Yin)/255如果C＜＝0(2b)动态范围控制120确定类似的最大增益因子g2，以抑制过大的过调节，自适应去核130确定最大增益因子g3，以增强降噪性能。例如，在高噪环境中，如果卷积值C很小，最大增益因子g3保持为低值，以防止噪声导致的变化部分过分强化，而同时允许与图象边缘处对应的大幅变化部分可得到一个更大的增益。
从加法器180的输出Yout将被切割以位于像素值的最小和最大范围内。切割防护单元140确定最大增益因子g4，以令由于过度输出切割所导致的混叠最小。在实施示例中，图象被划分为块，用每个块中发生的切割数来确定与每个块有关的最大增益因子，此最大增益因子将对降低块内的切割数产生影响。根据块增益因子的双线性内插，通过计算每个像素的增益因子g4将这种块级信息传递给像素。为避免时域内的迅速变化，块增益因子被低通滤波，例如可使用先前增益的加权和实现。
根据标准的特定集合，用充分的探试确定这些最大增益因子g1，g2，g3，g4中的每一个，并且经常产生相当不同的结果。例如，Yin值较大且卷积值C为正会产生相对高的增益g1(公式2a)，但Yin值大通常将导致相对小的增益g4，以令切割最小。通过一种谨慎的选择过程对这种潜在相互矛盾的增益加以调和增益选择器160选择增益g1、g2、g3、g4中的最小值作为要使用的适当增益。也即，选择最大已确定增益g1、g2、g3、g4中的最小增益，以便在试图避免可能产生像素值过增强效果的同时提供最大的清晰度增强。
上述现有技术中处理的计算复杂度较高，而且通常需要先前图象中导出的数据来确定在当前图象中要使用的增益。如果一幅图象和下一幅之间存在快速运动，则这些处理可产生异常的结果。同样，现有技术过程需要各过程之间的通信要有很高的带宽，特别是当一些过程用软件完成，另一些用硬件实现时。特别地，由于卷积算法的一致性和重复性，卷积核150优选地采用硬件完成；然而，由于切割防护模块140通常采用基于探试原则的算法，因而优选地使用软件实现。通常，由于带宽限制，无法实现优选的过程划分。例如在多媒体处理系统中，基于为实现每个特定任务的适当实施装置，或者为便于并行处理而进行的优选划分由于其对处理器总线产生的带宽需求通常无法实现。通常，应使用软件实现的任务改用硬件实现，反之亦然，以致可令通过处理器总线传送的数据量最小。
通过提供被配置来确定应用于每个像素的增强容限的对比度控制和切割装置来完成这些目的以及其它目的。此容限用来限制由常规卷积核和增益控制模块所确定的增强度。优选地，该容限独立于所确定的卷积值，因此可令用于画面清晰度增强的模块间的带宽需求最小。所降低的带宽需求允许有效地划分硬件和软件实现的任务，并且简化了整个系统设计任务。在多媒体应用中，处理器和子部件之间传送的数据量可大大降低，且有效的划分便于进行并行处理。根据当前画面中的像素值，使用计算性简单的算法确定容限，因此可令用于画面增强的模块间由于时间依赖性而导致的异常最小。此外，根据包括平均增强范围、总体噪声测量等在内的整个画面级特征来动态调整清晰度增强。
图1示出现有技术中画面清晰度增强系统的示例框图。
图2示出根据本发明的一个方面的画面清晰度增强系统示例框图。
图3示出根据本发明，便于确定每个像素的最大增强范围的增强容限图示例。
图4示出根据本发明另一方面的画面清晰度增强系统的框图示例。
图5示出拥有根据本发明的画面清晰度增强装置的视频显示系统框图示例。
在这些附图中，相同的参考编号表示类似或相同的特性或功能。
为防止切割，加到每个像素值上的增强不应产生超出所允许像素值范围的输出像素值。为便于参考和理解，尽管可以使用任何其它的值，在此处假设可允许的像素值范围为0到2550＜＝Yin+Yenh＜＝255 (3)如果对像素所确定的卷积值C为正，则(正向)增强Yenh(＝g*C)所产生的和不能超过255；如果卷积值C为负，则(负向)增强Yenh所产生的和不能低于0。也即，公式(3)可以重新用下述公式表示如果C＞＝0 则Yenh＜＝255-Yin (4a)否则 |Yenh|＞＝Yin (4b)因此，不会引入切割的所允许最大增强Emax可表示为如果C＞＝0 则Emax＝255-Yin(5a)否则 |Emax|＝Yin (5b)正如上所述，图1中常规卷积核150和切割防护模块140之间所需的通信导致模块110-190之间的带宽需求，这会限制常规切割防护模块140的性能，或者限制划分视频处理系统时设计的选择。在本发明的优选实施方案中，对比度和切割控制模块240的运作与卷积核150基本分离，示于图2。为提供独立于卷积C的最大增强Emax，公式5a和5b替换为|Emax|＝Min(255-Yin，Yin)(6)也即，通过将最大增强限制为最大正向增强和最大负向增强的最小值，所得到的像素输出值可确保在允许像素值范围内。
如果直接应用公式6来确定每个像素值的最大允许增强，则相邻像素的所允许增强可能差别很大，将会产生相反的视觉效果。在优选实施方案中，基于对一个区域的增强范围进行平滑来确每个像素的最大增强，示于图3。
在图3中，画面310分为块320(320a，320b，320c，320d等)。在优选实施方案中，块320包含16×16个像素。与每个块320有关的是最大块增强330(330a，330b，330c，330d等)。由于最大增强330的目的是确保块内没有像素增强到超出允许像素值范围，所以块增强330定义为块内每个像素的最大允许增强值的最小值，按(6)式对每个像素(i)确定Bmax＝Mini[Min(255-Yini，Yini)] (7)注意在前述讨论中，通过将增强限制在更小的范围，从两个极端，黑(0)或白(255)，对块内每个像素的(Yin)和(255-Yin)之间的最小值影响对比度控制函数。
为便于参考和术语化，以下使用术语增强容限来定义与每个像素有关的最大允许增强幅度。将每个块内每个像素的增强容限限制为公式(7)中给出的Bmax，这将消除相邻像素间的不同增强容限，但将产生每个块边界的不连续性和相应的相反视觉效果。在本发明的优选实施方案中，用周围块增强值(Bmax)的双线性内插确定每个像素的增强容限，由示例轮廓图340的表面(340k，3401，340m等)示出，并对应下述公式Emaxi=Σxx+1Σyy+1W(i,x,y)Bmax(x,y)---(8)]]>其中W(i，x，y)是与每个块增强Bmax(x，y)值有关的加权，取决于像素i与每个块(x，y)中心的距离。图3示出像素301的增强容限(Emaxi)341，由像素301紧邻区域中块增强值(Bmax(x，y))330的双线性内插确定，增强容限341为相应于画面310中像素301位置的轮廓表面340m上的点X。此双线性内插还提供增强容限的有利的低通滤波，因此可令由于画面局部区域内由于增强度基本不同所导致的视觉异常最小。
如图2所示，由上述公式(8)定义的对每个像素的增强容限提供给增强限制器250。卷积核150、增益限制模块120和130，最小增益选择器160和乘法器170，按照如图1所示工作，并为增强限制器250提供基于卷积的增强g*C。根据本发明，增强Yenh的幅度加到输入像素值Yin，或从输入像素值Yin中减去，|Yenhi|＝Min(Emaxi，|giCi|)(9)增强Yenh的符号是g*C项的符号，对应卷积值C的符号。
因此，如上所示，可以使用相对简单的计算实现像素增强值的确定。注意增强容限的确定仅基于像素值和像素值的允许范围。还注意如果n比特像素值的允许范围跨越0到2n-1，则只执行Yin项中n个比特的求反就可完成(MaxRange-Yin)项的计算。由于计算的简单性，可基于当前图象的像素值计算根据本发明公式(8)的增强容限，因此消除了切割防护中的时域数据相关性。
上述过程便于大大降低一个典型系统中的带宽需求。在确定每个像素增强容限时排除每个像素的卷积值C，可大大降低图2中模块之间的带宽需求，因此可如愿划分模块的硬件和软件实现。同样，在对比度和切割模块240的优选实施方案中，上述公式(8)中(Bmax(x，y))项的确定用软件实现，而以这些值的双线性内插确定每个像素的增强值Emaxi241用硬件实现。这种优选划分可以完成，因为每个块通常对应几百个像素(例如，16×16个像素块)，而对每几百个像素项从正在执行确定Bmax(x，y)的软件的处理器传送一个Bmax(x，y)项到提供每个像素内插的硬件，可消耗相对较少的处理器可用总线带宽。
根据本发明的另一方面，基于与整幅画面有关的特征，使用图3的容限图来动态调整卷积值C，示于图4。
图4示出可选择的清晰度增强系统200’，有画面自适应修改模块450，可根据块增强因子的平均值，也可以选择基于诸如画面噪声测量的其它画面级特征来修改卷积值C。平均块增强容限高意味着清晰度增强的潜力大，然而，平均块增强容限低意味着如果应用清晰度增强，则很有可能发生切割。在本发明的优选实施方案中，如果平均块增强容限较低，则画面-自适应修改模块450减小卷积值C。同样地，存在噪声时清晰度增强通常产生噪声导致的闪烁和其它异常现象。在本发明的优选实施方案中，如果与通信信道或画面有关的噪声测量较高，画面-自适应修改模块450减小卷积值C。其他探试方法，例如实际切割率，也可以用来动态调整卷积值C，以产生视觉愉悦的效果。同样地，对画面来源的识别也可以用来动态调整卷积值C。例如，来自DVD播放机的画面很少或不需要增强，而来自电视播送设备的画面可能需要较大程度的增强，这取决于传输格式和媒体。所传输的高清晰度画面由一台兼容高清晰度的接收机处理时，可能比一个非高清晰度图象需要的增强更少，依次类推。
图5示出拥有根据本发明的画面清晰度增强装置200(或200’)的视频显示系统500的示例框图。视频源或其它图象信息510提供对应画面中每个像素的一个特征，诸如亮度的像素值阵列。如上所配置的清晰度增强模块200可强调像素值阵列的高频分量，由此增强图象的边缘特征，产生比原先看起来更“清晰”的图象。通常，如开关520所示，清晰度增强的应用作为选件提供。当选择该功能，已增强清晰度的画面提供给视频显示装置530，替代原先的画面。注意尽管本发明对序列图象的清晰度增强尤其适合，例如电视广播、视频会议和视频播放，本发明的原理也同样适用于静止图象的清晰度增强。
前述仅示出本发明的原理。尽管于此没有明确地阐述，但是本领域技术人员将能够设计不同的设备，实现本发明的原理，并且不超出所附权利要求的精神和范围。
权利要求
1.清晰度增强系统(200)包括被配置来确定与像素阵列(Yin)的一个像素有关的高频因子(C)的滤波器(150)，被配置来确定应用于高频因子(C)以产生高频增强项(gC)的增益因子(g)的一个或多个增益控制模块(120，130)，被配置来仅根据与像素相关的值和该值的允许范围来确定像素增强容限(Ymax)的切割控制模块(240)，以及被配置来接收高频增强项(gC)和像素增强容限(Ymax)，并由此产生便于确定清晰度增强像素输出值(Yout)的像素增强值(Yenh)的增强限制器。
2.如权利要求1的清晰度增强系统(200)，其中滤波器(150)包括被配置来根据与像素相关的值和与该像素相邻像素相关的值提供高频因子(C)的卷积核。
3.如权利要求1的清晰度增强系统(200)，其中一个或多个增益控制模块(120，130)包括动态范围控制模块(120)和自适应去核模块(130)中的至少一个。。
4.如权利要求1的清晰度增强系统(200)，其中切割控制模块(240)还被配置来实现对比度控制。
5.如权利要求4的清晰度增强系统(200)，其中切割控制模块(240)被配置来根据下述两项的最小值确定像素增强容限(Ymax)像素值减去像素最小允许值，和像素最大允许值减去像素值。
6.如权利要求1的清晰度增强系统(200)，其中切割控制模块(240)被配置来根据与构成像素阵列(Yin)的多个块(320)中的每个内的多个像素相关的增强容限来确定像素增强容限(Ymax)。
7.如权利要求1的清晰度增强系统(200)，其中切割控制模块(240)被配置来根据与像素临近的多个块(320)中的每个块相关的块增强容限(330)的双线性内插来确定像素增强容限(Ymax)，并且块增强容限(330)基于多个块(320)中的每个块内的像素值。
8.如权利要求7的清晰度增强系统(200)，其中块增强容限(330)基于下述两项中的最小值每个块内的每个像素值减去最小允许像素值，和最大允许像素值减去每个块内的每个像素值。
9.一种清晰度增强方法包含确定与像素阵列(Yin)的一个像素有关的高频因子(C)，确定应用于高频因子(C)以产生高频增强项(gC)的增益因子(g)，仅根据与像素相关的值及该值的允许范围来确定与像素有关的像素增强容限(Ymax)，根据像素增强容限(Ymax)限制高频增强项(gC)。
10.视频显示系统(500)包含包含多个像素的画面(Yin)源(510)，每个像素有一个相关的像素值，清晰度增强装置(200)，其可操作地与图象(Yin)源(510)连接，被配置来通过修改一个或多个像素值来增强图象(Yin)的高频分量，因此形成清晰度增强的图象(Yout)，和显示装置(520)，其可操作地与清晰度增强装置(200)连接，被配置来显示清晰度增强的图象(Yout)；其中清晰度增强装置(200)包含被配置来确定与画面(Yin)的每个像素有关的高频因子(C)的滤波器(150)，被配置来确定应用于高频因子(C)以产生与每个像素有关的高频增强项(gC)的增益因子(g)的一个或多个增益控制模块(120，130)，被配置来仅根据相关的像素值和该像素值的允许范围来确定像素增强容限(Ymax)的切割控制模块(240)，以及增强限制器，被配置来接收高频增强项(gC)和像素增强容限(Ymax)，并由此产生便于确定清晰度增强的图象(Yout)内的已修改像素值的像素增强值(Yenh)。
11.如权利要求10的视频显示系统(500)，其中滤波器(150)包括被配置来根据每个像素值及相应的相邻像素值来提供高频因子(C)的卷积核。
12.如权利要求10的视频显示系统(500)，其中切割控制模块(240)被配置来根据下述两项中的最小值确定像素增强容限(Ymax)每个像素值减去最小允许像素值，和最大允许像素值减去每个像素值。
13.如权利要求10的视频显示系统(500)，其中切割模块(240)被配置来根据与构成画面(Yin)的多个块(320)的每个相关的块增强容限(330)来确定像素增强容限(Ymax)。
全文摘要
对比度控制和切割装置被配置来确定可能应用于每个像素的用于画面清晰度增强的最大增强范围。此最大范围用来限制由传统卷积核和增益控制模块所决定的增强。优选地，此最大范围与所决定的卷积值无关，因此可令用于画面清晰度增强的模块中对带宽的需求最小。由于带宽需求降低，允许有效划分硬件和软件装置的任务，简化了整个系统设计。在多媒体应用中，处理器和子部件之间传送的数据量大大减少，有效的划分便于进行并行处理。根据当前场中的像素值，使用计算简单的算法确定增强的最大范围，因此可令用于画面增强的模块间由于时间相关性而导致的异常最小。此外，根据包括平均增强范围、总体噪声测量等在内的整个画面级特征来动态调整清晰度增强。
文档编号H04N5/66GK1411657SQ01806072
公开日2003年4月16日 申请日期2001年10月29日 优先权日2000年11月6日
发明者M·巴克穆特斯基, J·G·詹森, E·G·T·亚斯珀斯 申请人:皇家菲利浦电子有限公司