专利名称：通过自适应峰值增强视频序列锐度的制作方法
技术领域：
本发明所声明的实现总的涉及增强视频信息的方案，尤其涉及改变视频信息锐度的方案。
背景技术：
视频信息可以经由介质在时间和/或空间内传输，以便在分开的时间和/或位置上观察。在某些情形中，介质可以是传输介质，诸如载波(例如，陆上和/或电缆载波)或基于协议的数据网络。在某些情形中，介质可以是在其播放前存储视频信息的存储介质(例如，磁带、硬盘、数字视频盘(DVD)等等)。通常在传输之前将视频数据编码成众多格式之一。这些编码格式可包括但不限于MPEG-1、MPEG-2, MPEG-4、高级视频编码(AVC)(例如，MPEG-4、part 10 和 ITU-T RecommendationH. 264)、Windows Media Video 9 (WMV-9)和/或 SMPTE 的 VC-I。视频信息的这些编码会移除(例如，通过量化等)原始视频信息内的某些高频内容。播放时，经解码信息会平滑和/或有些模糊地出现。该现象不仅在经编码的视频数据中出现，还可出现在例如由传输路径中的阻碍所引起的模拟视频传输中。于是就希望能够増加所接收和/或解码数据的锐度，以改善其被感知图像的质量。为了进一歩介绍锐化视频的概念，将參考图IA和图IB讨论ー维示例。视频序列中的图象可例如包括在水平和垂直方向上都采样的亮度(Iuma)和色度信号(例如，Y、U和V)。当图像在某一区域内大致均匀时，采样值会基本相同。然而，当图象内存在边缘(例如，水平边缘)时，水平方向内的采样值可能会经历值的突变。图IA示出在多个像素上有ー些突变的亮度值的ー维曲线110。为了锐化视频信号，会通过向其本身増加曲线110的ニ阶导数(例如，d2Y/dx2)而在信号(例如，Y、U或V)内产生过冲/反冲(overshoot/undershoot)。图IB示出通过添加反冲130和过冲140而变得尖锐的曲线120。添加过冲/反冲140/130可放大所感知的更高频分量。因为曲线120的边缘比曲线110的陡峭，则其转换可被感知为在视觉上比未被锐化的曲线110更尖鋭。尽管如此，用于增加视频信息锐度的某些方案也可能将视频信息内的噪声增加至不可接受的水平。
发明内容
根据本发明的ー种方法，包括在图像内生成用于像素值的锐化值；以非线性的方式放大所述锐化值以生成放大值；并且组合所述像素值和所述放大值。
根据本发明的一种系统，包括锐化部分，锐化视频数据的像素并输出锐化值；放大器，对所述锐化值应用根据锐化值的函数而改变的增益以生成改变值；以及组合器，组合所述改变值和所述视频数据的像素并输出一增强像素值。根据本发明的ー种方法，包括在图像内生成用于像素值的锐化值；在所述锐化值位于中央范围内时以非线性的方式放大所述锐化值以生成一放大值；并且组合所述像素值和所述放大值。
结合其中并组成本说明书一部分的附图示出了符合本发明原理的ー个或多个实现，并连同该说明书解释这些实现。附图无需按比例绘出，而着重于示出本发明的原理。在附图中图IA和图IB概念性地示出了视频信号的锐化；
·
图2示出了视频显示系统的一部分；图3示出了在图2所示系统中的ー个典型的锐化模块；图4概念性地示出了一个卷积核实例；图5示出了图3所示锐化模块中ー个典型的放大器的増益特性曲线；图6示出了图3所示锐化模块中另ー个典型放大器的増益特性曲线；以及图7示出了选择性改变视频数据锐度的典型过程。
具体实施例方式随后的细节描述涉及附图。在不同附图中使用的相同标号表示相同或类似的元件。在随后的描述中，为了解释而非限制，将阐述诸如特定结构、体系结构、接口和技术等等的具体细节以提供对本发明所声明各方面的透彻理解。但是对于从本公开中获益的本领域普通技术人员来说显而易见的是，可以在不同于这些特定细节的其他示例中实现本发明所声明的各方面。在某些实例中，将略去对已知设备、电路和方法的描述以免用不必要的细节混淆对本发明的描述。图2示出了视频显示系统200的一部分。系统200可接收来自任何合适介质的视频信息，包括但不限于各种传输和/或存储介质。虽然为了解释方便示出了単独的功能单元，但是系统200的任何或所有元件都可被放置在一起和/或由ー组公共的门和/或晶体管实现。此外，系统200的实现可以经由软件、固件、硬件和/或它们的任意适当组合。图2中示出的部分显示系统200可包括解码器210、锐化模块220、ー个或多个信号调节器230以及显示缓冲器240。在某些实现中，解码器210可解码经编码的视频数据以产生用于进ー步处理的视频数据流。解码器210可以解码以多种方案编码的数据，这些方案包括但不限于MPEG-l、MPEG-2、MPEG-4、高级视频编码(AVC)(例如，MPEG-4、part 10和ITU-T Recommendation H. 264)、Windows Media Video 9 (WMV-9)和/或 SMPTE 的 VC-1。在某些实现中，解码器210可以包括解调器，例如用于接收模拟信号。该解调器通过从所接收的调制信号中提取视频流，可以执行与数字解码器类似的功能。在其他实现中，解码器210可以包括可期望提取能被锐化模块使用的视频像素流的任何其他诸如此类的电路或功能。
锐化模块220可以起到选择性锐化来自解码器220的视频流的作用。在某些实现中，锐化模块220可以基于其幅度和/或其相邻像素来有区别地锐化视频流内图像的特定部分。图3示出了锐化模块220的ー个实现。锐化模块220可以包括卷积器310、放大器320以及组合器330。虽然为了显示方便示出了以特定方式连接的模块，但是图3中的锐化模块220也可以其他的结构连接。例如在某些实现中，组合器330可以位于放大器320之前以代替图示中位于其后的位置。其他的变化也是可能并可预料的。卷积器310可配置为通过添加内容至像素来锐化视频数据的像素(例如，Y、U和/或V分量)。卷积器310可以使用围绕所指像素的多个像素卷积ニ维(2D)拉普拉斯核函数以获取导数值。该导数值，即卷积器310的输出，可被称为锐化值。例如在某些实现中，卷积器310可以使用5X5核函数，诸如图4所示的拉普拉斯算子卷积核函数410。卷积器310例如可使用含有所指像素的5X5亮度数据来卷积核函数410以获取该亮度信号的2D导数。卷积器310的输出例如可以是做为5X5亮度(或色 度)数据与5X5核函数的卷积结果的7X7阵列。由卷积器310输出的锐化像素值可以是对应于所指像素的所得阵列的中心值。也可预期不同于该特定实例的其他变化。例如，卷积器310可以使用不同大小的核函数。在某些实现中，可以将相同或不同的核函数用于亮度(例如，Y)和色度(例如，U和/或V)视频数据。在某些实现中，仅可卷积亮度数据而对色度数据不做改变。放大器320可配置为选择性地増大来自卷积器310的锐化值，从而生成放大值。在某些实现中，放大器320可以应用取决于输入的非线性增益曲线对值进行锐化而产生放大值。例如在某些实现中，放大器320对那些输入卷积器310的像素值的总动态范围不超过约5% (或另ー个相对较小的阈值)的锐化值不添加(和/或添加)増益。通过放大器320选择性的放大就可避免放大低于特定信号电平下的噪声(例如，在组合器330输出的最終、已锐化像素值内避免“去噪(coring)”)。类似地在某些实现中，放大器320可以对那些超过一定阈值的锐化值不添加和/或添加増益。则放大器320也可能避免对组合器330输出的最终已锐化像素值内进行削波(clipping)。图5示出了放大器320的ー个典型增益特性曲线500。在某些实现中可产生如虚线所示的期望或较佳增益特性曲线510。在图5的实现中，増益特性曲线500可以是期望特性曲线510的分段折线近似。当然也可考虑其他实现，诸如期望特性曲线510的曲线近似(例如，二次或立方函数)。在某些实现中，期望特性曲线510诸如可通过查表而得以精确实现。増益特性曲线500示出了放大器320的増益(或増益比率因数)与输入信号(例如，来自卷积器310的亮度和/或色度锐化值)间的关系。増益特性曲线500在输入信号小于去噪点520时基本为零，在去噪点520和中间点530之间逐渐增加，在中间点530和削波点540之间逐渐减小，而在大于削波点540时基本为零。当输入值是中间点530时可得到特性曲线500的最大值550。在某些实现中(例如在对应8位其满度值是255的情况下)，去噪点520约为40，而中间点530约为50。在某些实现中，削波点540是能够避免对组合器330输出的最终已锐化像素值进行削波的恰当值。在某些实现中，可将最大值550设为125，几乎等于满度值的一半。当然其他值也是可行的。应该认识到增益特性曲线500的非零部分无需关于中间点530对称。图6示出了代替増益特性曲线500的放大器320的另两个増益特性曲线610和/或620。如图6所示，增益特性曲线610在其输入值比特性曲线500小时达到其最大值，而增益特性曲线620在其输入值比特性曲线500大时达到其最大值。而且特性曲线610和620在期望特性曲线510的顶点并未达到其最大值，而是在该顶点的一侧或另ー侧达到。在某些实现中，特性曲线610要优于特性曲线500，因为在较低亮度/色度值处锐化的知觉效应相较之下要大于更大值处的锐化。虽然已经基于卷积器310输出的锐化值描述了放大器320 (以及在图5和图6中相关联的増益特性曲线)的操作，但在某些实现中可基于输入至卷积器310的视频数据(例如，已预先鋭化值)来对放大器320进行操作。在某些实现中，可基于对已预先鋭化像素数 据和卷积器310输出锐化值的组合操作放大器320。无论放大器320基于哪种数据进行操作，它都能起到避免对组合器330输出的已锐化像素值进行去噪和/或削波。组合器330可以使用来自放大器320的放大值和输入至卷积器310的像素值来输出已锐化像素值。在某些实现中，组合器330可以包括把来自放大器320的放大值与相应的未经锐化像素值相加的加法器。在某些实现中，组合器330包括能够算术地(例如，減法器、乘法器等)和/或逻辑地(例如，AND、XOR等)组合放大值至相应像素值的其他逻辑。回到图2，锐化模块220可以将增强的像素值输出给可进一歩地调节像素的ー个或多个调节器230。调节器230可以包括例如解交错、噪声減少、比例缩放和/或其他信号调节功能的ー个或多个。调节器230可以通过专用硬件、固件、软件或它们的组合来实现，从而在锐化模块220执行锐化之后执行ー种或多种信号调节功能。显示缓冲器240可以接收来自调节器230的视频数据，并可在输出至显示设备(未示出)之前临时存储这些数据的至少一部分。除了缓冲(例如，存储)功能，显示缓冲器240可以执行其他的显示相关任务，诸如使其输出信号与定时或同步信号同步以方便显示。通常可在显示缓冲器中找到的其他功能也可在显示缓冲240中出现。图7示出了选择性改变视频数据锐度的典型过程700。虽然图7为方便和清楚解释參考了图2和图3中示出的锐化模块220进行描述，但是应该理解也可通过其他硬件和/或软件实现来执行过程700。过程可以从生成锐化值(动作710)开始。锐化值可如前所述由卷积器310生成。过程继续，其中如果锐化值(或者任何放大器输入信号)落入去噪区域内(动作720)或者削波区域内(动作740)，则放大器320输出为零(动作730)。參考图5，小于去噪点520的输入值位于去噪区域内，而大于削波点540的输入值则位于削波区域内。如果放大器输入值位于去噪和削波区域，则放大器320就根据增益特性曲线输出非零放大值(动作750)。在某些实现中，用于生成放大值的増益特性曲线可以包括特性曲线500。在某些实现中，使用的増益特性曲线可以不同(例如可以是非分段线性的)，但ー般也可増加至中间点(例如，点530)并在中间点之后下降。应该注意到中间点无需对称地位于所使用増益特性曲线的削波和去噪点之间。组合器330可以组合放大器320输出的放大值和输入给卷积器310的原始像素值来生成已锐化像素值(动作760)。根据放大器320的输入，该放大值可以是零(动作730)或非零(动作740)。于是术语“已锐化像素值”并不一定指示已被锐化的各像素值，因为某些放大值可以是零。这样就可按照放大器320对来自卷积器310的锐化值所进行的操作选择性地和/或区别性地锐化组合器330输出的已锐化像素值。前述对ー个或多个实现的说明提供了实例和描述，但并不g在将本发明的范围穷尽或限制在公开的精确形式。可以借助该教示或根据本发明各个实现的实践做出修改和变化。例如，虽然在此描述的方案是按像素执行的，但是也可以按图象中的像素集合或像素组来执行这些方案。此外，图7中的动作无需按所示顺序实现；也无需执行全部动作。另外，不依赖其他动作的动作可以与其他动作并行地执行。此外，该图中的至少部分动作可实现为机器可读介质中的指令或指令集。除非明确表述，否则不应将本申请说明书中使用的元件、动作或指令解释为对本发明是关键或必需的。同样在本文中使用的冠词“a”g在包括ー个或多个项目。可以在不·背离本发明的精神和原理的情况下对所声明的本发明的上述实现做出变化和修改。所有的这些修改和变化g在位于本公开的范围之内并由所附权利要求保护。
权利要求
1.ー种方法，包括 在图像内生成用于像素值的锐化值； 以非线性的方式放大所述锐化值以生成放大值；并且 组合所述像素值和所述放大值。
2.如权利要求I所述的方法，其特征在于，所述生成包括 使用核函数卷积所述像素值和多个周围像素来生成已锐化像素阵列。
3.如权利要求I所述的方法，其特征在于，所述放大包括 如果所述锐化值小于去噪点就对所述锐化值应用零増益。
4.如权利要求I所述的方法，其特征在于，所述放大包括 如果所述锐化值大于削波点就对所述锐化值应用零増益。
5.如权利要求I所述的方法，其特征在于，所述放大包括 如果所述锐化值位于预定区域内就对所述锐化值应用增益函数。
6.如权利要求5所述的方法，其特征在于，所述增益函数增加达到其输入值的中间点并在所述中间点后减小。
7.一种系统,包括 锐化部分，锐化视频数据的像素并输出锐化值； 放大器，对所述锐化值应用根据锐化值的函数而改变的增益以生成改变值；以及 组合器，组合所述改变值和所述视频数据的像素并输出一增强像素值。
8.如权利要求7所述的系统，其特征在于，所述锐化部分包括 使用大小类似的核函数卷积所述像素和多个周围像素的卷积器。
9.如权利要求7所述的系统，其特征在干，由所述放大器应用的所述函数在第一锐化值和第二锐化值之间随锐化值增加，而在第二锐化值和第三锐化值之间随锐化值的增加而减小。
10.如权利要求9所述的系统，其特征在于，所述函数以线性的方式増加和减小。
11.如权利要求9所述的系统，其特征在于，所述函数以曲线的方式増加和减小。
12.如权利要求9所述的系统，其特征在于，所述第二锐化值比所述第三锐化值更接近所述第一锐化值。
13.如权利要求9所述的系统，其特征在于，所述放大器对小于所述第一锐化值或大于所述第三锐化值的锐化值应用零増益。
14.如权利要求7所述的系统，其特征在于，还包括 操作性地耦合至所述组合器输出以进ー步调节所述增强像素值的解交错模块、噪声减少模块或比例缩放模块。
15.如权利要求7所述的系统，其特征在于，还包括 操作性地耦合至所述组合器输出用以在显示前缓冲增强像素值的显示缓冲器。
16.—种方法,包括 在图像内生成用于像素值的锐化值； 在所述锐化值位于中央范围内时以非线性的方式放大所述锐化值以生成一放大值；并且 组合所述像素值和所述放大值。
17.如权利要求16所述的方法，其特征在于，还包括当所述锐化值位于中央范围之外时为所述放大值输出零。
18.如权利要求16所述的方法，其特征在于，所述放大包括在到达中间点前随锐化值增加增益，以及在超过所述中间点之后随锐化值减少增益。
全文摘要
公开了通过自适应峰值增强视频序列锐度的技术方案。根据本发明的一种选择性锐化视频数据的方法可包括对于视频数据内的至少部分像素生成图像中像素值的锐化值。所述锐化值可被非线性地放大以生成放大值。随后就组合所述像素值和所述放大值。
文档编号G06T5/00GK102737366SQ20121010979
公开日2012年10月17日 申请日期2006年7月18日 优先权日2005年7月19日
发明者J·卡维得斯, W·阿里 申请人:英特尔公司