专利名称：用于减少压缩的视频中的喘息污迹的方法和设备的制作方法
本申请要求1998年5月7日递交的美国临时申请No.60/084,632(文档号12755P)的利益。
本发明总地涉及通信系统，且更具体地，本发明涉及一种用于减少编码的信息流中的“喘息”污迹(breathing artifact)的方法和伴随设备。
背景技术：
在几种通信系统中，待被发送的数据被压缩以使可用带宽被更加有效地使用。例如，运动图象专家组(MPEG)具有几种有关数字数据传输系统的颁布的标准。第一个被称之为MPEG-1，涉及ISO/IEC标准11172且结合在此作为参考。第二个被称之为MPEG-2，涉及ISO/IEC标准13818且被结合在此作为标准。在先进电视系统委员会(ATSC)数字电视标准文件A/53中描述了一种压缩的数字视频系统且结合在此作为参考。
上述有关标准描述了适合于在数字通信系统中使用固定或可变长度码压缩及传输视频、音频和其他信息的数据处理及操作技术。具体地，上述标准，及其他“MPEG类”标准和技术说明性地使用帧内编码技术(例如行程编码、哈夫曼编码等)和帧间编码技术(例如正向和反向预测编码、运动补偿等)压缩视频信息。具体地，在视频处理系统的情况下，MPEG和MPEG类视频处理系统的特征在于带有或不带有帧内和/或帧间运动补偿编码的视频帧的基于预测的压缩编码。
在一典型的MPEG类编码器中，包括有多个视频帧的一接收的视频流根据一预定的图象组(GOP)结构被编码。也就是说，该接收的视频流被编码以生成一包括例如一内部编码帧(I帧)，后跟随一或多个正向预测的编码的帧(P帧)和双向(即正向和反向)预测的帧(B帧)的GOP。
然而，由于运动补偿技术不是较好的，预测的帧或图象可能遭受不期望的视觉污迹例如误差传播、降低的编辑颗粒性等。而且，包括这些预测的帧的GOP结构也会遭受这些污迹。由于一GOP结构内的单独帧的保真度趋向于在一初始的高质量I帧后衰减，一序列GOP的显示生成称之为“喘息”的周期的视觉污迹，其中该污迹的周期特性与显示的GOP的长度相关。
因此，期望提供一种减少上述“喘息”污迹的方法和设备。
发明概述本发明包括一种用于减少在采用图象组(GOP)或帧组(GOF)结构的MPEG类视频信息流中的喘息污迹的方法和设备。
具体地，在一种用于处理根据一图象组(GOP)信息结构所配置的一序列压缩的图象的系统中，一种根据本发明的用于减少GOP间视觉污迹的方法包括有步骤对于该GOP信息结构内的第一种信息帧，确定一相应的保真度衰减的水平；对于该GOP信息结构内的第二种信息帧，确定一相应的保真度衰减的水平；使用确定的保真度衰减的水平，计算一衰减均衡参数；并使用该计算的衰减均衡参数，处理该第一和第二种信息帧之一以使该第一和第二种信息帧具有一预定范围内的保真度衰减的水平。
附图简述通过以下结合附图所作的详细描述，可容易地理解本发明的教义，附图中
图1A至1C给出了与一图象组(GOP)内的视频保真度相关联的一或多个参数的有关逐帧衰减的视图；图2给出了根据本发明的一MPEG类解码器的一实施例；图3给出了根据本发明的用于减少视频信号中的喘息污迹的一衰减均衡例程；图4给出了根据本发明的一衰减均衡例程400；图5给出了根据本发明的一GOP均衡例程的流程图；图6给出了根据本发明的一衰减均衡例程的流程图；图7给出了根据本发明且适于减少一受存储器限定的解码器的上下文内的喘息污迹的衰减均衡例程的流程图；及图8给出了根据本发明的一块水平修正控制例程的流程图。
为便于理解，在这些附图中，相同的参考数字表示相同的元素。
详细描述下面将在一数字电视(DTV)接收机(图示为一ATSC电视接收机)内的一视频解码器(图示为一MPEG-2视频解码器)的上下文中对本发明进行描述。然而，本领域的熟练技术人员可理解到本发明可应用于任何视频处理系统，包括适用于DVB、MPEG-1的系统和其他信息系统。
具体地，主要在接收和解码一压缩的视频信息流以生成一视频输出流OUT的MPEG类解码系统的上下文中描述本发明。本发明用于减少在采用一图象组(GOP)信息结构的视频或图象处理系统的情况下，由导致在GOP显示率的视觉保真度的调制的GOP内视觉保真度水平的改变所导致的“喘息”污迹。然而，本领域的熟练技术人员显然理解本发明可适用于具有在一图象组(GOP)或帧组(GOF)信息结构内的不同帧间保真度水平的其他信息系统。
图1A至1C给出了与一图象组(GOP)内的视频保真度相关联的一或多个参数的相关逐帧衰减的图形表示。在这方面来说，这样的在一GOP内的逐帧衰减导致具有近似该GOP周期的一周期的视觉保真度的周期的提高和/或降低，生成上述喘息污迹。如果该视觉保真度的周期性提高和/或降低足够大，在一显示装置上显示包括该GOP的视频序列时，该喘息污迹对于观看者来说变得明显。
例如，考虑到响应于一视频信息流的一每秒30帧(fps)的表示/显示系统呈现显著的视觉保真度中的GOP内变化(例如I帧和B帧之间的大的量化差)，其中该视频信息流包括根据一15帧GOP配置的MPEG类视频信息的情况。由于该GOP包括一单个的I帧和多个B帧，显示的视频的各半秒(15帧GOP/30fps)从一高保真度I帧开始，后随有多个相对低保真度B帧(和通常地P帧)。由于该GOP内的帧间保真度变化，该显示的图象序列呈现具有1/2秒周期的脉动(即喘息)特性。
本发明已确定喘息污迹的主要原因是1)一GOP内的帧间量化水平差；2)一GOP内的半象素(half pel)运动估算误差的传播；和3)处理一GOP的解码器(或其特性)引起的保真度异常。下面将公开解决这三种喘息污迹情况的本发明的实施例。
图1A示出了包括有一I帧及后随的十个P帧的一GOP内的视频“锐度”的逐帧衰减的图形表示。锐度是一高频响应的函数，其是精确呈现边缘及其他高对比度亮度过渡的关键。具体地，图1A示出了三个GOP(标明为101)的一序列和这些GOP中各帧的锐度水平的对应图示。可见一视频图象的锐度对于这些GOP中的各I帧处于最大，对于各连续的P帧锐度有对应的降低。由于以对应于GOP显示率的一速率的锐度水平的逐渐衰减和快速提高而产生一喘息污迹。
在图1A中，各连续P帧的锐度的对应降低是由处理这些GOP的一解码器的运动补偿电路内的半象素内插引起的。该半象素内插器进行工作以低通滤波这些预测的宏块或象素组。图1A中的所示的锐度水平的相对线性衰减是由于使用这些GOP内的P帧和一半象素内插误差近似恒定的假设。图形中的阴影部分包括各P帧下降内的一误差统计带。必须注意尽管各I帧(I1、I2和I3)被示出为具有相同的最大锐度水平，这些I帧的锐度水平初始地由一编码器的速率控制器根据许多因素，包括分配给一GOP的位-预算(bit-budget)被确定。这样，一I帧的锐度水平和总体的视觉保真度根据编码器的要求在需要时发生改变。
图1B是一12帧GOP内的视频锐度的逐帧衰减的示意图，该12帧GOP包括一初始的I帧和后随的三B帧和一P帧的一重复序列。由于使用环绕各B帧的紧接的先前锚帧(anchor frame)(I或P帧)预测该B帧，两半象素内插被与各B帧相关联。因此，各B帧被示出为具有比用于预测该B帧的最小精确基准帧低半象素的一锐度水平。可见一视频图象的锐度对于这些GOP内的各I帧是处于最大，带有对于一GOP中的各连续帧的锐度衰减的一变化量。由于在对应于GOP显示率的一速率的衰减的变化量和锐度水平的快速提高，生成一喘息污迹。
在图1B中，第一I帧(I1)被示出为具有最大(max)的锐度水平。跟随该I帧的第一P帧被示出为具有比该最大值低一半象素的的锐度水平。使用第一I帧和第一P帧预测的三个B帧被示出为具有在该P帧的锐度水平之下一半象素的锐度水平。类似地，在第一I帧之后的第二P帧具有第一P帧的锐度水平之下一半象素的锐度水平，自该锐度水平对其进行预测。这样，使用第一P帧和第二P帧预测的这些B帧具有第二P帧锐度水平之下一半象素的锐度水平。
图1C是一12帧GOP内的逐帧量化水平(即粒度)的示意图，该12帧GOP包括一初始的I帧和后随的三B帧和一P帧的一重复序列。由于通常用比P帧精细的量化水平对I帧进行编码，且由于通常用比B帧精细的量化水平对P帧进行编码，图1C示出了使用该GOP结构生成的视频图象的量化水平的变化。通过检查可见量化水平开始于用于初始I帧(I1)的一细水平且衰减至用于B帧的一粗水平并到用于P帧的一稍小的粗水平。这样，使用图1C所示的GOP结构生成的，包括对应的量化粒度水平的一视频图象将根据用于生成一单独视频帧的GOP结构中的帧类型而具有保真度的提高和降低。。该保真度的改变或调制也对上述喘息污迹作出了贡献。
图2示出了根据本发明的一MPEG类解码器200的一实施例。具体地，图2的解码器200接收并解码一压缩的视频信息流IN以生成一视频输出流OUT。该视频输出流OUT适合于传送给例如一显示装置(未示出)内的一显示驱动器电路。该MPEG类解码器200检查与该压缩的视频信息流IN内的信息帧(例如视频或图象帧)相关联的保真度指示参数以确定一得到的解压的信息流(例如一视频流)是否可能呈现上述的喘息污迹。响应于该对喘息污迹是否可能出现的确定，该MPEG类解码器200以倾向于减少喘息污迹的方式修改一解码的信息流。有利地，本发明可工作而不考虑有关形成压缩的视频流IN(除该压缩的视频流IN内的该信息外)的编码器的工况特点。
图2的MPEG类解码器200包括一视频解码器210、一视频处理器220和一控制器230。视频解码器210以相对标准的方式进行工作以接收和解码该压缩的视频信息流IN以生成一解压的视频流V1。该解压的视频流V1对于由GOP内的帧间保真度变化和视频解码器210的异常(或特性)引起的喘息污迹是敏感的。该解压的视频流V1被传送给视频处理器220及任选地传送给控制器230。
视频处理器220响应于由控制器230生成的一衰减控制信号C，适应该解码的视频流V1内的一或多个帧的衰减的水平，以生成视频输出流OUT，说明性地为一基带数字视频流。
视频处理器220在几个衰减模式(如下所详述的)之一中工作。简明地，在一噪声注入工作模式下，视频处理器220将(由控制器230确定的)噪声量注入一被计算的较高保真度图象帧(例如一I帧)以降低该较高保真度图象帧的有效量化水平。在该工作模式下，由帧间量化水平的较大差异(例如图1C)所导致的喘息污迹通过将帧间量化水平差减小到一阈值差水平而被减少。在一滤波工作模式下，该视频处理器选择地将低通滤波(LPF)和高通滤波(HPF)施加给一GOP内的一或多个图象帧或图象帧类型。在该工作模式下，由预测误差传播所引起的喘息污迹通过这样一方式滤波各图象帧而被减少该方式倾向于均衡一GOP内的所有图象帧中的锐度衰减的量。下面将讨论其他的工作模式。
控制器230从视频解码器210接收一保真度指示参数信号DATA，该保真度指示参数信号DATA指示例如量化水平、帧类型、GOP位置和其他有关该压缩的视频输入流端内的视频帧的信息。任选地，该控制器230接收该压缩的视频流V1。另外，控制器230任选地接收指示在源(即在编码器)分给该压缩的视频信息流IN的误差的一信号SOURCE ERROR。
控制器230处理该保真度指示参数信号DATA，及任选地，该解压的视频流V1以确定与包括该压缩的视频信息流IN的一或多个GOP内的一或多个图象帧或图象帧类型相关联的视觉保真度衰减的水平。
控制器230然后确定图象帧或图象帧类型衰减的水平中的变化是否使得可能通过一后续显示的解压的视频流V1而生成一喘息污迹。如果被识别的衰减变化可能会生成一喘息污迹(例如超出一阈值差水平)，则控制器230计算一或多个衰减均衡参数，这些衰减均衡参数然后被传送给视频处理器作为衰减控制信号C。下面将参照图3详细描述控制器230的工作。
在图2的MPEG类解码器200的示例性实施例中，视频解码器210包括一输入缓冲存储器模块211、一可变长度解码器(VLD)模块212、一反量化器(IQ)模块213、一反离散余弦变换(IDCT)模块214、一求和器215、一运动补偿模块216、一输出缓冲器模块218和一锚帧存储器模块217。
该输入缓冲存储器模块211接收从一传送信号分离器/解码器电路(未示出)输出的压缩的视频流IN，说明性地为代表例如高清晰度电视信号(HDTV)或标准清晰度电视信号(SDTV)的一可变长度编码的位流。该输入缓冲存储器模块211被用于临时地存储接收的压缩的视频流IN直至可变长度解码器模块212准备接受该视频数据进行处理。VLD212具有耦合至输入缓冲存储器模块211的数据输出的一输入，以抽取例如存储的可变长度编码的视频数据作为数据流S1。
VLD212解码该抽取的数据以生成一恒定长度位流S2，该位流S2包括量化的预测误差DCT系数和一运动矢量流MV。该IQ模块213对该恒定长度位流S2进行一反量化操作以生成一位流S3，该位流S3包括标准形式的量化的预测误差系数。IDCT模块214对位流S3执行一反离散余弦变换操作以生成一位流S4，该位流S4包括逐象素预测误差。这些预测误差(和相关联的图象衰减)是由象素信息的编码器侧量化引起的，如上参照图1C所讨论的。
求和器215将该逐象素预测误差S4加至由运动补偿模块216生成的一运动补偿的预测的象素值流S6。该运动补偿的预测的象素值流S6将包括一预测误差分量(和相关联的锐度衰减)，该预测误差分量与用于生成当前象素值的先前预测的数目有关，如以上参照图1A-1B所讨论的。这样，在该示例性实施例中，求和器215的输出是一视频流S5，该视频流S5包括通过量化误差及通过累积预测误差(以上参照图1A-1C所讨论的)被衰减的重构的象素值。
由求和器215生成的视频流S5(包括量化和预测误差)被传送给锚帧存储器模块217和输出缓冲器模块218。该锚帧存储器模块217由运动补偿模块216经信号路径S7进行访问。运动补偿模块216利用一或多个存储的锚帧(例如在求和器215的输出端生成的视频的I帧或P帧最后帧)，和从VLD212接收的运动矢量信号MV，以计算用于运动补偿的预测的象素值流S6的值。
上述的视频解码器210还生成一指示例如量化水平、帧类型、GOP位置和该压缩的视频输入流端内的其他有关视频帧的信息的保真度指示参数信号DATA。具体地，这些和其他保真度指示参数通过VLD212以一标准方式被从压缩的视频信息流IN中抽取。例如，如果该压缩的视频信息流IN包括一MPEG视频流，该VLD212检查在一或多个视频序列头部、GOP头部、图象头部、片头部和宏块头部中包含的信息。该抽取的信息被传送给控制器230作为保真度指示参数信号DATA。
在图2的MPEG类解码器200的示例性实施例中，控制器230包括一微处理器234以及用于存储一衰减均衡例程300、一量化均衡例程400、和一频率均衡例程500中的至少之一的存储器238。这些例程的工作在下将参照图3-5进行详细描述。微处理器234与常规的支持电路236例如电源、时钟电路、超高速缓冲存储器等以及帮助执行这些软件例程的电路相合作。这样，打算在此讨论作为软件处理的一些处理步骤可在硬件，例如与微处理器234合作以执行各种步骤的电路内实现。控制器230还包含在微处理器234、视频解码器210和视频处理器220之间形成一接口的输入/输出电路232。尽管控制器230说明性地为一通用计算机，被编程以执行根据本发明的特定的控制功能，本发明可用例如专用集成电路(ASIC)的硬件被实现。而且，控制器230可被功能性地与视频处理器220及视频解码器210之一或两者相组合。实际上，本发明人期望基本上包含图2的MPEG类解码器200的所有功能的一单个集成电路被实现作为一单个集成电路。
图3示出了根据本发明的用于减少视频信号中的喘息污迹的一衰减均衡例程300。该衰减均衡例程300可被实现作为该控制器230内的一控制例程，或在控制器230不包括如上所述的一通用计算装置的情况下，该衰减均衡例程300可被实现作为图2的MPEG类解码器200的合作模块之间的一逻辑函数(1ogical function)。当例如图2的视频解码器210开始接收压缩的视频信息流IN时，该衰减均衡例程300在步骤302开始，然后进到步骤304。
在步骤304，接收的视频帧或视频帧种相对衰减的水平被确定。通过估算与各视频帧或视频帧类型相关联的一或多个参数来确定这些相对衰减的水平。具体地，一或多个各种图象或视频帧参数例如帧量化水平(例如帧宏块的平均)、帧类型、GOP内的帧位置、帧谱等可被分析以确定与一具体帧相关联的衰减的水平。然后将该与一具体视频或图象帧相关联的衰减的水平与例如一额定或平均衰减的水平相比较，该额定或平均衰减的水平与包括一GOP的这些帧或包括一GOP的这些帧的一子组相关联。以此方式，自一GOP或子GOP平均值的一具体帧的衰减变化被确定。然后例程300进到步骤306。
在步骤306，在步骤304估算的一些或所有这些帧的衰减的水平和/或衰减变化被用于计算该GOP中的一或多个帧的一或多个衰减均衡参数。例如，具有相对高保真度(即相对低衰减)的该GOP内的这些帧根据在步骤304分析的一或多个帧参数而被衰减以使该GOP内的帧间保真度衰减的变化被限定至在导致明显喘息污迹的水平或该水平之下。然后，例程300进到步骤308。
在步骤308，在步骤306计算的衰减均衡参数被提供给该GOP结构内的一或多个适当的帧以使该GOP结构内的帧间衰减变化得到适当的限制。由于衰减一视频或图象帧的保真度通常是更容易的(根据处理复杂性等)，适当的帧通常将包括具有相对高保真度水平的这些帧。然而，在一保真度参数对增强敏感的情况下，适当的帧可包括具有相对低保真度水平的那些帧。然后例程300进到步骤310。
在步骤310，询问是否有更多的帧将被处理。如果步骤310的询问得到肯定的答复，则例程300进到步骤304。如果步骤310的查询得到否定的答复，则例程300进到步骤312并退出。
将注意到用于均衡衰减的水平的一技术将还衰减一或多个相对高保真度视频或图象帧或帧类型。本发明人还确定例如一GOP内的一I帧的保真度的降低与通过本发明的操作被有效减少或去除的喘息污迹相比是相对不太明显的。这样，结果根据移位或选择地减少一GOP或GOF的一或多个帧内的视觉、听觉或其他信息保真度而进行折衷，得到的处理的信息流(例如视频输出流OUT)给信息消费者提供了优越的显示。
本发明打算使用一或多种用于确定衰减的水平(步骤304)、计算衰减均衡参数(步骤306)并提供衰减均衡参数(步骤308)的方法。具体地，在本发明的一实施例中，图3的衰减均衡例程300被采用以将一GOP内的帧间量化水平的变化减小到基本上一阈值量化变化水平。该量化均衡实施例特别适合于减少与不同种视频或图象帧(即I帧、P帧或B帧)之间的量化水平变化有关的喘息污迹，且以下参照图4描述该量化均衡实施例。
在本发明的另一实施例中，图3的衰减均衡例程300被采用以将一GOP内的频域内的帧间变化降至一阈值谱变化水平之下。该频率响应均衡实施例特别适合于减少由于运动估算误差的传播，与分配给预测的视频或图象帧(即P帧或B帧)的低通滤波(即降低图象锐度)有关的喘息污迹，且在以下将参照图5描述该频率响应均衡实施例。
第一种方法包括检查与各编码的视频帧相关联的一量化水平参数。通常，例如MPEG视频解码器的一视频解码器生成一GOP结构，该GOP结构具有一相对高保真度I帧及后随的一或多个降低保真度的P帧和B帧。重要地是编码在一高保真度水平的一GOP结构的初始I帧，因为该帧被用于预测该GOP结构内的后续帧。这样，该编码器中的量化器通常使用一细量化水平。由于P帧被用作为一GOP结构内的锚帧(即P帧被使用以预测后继P帧和紧接后续和先前的B帧)，在通常比用于B帧的水平更细的一水平量化这些P帧。如先前所指出的，一GOP内的量化水平的变化对不期望的喘息污迹起到贡献的作用。这样，为均衡一GOP结构内的量化水平，需要提高例如一GOP内的该I帧和/或一或多个P帧的有效量化水平。现将参照图4描述量化衰减均衡的一例子。
图4示出了根据本发明的一衰减均衡例程400。具体地，图4的衰减均衡例程400被引向减少与一GOP内的一I帧和该GOP内的多个B帧之间的量化水平变化有关的一视频信号中的喘息污迹。例程400适应一GOP结构内的量化水平以使一GOP内的一I帧的保真度被降低到一阈值保真度水平(说明性地该GOP内的多个B帧的平均保真度水平)内。该衰减均衡例程400可被实现为控制器230内的一控制例程，或在控制器230不包括如图所示的一通用计算机的情况下，被实现为图2的MPEG类解码器200的合作模块之间的一逻辑函数。
当例如图2的视频解码器210开始接收该压缩的视频信息流IN时，在步骤402开始该衰减均衡例程400。然后例程400进到步骤404。
在步骤404，通过例如平均正被处理的GOP中的一I帧(Qi)内的各宏块的量化水平，来确定与该I帧相关联的一量化参数。另外，通过例如平均正被处理的GOP中的一或多个B帧(QB)内的各宏块的量化水平，来确定与这些B帧相关联的一量化参数。可相对于例如MPEG可变量化器标度(scale)进行该确定，该MPEG可变量化器标度可在一MPEG依从视频流的片层头部中被发现且具有1和31之间的一正数值(假定使用例如确省表的一恒定量化器表)。必须注意该量化器_标度在宏块层也是可调整的。
例程400然后进到步骤406，查询与B帧QB相关联的量化参数是否大于与I帧Qi相关联的量化参数加上一量化参数阈值量QTH的和，该量化参数阈值水平QTH代表不导致明显的归因于量化差的喘息污迹的，在B帧量化参数QB和I帧量化参数QI之间的一最大量化参数偏差。
如果对步骤406的查询的答复是肯定的，例程400进到步骤408。如果对步骤406的答复是否定的，例程400进到步骤414，查询是否有更多的帧需要被处理。如果对步骤414的查询的答复是肯定的，例程400进到步骤404。如果对步骤414的答复是否定的，例程400进到步骤416并退出。
在步骤408，该I帧和这些B帧内的噪声被表征。也就是说，相对于生成一噪声分布的量化水平(即步长)确定期望在具有量化参数QI的一I帧和在具有一量化参数QB的一B帧内被发现的噪声量。
一种用于确定期望在一B帧被发现的附加噪声量的方法是通过估算这些B帧DCT系数的量化的AC系数的功率密度函数(pdf)，且然后减去用于基准帧(例如由运动补偿模块使用的锚帧)的一类似获得的pdf。在该示例性实施例中，对于该DCT内的63个AC系数的各个保持一pdf。由于拉普拉斯分布是用于一AC系数的实际pdf的一良好近似，该示例性实施例使用这样的拉普拉斯分布作为用于适配该数据的较佳的pdf。然而，本领域的熟练技术人员将认识到在实践本发明中也可使用其他的分布函数。而且，几种方法之一可被使用以使该数据适合下述的拉普拉斯pdf。
如公式1所说明的，如果该pdf是被估算的pdf时，通过计算使各量化水平的实际概率(自接收的数据计算得到的)和该量化水平的概率之间的差最小化的α，来估算该pdf(即pdf(x))。 也就是说，如公式2所说明的，相对于α进行最小化，其中对所有的量化仓(bin)B求和，p(Bi)是接收的信号中的该仓的相对频率，Bilow和Bihigh是该量化仓的下限和上限(即将被量化成该值的最低值和最高值) 假定原始的(未量化的)pdf跟随该估算的分布，通过加上用于各量化仓的原始的和重建的水平之间的差的pdf来计算该误差的pdf，如公式3中所说明的。 其中 其中rec(Bi)是用于仓Bi的重建水平。然后将误差pdf与一用于基准帧的(类似获得的)误差pdf相比较，并将一适当的噪声量加至该低噪声帧以减少喘息污迹。被加上的噪声将具有一类似(更小)的变化，且还可具有与误差pdf相同的pdf。
在步骤410，根据与I帧QI相关联的量化参数，步骤408的表征的B帧噪声被缩放到一适当的水平。也就是说，根据比例QB/OI缩放先前确定的pdf以生成一缩放的pdf。
然后例程400进到步骤412，将缩放的表征噪声注入该I帧。在本发明的一实施例中，该噪声的注入是通过注入一随机数而实现的，该随机数是由步骤410确定的该被缩放的量化水平所限界的。以这种方式，与该I帧相关联的有效量化参数QI被减小到具有与B帧QB相关联的量化参数的QTH内的一值的一量化参数。
必须注意图4的例程400可被采用以同时或单独地定址(address)I帧和P帧及P帧和B帧之间的量化水平变化。而且，尽管例程400被示出为在各GOP上单独地进行，发明人打算例程400可被修改以在多个GOP上进行。例如，在一恒定位率压缩的视频流IN的情况下，用于由一编码器形成的各GOP的平均位预算基本上是相同的。然而，在可变位率信息流的情况下，当或多或少的带宽变得可由编码器使用时，用于由该编码器形成的各GOP的位预算可改变。在可变位率的情况下，一附加变量被使用以确保一GOP的平均量化参数(QGOP)不从一或多个先前及后继的GOP的平均量化参数改变多过一阈值量。
图5示出了根据本发明的一GOP均衡例程的流程图。具体地，图5的GOP均衡例程500被引向减少由一GOP内的预测帧的后继半象素内插引起的视频信号中的喘息污迹。
当例如图2的视频解码器210开始接收压缩的视频信息流IN时，例程500在步骤502开始。例程500然后进到步骤504，使用该GOP结构确定一锐度函数。也就是说，根据该GOP内的帧类型和该GOP内的帧数目作出传播的图象锐度的衰减的估算。例如，由于半象素内插(因为未作出预测)，包括所有I帧的一GOP将不承受锐度衰减。类似地，由于半象素内插，包括一单个I帧及后随的多个P帧和B帧的一GOP将承受一些水平的锐度衰减。在步骤504确定的锐度函数是作为该GOP内的帧位置和/或帧种一函数的这样锐度衰减的量的一估算。例程500然后进到步骤506。
在步骤506，计算均衡滤波参数。这些均衡滤波参数包括与该GOP内的一或多个帧相关联的低通滤波和/或高通滤波参数。也就是说，选择一基线水平的锐度(例如，该GOP内的如由最严重锐度衰减的帧所确定的一最小锐度水平，由所有帧的一平均锐度水平确定的一中间锐度水平，或一特定帧类型等)。根据该帧的位置和/或帧类型确定用于该GOP内的各帧的均衡滤波参数，以使该GOP内的帧间的锐度的相对差异被减小到低于一阈值水平，如先前参照图1所描述的。然后例程500进到步骤508。
在步骤508，计算的均衡滤波参数被使用以在需要时均衡该GOP内的一或多个帧。然后例程500进到步骤510，查询是否有附加的GOP将被处理。如果对步骤510的查询的答复是否定的，例程500进到步骤512并退出。如果对步骤510的查询的答复是肯定的，例程500进到步骤504，计算与下一GOP相关的一锐度函数。在一固定的GOP结构的情况下，在步骤504确定的锐度函数和在步骤506计算的均衡滤波参数可被再使用以用于各后续GOP。
在本发明的一实施例中，“训练序列(training sequence)”被利用以表征由解码器自身分配给一序列解码的图象的误差。例如，如果由一已知的因素(例如，通过接收机或解码器内的运动内插滤波器)引入在一解码的GOP内的一失真，计算一预加重滤波系数(filter)以对该已知的因素进行补偿。为识别该失真，利用一谱分析函数。也就是说，包括一或多个“普通的”解码的视频帧的一训练序列的实际谱特性被与一“期望的”谱特性相比较。然后根据从该训练序列获得的滤波系数对后续解码的视频帧的谱特性进行“校正”。应注意可相对于一第二解码器确定该“期望的”谱特性。
该谱校正滤波系数的传递函数被确定为期望的谱和实际的谱的比例作为一频率函数。这是期望的该信号的频率响应。该滤波系数可被实现作为例如一有限脉冲响应(FIR)或无限脉冲响应(IIR)滤波系数。例如，在本发明的一实施例中，基本上满足确定的传递函数的一FIR滤波系数的系数被计算、反转及开窗到一期望的抽头数。得到的FIR滤波系数被使用以处理各解码的帧以使解码的帧的谱特性接近先前描述的“期望的”谱特性，从而均衡该解码的视频输出信号。
图6给出了根据本发明的一衰减均衡例程600的流程图。具体地，图6的衰减均衡例程600被引向减少由例如解码器自身内的异常所分配给一序列解码的图象的污迹。该例程首先使用一训练序列表征该解码器。该训练序列包括编码的图象的一“金码(Gold code)”序列，它们已经使用一“已知的良好的(known good)”解码器被先前处理以生成具有一相关联的谱特性的输出图象序列。该已知的良好解码的金码的该相关联的谱特性被标注为一“期望的谱(expectedspectrum)”。
例程600在步骤602开始，并进到步骤604，运行一训练序列。该训练序列的运行包括施加给该已知的“金码”序列的编码的图象(例如一MPEG类压缩的视频信息流)的解码器输入端(经例如一开关或多路复用单元)以使生成一解码的训练信息流。例程600然后进到步骤606，该解码的训练信息流被谱分析以生成一训练序列谱。例程600然后进到步骤608。
在步骤608，在步骤606计算的该训练序列谱被与该期望的谱(即如由一已知的良好解码器生成的先前计算的该“金码”视频训练序列的谱)。由于，广义上说，该训练序列谱和该期望的谱之间的差主要是由解码器性能中的差异引起的，由该解码器引入该解码的视频信息流的谱异常可被与根据半象素内插引入该解码的视频流的谱异常、或其他的非解码器误差源隔离。例程600然后进到步骤610。
在步骤610，查询待被解码的该视频信息流的GOP结构是否是已知的(即非训练压缩的视频序列)。如果对步骤610的查询的答复是肯定的，则例程600进到步骤612，根据该训练序列GOP和来自待被解码的该压缩的视频信息流的一谱分析的GOP之间的谱变化，计算一GOP均衡滤波系数。也就是说，该“金码”GOP和接收的GOP之间的谱差异被比较且使用以计算一均衡滤波系数以使这些GOP之间的谱差异被减小到低于一阈值水平的水平。例程600然后进到步骤614，该计算的GOP均衡滤波系数被施加给该接收的GOP。
例程600然后进到步骤616，查询是否有更多的GOP将被处理。如果对步骤616的查询的答复是肯定的，例程600进到步骤614，将计算的滤波系数施加给下一GOP。任选地，例程600可进到步骤612，对待被处理的下一GOP执行谱分析和比较功能，导致计算一新的GOP均衡滤波系数计算。如果对在步骤616的查询的答复是否定的，例程600进到步骤618并退出。
如果对在步骤610的查询的答复是否定的，例程600进到步骤620，该“金码”训练序列和接收的压缩的视频信息流内的帧类型之间的谱变化被作出。也就是说，例如该金码训练序列内的P帧和接收的视频信息流内的P帧之间的谱变化被比较。类似地，I帧和B帧之间的谱差异也被比较。例程600然后进到步骤622。
在步骤622，基于帧谱变化的一或多个帧类型均衡滤波系数被计算。也就是说，例如该金码训练序列的P帧和接收的信息流的P帧之间的谱变化被使用以计算一均衡滤波系数，然后将该均衡滤波系数提供给该接收的信息流内的P帧，将该谱变化减小到低于一阈值水平。对于一具体帧所作的滤波系数选择还涉及该GOP内的该具体帧之前的I帧和P帧数目。例如，由于当一预测误差被传播给一GOP内的后面的帧时，一预测误差的数值增大，该用于该GOP内的后面的帧的滤波系数被选择以将一对应的更大的变化量分配给该基础信号。例程600然后进到步骤624。
在步骤624，在步骤622计算的这些帧类型滤波系数被提供给一接收的GOP内的各适当的帧。例程600然后进到步骤626，查询是否有更多的帧将被处理。如果对在步骤626的查询的答复是否定的，则例程600进到步骤630并退出。如果对在步骤626的查询的答复是肯定的，则例程600进到步骤628，选择下一帧进行处理，并进到步骤624，根据在步骤622计算的适当的帧类型滤波系数对该选择的帧进行滤波。也就是说，根据如先前在步骤622计算的一I帧谱均衡滤波系数、一P帧谱均衡滤波系数或一B帧谱均衡滤波系数对被选择的下一帧(即一I帧、P帧或B帧)进行滤波。
本发明的上述实施例被引向具有充足存储器资源的解码器以存储一整个GOP进行处理。然而，当存储器限制防止一整个GOP的存储和处理时，本发明人打算几种用于减少上述喘息污迹的方法。
在根据本发明的且指向存储器限定的解码器的第一种方法中，该GOP内的一单个帧被选择作为“保真度基准”帧。该GOP内的其他帧根据需要被衰减或增强以符合该保真度基准帧的一阈值水平内的一保真度水平。该方法将在以下参照图7被进行详细描述。
在根据本发明的且指向存储器限定的解码器的第二种方法中，先前解码的GOP的特性被使用以适合一当前正被解码的GOP。也就是说，当第一GOP被处理时，该第一GOP的特性被确定且被存储。例如，该GOP结构自身、该GOP内利用的量化水平和其他这样的与保真度有关的参数被存储。以利用相对于第一GOP确定的该些存储的参数的方式处理跟随第一GOP的第二GOP。由于这些参数通常在例如包括代表一公共景色的图象的GOP之间不会有大的变化，这些假设是有用的。而且，即使在景色变化的情况下，第一景色的最后GOP与第二景色的第一GOP之间的任何保真度差异从实际的景色变化看将是不显著的(即由景色变化导致的大的视觉不连续性将倾向于掩蔽由于非精确GOP参数预测导致的任何喘息污迹)。根据本发明的且指向在储器限定的解码器的这些方法具有这样一优点在解码一GOP之前不需要等候该整个GOP被接收。
图7示出了根据本发明且适合于减少一存储器限定的解码器的上下文内的喘息污迹的衰减均衡例程700的流程图。当例如图2的视频解码器210开始接收压缩的视频信息流IN时，例程700在步骤702开始。然后例程700进到步骤704，该GOP的一部分被存储在存储器中。具体地，包括有至少一预定的基准帧(例如一初始I帧后的第一锚帧)的该GOP的一部分被存储在存储器中。可替换地，仅该预定的基准帧被存储在存储器中。然后例程700进到步骤706。
在步骤706，通过注明例如量化步长、该GOP内的位置、帧类型和其他参数而以上述的方式将该存储的基准帧表征。该基准帧表征导致该GOP内的其他帧将被增强和/或衰减以实现的一近似基线水平的保真度。也就是说，在一I帧具有显著高于所选择的基准帧的保真度的情况下，将以多少衰减其保真度以使该I帧和该选择的基准帧之间的保真度差异被降低到一阈值水平之下的方式对该I帧进行处理。类似地，如果该选择的基准帧的保真度水平明显地高于例如该GOP内的一或多个B帧，将一倾向于导致保真度的显然提高的方式对这些B帧进行滤波。例如，这些B帧将被高频增强以帮助偏移由该解码器内的半象素内插所引起的一低通滤波。然后例程700进到步骤708。
在步骤708，根据该基准帧的这些表征参数对该GOP内的这些帧进行处理。具体地，在步骤708中，根据在步骤706确定的该基准帧特性，任何存储的帧以及该基准帧被选择地增强或衰减。然后例程700进到步骤710，查询该GOP内是否还有更多的帧将被处理。
如果对在步骤710的查询的答复是肯定的，例程700进到步骤716，根据在步骤706确定的该基准帧特性对该GOP内的下一帧进行处理。然后例程700进到步骤710。
如果对在步骤710的查询的答复是否定的，则例程700进到步骤712，查询是否有更多的GOP将被处理。如果对在步骤712的查询的答复是否定的，则例程700进到步骤714并退出。如果对在步骤712的查询的答复是肯定的，则例程700进到步骤704，对下一GOP重复例程700。必须注意由于GOP到GOP的特性变化相对缓慢(除了例如景色切换)，可任选地使用来自先前的GOP的表征的基准帧对下一GOP进行处理。
在本发明的另一实施例中，根据先前的GOP的一平均统计测量对各GOP进行处理。也就是说，当各GOP正被处理时，使用一或多种上述技术对该GOP进行表征。表征的结果被使用来处理下一GOP。以这种方式，所需的存储器量大大降低。而且，由于潜在的GOP间保真度误差将在一GOP内被校正，如果有的话，在一景色的最后GOP和一后随景色的第一GOP之间有很少的喘息污迹。
在本发明的另一实施例中，在逐块的基础上将误差校正和/或均衡分配给被解码的视频流。有利地，块水平处理提供了均衡处理的大大增强的控制。例如，高通滤波被适当地施加给使用帮助-象素(help-pel)内插的块，但不施加给具有整数运动矢量的块。具有整数运动矢量的块通常不包括先前讨论的半象素误差分量且因此不以先前讨论的低通滤波方式被衰减，以使保证一均衡高通滤波。另外，逐块处理提供了均衡处理的更大的控制以使例如该控制器可确保分配给一块的均衡或校正永远不会超出该量化步长，从而避免将过分的失真引入得到的图象。
最后，应注意到如由解码器解码的该初始基准帧的一“拷贝”可被存储并使用作为一基准以将滑移限制到期望的最大水平，例如一量化步长(quantizer step)。
这样，在本发明的一实施例中，通过将校正信息加至“初始”或“异常”基准帧而形成一“增强的”基准帧(即包括具有最大水平的保真度的块的一基准帧)。然后存储该增强的基准帧以及该初始基准帧。每当进行一校正以避免喘息污迹时，期望检查该校正以使该校正自身不引入一新的污迹。这可通过当计算该增强的基准帧和该初始基准帧之间的差的DCT时，将该差限制到小于一量化步长来实现。这样，在本发明的一实施例中，该增强的基准帧内的一块(即一“校正的”块)和该初始帧内的一对应块之间的差的DCT被计算。如果该差超出一阈值水平，说明性地为一量化步长，则该初始块被使用或任选地，该校正的宏块被再处理。另外，该控制分配给增强的块的校正的处理被使用用于非基准帧。
图8示出了根据本发明的块水平校正控制例程的流程图。该例程800开始于步骤802，并进到步骤804，对一块或宏块进行校正。然后例程800进到步骤806，将该校正的宏块或块与一对应的未校正的宏块进行比较，或生成一差别量。然后例程800进到步骤808，对该校正的和未校正的宏块或块之间的该差执行离散余弦变换(DCT)。然后例程800进到步骤810，查询在步骤808执行的DCT的量化步长是否大于一。如果对在步骤810的查询的答复是否定的，则例程800进到步骤812并退出。如果对在步骤810的查询的答复是肯定的，则例程800进到步骤814，查询该块或宏块是否应被再处理。
如果对在步骤814的查询的答复是肯定的，则例程800进到步骤804，该块或宏块被再处理或被再校正。在步骤804的该再处理或再校正利用该DCT量化步长的附加信息和在步骤808形成的DCT信息。
如果对在步骤814的查询的答复是否定的，则例程800进到步骤816，替代该校正的块而使用未校正块或宏块。然后例程800进到步骤812并退出。
本发明的另一基于块的实施例类似于以上参照图3或图4所述的实施例，除了相对于单独的块确定该相对衰减的水平外，且这些单独的块以寻址量化和/或半象素预测衰减的方式被处理。
本发明的另一基于块的实施例类似于以上参照图7所述的实施例，除了这些块被处理以符合例如一具体帧类型或GOP内帧位置中的这些块的平均保真度水平外。
在本发明的一实施例中，在一编码器中计算该校正滤波系数并与编码的视频流一起传送给解码器。该校正滤波系数可包括一辅助流、一增强层流或被包括在一用户数据区内。该解码器接收并利用该校正滤波系数数据以与类似于先前所述的方式滤波并增强该图象。然而，由于在该实施例中，该编码器负责计算一校正因子，该校正因子将会更加精确。应注意到在解码器不利用该编码器提供的校正因子的情况下，校正量相对较小(尽管对于削弱喘息污迹是足够的)且该非利用解码器将仍能解码接收的压缩的视频流。
本发明可以计算机执行的处理的用于实现这些处理的设备的形式被具体化。本发明也可以配置在有形介质，例如软盘。CD-ROM、硬盘驱动器或任何其他计算机可读的存储介质中的计算机程序码的形式被具体化，其中，当该计算机程序码通过计算机被装载并被执行时，该计算机变成实现本发明的设备。本发明还可以例如存储介质中存储的、或通过计算机装载和/或执行的、或在一些传输介质上，例如在电线上或电缆上、通过光纤或经过电磁辐射传输的计算机程序码的形式被具体化，其中，当该计算机程序码通过计算机被装载并被执行时，该计算机变成实现本发明的设备。当在一通用微处理器上被实现时，该计算机程序码分段形成该微处理器以建立特定的逻辑回路。
尽管已详细示出和描述了结合本发明的教义的各种实施例，本领域的熟练技术人员可容易地导出许多其他仍结合有本发明的教义的改变的实施例。
权利要求
1.在一种用于处理根据一图象组(GOP)信息结构配置的一序列压缩的图象的系统中，一种用于减少GOP间视觉污迹的方法，包括有步骤对于所述GOP信息结构内的第一种信息帧，确定一相应的保真度衰减的水平(304)；对于所述GOP信息结构内的第二种信息帧，确定一相应的保真度衰减的水平(304)；使用所述确定的保真度衰减的水平，计算一衰减均衡参数(306)；使用所述计算的衰减均衡参数，处理所述第一和第二种信息帧之一以使所述第一和第二种信息帧具有一预定范围内的保真度衰减的水平。
2.根据权利要求1的方法，其中所述第一种信息帧包括一内部编码的信息帧(I帧)和一正向预测的信息帧(P帧)之一，而所述第二种信息帧包括一预测编码的信息帧(P帧或B帧)。
3.根据权利要求1的方法，其中所述保真度衰减的水平是相对于一量化水平而被确定的。
4.根据权利要求1的方法，其中所述第一种信息帧具有比第二种信息帧高的保真长水平，且所述处理的步骤包括的步骤表征与所述第二种信息帧相关联的一量化噪声参数Q8(408)；根据所述衰减均衡参数，缩放所述表征的量化噪声参数(410)；及将近似所述缩放的量化噪声参数的量化噪声注入所述第一信息帧(412)。
5.根据权利要求1的方法，还包括有步骤对于所述GOP信息结构内的一第三种信息帧，确定一相应的保真度衰减的水平；及使用所述计算的衰减均衡参数，处理所述第三种信息帧以使所述第一、第二和第三种信息帧具有一预定范围内的保真度衰减的水平。
6.在一种用于解码根据一图象组(GOP)信息结构配置的一序列压缩的视频信息帧的系统中，一种用于减少视觉污迹的方法，包括有步骤确定一GOP内的多个所述压缩的视频信息帧的一相对保真度衰减的水平(304)；使用所述确定的相对保真度衰减的水平，计算一保真度衰减均衡参数(306)；及将所述计算的保真度衰减均衡参数提供给所述GOP内的一或多个压缩的视频信息帧以使所述相对保真度衰减的水平被减小到一阈值水平。
7.根据权利要求6的方法，其中相对于一量化水平、一压缩的视频信息帧类型、所述GOP内的所述压缩的视频信息帧的一相对位置、所述GOP内的所述压缩的视频信息帧的一谱信息分布和所述GOP内的所述压缩的视频信息帧的一锐度水平中的一个，确定所述相对保真度衰减的水平。
8.根据权利要求6的方法，还包括有步骤将一谱信息分布与一期望的谱分布相比较(608)；计算一谱分布均衡参数(622)；及将所述谱分布均衡参数提供给所述GOP以使所述谱信息分布和所述期望的谱分布在一阈值水平内。
9.在一种用于解码根据一图象组(GOP)信息结构配置的一序列压缩的视频信息帧的系统中，一种设备包括一视频解码器(220)，用于响应于一控制信号(C)处理视频信息帧(VI)；及一控制器(230)，用于响应于所述视频信息帧的保真度的标记生成所述控制信号；所述控制器确定(304)一GOP内的多个所述压缩的视频信息帧的一相对保真度衰减的水平，并使用所述确定的相对保真度衰减的水平，计算(306)一保真度衰减均衡参数；所述视频处理器将所述计算的保真度衰减均衡参数提供给(308)一或多个视频信息帧以使所述相对保真度衰减的水平被减小到一阈值水平。
10.根据权利要求9的设备，其中所述视频处理器通过将量化噪声注入所述相对高保真度视频信息帧，减小所述相对高保真度视频信息帧的保真度水平。
全文摘要
一种用于减少采用图象组(GOP)或帧组(GOF)结构的MPEG类视频信息流中的喘息污迹的方法和设备。
文档编号G06T3/40GK1301370SQ99805839
公开日2001年6月27日 申请日期1999年5月7日 优先权日1998年5月7日
发明者迪内·阿丰索·费雷拉·弗洛伦西奥, 李世鹏 申请人:萨尔诺夫公司, 摩托罗拉公司