用于视频编码处理的快速刷新方法和装置的制作方法

专利名称：用于视频编码处理的快速刷新方法和装置的制作方法
技术领域：
本发明总的来说涉及视频编码和压缩领域，更具体地说涉及可在视频编码处理中使用的快速刷新方法和装置。
背景技术：
现有的视频编码实现多基于频域的算法，例如那些在频域中运用余弦变换的编码器算法。但这些编码器算法存在一些缺陷。例如，实时频域编码器的半导体实现，通常需要超过8百万的晶体管。频域编码器使用量子化的频率分量以减少编码信息量。这可能导致某些高频分量的丢失，从而降低视频的清晰度和解析度。VICOMP(视频编码与压缩系统和装置)是一个基于高质量、实时、高效率的视频编码(高压缩率)的需求下的数字视频编码方案。它运用基于时域而非频域的算法。与上述的频域编码器相比，VICOMP为实现少于70万个晶体管的实时编码器提供了可能。同时，与频域编码器相比，VICOMP可以提供同样或更好的视频质量和出众的总体压缩率。VICOMP在逻辑和复杂性上的简化，与频域编码相比，同样也使视频编码系统的软件实现更加有效。
例如，MPEG解码器都是基于使用离散余弦变换(DCT)算法的频域信息，DCT用于将时域信息转换到频域。VICOMP是一种时域编码器，因此将信息从时域转换到频域的步骤是不必要的。省却该步骤提供了显著的益处，因为该变换步骤需要大量的非常高速的计算。
例如，为了将8×8的像素块从时域转换到频域，需要使用DCT算法进行64×64＝4096次相乘。在实在时视频编码中，分配给4096次相乘的时间量小于5微秒。于是，单个的乘法器将必须以高于800MHz的频率操作，或者8个乘法器将每一个必须同时以高于100MHz的频率操作，以便实时地执行该转换步骤。
而且，VICOMP解码器可利用2X像素速率的时钟频率来操作，该时钟典型地是27MHz，与之相比，DCT编码器在100MHz的时钟频率下操作。这种时钟频率的差别导致半导体解码器较少的功耗。
如上述的VICOMP有效编码方案是基于冗余概念的一个方案。任何一个编码方案的目的都是找到并刻画冗余元素，然后生成一个有效的信号组对非冗余信号进行编码。如果在信息中没有冗余元素，也就没有机会进行压缩。数字视频信号的冗余产生于以下几个方面。
1、对低频率分量的过采样——在采样数字视频信号中，经常会因为采样造成大量冗余。部分这样的采样冗余的发生是因为为了保证充分的解析度和数字采样的高频率响应而不得不以在模拟视频信号的最高工作频率2倍的频率进行视频信号采样。但是因为真实视频信号中含有占主要数量的低频成分，2倍的采样频率会造成对低频分量的过采样。因此，在采样信号中会存在相当可观数量的冗余。
2、对位分辨率的过采样——冗余也会产生于对每个样本的分辨率(位数)的过采样。比如，如果每个像素被数字化为8位分辨率乘以3个颜色坐标(如YUV)也就是每个像素24位的采样分辨率。24位也就是说这里有足够的分辨率来表示1670万种可能的颜色。对于视频的每个单独的帧中以640H×480V的像素分辨率采样，会产生307,200个像素(样本)。即使可以将在帧中所有的307,200个像素作为不同的颜色，也只需要19位来表示所有的307,200个颜色。因为图片是用相对连续颜色的物体组成，所以实际上在一个视频帧中远远少于307,200种颜色，因此也就需要少于19位的信息来表示在帧中所有的颜色。进一步说，因为图像传感器有限的动态范围，24位/样本提供了比通常的应用在视频相机中的图像传感器的动态范围(9位)54分贝要高的多的动态范围(144分贝)。
3、帧间冗余——运动视频中的另一种冗余就是帧间重复。比较一系列的视频帧图像，我们可以发现通常帧间的区别在很小的范围内。不是在视频中的所有元素都随着帧的变化而变化。很多元素移动得很小。对于连续帧的静止图像，排除随机噪音的因素，会有100％的冗余。虽然帧间冗余一般是可以预计的，但是它一般决定于实际视频情况，同时帧间冗余范围可以从0到100％。
4、噪音过滤——因为视频图像传感器有限的动态范围，视频中包含有很大数量的白噪音。这种白噪音是完全随机的，也就是说它减少了冗余也减少了压缩率。VICOMP使用用来提高信噪比的高级滤波器，以来提高冗余并提高压缩率。
5、线间冗余——在视频中每一条给定的水平线存在很多与上一条或下一条中完全一样或几乎一样的元素。可通过利用特定的算法找到那些与相邻线上不同的元素并为其编码。
6、出现频率冗余——一些视频元素可以被预期比其他元素具有更高的出现频率。可使用可变位长代码为各种元素编码。为那些出现比较频繁的元素分配最少的位数。通过使用可变位长代码，编码需要的数据位总数减少了。
找到、刻画并编码以上6种元素，可以使信息不丢失或少丢失。除了以上列出的冗余，在数字视频中依然存在不必要的信息。也就是说那些对视频的质量和主要数据没有贡献的信息。为了提高压缩率，需要消除或减少这些不必要信息。
在任何一个为帧间变化编码的系统中，由于在数据传送过程中的误差和干扰，都存在一个保持编码器(传送方)和解码器(接收方)信息同步的问题。如果解码器具有为参考帧(帧间变化将参考的帧)存储的不同的信息，编码器和解码器之间的信息同步将丢失。任何同步信息的丢失都意味着解码器不能通过帧间变化正确构建新的帧。
如果在传送系统中存在传送误差和对数据流的暂时的中断，这样的编码器和解码器同步信息的丢失可能发生。传送误差通常由在传送系统中的噪声造成，而数据流的中断在卫星和陆地的传送，比如移动电话系统中是比较常见的。这些问题在一点对多点(广播)系统是显得非常麻烦，因为在这样的系统中，接收方没有机会检查误差和要求像在点对点系统中那样重新发送。
同时，在一点对多点系统中，将会有各种各样的接收单元不断的随时加入到数据流中，并且这种接收单元未曾获得参考帧(从该参考帧根据编码的帧间信息开始重建新帧数据)。
对于丢失同步和新的接收单元加入数据流，比较普遍的解决这些可预见问题的方法是周期性发送整个非相关的信息帧。比如，在MPEG-2中，把这种周期非相关的帧称为“I”帧。既然MPEG-2和其他视频编码系统，几乎完全借助帧间冗余进行压缩，与其他被帧间编码的独立的帧相比，“I”帧包含有非常大量的数据。在“I”帧数据量上可能有高达20∶1的差别。因此，为了保证总体的良好压缩率，“I”帧不用被频繁发送。比如，在MPEG-2的实现中，比较典型的是，每隔3到7秒发送一次“I”帧。
在如MPEG-2的编码系统中，因为在“I”帧间有几秒的间隔，在接收到的视频信息中的任何误差可以在这段长的时间间隔内被视觉地发现。这些可见的误差对于阅读者是非常讨厌的。所以，一般来说，这些类型的编码系统都对数据流增加前向纠错代码(ECC)以减少这种误差。ECC的加入很容易使得总数据传输量增加30％。即使如此，它对于解决数据流中断或新用户随机进入数据流的问题起不到任何帮助。在发生任何同步丢失后，或新用户的加入，会需要几秒钟时间来和数据流同步。比如，可能需要等待7秒。这种在接收视频中的延迟对用户来说会非常烦人。

发明内容
鉴于现有技术中VICOMP需要解决的问题，本发明提供一种用在视频信息编码处理中的快速刷新方法和装置。VICOMP的总压缩率总的来说比使用其他编码方法的系统要好。但是，多数的VICOMP压缩使用了利用每一帧内部(帧内)的几种冗余而不是针对帧间冗余的压缩技术。因此，帧间编码数据和非相关、单独存在的帧内编码之间的差别只有大约2∶1，比其他系统的高达20∶1的差别要低得多。因此，本发明能的VICOMP实际上是在用更有效更友好的方法来处理编码器和解码器间的同步丢失问题。这个方法叫做快速刷新。
更一般地说，本发明提供一种在视频编码处理中使用的快速刷新方法，其中，在视频信号的每个帧内，按照帧对帧轮转的原则，对一定量的新的非相关的数据进行编码，从而基于帧间相关性对视频信息进行编码。
本发明还提供一种在视频编码处理中使用的快速刷新装置，该快速刷新装置包括编码单元，其用于在视频信号的每个帧内，按照帧对帧轮转的原则，对一定量的新的非相关的数据进行编码，从而基于帧间相关性对视频信息进行编码。


通过结合本附图对本发明的视频编码滤波方法及其装置的具体实施方式
的详细描述，本发明的目的、特征和益处将更清楚。在图中图1是本发明的VICOMP编码器的典型实现的示意框图；图2是解释根据本发明的一个实施方式，覆盖4帧的快速刷新(速率1/4)的示意图。
具体实施例方式
为了便于理解本发明的具体技术方案，首先对所涉及的具体技术概念进行定义。
定义量子化——将信息转换成与最初形式不同的离散形式。比如0、1、2、3、4、5、6可以用以下算法被量子化成为2、4、6。
If(input value)＜4then(output value)＝2:GoTo EndIf(input value)＞3AND(input value)＜6then(output value)＝4 Else(output value)＝6End
量化器——一种形成量子化(离散形式)信息的仪器或者算法。
差量——两个数值的差或相减的结果。
比如，A＝(B-C)表示A是B和C的差量。如果B大于C，那么差量值为正数。如果C大于B，差量值为负。
相关性——通过阈值或偏移量对两个数值的比较。如果两个数值通过增加或减少一定的阈值而相一致，它们可以被称为相关。
相关系数——用于在相关性中进行比较的阈值或偏差值。
冗余值——在一组表示为特定数值的信息中的某个数据被称为冗余，如果它不断在这组数据中重复出现。
比如，信息组＝{1，2，3，0，0，0，0，0，0，0，2}数值0是一个高度冗余值，而2是一个有轻微冗余。这个冗余信息可以被按下列原则压缩

为了使用二进制代码记录信息组需要使用2×11＝22位。
可变代码将为(1×7)+(2×2)+(2×3)＝17位。因为冗余元素在信息组中的存在，压缩成为可能。
YUV-Y为亮度，UV为颜色分量。YUV也可以通过Y、Cr、Cb三个变量表示。
YUV颜色坐标——(也被称为Y、Cr、Cb)VICOMP使用YUV颜色坐标，以便通过相对于Y样本对U和V样本进行二次采样来利用颜色分量(U&V)固有的低频率。人类肉眼对Y(亮度)和UV(颜色)分量的敏感度也有不同。
频域——大多数信息，包括视频信息，是在时域中，也就是说信息的幅值是根据时间变化而变化的。频率是时间的倒数F＝1/T，T＝1/F。信息可以通过傅立叶变换(FFT)从时域转化到频域。快速傅立叶变换在视频编码中被运用，比如MPEG技术就是离散余弦变换(DCT)。在时域中，给定一组信息(在一定时间内)，可以获得一定数量的幅值。在频域中，给定一组信息(在特定的频域带宽内)，可以获得一定数量的频率。因为一些视频信号多含有大量的低频分量，所以可以知道信息在频域中有大量的冗余。
图1为本发明的VICOMP编码器的典型实现框图。图1的下部分示出了普通的逻辑和存储部件(普通逻辑)，它们是在视频编码和解码中通常和按惯例所采用的部件。对这些通常和按惯例所采用的部件，诸如存储器、缓存器(另一种形式的存储器)、计数器、寄存器和接口不再进行描述。这些普通逻辑部件的构造和功能对逻辑设计领域的普通技术人员是公知的。
该普通逻辑的一个稍微不同寻常的部件是“位包装器(BitPacker)。一个位包装器是用于将可变化位长度编码组合到一个毗邻的位流中的装置。通常计算机数据包括固定位长度成分，字节(8位)，字(16位)和双字(32位)。由于可变位长度编码产生各种长度的输出，所以这些编码必须被“包装”到毗邻的流中。执行这一功能的装置“位包装器”不作为本发明的部分在此描述。
该方框图的上(主要)部分(算法描述)示出了通过组成该视频编码系统的各种处理的视频信息流。这些部件是本发明的一部分并且在本文中进行了详细描述。这些详细描述包括文字，逻辑流图和逻辑语句。VICOMP的算法可利用适当的计算机由软件实现，该计算机具有在输入侧与数字化视频的接口和在输出侧至适当的显示装置。
该VICOMP的算法也可以特定的硬件逻辑块来实现，例如将被使用在专用集成电路(ASIC)半导体中的那样。
快速刷新意味着在每个帧内，按照帧对帧轮转(frame-to-framerotating)的原则，一定量的新的非相关的数据被编码。即，利用帧间相关性对视频信息进行编码。每两条线(line)按一行(row)编码，并且每行设置一个头字节来识别这一行与前一帧是相关还是非相关。每一帧内一定数量的行是非相关的(与在前帧不相对应)。在下图4所示的例子中，快速刷新速率被设置为1/4。这意味着，接收解码器每隔4个帧得到一次完整的非相关参考帧。因此，解码器通常会极快地接收到一个新的非相关参考帧。通过合适的行计数器，快速刷新速率可以被调整为不同于1/4的其他值。
图2解释了覆盖4帧的快速刷新(速率1/4)。
如图2所示，因为相关和非相关编码结果的平均差别是2∶1，所以以上快速刷新例子的增加数据的平均量应该可以按以下计算75％相关数据+(2*25％非相关数据)＝125％总数据，或者说25％的增加。
如果快速刷新被设定为一个比1/4慢些的1/32，那么以上快速刷新采样增加数据的平均量应该计算为96.9％相关数据+(2*3.1％非相关数据)＝103％总数据，或者说3％的增加。
即使是增加25％的总体数据量，这个数据依然少于增加ECC需要的整体数据增加量。进一步说，它具有花费“眨眼”等待时间以使新用户进入到数据流中的优势。它还有另一个优势，就是在数据中断后快速获取同步信息。因此，VICOMP快速刷新的优势比较起其他编码方法中所使用的周期“I”帧是显而易见的。
根据上述具体实施方式
可知，本发明的快速刷新可实现如下益处1.新用户可以与数据流保持同步而不用等待很长时间去接收参考帧。
2.任何在传送过程中的接收误差会很快被新的数据覆盖，以不会被阅读者看到。这个特性结合在解码器中可以检测8种误差的特性。
可见，快速刷新可使得视频信息传输误差和数据中断最小化。快速刷新可通过用户寄存器来控制。影响帧间编码的传输误差是通过快速刷新自我校正的。这意味着这种误差将仅在荧光屏上产生瞬间的闪烁，与在其他视频编码系统看到的长时间显示这种误差的结果不同。例如，在某些系统中，这种误差在接收到下一个I帧之前一直被显示，这可能持续几秒。长时间显示的误差结果与瞬间闪烁相比给观看者带来的不舒服要大得多。
快速刷新在单点对多点传输(广播)中也是有用的，因为它使得新用户可快速建立数据流，而不必在能够显示一幅画面之前等待几秒钟以接收到新的I帧。利用VICOMP，如果快速刷新率被设置为1/4，则单个用户可仅仅在4帧的时间内与VICOMP数据流同步，这在高的帧速率的情况下甚至比眨眼的瞬间还要快。
因为快速刷新并且也因为由特定误差引起的自动帧跳跃(skip)，VICOMP编码数据可直接传输而不需增加前向误差检测和纠正编码。与现有技术中的某些系统相比，快速刷新可节省30％或更多的总体上需要的带宽。
本领域技术人员了解，可以用本领域公知和常用的各种硬件功能模块来实现上述的快速刷新方法。例如，可以用各种适当的编解码单元来实现视频信号帧间相关性的编码和解码。因此，本发明独特的上述快速刷新方法可以用软件、硬件或两者的结合来实现。
已经结合具体实施方式
对本发明进行了详细描述，但是，本领域技术人员了解，本发明的保护范围并不局限于上述实施方式中的细节，在不背离本发明的原理和精神的前提下，还存在各种变形和改变。因此，本发明的保护范围由以下权利要求来限定。
权利要求
1)一种在视频编码处理中使用的快速刷新方法，其中，在视频信号的每个帧内，按照帧对帧轮转的原则，对一定量的新的非相关的数据进行编码，从而基于帧间相关性对视频信息进行编码。
2)如权利要求1所述的快速刷新方法，其中，在视频信号的每一帧中，每两条线按一行编码，并且设置一个头字节来识别这一行与前一帧是相关还是非相关。
3)如权利要求2所述的快速刷新方法，其中，快速刷新速率被设置为1/4或1/32，以便接收解码器每隔4个帧或32个帧得到一次完整的、表示帧间相关性的非相关参考帧。
4)一种在视频编码处理中使用的快速刷新装置，该快速刷新装置包括编码单元，其用于在视频信号的每个帧内，按照帧对帧轮转的原则，对一定量的新的非相关的数据进行编码，从而基于帧间相关性对视频信息进行编码。
5)如权利要求4所述的快速刷新装置，其中，在视频信号的每一帧中，每两条线按一行编码，并且设置一个头字节来识别这一行与前一帧是相关还是非相关。
6)如权利要求5所述的快速刷新装置，其中，所述快速刷新装置还包括解码单元，以及其中，快速刷新速率被设置为1/4或1/32，以便解码单元每隔4个帧或32个帧得到一次完整的、表示帧间相关性的非相关参考帧。
全文摘要
本发明提供一种在视频编码处理中使用的快速刷新方法，其中，在视频信号的每个帧内，按照帧对帧轮转的原则，对一定量的新的非相关的数据进行编码，从而基于帧间相关性对视频信息进行编码。本发明还提供一种实现上述方法可使用的快速刷新装置。本发明的快速刷新方法可使得视频信息传输误差和数据中断最小化。快速刷新可通过用户寄存器来控制。新用户可以与数据流保持同步而不用等待很长时间去接收参考帧。任何在传送过程中的接收误差会很快被新的数据覆盖，以不会被阅读者看到。从而提高视频压缩和编码的效率和质量。
文档编号H04N7/26GK1964487SQ20051011480
公开日2007年5月16日 申请日期2005年11月11日 优先权日2005年11月11日
发明者李将, 毕景江, 熊杰 申请人:北京微视讯通数字技术有限公司