专利名称：多道数据压缩方法
技术领域：
本发明涉及的是视频信号压缩系统，尤其是用动态估算方法对视频数据进行压缩的系统。
图像压缩可以通过消除图像信息中空间和/或时间上的冗余的方式来降低表示数字图像所必须的数据量。例如，要在互联网上有效地存储及传输视频图像信息，就必须进行压缩。不压缩，存储和/或传输图像信息的大部分应用项目就变得无法进行或不可能。几秒钟的原始视频数据就会轻易地填满并覆盖一台普通个人电脑的硬盘。
在技术上，单路视频信号的压缩可以通过对未经压缩的一帧原始视频信号进行采样，并将其作为对后续帧的视频信息进行编码的基准帧这一方式来实现。与其对每一帧所包含的全部视频信号进行编码和传输，倒不如通过在一开始就对包括一幅所预测的帧在内的一个序段中预定的帧之间的差别进行测定的方式对这些帧进行压缩，然后，仅将这些差别传输到解码器。接着，解码器根据这些差别至少对视频信号帧的一部分进行再现。这种动态测算系统还要“跳”过一些容易测算的帧(中间帧)，因为一般来说同前一帧相比变化较小。因此，实际上只对一定量的帧，例如每隔三帧只对一帧的视频信号内容进行分析。为了对生成的间隔进行调整，要基于预定帧与预定帧间的差别之间的关系对中间帧进行预测。利用这种动态测算方法就可以传输和再现高图像质量而且传输带宽较低的完整的视频信号，而这正是传输视频数据的关键特征。例如，假定视频信号的象素5122，灰度级为8位，全动态视频为30Hz，则需要60Mbps的带宽。为将视频数据从未经压缩的带宽为60Mbps的完整视频信号压缩为所要求的数据传输率为128Kbps的信号，就需要468∶1的图像压缩比。而且，对于VGA全动态视频信号而言，这一压缩比要扩大四倍。
视频信号压缩的另一必备的特征涉及到对帧序列中大的动态变化的计算。例如，MPEG视频信号压缩就能够通过异步地发送一幅“I帧”(实质上是一幅新的基准帧)的方式来对单路视频信号中的这种变化进行计算。然而，无论视频信号内容如何，这些I帧每隔15帧被插入一个。由于将I帧非同步地引入经过编码的视频信号位流，这样的系统就无效地增加了信号带宽。例如，当一幅I帧被引入没有明显动态的编码帧系列时，就无必要使用了带宽，因为一个完整的新帧的传输是没有必要的。相反，当帧系列确有一些动态而I帧未被插入视频信号位流时，就会出现明显的差错。
上面对单路压缩方法笼统地进行了直接的讨论，在下文中还将结合附图进行更专门的叙述。如
图1中所示，用于形成单路视频信号的经过压缩的视频数据流的方法10包括对来自单源诸如摄像机的原位帧S1进行采样，并用标准的压缩技术对S1进行典型的压缩。接着，方法10跳过或者说忽略预定数量的后续帧，如在图1中用虚线表示的两幅帧，并对下一帧P11进行预测。这样，就得出了帧S1与预测帧(在这种情况下是第三个后续帧)P11之间的差错差别Δ11。
接着，方法10要算出“填充器”帧B11和B21并对其进行编码，以预测出被跳过的帧的格式，在图1中为第二帧及第三帧。预测出的帧B是基于帧S1和P11(在图1中用虚线双头箭表示)以及它们之间的差Δ11，用已知的技术推导出来的。通过这种方法对帧信号进行压缩，编码器只要对差Δ11与原始帧S1的全部视频内容(处于经过压缩的形式)进行编码，这样就可为重现S1和P11提供足够的信息。对预测出的中间帧B11和B21的经过高度编码的主要部分也可以进行编码；值得注意的是，无论如何，传输时这一信息都不会对信号带宽造成显著的影响。
如上所述，一个增加的编码步骤涉及到对连续帧之间的显著的动态变化的计算，这种计算或者是通过将一幅I帧异步地插入视频数据流这一方式来实现，或者是通过如上面作为参考的应用项目No.08/901,832中所显示和描述的那样，用专门设计的“smart”软件来确定是否根据帧序列中的动态变化而插入一幅I帧这一方式来实现。后一方法典型地涉及到将帧分成检索区并对原始的S帧相对应的区和它们对应的P帧之间的误差进行累加，即对第三个后续帧进行预测。
当累加的差超过预定的阈值时，一个新的I帧作为下一个后续帧前来取代，而正如上面描述的那样，通过计算新的基准原始帧I1和下一个预测帧P之间的差来开始编码，然后处理第三个后续帧。如前面讨论的那样，在根据已知技术对中间帧B11′和B21′进行计算的同时，用I帧作为新的基准原始帧，编码器确定出帧I1和下一个预测P帧，即P21之间的动态差Δ21。如果误差未达到阈值，则意味着目标帧之间图像的相互关系高于阈值，则当前的P帧信号为帧的第二个连续组的开始而保留，以备编码。在这种情况下，P11帧成为下一组帧的基准原始帧。系统则继续对按照这种连续分组的方式划分的帧进行编码，以提供一个经过压缩的代表完整视频信号的数据位流。
下面参见图2，经过编码的信号能够在序列12(仅表示视频信号帧的一个部分)中传输到一个解码器。注意，图2中所示的传输序列中的信号系列并未反映序列中出现任何明显的移位，即并未对I帧进行编码。
一开始，在第14步骤，编码器将第一组经过编码的信号组Ⅰ送往解码器。这些信号包括经过编码的原始基准帧S1和Δ11信号，以及按照那种顺序典型传输的B帧。接着，在步骤16，编码器传输第二组信号(组Ⅱ)，当I帧未被按顺序编码时，组Ⅱ仅包括随之的Δ21信号，适当的时候，还包括中间帧B11′和B21′。与包括经过压缩的基准原始帧S1的组Ⅰ信号不同，与组Ⅱ对应的基准原始帧P11无需发送，因为在解码器对组Ⅰ信号进行解码时，已经对P11帧进行了解码并将其储存在存储器中。总之，当一个I帧未被编码时，下一组信号的新的基准帧将不必发送，因为新的基准帧将被解码而且存储来自前一组的P帧。
接着，在步骤18，编码器开始发送组Ⅲ信号，其中包括Δ31信号，后随的是B11″帧和B21″帧的经过压缩的主体形式的表达信号。与此相似，接着方法10传输信号的后续组直至视频信号的所有经过编码的帧传输完毕为止。注意，序列12仅仅是为了解说的目的而设置的，而且实际上，视频信号通常至少要呈现出一些明显的动态变化，这将通过在经过压缩的视频数据流中插入经过编码的I帧而反映出来。
然后如图3所述，接收器/解码器执行方法24来重建单路视频信号的帧序列。(注意，符号表达式{x,y}→w表示按着专门设计的算法以预编程序的方法将“x”和“y”组合起来以产生信号“w”。)在步骤26中接收组Ⅰ的经过编码的信号之后，在步骤28中方法24对基准原始帧S1进行解压。然后，方法24通过对Δ11进行解压来执行步骤30，Δ11信号对于组Ⅰ而言表示基准原始帧S1与预测帧P11之间的动态差。用步骤28及30中的方法进行的解压是在编码流程中用标准压缩技术进行过压缩的相应信号的标准解压；例如，象前面提到过的MPEG就可以使用压缩/解压。
然后，在步骤32，方法24将组Ⅰ的信号S1和Δ11组合以再现帧P11，被用于与S1和Δ11组合以再现预测帧B11和B21。如步骤36中所述，解码器能够将这些帧指示信号，即用这种方法恢复的帧S1和再现的帧P11，按照所示的顺序，即S1,B11,B21，最后是P11的顺序传输到一个显示单元(未示出)。
接着，方法24执行步骤38以确定I帧是否被编码并进入第二组帧(组Ⅱ)的视频信号位流。再者，在标准的视频信号压缩中，无论视频信号内容如何，每15帧中只将1个I帧插入视频信号位流，而在本文中引入的在前面作为参考的未定的应用项目中，其方法是仅在出现大的位移内容时才插入一个I帧。建议采用后一方法。
在I帧未被编码的情况下(如在连同图1和图2一起描述的例中)，方法24通过对Δ21进行解压的方式执行步骤40，比如使用MPEG解压算法来解压。在步骤42中，方法24通过将Δ21与组Ⅱ的基准原始帧P11(在步骤32中当组Ⅰ信号被解码时存于存储器中)进行组合的方式用Δ21再现下一个P帧P11。
再现P帧P21之后，在步骤44中，方法24将新的基准原始帧即组Ⅰ的P帧P11与刚刚建立的P帧(基准预期帧)P21和动态差别信号Δ21进行组合以建立B帧B11′和B21′。前述的信号一经建立，解码器就按照步骤46中所示的顺序，即B11′，接着是B21′，最后是P21(在此例中代表视频信号的第七帧)，将经过解码的信号传输到显示单元。信号组的这种再现，传输及显示将重复进行，直到全部的视频信号均被显示为止(步骤48)。
在I帧作为下一个后续帧被编码并引入视频信号位流的情况下，解码器以I1代替S1，并从一开始执行方法24的步骤。特别是，在步骤50中方法24用标准的解压算法对I1解压，然后在步骤52中对与I1和与I1相关的P帧P1(新)1之间的差有关的经过编码的信号P1(新)1进行解压。接着，通过将I1与P1(新)1组合来再现P1(新)1(步骤54)。然后，以预编程序的方式，按照将I1,Δ1(新)1和P1(新)1组合的算法对高度编码的B帧B1(新)1和B2(新)1进行再现(步骤56)。在步骤58，解码器把经过解码的信号I1,B1(新)1，B2(新)1和P1(新)1传输至显示单元，以便按照这种顺序进行显示。
虽然上述系统为单路系统提供了在不牺牲视频信号质量的情况下高效利用带宽的优势，但是，视频信号压缩技术在能够为多源视频信号提供数据压缩的系统中也是需要的。当一个系统不仅能够确定一个通路中的帧之间的差，而且也能够使来自多源的帧之间产生交互作用的时候，该系统即处于迫切需求之中。这样的系统对于那些从每个源中获得的信息之间存在着高度相似的应用项目而言是非常有利的，因为在那里为了再现来自每个源的视频信号并不需要传输视频信号的全部内容。
这样的多路应用项目种类繁多。例如，由多路输入，尤其是为了形成三维图像而从两个视点对物体着眼的双源形成的输入构成的立体数据。显然，在两个信息源之间存在着大量的冗余信息。另一个十分普遍的应用项目是在一种“巡视”的环境中扑获视频信号，这里，用多部摄像机来注视一大片场景或一个指定的物体，每部摄像机负责代表指定物体或风光的一个特定视角的一路数据，比如说从各种不同的角度扑获数据。在这两种情况中的任何一种情况下，最好是对多个源进行协调以便对每个源的全部视频信号进行再现时不必对各源间的冗余信息进行编码和传输，这样就易于充分扩大数据吞吐量并节省信号带宽。
在此外的另一种应用项目中，可以用单台摄像机来观察光图像，用滤光镜经窄带光窗将扑获的信号分成独立的几路。对这种图像进行考查可以发现，在几纳米之间实现的路数达到数百个。特别是，这样的每路图像数据中与邻路即带宽稍有不同的路相比，均含有数量惊人的相关数据。对这些通路的每一路的全部视频信号都进行传输是非常低效的。
在另一个应用项目中，通过单独在不同时间扑获的数据中可能会有数量颇丰的相关数据，用可视电话通过互联网从一个特定的环境中发送信息可能就是这种情况。例如，如果用户象前一天一样在接下来的第二天从同一场合通过互联网传送一条可视电话消息，则大部分周边信息将保持相同，只有某些方面的传输会变化，如用户的面部表情。由于每次传输存在相同的数据，对含于每条消息中的全部信息均进行编码和传输是效率不同的。
在这些应用的每一项中，没有必要对扑获的信息全部进行编码，因为从每个源收集的信息均存在相当高度的相似。因此，好系统是与标准的压缩技术接轨，利用这些冗余信息的系统。
本项发明为多路视频信号更好地提供了有效的数据压缩方法。本系统是通过只对每个通道的帧之间的差进行编码(通道内压缩)和只对各独立通道的相对应帧之间的差进行编码(通道间压缩)的方式来利用存在于各种视频信号应用中的大量冗余信息的。
根据本发明所介绍的具体实例，压缩多个视频信号通道的方法包括对每个通道的原始帧进行采样并对多个后续帧进行预测等步骤，这里每个预测帧均与一个原始帧相对应。然后，该方法对每个原始帧与它的对应的预测帧之间的差进行计算，并将得出的差与预定的阈值比较。在原始与其对应的预测帧间的任何一个差达到阈值的情况下，该方法在已编码的视频信号序列中插入一个I帧作为每个通道的下一个后续帧。
根据本发明的另一个方面，对于每个通道来说，每个原始帧及每个相应的预测帧均被分成检索区。然后，确定原始帧的每个区与对应的预测帧的对应区之间的差。对每个通道的区进行累加并将累加的区差与一个阈值比较。如果任何一个累加的区差达到所述的阈值，该方法则插入一个I帧或者是作为所有通道的或者是只作为那个特定通道的下一个后续帧。
根据本发明的再一个方面，该方法包括对包括每个通道的预定数量的连续帧在内的一组视频信号帧进行编码。尤其是，对视频信号帧的编码包括对每个通道的一个原始帧进行采样，而每个通道包括一个具有一个基准原始帧的基准通道，继而对一个后续帧进行预测，该后续帧包括每个通道的一个基准预测帧，这里每个预测帧与一个原始帧相对应。然后，该方法在每个原始帧与其相对应的预测帧之间为每个通道确定一个通道内的差。另外，该方法在基准原始帧和余下的通道的每个原始帧之间确定一个原始的通道间的差。然后，该方法在基准预测帧和余下通道的每个预测帧之间确定一个预测的通道间的差。如果任何一个通道内的差，原始的通道间的差或者预测的通道间的差超过一个相应的预定阈值，则该方法对一个具有全部视频信号内容的I帧进行编码，重新开始编码过程。对于通道间的两个差的确定。该方法都要生成一个信号以表示各自的通道间的差。
根据本发明的又一个方面，该压缩法包括用一个解码器和再现每个视频信号通道之诸帧。一开始，该方法用标准的解压技术对基准通道的全部视频信号内容均经过编码的基准原始帧进行解压，而这种标准技术，例如MPEG帧内解压技术，是利用帧本身的信息来工作的。然后，根据基准原始帧和原始通道间差信号中的一个相应信号来再现每个原始帧。然后，根据基准原始帧和通道内的差信号中的一个相应信号来再现基准预测帧。最后，该方法通过对经过再现的基准预测帧和预测帧间差的信号中的一个相应信号进行处理的方式再现除基准预测帧之外的每一个预测帧。这一解码过程对经过编码的帧的每个连续组反复进行，每个组中可以包括一个或多个重新开始编码过程的I帧。照这样，解码器则能够按照适当的顺序将经过解码的信号传输到一个显示单元以供显示。
通过下面结合相应附图的详细描述，会对本发明的上述的和其他的目的、优点有更清楚的认识和了解。
图1为一个简图，对视频数据的一个单通道的帧的压缩方法进行图解；图2为一个流程图，对图1中已编码数据的传输顺序进行图解。
图3为一个流程图，对象在图2中所示的那样传输的数据进行解码的方法进行图解，还图解了对一个I帧进行解码的方法步骤；图4为一个方块图，对本发明的用于对视频数据的多个通道进行编码、传输、解码以及显示的一个系统进行图解；图5-10为均为简图，对利用图4中所示的系统在序列中没有被编码的高位移信息的情况下对视频数据的多个通道进行编码的方法的步骤进行图解。
图11为一个流程图，对如图5-10中所示的那样根据本发明对已编码数据进行传输的一个传输序列进行图解。
图12为一个流程图，对如图11中所示的那样对所传输的视频数据进行编码的方法进行图解，而且还对在对一个I帧进行编码和传输的时候该编码方法的步骤进行图解。
参见图4，所示为根据本发明对视频数据的多个通道进行编码的系统70。系统70包括一个编码器74，有从多源或多通道72接收视频数据信号S1,S2,…SN的多路输入端。编码器74对来自通道72的视频数据信号进行处理，其方式是将来自每个通道的帧按预定数量分组而按组进行的。固化操作系统76更是一种人工智能(AI)模糊逻辑软件，用来控制包括确定何时插入I帧在内的编码过程进行控制。人工智能/模糊逻辑软件能够实现视频信号的高吞吐量，因而能够实现更高的分辨率。编码器74还包括软件78，用标准的视频信号压缩技术，比如MPEG帧内视频数据压缩技术，对经过编码的视频数据的特殊部分作进一步的压缩。该级辅助的数据压缩能够在不牺牲视频信号质量的前提下扩大对现有带宽的有效利用。
在某些应用项目中，在至少对来自每个通道的视频数据的一部分进行编码之后，编码器74按照适当的顺序将结果信号传输到一个包括固化操作系统77在内的接收/解码器80，以重建视频图像。在以经过编码并被传输的信号为基准重建每个通道72的视频图像之后，解码器80将被解码的信号传输以一个显示单元82以供用户观看。
转至图5-10，这里示出了用动态估算技术对多道视频数据进行编码的一个新颖方法。在图5中，所选应用实例的编码方法包括确定每个通道C1,…,CN的原始帧(S1,…SN)之间的原始通道间的动态差S21，S31…SN1的第一步骤84。特别是，源C1(C1是基准源)的原始帧S1是一个基准帧，可以用它计算出它与每个其它源C1-CN的第一帧S2-SN之间的差。例如算出源C2的原始帧S2和基准源始帧S1之间的差，该差被指定为S21。相类似，对于每个其他源直至第N个源的差均可计算出来，这里，第N个源CN的第一个帧SN与基准帧S1之间的差被指定为SN1。
因为本发明所规划的特定应用项目利用多源来提供视频数据信号，而这些信号含有相当大量的冗余成份，因此，需要传输到解码器80(图4)以重建所有通道的第一帧的仅有信息是基准帧S1的全部视频信号内容和该帧(S1)与余下的每个原始帧S2-SN之间的差。换言之，在本发明的动态估算方法中，没有必要对通道间的冗余成份进行编码来再生高质量的视频图像。例如，正如下面要进一步详述的那样，解码器80能够通过把计算出的差S21与基准帧S1(两者均被用标准的压缩技术如MPEG帧内压缩技术做更进一步的压缩)相加的方式来重建这些原始图像，以便获得源C2的第一帧S2。
转至图6，在所选应用实例的编码方法的第二步骤86中包括确定每个通道C1-CN的原始帧S1-SN和一个后续的对应帧P11-P1N之间的一个通道内的动态差(Δ11,……,Δ1N),P11-P1N是系统的编码结束时的实际帧，被标识为“P”帧。这一步与在发明的背景一节中所述的为单通道压缩所作的计算相似。也就是说，对于基准通道C1而言，Δ11是通过确定基准原始帧S1和基准预测帧P11之间的差而算出的。通过计算每个源的原始帧和它的相关P帧之间的动态差，只有通道内的差必须编码，因为它可以轻易地与原始帧相加以重建P帧。准确地讲，解码时，差Δ11-Δ1N与每个源的相应的原始帧S1-SN相加以产生P帧，而完全不必对每个P帧的全部视频内容进行编码。特别是，利用标准的压缩技术，比如MPEG帧内压缩技术对差信号Δ11-Δ1N进行了更进一步的压缩。
注意，与利用动态估算的标准单通道视频信号压缩相似，所选用实例的方法跳过每个通道的预定数量的帧88，这就进一步减少了需要编码的数据。被跳过的帧88的数量通常取决于被压缩的视频信号的类型，对于具有高动作的视频信号，每个通道的连续帧之间的差相当大，以致没有多少帧会被跳过，因为存在着有效数据会被丢失的高风险，这就会影响视频信号的质量。如图6中所示，在每个通道S1-SN中有两个帧88被跳过，这样P帧就成了原始帧之后三个后续帧(这四帧构成了一个“组”)。
在连续逐个地确定对于每个源的原始帧和一个相关的P帧之间的每个通道内的差(Δ11-Δ1N)(步骤86)之后，系统70的编码器通过确定基准通道C1的基准预测帧P11和其他通道C2-CN的每个P帧P12-P1N之间的一个预测通道间的动态差(δ211…,δN11)的方式来执行图7中所示的步骤90。结果，通过仅对P帧之间而不是全部帧之间的差δ211-δN11进行编码的方式使动态估算压缩在众通道之间实现。由之些预测通道间的差，连同基准预测帧P11(必须首先时基本身进行重建)一起，帧P12-P1N就能得到再生。
接着转至图8，解码器通过为每个通道C1-CN计算若干个预测“B”帧来执行步骤92，而“B”帧的数量是与被跳过的帧88的数量相对应的，而且该“B”帧是帧88的估算“填充”帧。正象图8中用虚线表示的双箭所指示的那样，与基准帧S1和相关的P帧P11有关的视频数据被用于建立通道C1的B帧B11和B21。特别是，基于原始基准帧S1的视频数据，相关的帧P11，以及这两个帧之间的差Δ11的关系，就可以对与基准通道相对应的第一对B帧进行计算。
显然B帧要全部经过预测，但为了保证适当的准确度，它们还是与被跳过的帧88相关联。精于此技术的人士对于B帧编码的更详尽的细节是了解的，因此在这里并不需要作进一步的讨论。而且，象前面讨论的那样，传输时只发送经过高度编码的B帧主体，这样就没有必要再对与跳过帧的88相关的任何有数据进行编码。在步骤92中，编码器连续地为每个源计算这些B帧B11B21,…B1NB2N，这样就完成了第一组帧的原始编码。
编码时，P帧的压缩大约是基准原始帧的10倍以上(10∶1压缩比)，而B帧的压缩大约是基准原始帧的20倍以上(20∶1压缩比)。注意，图6-8中所示，原始组的帧包括原始帧S1-SN，跳过的帧，各独立通道的P帧P11-P1N，它们共同构成帧的第一个序列(组Ⅰ)，而且在下文中仍将如此提及。
如图5-8中所示对组Ⅰ的帧进行编码之后，编码器74利用固化操作系统76(图4)来确定每个通道的每一组的帧的系列中是否有帧呈现出数量明显的位移，也就是说，任何通道C1-CN的P帧P11-P1N和原始帧S1-SN之间的差是否达超过一个预定阈值E0(正如在上面参照的正在进行中的应用项目中所描述，而在这里被缩合参照的)，这样就要求对一个I帧进行编码，而该编码过程将以步骤84为起点重新开始。另一方面，如果E0未被任何通道内的差超过，则组Ⅱ的通道内的差(Δ21-Δ2N)要被编码，而且如上所述，对每个组而言编码过程均要继续，直到E0被任一个后续的通道内的差超过为止。
注意，阈值E0是根据视频信号的内容或类型比如动作或特征而预置的，例如，由于在一个动作视频信号的后续帧中有明显的差异，如果阈值E0被置得太高，因而在信号序列中一个新的I帧未被编码(即，尽管情形需要编码)，则在仅对预测帧(P或B)进行的编码中有效数据就能丢失，因为根据定义预测帧包含的信息少于一个完整帧的信息。
在本发明的另一个应用实例中，不仅一个帧内差Δ××能够激发I帧的编码，而且一个原始帧间差S××，或者一个预测帧间差δ×××也能够激发一个I帧的插入。当一个原始帧间差达到一个第二预定阈值E0′时，或者当一个预测帧间差达到一个第三预定阈值E0″时，则该序列中的一个I帧就能被编码。而且，如前面所提，编码器74(图4)的固化操作系统76已经圆满地填装了人工智能(AI)/模糊逻辑软件，可以提供一个优秀的I帧插入系统。
注意，如在综合应用中所述，S与P帧可以分成检索区或段，而且一个通道内的差可以计算出来以代替每个通道的S和P帧的相应区。与一个特定通道对应的每个通道区间差(区差)可以为该通道累加并与E0进行比较以确定是否对一个I帧进行编码，是为每个通道编码还是仅为该通道编码。
根据本发明的另一个方面，可以用固化操作系统76中专门设计的算法来执行“误差空间分布”法，以确定这些区在帧中的位置。如果这些区在帧中位于不重要的部位，编码过程将在不插入I帧的情况下继续进行，即使与该特定通道相关的通道内的差证明插入I帧是正确的也是如此。可以用一个方法为所查找的区指定一个预定的加权值，用来确定它的相关的通道间的差是否有效。如果有效，该方法将为该通道累加有效的通道区内差以确定是否应该插入一个I帧。确定差的空间分布的方法通过人工智能或模糊逻辑而得以更好执行并准确地协调I帧的插入。
在阈值E0未被累加的差超过的情况下(即，一个I帧未被编码)，编码方法执行图9中所示的步骤94来开始对组Ⅱ的帧进行编码，其中包括用组Ⅰ的预测基准帧P11作为组Ⅱ的基准原始帧。更准确地说，因为在这种情况下不必通过编码器74来发送一个完整的新I帧，每个独立通道C1-CN的现存P帧信号P11-P1N被保留并在编码过程中取代组Ⅰ(图5-8)的原始帧S1-SN的位置。另外，基准通道C1的第三个后续帧，现在是第七帧，将根据已知的方法进行预测，并成为组Ⅱ的基准预测帧P21。
对组Ⅱ帧的编码过程与上面叙述的组Ⅰ帧编码的过程的区别在于图5中所示的步骤84不再执行，因为组Ⅱ的原始帧是组Ⅰ和P帧P11-P1N(下面描述)。换言之，基准通道C1的P11帧和余下的通道的每个P帧之间的差δ211-δPN11将被编码并保留在存储器中(例如，在解码器存储器中)。结果，在重建组Ⅱ的时候P11-P1N将容易得到。
在图6(步骤86)，图7(步骤90)，和图8(步骤92)中所示的编码过程余下步骤的执行将作为步骤96一并显示在图10中，这里来自通道C1的新的原始基准帧是P11而新的P帧是P21,…P2N，更好地成为每个通道C2-CN的第七帧。根据这些帧，新的通道内的动态差Δ21-Δ2N以及新的通道间的动态差δ221…,δ2N1可被确定并编码。另外，与组Ⅱ相关的B帧也作为跳过的帧95(图9)的填充器而被建立。(注意，图9和10中使用的符号规则形成一条水平虚线，设置在该水平各端的向上垂直伸展的箭头表明通常围绕在其附近的信息不必编码，因为该信息是在紧挨着的前一组中编码的。)对每个组的编码过程象上面在步骤84-86中陈述的那样继续进行，在这种情况下每个组由各有4个帧的N个通道组成。在每个独立的组中，P帧以及它们之间的差，都是如上所述那样编过码的，只要该差不超过预置的阈值E0，都将作为下一个连续组的原始基准帧。当编码器74(图4)的系统固化操作系统76确定图像的对比降至阈值E0以下时，即当固化操作系统76确定连续帧呈现出足够量的位移时，就插入一个I帧。如果图像对比维持在阈值E0以上，则源C1-CN的每个当前帧被保留而帧的编码在步骤84(图5)重新开始。
转至图11，一旦视频数据如上所述般被编码，则编码信号能被传输到序列100中的解码器(至少是部分地)。准确地说，组Ⅰ被传输，一开始时包括基准通道数据信号。更准确地说，编码器传输一个指示原始基准帧S1的全部视频内容的信号，连同S1和它的相关P帧P11(图6-8)之间的差和表达预测B帧B11和B21的高度编码的信号(一般是主体形式)。注意，因为P11能够根据S1和Δ11重建，因而不必发送。然而，为降低差的计算数量，P11可以不明显地增加序列信号带宽的情况下完整地传输。尽管如此，在所选的应用实例中，P11帧并未以其完整形式传输，因为它可以在不牺牲视频信号质量的前提下根据无论如何必须发送的信息(S1和Δ11)来重建。
然后，余下的组Ⅰ的编码通道被传到解码器。例如，通道2的编码信息被传送，这些信息包括S21Δ12δ121B12B22，将用于重建原始帧S2，以及帧B12,B22和P12。每个N通道的组Ⅰ的传输继续进行，而最后一个被传输的序列是SN1Δ1Nδ1N1B1NB2N。
注意，图4的编码/传输器圆满地应用了并行处理，乃至在前面的经过编码的数据通道正在传输的同时，视频数据的后续通道则正在被编码。而且，虽然该方法是按照一次编码及传输一个数据通道来描述的，但是由应用项目决定，通道(C1-CN)能够成对地编码/传输以增大吞吐量。
此后，组Ⅱ和Ⅲ，分别标准为108与110，以与组Ⅰ相同的方式传送到解码器。当然，构成完整视频信号的有更多组的视频数据，而且每组均象上面叙述的那样进行编码和传输，当然必要时包括I帧的插入。
转至图12，一个流程图，显示的是描绘通过接收/解码器80(图4)来应用方法114以便为多通道中的每个通道重建视频信号的步骤。接收信号(步骤116)之后，方法114执行步骤118开始对原始帧S1即基准原始帧(如前面所述包括其全部视频信号内容)进行压缩。注意，除表示B帧的信号外，在传输之前编码器通常用在MPEG帧内压缩(图4中的78)中使用的标准视频信号压缩技术对信号进行压缩。这一数据压缩被加于本发明的新颖压缩法中。因此，在步骤118中方法114应用相应的标准解压技术。
接着，在步骤120中，根据标准的解压方法对S1和P11帧之间的经过编码的通道内的差即信号Δ11进行解压。然后，在步骤122中方法114利用S1和Δ11的经过解压的版本，更准确地说，利用求Δ11与S1之和，开始重建与组Ⅰ的第一通道相关的P帧P11。换句话说，如上面提到的，完整的P11帧能够用常的压缩法压缩，以编码的型式传输，用相应的方法解压。尽管如此，还是选择前面的重建P11的方法。此后，在步骤124中方法114利用S1,Δ11和P11之间的关系来重建预测帧B11和B21。在步骤126，方法114传输基准帧S1，并为显示单元82(图4)重建帧P11，B11,B21以便按表明的次序，即S1B11B21P11来显示。
接下来谈组工序列，在步骤128中方法114用例举的标准MPEG解压技术对通道2的经过编码的信息，其中包括δ211,Δ11和S21信号进行解压缩(注意，δ,Δ和S也可被先作信号集)。然后，在步骤130，基准原始帧S1和S1与S2之间的原始通道间的差(S21)被用来重建第二通道的原始帧S2。按照这一新颖的方式，方法114在不必发送S2帧的全部视频内容的情况下重建S2。再者，这是可能的，而且是有利的，因为在各种通道的相应帧的数据中存在足够数量的冗余信息。
然后，在步骤132中，组Ⅰ的预测基准帧P11，以及它和通道2的P帧(P12)之间的通道间的差δ121被用来在步骤132中为通道2重建P帧(P12)。在步骤134中通过使用经过解压的/Δ12(表示组Ⅰ中第二个通道的S和P帧之间的通道内的差)，连同经过解码的S2和P12，方法114重建预测帧B12,B22。然后，在步骤136中S2B12B22P12被传至显示单元。
对于每个通道，该过程持续进行，直至第N通道，借此，在步骤137中方法114用标准解压技术对δ1N1,SN1以及Δ1N进行解压，并且在标准步骤138中利用S1和SN与S1之间的经过编码的差SN1来建立SN。然后，在步骤140中通过求预测通道间的差δN11与P11的和的方式来建立第N通道的P帧P1N。然后，在步骤142，方法114使δN11与刚建立的帧SN和P1N组合来建立B1N和B2N。为了完成组Ⅰ信号的解码在步骤144中方法114将这些信号传至显示单元，这样，这些信号即可按下面的顺序SNB1NB2NP1N来显示。总之，本发明允许在不必对这些帧的全部视频内容进行编码和传输的情况下，以一个基准通道的经过编码的帧和相关的经过编码的通道间的差和通道内的差为基础对后续通道的相应帧进行重建。
一旦组Ⅰ的帧被编码，方法114就根据当前帧和下一个预测帧之间的累加误差是否超过预置的阈值E0，即根据一个I帧是否被编码送来执行一个特定序列的步骤。(步骤146在图12B中)转至图12B，在一个I帧未被编码并发送的情况下，第一组的P帧P11是通道1的新的原始基准帧。和组Ⅰ的原始帧(S1)不同，表示新的原始基准帧的P11信号不需被解码并显示，因为在组Ⅰ信号(包括预测基准帧P11)被解码的时候，它已被存于存储器中。在组Ⅱ中，P11帧只被用作相应帧的基准帧，即它不再被显示。
下面方法114重建新的预测帧P21。因为两个帧被跳过，新的P帧即是第七帧。在步骤148方法114将Δ21解压，然后在步骤150，通过将新的基准原始帧P11与Δ21信号组合的方式来建立P21。然后在步骤152中P21与P11及21组合以建立新的预测帧B11′和B21′。然后在步骤154中方法114把新的重建的P帧P21，和预测帧B11′及B21′传至显示单元，象下面这样显示基准通道的帧B11′B21′P21。这些帧是通道1C1的第五、第六和第七帧。
在步骤156中，高至并包括第N通道的后续通道的帧象在步骤128-144中那样被解码。最后，在步骤158中方法114象上面描述的那样持续对已编码的视频数据的后续组进行解码，以首先确定那个组的I帧是否被编码(步骤146)。
另一方面，在图12C的步骤160中，在每个通道的一个I帧被编码并发送的情况下，(例如任何通道的一个通道内的累加的差达到或超过预置的阈值E0时，就会出现这种情况，而在这种情况下，考虑到区的加权值，误差空间分布法被执行)，方法114开始用标准解压技术对基准通道C1的I帧I1(新的基准最原始帧一一它的全部视频内容均被编码)进行解压。相类似，在步骤162，方法114对新的基准预测帧P1(新)1和新的基准原始帧I1之间的的差Δ1(新)1进行解压。然后，在步骤164，方法114通过把I1与Δ1(新)1组合来建立P1(新)1。接着，在步骤168，该方法把I1，Δ1(新)1和P1(新)1与重建的预测帧B1(新)1和B2(新)1组合。然后在步骤166方法114把经过解码的信号传至显示单元按下面的顺序来显示这些帧；I1B1(新)1B2(新)1P1(新)1。
然后象在步骤128-144中那样，方法114持续对后续通道进行解码，直至第N通道。而且，在步骤172，方法114持续对输入的视频数据的后续组进行解码，以首先确定对于这个组来说I帧是否被编码或者对于每个通道来说前面建立的P帧是否会是新的原始帧(步骤146)。
虽然对本发明的方法，连同对视频数据的压缩一道已加以描述，这里描述的技术应能用于压缩其它类型的信号。例如，多种语言版本的电影应包括多个数据通道，每个通道与影片的一个不同语言版本对应。利用本发明的技术来互交每个这样的通道的信息以便压缩数据储存或传输，这是可能的。
为实现该项发明，已考虑了各种各样的方式，如在下面的权利要求中引出的那样，这些要求特别指明了被认为是该项发明的要点并明确地提出了对这些要点的权利保护要求。
权利要求
1．对多个视频信号通道进行压缩的方法，所述的方法包括以下步骤对包括每个通道的预定数量的连续帧在内的一组视频帧进行编码，所述的编码步骤包括子步骤；(a)对每个通道的一个原始帧进行采样，包括一个基准通道的基准原始帧；(b)对每个通道的包括一个基准预测帧在内的后续帧进行预测，每个所述的预测帧与一个所述的原始帧对应；(c)确定每个所述的原始帧和所述的对应的预测帧之间的一个通道内的差；(d)确定所述的基准原始和其它通道的每个所述的原始帧之间的一个原始通道间的差；(e)确定所述的基准预测帧和其它通道的每个所述的预测帧之间的一个预测通道间的差。
2．根据权利要求1所述的方法，其特征在于所述的编码步骤还包括子步骤(f)将每个所述的通道内的差与一个预定的阈值比较；(g)如果任何一个所述的通道内的差达到所述的阈值，则插入一个I帧作为与这个通道内的差相关的通道的下一个后续帧。
3．根据权利要求1所述的的方法，其特征在于所述的编码步骤还包括子步骤(f)将每个所述的通道内的差与一个预定的阈值比较；(g)如果任何一个所述的通道内的差达到所述的阈值，则插入一个I帧为与每个通道内的下一个后续帧。
4．根据权利要求3所述的方法，其特征在于所述的编码步骤还包括子步骤(h)将每个所述的原始通道间的差与一个第二阈值比较；(i)将每个所述的预测通道间的差与一个第三阈值比较；(j)如果任何一个所述的原始通道间的差达到所述的第二阈值，或者如果任何一个所述的预测通道间的差达到所述的第三阈值，则插入一个I帧作为每个通道的下一个后序帧。
5．根据权利要求4中的方法，其特征在于还包括重复对多个所述的帧组进行编码的编码步骤(b)-(j)的步骤，所述的组是相互连续的。
6．根据权利要求5所述的方法，其特征在于这里所述的数目是4，而第4帧是所述的预测帧。
7．根据权利要求1所述的方法，还包括以下步骤生成一个表示所述的基准原始帧的信号，和一个表示用于所述的基准通道的所述的通道内的差信号；为除了所述的基准通道之外的每个通道生成一个信号集，包括一个表示一个相应的原始通道间的差的信号，一个表示一个相应的通道内的差的信号，和一个表示一个相应的预测通道间的差的信号；把所述的基准原始帧信号，所述的基准通道内的差信号和每个所述的信号集传至一个解码器。
8．根据权利要求6所述的方法，其特征在于还包括在所述的传输步骤之前用标准MPEG压缩技术对所述的基准原始帧信号，所述的基准通道内的差信号和每个所述的信号集进行压缩的步骤。
9．根据权利要求8所述的方法，这里对所述的预测帧的压缩要比对所述的基准原始帧的压缩高10倍。
10．根据权利要求7所述的方法，还包括以下步骤在所述的解码器中重建(1)所述的基准原始帧，用所述的基准原始帧信号；(2)除所述的基准原始帧之外的每个所述的原始帧，用所述的基准原始帧和所述的原始通道间的差的信号中的一个相应的信号；(3)所述的基准预测帧，用所述的基准原始帧和所述的基准通道内的差信号；(4)除所述的基准预测帧之外的每个所述的预测帧，用所述的重建的基准预测帧和所述的基准通道间的差信号的一个相应的信号。
11．根据权利要求10所述的方法，其特征在于还包括以下步骤将所述的基准原始帧和每个所述的重建的帧传至一个显示单元；显示所述的基准原始帧和所述的重建的帧。
12．根据权利要求4所述的方法，其特征在于这里所述的编码步骤(a)-(j)是通过人工智能或模糊逻辑软件完成的。
13．根据权利要求10所述的方法，其特征在于这里所述的重建步骤是通过人工智能或模糊逻辑软件完成的。
14．对多个视频信号通道进行压缩的方法，包括一个基准通道，所述的方法包括以下步骤对一组视频信号帧进行编码，所述的组包括每个通道的预定数量的帧，所述的编码步骤包括以下子步骤(a)对每个通道的一个原始帧进行采样；(b)对每个通道的一个后续帧进行预测，每个所述的预测帧与一个所述的原始帧对应；(c)确定每个所述的原始帧和所述的对应预测帧之间的每个通道内的差；(d)将每个所述的通道内的差与一个阈值比较；(e)如果任何一个所述的通道内的差达到所述的阈值，则插入一个I帧作为每个通道的下一个后续帧。
15．根据权利要求14所述的方法，其特征在于还包括将每个所述的原始帧和每个所述的对应的预测帧分成区的步骤。
16．根据权利要求15所述的方法，其特征在于还包括步骤确定所述的原始帧的每个区和所述的对应预测帧的一个对应的区之间的一个区差。
17．根据权利要求16所述的方法，其特征在于还包括以下步骤对每个通道而言，将与该通道对应的每个所述的区差进行累加；将每个所述的累加区差与一个阈值比较，如果所述的累加区差中的任一个达到所述的阈值，则插入一个I帧作为每个通道的下一个后续帧。
18．根据权利要求16所述的方法，其特征在于还包括为每个所述的区差指定一个加权值的步骤。
19．根据权利要求18所述的方法，还包括以下步骤基于与每个所述的区差相关的加权值，确定每个所述的区差是否有效；对每个通道而言，将每个所述的有效区差累加起来；将每个所述的累加区差与一个阈值比较，如果任一个累加的区差达到所述的阈值，则插入一个I帧作为那个通道的下一个后续帧。
20．根据权利要求18所述的方法，其特征在于还包括以下步骤基于与每个所述的区差相关的加权值，确定每个所述的区差是否有效；对每个通道而言，将每个所述的有效区差累加起来；将每个所述的累加区差与一个阈值比较，如果任一个累加的区差达到所述的阈值，则插入一个I帧作为每个通道的下一个后续帧。
21．根据权利要求14所述的方法，其特征在于这里所述的数字等于4，而第四个帧是所述的预测帧。
22．根据权利要求14所述的方法，其特征在于还包括以下步骤重复执行对多个所述的帧组进行编码的所述编码步骤的(b)-(e)步骤，所述的组是相互后续的。
23．对多个视频信号通道进行编码的方法，每个通道有多个连续帧，该方法包括以下步骤对包括一个基准通道的每个通道的一个原始帧进行采样；预测每个通道的一个后续帧，每个所述的预测帧与所述的原始帧中的一个帧相对应；确定每个所述的原始帧和所述的对应的预测帧之间的一个通道内的差；确定所述的基准原始帧和每个其它原始帧之间的一个原始通道间的差；确定所述的基准通道的一个基准预测帧和基它通道的每个所述的预测帧之间的一个预测通道间的差；将每个所述的通道内的差和多个所述的原始通道间的差，每个所述的预测通道间的差，和所述的原始基准帧传至一个解码器，以供重建视频信号。
24．对多个视频信号通道进行压缩的方法，所述的方法包括以下步骤确定每个通道的一个当前帧和一个预测帧之间的一个通道内的差；如果任一所述的通道内的差达到一个预定阈值，则在每个通道的当前帧之后插入一个I作为下一个后续帧。
25．对多个视频信号通道的经过压缩的视频信号进行传输的方法，该方法包括以下步骤对每个通道的原始帧进行采样；将对每个所述的原始帧分成区；对接续在每个所述的原始帧后面的一个相应的P帧进行预测；将每个所述的对应的P帧分成区；确定每个所述的原始帧中的每个区与每个所述的对应的预测P帧中的每个区之间的一个通道内的差；对每个通道而言，对每个区的所述的通道内的差进行累加；将每个所述的经过累加的通道内的差与一个阈值比较；如果任何一个所述的经过累加的通道内的差达到所述的阈值，则插入一个I帧作为每个通道的下一个后续帧。
26．用动态估算的方式对多个视频信号通道的视频信号进行压缩的方法，包括以下步骤(a)对于每个通道而言，把将被编码的一个当前帧的一个区段与前一帧的一个相应区段进行比较，以获得一个通道内的差；(b)重复执行比较步骤(a)，直到每个通道的所述当前帧的所有区段的所述通道内的差均被确定为止；(c)对于每个通道而言，求所述的通道内的差的总和以为每个通道获得一个累加的通道内差；(d)将每个通道的所述经过累加的通道内的差与一个阈值比较，以确定是否应插入一个新的I帧作为将被编码的下一个后续帧。
27．对多个通道的视频信号进行压缩的方法，其中包括一个基准通道，而所述的方法包括以下步骤对一组帧进行编码，所述的组包括每个通道的预定数量的帧，所述的编码步骤包括以下子步骤(a)对一对通道的一对原始帧进行采样；(b)对每对所述的通道的一对后续帧进行预测，每对所述的预测帧与一对所述的原始帧对应。(c)在每个所述的原始帧与所述的对应的预测帧之间确定一个通道内的差；(d)将每个所述的通道内的差与一个阈值比较；(e)如果任一所述的通道内的差达到所述的阈值，则插入一个I帧作为每个通道的下一个后续帧。
全文摘要
用MPEG兼容技术对多通道进行压缩的方法(方块图96)。该方法对每个通道内及间的帧之间的差进行编码(方块图C
文档编号H04N7/32GK1323426SQ99812322
公开日2001年11月21日 申请日期1999年8月19日 优先权日1998年8月19日
发明者安德鲁·A·考斯托佐夫斯基, 米切尔·A·皮利安文 申请人:物理光学公司