专利名称：视频压缩-扩张系统用的场消除装置的制作方法
技术领域：
本发明涉及在信号压缩以前和信号扩张以后用来处理视频信号的装置。更具体地说，本发明涉及在编码器中用来消除视频信号冗余场和在解码器中用来恢复视频信号中被编码器删除的那些场的装置。
当前，大量研究工作花费在为电视信号传输和多媒体(即，计算机应用)开发压缩视频信号的系统上。这种研究工作的代表是不断发展的压缩视频标准的研究，当前这项研究称为MPEG(MPEG表示“活动图像编码专家组”，它是国际标准化组织即ISO的一个委员会)。MPEG是一种压缩视频信号的约定，它描述一种结构上已分层地运动补偿的、已离散余弦变换的、已量化和统计编码的信号格式，这种格式的草案称为ISO文件(即ISO-IEC/JTC 1/SC 29/WG 11 MPEG 92/160)。该MPEG约定要求在图像群(GOP)中以帧为基础把视频信号编码(压缩)。GOP的已压缩信号包括GOP头部，其后为帧头部，其后为片(片是帧的一部分，例如，1个片包括16行)头部，其后为像块(例如，1个像块是16×16个像素的矩阵)头部，其后为像素数据块，其后为下一帧的头部；等等。
一般，按照MPEG格式来设计以便提供已压缩数据的压缩装置，是以场或帧为基础接受数据的，并且，是把数据分组成为GOP，再执行必要的压缩处理以产生MPEG信号。然而，应该注意，如果源素材是一种为从影片上原始产生的、通过电视电影机(其“拉下”(Pulldown)为3∶2)变换成视频的视频信号，则5场中有一场是冗余的。从这样的素材中直接把那些冗余场去掉，就能立即使压缩效率提高20％。即使视频信号是由摄像机产生的，在这种视频信号中，也大量显示为静止图像，在此情况下，一些数据帧可能也是冗余的。消除(至少是部分地消除)静止图像的冗余度，也能有效地提高压缩效率。
为了实现压缩效率的这种提高，必须识别图像的场冗余度，此后，在把这些场加到压缩装置上以前，把它们删除。而且，在已把冗余场删除以后，一种用于识别被删除场的系统必须工作，以通知相应的解码装置再生该被删除的场。
本发明在于提出用于检测视频图像场中的冗余度、删除那些冗余的视频图像场、并以允许解码装置恢复那些被删除场的方式来编码其余数据的装置。
本发明的实施例包括用来存储两场图像数据和提供间隔为一帧周期的场图像数据的存储器。使来自相继帧中的对应场的图像数据相减，以产生场差值。在相应的场周期内把场差值累积起来，把和值与一个预定值相比较。如果在一场期间内差值的和值小于该预定值，则当前场可认为是冗余的，可将其从视频数据流中删除。
在把相应场从视频信号流中删除以后，这些视频信号帧由其余场构成。在存储器中确定这些场的场类型(例如，奇数场或偶数场)，从存储器中的相应场取出数据，使得来自奇数场和偶数场的数据在所构成的帧内分别占据奇数行和偶数行。标志与构成的帧有关，这种标志包括与被删除的冗余数据对应的数据。把标志包括到构成有关帧的视频数据之中。
在视频信号压缩系统的接收机实施例中，对压缩信号进行检查，把任何场冗余度标志去掉。然后，把已压缩数据解码，把已扩张视频信号装入显示存储器中。随后读出显示存储器，以提供光栅格式的图像。使存储器控制装置响应于相应的冗余度标志，以重复显示对应于被删除场的有关图像数据场。
附图简述
图1为一系列视频信号输入帧和重新构成帧的形象化表示和波形图，这种表示在描述本发明中有用；图2为解码器装置提供的一系列视频信号输出帧的形象化表示和标志信号图，以及用来提供隔行视频信号的已再定序的场视频信号的形象化表示，这些表示在描述本发明中有用；图3为用来删除视频信号冗余场和产生标志信号的装置的方框图；图4为可用于图3装置中的再定序器方框图；图5为详述图3和图4中的再定序器的功能性操作的流程图；图6为用来产生视频场以代替被删除的冗余视频场的解码器装置的方框图。
参看图1中标为输入视频的一排框。每一列园表示一场视频信号，在一场中的每一个园表示一行。在一排框中标为“视频”的部分里，包围两场的相应框表示例如由摄像机产生的隔行视频信号的帧。在一排框中标为“影片”的部分构成例如由电视电影机产生的视频信号，其中，每出现4场中就有一场在信号流中重现。这种重复的场被包括在包围着3场的框内。例如，在包括场L、M、N的框内，场N为场L的重复场。
被指定为输出帧的那一排框表示把冗余场删除后已再定序的视频信号帧。图1中假定，“视频”帧包括活动图像，为此，不论“影片”系列是否包括活动图像，只有“影片”帧才有信息的冗余场。图1中，把已再定序场安排到不隔行帧中，以便用于例如MPEG编码器。可以看出，在标为“影片”帧的输入信号的每5场中，输出帧只包括4场，实现了20％的数据压缩。
输入视频信号可能只表示静止的“视频”，在这种情况下，除了噪声分量以外，相继的偶数场是相同的；除了噪声分量以外，相继的奇数场也是相同的。在不活动的、或者静止的视频信号的情况下，冗余场可能随机地出现或者聚集在一起。如果冗余场是随机出现的，那么，当它们出现时，本系统将删除这种冗余场。另一方面，如果出现静止场的短暂时间相对地较长，本发明的优选实施例则在每n个冗余场中删除m个，此处，m和n均为整数，且n＞m。为了防止系统速率缓冲器下溢，加入了这种制约。注意，n和m的有代表性的值为3和1，或5和1，等等。
信号DT指示一些已再定序的帧，这些帧包括与已被删除的场对应的场。为了通知接收机有关帧中的一个场应该显示两次，在所发射的已编码信号中将包括信号DT的代表。第二个信号DF指示在隔行显示系统中应该先显示每一帧的那一场。信号DT的代表也被包括在所发射的已编码信号中。从输入和输出的视频场/帧应该注意到在时间上，偶数场一般出现在奇数场以后。隔行扫描的帧包括与后继扫描的偶数场隔行的奇数场。然而，当以场为基础删除视频数据时，重新构成的输出帧可能包括与以前出现的偶数场在一起的奇数场。因此，必须留意在重新构成的帧中首先出现的是哪一场。换句话说，当在接收机中作为代替一个被删除的场而重复一个场时，必须知道后继帧的哪一场应该与所重复的场隔行。
图2中，标为输入帧的这一排框表示已在适当的接收机中解码以后的图1的输出帧。与相应帧有关的是表示为两位二进制字的对应信号DT和DF。最左方和最右方的比特分别表示信号DT和DF。在左比特位置上的1指示有关帧包括冗余场。右比特位置上的1指示要先显示的是有关帧的偶数场，右位置上的0指示要先显示的是有关帧的奇数场。
标为输出场的这一排框表示应该显示的包括着输入帧的一系列场。
图3示出用来检测冗余场、删除冗余场、和从其余场重新构成视频信号帧的装置。把视频信号从源10加到第一缓冲存储器(Bn)12和减法器16上。把缓冲存储器12的输出耦合到第二缓冲存储器(Bn-1)14上。把第二缓冲存储器的输出耦合到减法器16的第二输入端子上。第一和第二缓冲存储器的每一个都把信号延时一场周期，因此。加到减法器16上的两个视频信号对应于间隔为1帧期间相同场类型的相同空间位置。如果间隔为1帧的两场视频信号相同(除了噪声以外)，则减法器16在相应场周期内提供的差值为零(假定，该视频信号只表示亮度)。把减法器16产生的差值加到成核电路(Coring circuit)17上，成核电路17消除小于预定值的差值，以使视频信号差值中信号噪声的影响为最小。把成核差值加到累加器18上，在累加器18中，在相应场周期内把差值的绝对值累加(加)起来。把和值加到门限检测器20上，在门限检测器20中，把和值与门限值相比较，如果相应场中差值之和小于门限值，就可以认为对于从缓冲存储器14读出的最后一场(即，同一类型的以前的最后一场)来说，缓冲存储器12中存储的场为冗余场。如果和值大于门限值，则认为缓冲存储器12中当前存储的场为非冗余场。
把来自缓冲存储器12和14的视频数据加到再定序器21上，把来自源10的视频数据加到奇/偶场类型检出器11上。再定序器21响应于来自检出器11的场类型数据和来自门限检测器20的数据，把来自源10的数据的场删除或重新格式化。把已再定序的视频信号数据加到压缩装置23上，该压缩装置23可以包括与离散余弦变换编码器有关的运动补偿预测编码器，以及统计和游长编码器(statistical and run length encocler)。把压缩装置23提供的已压缩视频信号加到数据格式化器24上。数据格式化器把带有用来同步和/或误差检测/校正等辅助数据的已压缩数据格式化。
例如，如果要通过不是铜线的媒体来传输已压缩视频信号，那么，必须对已压缩视频信号提供进一步的噪声防护。因此，把来自数据格式化器24的已压缩数据加到用来增加信号冗余度的传送处理器26上。这种冗余度对于信号解码是临界的某些类型的数据来说，是特定的。传送处理器26形成具有有效负载和灵活头部的数据包，其中，有效负载具有预定个数的已压缩视频比特；灵活头部包括用来在从其中可得到有效负载数据的相应图像中识别空间位置的数据。有关这种传送处理器的进一步信息，见题为“Apparatus for Segmenting Encoded Video Signal ForTransmission(用来分段编码视频信号以便进行传输的装置)”的第5168356号美国专利。
格式化器24和压缩装置23在压缩控制器22的控制下工作。控制器22接受来自再定序器21的视频数据和显示数据(DF)，以及来自门限检测器20的数据DT。控制器22一般作为状态机(state machine)而进行工作，它调整压缩器，使之以预定的顺序提供数据；它还调整格式化器24，使之以预定的结构(例如，按照MPEG的信号约定)把输出数据分层。如果为了提供已MPEG格式化的数据实际上已把控制器和格式化器编程，则不利用格式化器24把上述标志信号DT/DF引入到数据流中了。信号DT/DF将对传送处理器26提供已压缩视频数据的有关帧。此后，可以把信号DT/DF包括到与传送有效负载的传送包有关的相应的传送包的头部中(该有效负载包括帧头部信息)。
另外，如果编码器25并不是MPEG编码器，但是也许是改进型的MPEG+编码器，就可采取措施把信号DT/DF包括到改进型MPEG已压缩数据的帧头部中。在这种情况下，预先把控制器22和格式化器24设计成把信号DT/DF直接包括到已压缩的视频数据流中。那些熟悉视频信号压缩技术并具备了以上述公开的知识的人们将意识到，改用其它方法也可以传送与场/帧传送冗余数据有关的相应标志信号。
图4示出图3中再定序器21的示范性装置。图4中的再定序器21从场视频数据形成帧。即，它从两场将偶数场的行与奇数场的行互相隔行以形成帧。利用寄存器对30、31和32、33来执行隔行。把缓冲存储器12和14一直调整成可包括要组合成相应帧的两场。同时读出场存储器12和14，一次读一行。把从存储器12读出的相应行写入串入并出寄存器30中，该串入并出寄存器30具有连接到并入串出寄存器31的并行输入接点上的并行输出接点。在把相应行写入寄存器30以后，把它装入寄存器31。此后，把这一行从寄存器31串行读出。类似地，把从存储器14读出的相应行写入寄存器32中，传送到寄存器34中，然后，从寄存器34串行读出。把寄存器31和33提供的输出信号连接到多路转换器34的相应输入点上。利用再定序控制器35对多路转换器34进行调整从而使得在每一构成帧中把偶数场各行位置上的各偶数场行与奇数场各行位置上的奇数场行连接起来。
在这一示范性实施例中，以预定的取样速率，一次一行地从场存储器12和14读出数据。此后，在控制器35的控制下，寄存器31和32受到2倍于该取样速率的互不相同的时钟控制，使得从多路转换器输出的信号包括来自寄存器31(33)的一行视频信号、并且其后跟随着来自寄存器33(31)的一行视频信号。当各个场加到缓冲存储器上时，场检测器11确定这些场是奇数场还是偶数场，并把这样的场类型信息传送到控制器35上。因此，控制器35就知道缓冲器12和14分别包括的是奇数场还是偶数场，这样，就能正确地切换多路转换器34。还把来自门限检测器的数据送到控制器35上，并且通过设计控制器35使之产生信号DT/DF。
图5为图4再定序器操作的流程图，其操作如下。系统开始时，把两个连续场装入[100]缓冲存储器12和14中，设定标号n＝2。接着，再定序器取出[101]装入存储器12中那一场的场类型(偶数场或奇数场)。检查[102]场类型，如果下一场应该是偶数(奇数)场，系统则转移到路径103、104、105、(107、108、109)。
如果是偶数场，则把标号n加1，开始[103]把下一场装入存储器12。如果是偶数场，则当前在存储器12(Bn)和14(Bn-1)中保留的场分别为奇数场和偶数场。从当前在存储器Bn和Bn-1中的场以来自存储器Bn的行视频信号为奇数行、来自存储器Bn-1的行视频信号为偶数行来建立[104]当前帧。存储器12和14中的奇数场和偶数场处于相反的时间顺序，因此，把先显示信号(DF)设定为逻辑1的值[105]。
如果是奇数场，则把标号n加1，开始[107]把下一场装入存储器12。如果是奇数场，则当前在存储器12(Bn)和14(Bn-1)中保留的场分别为偶数场和奇数场。从当前在存储器Bn和Bn-1中的场，以来自存储器Bn的行视频信号为偶数行、来自存储器Bn-1的行视频信号为奇数行来建立[108]当前帧。存储器12和14中的偶数场和奇数场处于正常顺序，因此，把先显示信号(DF)设定为逻辑0的值[109]。
在建立了信号DF的状态以后，装入[110]来自门限检测器的DT信号，并对当前场进行检查[111]。如果信号DT是低电位，指示没有冗余场，就把下一场装入[115]存储器，使存储器12和14包括新的一帧数据。然后，系统返回步骤[101]。
如果DT是高电位，指示有冗余场，就检查[112]变量LD(Last Drop，即“最新脱落”)。变量LD始终监视着最新脱落的场。从标号n中把变量LD减掉，把差值与另一个预定值，即脱落频率(FD)相比较。FD值确定每个场系列允许脱落的场数。FD的最低有效值为3，即3场中允许脱落1场。FD值为5时，在5场中允许脱落不多于1场。如果差值(n-LD)小于或等于FD，就把DT设定为0[113]，系统转移到步骤115。在这种情况下，尽管有的场是冗余的，系统也防止它脱落。或者，如果差值大于FD，就把LD设定为n[114]，并把下两场装入[116]存储器12和14。这具有使当前在存储器14中保留的场脱落的效果。然后，系统转移回到步骤[101]。
图6示出了一种可使用标志数据DT/DF重新构成视频数据(其中，已将那些冗余场删除)的接收机的示范性实施例。把来自传输通路(例如调谐器)的已压缩视频数据加到传送处理器60上。传送处理器接受已压缩视频和同步信息等的传送包，把已压缩视频信号与传送包的头部分开，并且把已压缩视频信号加到适当的解码器/扩张器上。如果在包传送的头部内包括了冗余场的标志数据DT/DF，就把这种标志数据分离出来并与系统控制器64所需的其它任何辅助数据一起加到系统控制器64上。如果标志数据DT/DF包括在已压缩视频信号本身中，就利用解码器/扩张器61把该标志数据DT/DF分离出来，并把它加到系统控制器64上。系统控制器最终把信号DT/DF引导到存储控制器66上。
利用解码器61扩张已压缩视频信号，并把它装入显示存储器62中。显示存储器62一般包括一帧已扩张数据。把该已扩张数据从显示存储器通过多路转换器63耦合到输出显示设备(或记录设备等)上。当指示为没有场冗余度时，把数据从存储器62直接耦合到输出设备上。
还把显示存储器的输出耦合到附加的场存储器65上，把该场存储器65的输出耦合到多路转换器63的第二输入端上。利用存储器66控制显示存储器62、场存储器65和多路转换器63。包括信号DT/DF的系统控制器64调整存储控制器66，以便从相应的存储器提供视频数据以供显示。如果信号DT/DF指示没有场冗余度，则响应于信号DF把已扩张的奇、偶场按奇、偶场的位置分别装入显示存储器。然后，以隔行方式从存储器62顺序地读出奇、偶场。
如果信号DT/DF指示有与冗余信息有关的场，则当从显示器件读出这样的场时，在场存储器65中同时把它捕捉到。此后，多路转换器63在正确的场位置上把场存储器65中的那个视频信号场耦合到显示设备上。取决于特殊的扩张系统，为了重复场信号不一定需要包括有额外的场存储器65和多路转换器63，视频信号场的重复可从显示存储器62直接来完成。这后一种设计安排减少了所需硬件的数量，但是增加了对显示存储器和扩张器61的定时限制。
权利要求
1.一种视频信号压缩装置，其特征是，包括以场/帧形式出现的视频信号源(10)；用来比较所述相继的场/帧、并且删除所述场/帧中基本相同部分的电路(12、14、21)；用来压缩其余场/帧的视频信号压缩器(25)；用来产生指示要重复的场/帧和指示要重现场/帧的时间顺序的标志数据的装置(11、20)；以及用来组合已压缩视频信号和所述标志数据以便传输的装置(26)。
2.根据权利要求1中所述的设备，其特征是，所述视频信号包括偶、奇数场，所述用来比较的电路包括一种装置，用来分别比较来自相继场/帧的偶、奇数场，如果在相继场/帧中一些偶数场或奇数场基本上是相同的，则删除这些基本相同场；所述视频信号压缩装置还包括用来从其余非删除场产生输出帧的装置；以及用来压缩所述已产生帧的装置。
3.根据权利要求1中所述的装置，其特征是，还包括用来产生指示已产生的相应输出帧的第一标志数据的装置，这种输出帧包括当扩张时要重复显示的场；以及用来产生指示当重现时相应输出帧的哪一场应该先显示的第二标志数据的装置。
4.根据权利要求1中所述的装置，其特征是，还包括用来产生指示已产生的相应输出帧的第一标志数据的装置，这种输出帧包括当扩张时要重复显示的场。
5.根据权利要求1中所述的装置，其特征是，所述偶数行包括偶数场，所述奇数行包括奇数场；所述视频信号压缩装置还包括一种装置，该装置响应于指示图像帧中全部偶数行或全部奇数行基本上为冗余的所述信号，从而，从来自视频信号的所述源中，对于顺序地每次出现的P个场，只把预定的R个场删除(其中，P＞R)。
6.一种用来接收包括信息DT/DF的已压缩视频信号的装置，该DT/DF信息指示在扩张以后要显示一次以上的已压缩视频信号的场和已扩张场的显示顺序，其特征是，所述装置包括用来接收所述已压缩视频信号的装置；响应于所述接收的已压缩视频信号从而把所述信息DT/DF分离出来的装置(60)；响应于所述接收的已压缩视频信号从而把所述已压缩视频信号扩张以便提供视频信号输出帧的装置(61、62、66)；以及响应于所述DT/DF信息从而重复所述输出帧中的一些场的装置(63、65、66)。
7.根据权利要求6中所述的装置，其特征是，所述响应于所述DT/DF信息的装置还包括响应于所述DT/DF信息从而以预定的时间顺序提供相应输出场的装置。
8.一种用来处理视频信号的装置，其特征是，包括视频信号源(10)；一种装置(12、14)，用来比较顺序图像帧的相应偶数行和比较顺序图像帧的相应奇数行，并用来产生指示顺序图像帧中全部偶数行或顺序图像帧中全部奇数行基本上为冗余的信号；一种装置(21)，该装置响应于指示图像帧中全部偶数行或全部奇数行基本上为冗余的所述信号，用来删除包括所述基本上为冗余的全部偶数行或全部奇数行的一些图像帧中的所述全部偶数行或全部奇数行；用来从其余视频信号构成视频信号的顺序图像帧的装置(25)；用来产生指示在相应的重新构成图像帧中的奇数行和偶数行出现的时间顺序的信号DF的装置(11)；以及用来组合所述重新构成的图像帧和所述信号DF以便传输的装置(26)。
9.根据权利要求8中所述的装置，其特征是，还包括一种装置，该装置响应于指示图像帧中全部偶数行或全部奇数行基本上为冗余的所述信号，从而产生指示哪些所述重新构成的帧包括与所述基本上为冗余的行有关的视频数据的信号DT；以及用来组合所述信号DT和所述重新构成的图像帧以便进行传输的装置。
10.根据权利要求8中所述的装置，其特征是，还包括响应于所述重新构成的图像帧用来以帧为基础压缩所述重新构成图像帧的压缩装置；响应于来自所述压缩装置的已压缩视频数据和所述信号DF、从而来形成具有相应传送头部和有效负载的传送包的传送处理装置，所述传送头部被安排成包括所述信号DF，所述有效负载被安排成包括所述已压缩视频数据。
全文摘要
视频信号压缩装置包括用来存储两场图像数据和提供间隔为一帧周期的场图像数据的存储器(12、14)。使来自相继帧对应场的图像数据相减(16)以产生场差分。在相应的场周期内把场差值累积起来(18)，把和值与一个预定值相比较(20)。如果在一场期间内差值的和值小于该预定值，则当前场可以认为是冗余的，可将其删除。在把相应场删除(21)以后，这些视频信号帧由其余场构成。在存储器中确定这些场的场类型(例如，奇数场或偶数场)，从存储器中的相应场取出数据，使得来自奇数场和偶数场的数据在所构成的帧内分别占据奇数行和偶数行。与构成的帧有关的标志(DF、DT)指示哪些场包括与被删除场有关数据，还指示构成帧的哪一场应该先显示。
文档编号H04N7/26GK1117780SQ94191176
公开日1996年2月28日 申请日期1994年1月10日 优先权日1993年1月14日
发明者S·D·卡沙凡特, T·沙瓦蒂埃 申请人:Rca.汤姆森许可公司