数字视频记录器用的特技播放信号的产生的制作方法

文档序号:7585134阅读:133来源:国知局
专利名称:数字视频记录器用的特技播放信号的产生的制作方法
技术领域
本发明涉及在记录载体上记录数字视频信息信号和相应的特技播放信号的装置,所述数字视频信息信号是指以正常播放重放速度从所述记录载体上重放,而所述特技播放信号是指以所述正常重放速度m倍的特技重放速度从所述记录载体上重放,其中m是一个大于1的整数;本发明还涉及记录这种特技播放信号的方法以及记录载体。
如在引言段中定义的装置可从公布的国际专利申请WO95/28061(PHN 14832)中得知,该申请对应于US-A5,751,889。
降低数字电视信号的位速率是三十多年来人们一直感兴趣的领域。这已造成了视频及相关音频数据编码表示的ISO标准。第一个MPEG出版物是在1992年4月发表,它导致引入了MPEG-1。这一系统被设计成把位速率降至1.5Mbits/s(每秒1.5兆比特位)。为了提高视频质量又仍然使用低的位速率,已开发出MPEG-2。这一技术已被选用于数字视频广播(DVB)。DVB具有以可接受的低位速率传送演播室质量视频的潜力。这使顾客能在他自己的地方接收演播室质量的广播。为了使顾客能存储具有演播室质量的DVB,需要一台数字视频记录器。自两年以前,在顾客市场上已能得到数字视频(DV)记录器和数字摄象记录器(camcorder)。这两个系统使用专用的降低视频位速率技术,它与MPEG-2中使用的压缩技术不兼容。为了存储选定的DVB节目和保持高质量,需要一个透明的记录器。虽然已规定了把MPEG存储在DV记录器上的标准,但直到现在还没有生产出支持这种标准的设备。一种普及型用户音频可视存储装置是基于视频记录器的VHS。这一系统能存储和恢复模拟音频可视节目。为使能存储数字电视节目,当前开发了一种数字扩展,使用户能存储和恢复DVB节目。当前所开发的标准描述了这一系统的记录和回放方面。在这个标准中尚未包括的是如何预先形成特技播放。在本报告中将描述以D-VHSMPEG-2 STD方式格式所用特技选择系统为基础的特技播放。
自1996年6月,已发布了一个新的标准,即D-VHS MPEG2 STD方式格式。VHS记录器家族的这一数字版本能以高达13.8Mbits/s的位速率记录DVB。现在所能得到的这个标准只描述了记录和重放过程。最好称作特技播放的可视搜索尚未被规定。
一般地说,实现特技回放的建议,更具体地说,实现适于D-VHSMPEG2 STD方式格式的特技播放的建议,是本发明的主题。
根据本发明,为把数字视频信息信号记录在记录载体上的装置,该装置包含-用于接收数字视频信息信号的输入装置;-用于从所述数字视频信息信号产生特技播放信号的特技播放信号产生装置,从而使能以标称重放速度m倍的速度进行特技播放重放,这里m是大于1的整数。
-用于把所述数字视频信息信号与所述特技播放信号合并成复合信息信号的合并装置,-用于把所述复合信息信号写在所述记录载体的道中的写入装置,所述特技播放信号产生装置适于(a)从所述数字视频信息信号中提取出内编码画面,(b)产生中间编码画面,(c)合并所述内编码画面和所述中间编码画面,从而得到含有序列画面组的特技播放信号,含有一个内编码画面,后跟几个所述产生的中间编码画面,这里n是一大于0的整数,所产生的中间编码画面是这样的一旦以特技播放速度重放,则跟在内编码画面后面的中间编码画面在解码后便造成重复地表现由所述内编码画面解码得到的画面。
内编码画面可以是帧内编码画面形式,或者是场内编码画面形式。再有,中间编码画面可以是帧间编码画面形式,或场间编码画面形式。在下文的描述中,将假定内编码画面是帧内编码画面形式,而中间编码画面将假定为帧间编码画面形式。
本发明基于下述共识。特技播放信息信号的产生是基于从正常播放信息信号中提取帧内编码画面,如根据MPEG格式的I画面。在特技播放信息信号中简单地使用具有可接受的刷新速率的帧内编码画面(I-画面)是不可能的,因为传送特技播放信息信号中的那些帧内编码画面的带宽太小。为克服这一问题,产生出所谓‘空’帧间编码画面,如‘空’P-画面和/或‘空’B画面,而且特技播放信息信号数据流由GOP(画面组)构成,每个GOP包含一个帧内编码画面(I画面)和一个或多个那些‘空帧间编码画面’(例如空P-画面)。这种‘空’帧间编码画面在解码后造成重复表面产生这一个或多个‘空’帧间编码画面的那个帧内编码画面。由于‘空’帧间编码画面需要相对低的位内容。现在变得可能实现一个特技播放信息信号,它在以特技播放重放方式进行重放和其后解码时实现一个具有有足够帧速率的画面的重放视频信号。再有,这种GOP结构(作为IPP…GOP结构的一例,能得到足够的刷新速率)。
本发明的又一方面是对于有恒定位成本(bitcost)的特技播放信息信号产生GOP。这样的好处是能以更高的特技播放视频速率重新使用特技播放GOP。
本发明的另一方面在于从正常播放信息信号中含有的信息产生出特技播放信息信号所用的帧内编码画面。更具体地说,一个帧内编码画面包含一个DC系数和多个AC系数。正常播放信息信号中一个帧内编码画面的子画面的DC系数被从中提取出来并用于特技播放信息信号中作为所述特技播放信息信号中一个帧内编码画面的相应子画面的DC系数。再有,从正常播放信息信号的这同一帧内编码画面的子画面中提取出限定数量的AC系数,以构成要产生的特技播放信息信号中帧内编码画面的相应子画面的AC系数。这样做的结果是,与正常播放信息信号的帧内编码画面相比,减少了在所产生的帧内编码画面中的位数。为特技播放信号的指定帧内编码画面的一个子画面所选定的AC系数的个数取决于两个DC系数之差,这两个DC系数是所述子画面的DC系数和特技播放信号中那个指定帧内编码画面的前一个子画面的DC系数。
现在将描述低端(low-end)特技播放的信号处理方面。低端特技播放是指这样一种播放信号处理算法,它重新使用预编码的MPEG视频材料去创建视频特技播放。
根据本发明的视频特技播放信号处理造成一种低的硬件复杂性。为了视频特技播放信号处理,可以应用广泛多样的结构。对于所有那些结构,有两个主要参数能用于控制最终质量。第一个参数是MPEG编码画面的空间分辨力。第二个参数是观看者用以观察画面的时间刷新速率。低端视频特技播放信号处理算法,如在DVB广播情况中能得到的那样,将基于MPEG预编码视频信息。除了广泛多样的特技播放信号处理算法,在用于实现特技播放的系统方面也有某些多样性。
本发明的这些方面及其他方面将从下文描述的实施例中看清楚,并将参考这些实施例作进一步阐述。在附图中

图1的图1a是带有两个头A和B的旋转扫描器,图1b是带上具有不同方位的道;图2描述在重放过程中头的扫描路径,这里图2a显示在正常播放过程中的扫描路径,图2b显示以4倍于正常速度的速度进行特技播放的扫描路径;图3显示两个相继同步块的内容;图4显示PAT和PMT包之间的关系;图5显示一个PCM视频序列的时间子采样,其中图5a显示构成PCM格式正常播放视频的画面,图5b显示以4倍速特技播放PCM画面,图5c显示的画面构成以4倍于正常播放速度的特技播放速度进行的视频特技播放;图6显示具有GOP长度N=12和M=4的MPEG编码视频序列的时间子采样,这里图6a显示以MPEG格式的正常播放视频,图6b显示以4倍速特技播放MPEG画面,图6c显示具有4倍于正常播放速度的特技播放速度的视频特技播放;图7显示具有GOP长度N=12和M=3的MPEG编码视频序列的时间子采样,这里图7a显示MPEG格式的正常播放视频,图7b显示特技播放MPEG画面,图7c显示其速度为4倍正常播放速度的特技播放视频;图8显示在一个时间片内DCT块的扫描模式;图9显示代码转换器I-帧缓存器的填充度;图10显示I-帧代码转换缓存规则流程图;图11表示不同特技播放带速的画面间关系;图12显示从4倍特技播放速度的特技播放信号中提取用于更高视频特技播放速度的特技播放信息;图13显示通过交换向前特技播放速度的GOP来产生用于反向特技播放速度的特技播放信息;图14显示在传输流水平上的GOP布局;
图15显示特技播放信号处理的方块图;图16显示在系统时间轴上25Hz帧速率的解码和显示时间标记;图17在图17a中显示在PCR包上没有跳动的传输流,图17b中显示在PCR包上有跳动的传输流;图18显示连续传输流包间距的控制;以及图19显示根据本发明的记录装置。
在下面的附图描述中,将以举例的形式描述本发明,那里帧内编码画面是根据MPEG编码标准编码的I画面形式,而帧间编码画面是根据MPEG编码标准编码的P画面形式。
首先将描述特技选择特技播放的一般原理。D-VHS与其模拟对应物相似,是一个螺线扫描记录器。这意味着利用一扫描器把信息写到带上,而该扫描器的位置相对于带的纵向有一角度。用于MPEG-2 STD方式的D-VHS扫描器有具有不同方位的两个头A和B。图1a表示在一旋转扫描器上两个头A和B的位置,图1b显示在带上有不同方位的道,这是在记录过程中使用上述头结构得到的。
在正常播放重放过程中,那两个头从带中读出信息,其读出方式是A头读出记录过程中由A头写入的各道。同样过程对B头也有效。在特技播放重放过程中,相对于正常播放情况,A头和B头有不同的扫描路径。结果,A头和B头穿过以不同方位写入的道和与头本身方位相比以向右方位写入的道。图2描述了上述现象,这里图2a显示正常播放过程中的扫描路径,图2b描述以4倍于正常速度的速度特技播放的扫描路径。
道选择特技播放是基于A头和B头穿过预定道这一事实。当实现了这一系统时,便有可能在带上这样写入信息,即这些数据在特技播放过程中变为可视的。这一系统的后果是这些数据只能被用于一种特技播放速度。由于这一理由,对不同的特技播放速度规定了指定的特技播放区。在先前归档的申请者专利申请,如美国系列号09/13547(PHN 16211)(它对应于国际专利申请IB98/00088)以及国际专利申请IB98/00131(PHN 16614)中描述了为实现+/-4、+/-12、+/-24倍正常播放速度的特技播放速度而规定的包含特技播放区的带格式。以上述规定的特技播放速度,可以得出结论,即在权利要求中定义的值m、p、q,在本例中等于4、3、2。
特技播放区脉冲串长度(burst length)决定这些区内能存储的数据量。在上述专利申请中描述的带格式表明,对于每种特技播放速度,在扫描器转动一圈过程中读出的数据量是相等的。如在IB98/00131中描述的那样,在扫描器转动一圈过程中将从带中提取的数据量是112个同步块。10个同步块将包含第二纠错层的外奇偶校验,它留下102个同步块承载有效载荷。一个同步块是写入带中的最小单位。它有固定长度112字节。两个连续同步块用于存储一个传输流包,所以每一圈存储51个传输流包。112个字节不只是用于存储有效载荷,某些字节含有系统信息,另一些字节含有记录过程中产生的内奇偶校验字节,可被用于回放过程中纠正错误的同步块。一部分系统信息对于区分正常播放同步块、假同步块(填充用)和特技播放同步块,以此甚至对不同特技播放速度进行了区分。对于每个同步块,这一信息写在主头中。第一同步块除包含一传输流包的第一部分外,还包含一时间标记值,即包头。这是一个4字节字段,它所存储的信息对于系统的重放一侧是必要的,以便重建相继传输流包的原始计时。图3显示承载一个传输流包的两个连续的同步块。
由每圈读出的有效载荷同步块数量能计算出信道位速率。D-VHSMPEG-2 STD方式支持两种扫描器转速。第一扫描器转速是30Hz,第二扫描器转速是30*(1000/1001)=29.97Hz。对这两种转速,已计算出信道位速率,这可从表1中得到。
表1对于30Hz和29.97Hz鼓频率的信道位速率表1.0中的位速率是能用于在传输流水平上产生视频特技播放流的最大位速率。
MPEG压缩视频特技播放信息将被嵌入传输流,它必须适应于上面计算出的特技播放带宽。为了产生基于正常播放视频信息的视频特技播放,画面必须从正常播放视频流中提取。下面的描述将针对从所收到的DVB流产生特技重放所需要的不同处理步骤。两个主要处理步骤是■传输流去复用
■视频基本流处理在第3章将描述把视频基本流转换成传输流的多路复用操作。这样做的理由是传输层只消耗一部分位速率,而对视频质量未增加任何东西。在本章中,主要将集中于如何在空间分辨力和时间刷新速率方面获得最佳性能。
由DVB广播的音频可视信息利用了传输流层。这一层的结构安排是这样的有固定长度188字节的包除了载有音频可视信息外还有诸如视频文本和从供应商到终端用户的节目具体信息(PSI)。对于传输,规定了3个标准■DVB-S■DVB-C■DVB-T扩展部分S、C、T分别代表卫星、有线和陆基、每种传输层被优化成适于它自己的信道。在解码器一侧,信道解码器的输出是传输流。通常这个传输流载有N个节目。在选择一个或多个节目之后,一个记录操作是可能的,这种选择是必要的,因为记录信道速率低于传输流的传输信道速率。为了产生基于所记录节目的视频特技播放,需要特殊的信号处理。第一步是从传输流多路复用中提取出视频基本流。这一操作是由信号去复用器完成的。
在传输流中传输的视频数据是与音频、视频文本、PSI等其他信息多路复用在一起的。在接收机一侧,一个节目被去复用,使得所有同类数据,如视频、音频等,都从多路复用流中分离出来。分离节目信息的过程是在传输流中进行的。节目组合表(PAT)和节目映射(map)表(PMT)这两个表使传输流解码器能从多路组合传输流中提取出一个节目的全部信息。这一过程在ISO/IEC 13818-1中详细描述。在从多路复用传输流中提取出视频数据之后,能对所提取的视频基本流完成基本流处理。图4显示PAT和PMT包二者之间的关系。PAT包含有多路组合传输流中能得到的全部节目。每个节目号有一个相关联的节目映射PID。这个节目映射PID称作包含有构成一个节目的全部PID值的PMT。这个PMT表表示哪个包含有视频信息。这是由流类型标识和相应的基本PID值完成的。
低端视频特技播放是基于预编码视频材料的再使用。在DVB节目的情况中,这材料是指预编码MPEG视频。可作为正常播放视频信号处理的视频特技播放被沿间方向子采样。在实践中这意味着只对沿时间方向的某些画面感兴趣。子采样过程的粗糙程度,即跳过的画面数量,取决于特技播放速度。如果在PCM域中可得到一视频序列,则可作如下图示。图5包含3个示意图。图5a指出在时间轴上正常播放流的画面。图5b显示的时间轴和图5a中的相同,构成特技播放视频序列视频内容的画面用深色表示,而被跳过的画面是透明的,这里的特技播放速度为正常播放速度的4倍。最后,图5c包含来自正常播放序列的那些画面,它们构成了相应于4倍正常播放速度的特技播放序列。
也能对MPEG预编码视频完成图5中描述的过程。图6指出这一过程。图6a显示N=12和M=4的MPEG编码正常播放视频。这里N是GOP长度,M是P-帧距离。图6b指出用于N=12和M=4的GOP结构的子采样过程。从图6b中选出的深色画面构成视频特技播放序列,透明画面被跳过。被过滤的画面构成视频特技播放序列,见图6c。这一视频序列不仅含有与特技播放速度对应的画面,而且由于在编码器一侧完成的运动估计利用了所选画面这一事实,使这一视频序列甚至构成了一个有效的MPEG流。这使编码器能正确地重建编码的被运动补偿画面。这最后一点是重要的,因为通常将不是这种情况。
图7指出同一过程,但GOP有不同的结构,即N=12和M=3。当从这一GOP结构中提取视频特技播放流时,那里被过滤的画面对应于构成4倍正常播放速度的视频特技播放序列,这时时间MPEG参考便出了毛病。
从前面的两个例子可得出结论只有帧内编码画面能被再使用于特技播放。作出这一陈述的理由有两重。第一,这些帧可被独立解码,不需未来画面或过去画面的信息。第二,这些画面除交织(interlace)效应外不包含任何时间信息。交织效应只发生在原始景象被交织的时候。如果原始视频景象对于例如电影素材是顺序前进的,则当重复I帧时没有交织效应。
基本流视频处理的任务是产生一个有效的视频MPEG基本流,它能被多路组合到一个MPEG传输流中。视频基本流有两个主要参数必须满足指定要求。第一个参数是将被用于特技播放视频基本流的总位速率。第二个参数是视频基本流的帧速率。这后一个参数取决于产生特技播放流的大陆。在支持25Hz帧速率的大陆和使用29.29Hz或30Hz帧速率的大陆之间可作一区分。
前已说过,对基于从MPEG预编码节目中提取视频的视频特技播放,只能使用帧内编码画面。帧内编码画面的位成本除了依赖于画面大小外,还强烈地依赖于对正常播放视频基本流序列进行编码所使用的总位速率。对于视频基本流位速率可使用一个简单的表示式,它定义了视频基本流位速率和每画面的位成本二者之间的关系。在固定每画面位成本的情况下,总位速率将等于式(1)。
视频位速率-帧速率*帧的位成本(1)一个MPEG编码的视频序列通常没有固定的每画面位成本。帧内编码画面的位成本将大于运动补偿画面(如P-和B-画面)所用的位成本。通常,MPEG帧内编码画面需要的传输时间大于一个显示帧周期。典型的I-帧位成本值见表2,表3是所需传输时间。编码参数见表4。
表2在正常播放视频序列中发现的典型I-帧位成本值。这些值强烈依赖于■所用的MPEG编码器■所用的GOP结构■所用的画面大小
表3典型的正常播放I-帧传输时间。
表4视频序列Harley、Barbwire、Nederland-2及Girls的编码参数。
借助表2中的值,能对GOP结构N=1预先完成每I-帧平均位速率的粗略计算。表5包含由表2得到的I-帧传输位速率。从表5中所示之值应该清楚,要产生只含有选定I-帧的视频特技播放序列并且保持25Hz的帧速率,需要高的特技播放信道位速率。帧内编码画面是从正常播放视频序列中选出的,由于这一事实,除了对BARBWIRE之外,峰值位速率都将要求大的信道位速率值,而且在一些情况中所要求的带宽甚至高于某些MPEG应用中所允许的最大位速率。由于这一理由,如果没有额外的信号处理,基于提取I-帧的视频特技播放将是不可能的。有一些方法能用于减轻带宽问题并仍遵从帧速率限制。
一种实现起来比较便宜的方法是插入所谓空P-帧。空P-帧是这样一些画面,它们强制解码器显示先前被解码画面的严格复制画面。由于解码器不需要额外的信息,P-帧只必须传输最小MPEG要求,这意味着只需传输一个切片的第一个和最后一个宏块(macroblock)。结果,空P-帧的位成本很小。这一信号处理步骤降低了觉察出的刷新速率,但为较大的I-帧创造了传输时间。这种方法的缺点是将降低画面刷新速率,这里的画面刷新速率可被降至每秒一幅画面,但其空间分辨力等于原始I-帧的空间分辨力。更好的方法是降低每个帧内编码画面的分辨力。这种方法将增大画面刷新速率,但同时降低了空间画面质量。除了降低空间分辨力外,还对视频特技播放信号处理系统增加了额外的硬件复杂性。
表5对于N=1 GOP长度,基于从正常播放视频序列中选择I-帧,其视频基本流的特技播放位速率。
对基于正常播放I-帧选择的特技播放,对于硬件实现可规定一些优点。首先将给出为产生1倍速特技播放从一正常播放视频序列中选择I-帧的优点参数。这些参数是■可以基于字节进行视频基本流分析,由此选择I-帧。
在画面级的流是以字节为基础的,由于这一事实,从正常播放流中提取I-帧画面所需的分析器的复杂性低。
■高空间质量,等于原始I-帧分辨力。
困为所选择的I-帧未被代码变换,所以保持了原来的空间分辨力。
其次,将给出为产生1倍速特技播放选择正常播放I-帧的某些缺点参数。
■低画面刷新速率由于大的I-帧位成本和低位速率的特技播放信道,一个压缩帧内编码画面的传输需要的时间大于一个帧显示周期。由于这一点,画面刷新速率低于帧速率。
■为存储MPEG压缩I-帧,需要大的画面缓存器空间。至少每个速率有一个缓存器。
由于需要几个显示周期来传输提取出的I-帧,所以需要一个缓存器存储提取出的I-帧。
■感知的特技播放速度依赖于GOP长度。
能被选出的I-帧数量依赖于正常播放视频流的GOP长度N。如果I-帧刷新时间大于特技播放I-帧传输时间,则特技播放画面刷新由正常播放GOP长度N确定。在较差的情况中N等于1023。
接下来将描述通过降低I-帧分辨力来降低位速率。基于从MPEG编码视频基本流中选择I-帧的视频特技播放,当这些I-帧用于构成一个新的MPEG视频序列时,所具有的位速率将大于原始视频基本流的位速率,于是GOP长度等于1意味着I-帧为1。这种信号的位速率随着每个画面而变化,而且甚至会高于某些MPEG应用内部规定的最大允许位速率。在上面的描述中,曾提供了一种解决方案,它基于把所谓空P-帧插入视频特技播放流以降低所需的信道位速率。这种处理能相当好的工作,但能相当大地降低画面刷新速率,特别是当正常播放视频流的位速率高于6Mbits/s和有完全分辨力的时间,这种情况意味着最大的水平和垂直大小。
为产生视频特技播放,5个参数是重要的■帧速率■画面位成本■画面刷新速率■空间分辨力第一参数是必须遵守的约束,它由完成记录的大陆确定。通过把传输流开销从特技播放信道位速率中去掉,可计算出第二参数。只有第三参数能被修改,它将对后面的两个参数有直接影响。可以客观地以及主观地对待画面刷新速率和空间分辨力。由于I-帧代码变换,一大部分画面内容被去掉。正是由于这一原因,客观判断将是不适当的。好得多的方法是根据主观判据进行判断。
提高画面刷新速率的唯一办法是降低I-帧位成本,这将降低帧内编码画面所需的传输时间。降低I-帧位成本的问题在于一个I-帧不能被无限地减小。事实上,最小位成本是基于建立一个空间分辨力从而只有每个DCT块的DC值被传输所需要的位成本。在实践中,这意味着最终位成本决定于所有基本流系统开销加上表示每个DCT块的DC值所需位之和。基本流开销信息强烈依赖于画面大小。表6中含有只具有DC分辨力的帧内代码变换后的画面。借助这些值,能计算出必须能得到的最少可得到的I-帧位成本。这一计算使用了表1和表6中描述的值。只由DC得到的视频质量构成最低可能质量。“差”是与这一视频质量相对应的主观指示。表1中的特技播放信道位速率用于传输视频传输流。因为视频特技播放传输流除含有PSI信息外只含有视频信息,所以传输流开销能降低到总特技播放信道位速率的5%。表7含有可得到的基本流视频位速率。
表6含有DC分辨力的帧内代码变换后的画面。
表7对30Hz和29.97Hz鼓频率的基本视频位速率。
表7中可得到的视频基本流位速率应被用于传输25Hz、29.97Hz或30Hz视频。表8含有对于每个帧速率的位成本,这是固定每帧位成本的情况。
表8对于25Hz、29.97Hz及30Hz帧速率的I-帧位成本。
表8中描述的每帧位成本不足以对选定的MPEG-2编码I-帧进行代码变换以把它们再用于特技播放。这是由于所需的画面位成本值小于表6中的最大值。使低端特技播放系统工作的唯一途径是降低画面刷新速率。
针对最小所需画面刷新率进行的主观判断的模拟已表明,一个画面最多应重复3次。对于25Hz帧速率环境,这意味着实际画面刷新速率是8.3Hz。对于30Hz和29.97Hz帧速率的情况,其结果是10Hz画面刷新速率。
通过降低画面刷新速率,最小所需时间刷新速率得到遵守。因为画面刷新降低因子为3。I-帧位成本的大小几乎达到3倍。只有小部分I-帧位成本必须消耗在空P-帧上。对于30Hz和29.97Hz帧速率系统,最大空P-帧大小是2800位,而对25Hz帧速率系统,最大空P-帧位成本是3328位。
帧速率 I-帧位成本(位)30Hz218604-5600=21300429.97Hz 218604-5600=21300425Hz262326-6656=255670表9对于25Hz、29.97Hz及30Hz帧速率的I-帧位成本,其画面刷新减低因子为3。
对于具有DC分辨力的代码变换I-帧,为确定最小位成本的大小所进行的计算强烈把取决于自然视频的统计表现。除了视频基本流开销外,它强烈地决定了为表示DCT矩阵的DC值所需位成本。
用于模拟的视频序列复盖了可能位速率的一个大的范围。不仅位速率是一个重要参数,而且所用视频率列的画面格式、水平和垂直大小也是重要的。由于这一理由,按这样一种方式选择视频序列,即不同画面大小构成正常播放视频分析的一部分。
为了对I-帧进行代码变换,可应用两种可能的代码变换。
■直至DCT级的完全MPEG解码,以所希望的较低位速率进行完全的再编码■选择运行长度级(runlength_level)编码的DOC系数第一种方法要求高的硬件复杂性,但将造成“可接受的”至“好的”画面质量。第二种方法需要适度的硬件复杂性,将造成“差的”至“好的”画面质量。在低端视频特技播放的情况中,只有第二种方法是可以接受的。
接下来,将描述利用运行长度级编码DCT的AC系数选择来降低位成本。
如前面指出的那样,降低I-帧位成本的低端方式是借助于运行长度级编码AC系数选择。在视觉加权量化之前,MPEG利用DCT变化去掉空间相关必,以便不去考虑画面中不那么重要的信息。在量化之后,DCT系数被扫描,或者用锯齿形方法,或者利用其他扫描方法,并进行运行长度级编码。为了得到运行长度级编码的DCT系数,必须对视频基本流进行分析,从画面头开始,全程深入到块层。这一分析过程有一部分可在字节基础上进行,在切片头之后,这一过程必须借助可变长解码来完成,见ISO/IEC 13818-12。
DCT变换的优点是在DCT矩阵的左上角中描述构成8点×8行数据块的重要能量。这意味着例如借助头20个AC系数,每个DCT矩阵的AC系数最大值是63,8点×8行数据块的最有关系的部分能被重建。通过传送这20个系数,能保持画面的主观空间的好质量。当大量AC系数被去掉时,空间主观质量不能再保持下去,引入了可看得见的人为产物。当对每个运行长度级DCT块只选择和传输头2或3个AC系数时,便将出现这种情况。在一个I-帧DCT块中可得到的AC系数数量强烈依赖于原始视频序列被编码时所用的位速率以及编码的8点×8行数据块的内容。
通过实验,已研究了选择一定数量较低AC系数的后果。这项实验的目标是所得到的视频基本流位速率必须适用于D-VHS特技播放信道。画面刷新速率被设为8.3Hz,而且帧速率等于25Hz。表10、11、12和13含有这一研究的结果。
表10AC选择与I-帧位成本及平均位速率的关系,序列为HARLEY。
表11AC选择与I-帧位成本及平均位速率的关系,序列为BARBWIRE。
表12AC选择与I-帧位成本及平均位速率的关系,序列为NEDERLAND-2
表13AC选择与I-帧位成本及平均位速率的关系,序列为GIRLS
由那些N=12的正常播放流产生的视频特技播放序列所对应的特技播放速度等于正常播放速度的4倍。为了传输代码变换的I-帧,需要时间画面刷新降低因子为3,由于这一事实,所有N=12的正常播放视频GOP结构将导出同一特技播放视频序列。对于GOP长度N小于或等于12的所有正常播放视频序列,所产生的特技播放序列与正常播放视频序列有严格的关系。当正常播放视频序列的GOP长度大于12时,这一严格关系将不再保持。
视频特技播放质量强烈依赖于正常播放视频位速率以及画面大小。对于I-帧代码变换,已经考虑了人可视系统。由于这一理由,与亮度信号相比,色差信号以较少的运行长度级编码AC系数进行代码变换。
对于有较小的水平大小(如BARBWIRE和NEDERLAND-2)但同时还有可接受的位速率的那些正常播放视频序列,所达到的主观视频质量级别是“可接受的”到“好的”。对于正常播放视频序列HARLEY和GIRLS,所得到的视频特技播放质量级别是“差的”到“可接受的”。这种较低的主观视频质量的理由有两重。第一,正常播放位速率高,第二是水平画面大小有某些MPEG应用所允许的最大值。
主观质量受到可见的人为产物多少的强烈影响。可以区分出两种主要的人为产物。第一,是由于去掉了构成精细细节的信息。第二,是由于去掉了构成空间区域内不连续(如边缘)的信息。这后一种人为产物对视频特技播放序列的主观判断有强烈影响。
由I-帧代码变换结果能得出如下结论■对于位速率高于6Mbits/s的正常播放MPEG编码视频序列,特别是对于有每行720点和每帧576行的那些序列,引入了强烈的人为产物,因为为了处于可得到的位成本之内,只能选择少量运行长度级编码的AC系数。
■对于位速率小于6 Mbits/s的正常播放MPEG编码视频序列,可以选择更多的运行长度级编码AC系数,这将相当大程度上减少清楚可见的人为产物量。
为了对于发生不连续的那些场合减少清楚可见的人为产物量,需要对每个DCT块的运行长度级编码AC系数进行精明的分配。包含不太重要信息的DCT块需要少量AC系数。而含有重建不连续所需信息的那些DCT块需要较多的AC系数。这需要了解8点×8行数据块的画面内容,以便区分含有不连续的DCT块与含有不太重要信息的那些DCT块,例如不带细节的平淡区域。
接下来将描述对运行长度级编码DCT AC系数进行差分dc(differential-dc)控制选择。
当MPEG-2编码的视频序列的位速率高于6Mbits/s时,对每个帧内编码DCT块均一分配运行长度级编码的AC系数所造成的主观空间视频质量处于“差的”到“可接受的”之间。下面的描述将针对一种降低位成本的方法,它对基于从MPEG-2预编码的视频序列中提取I-帧的视频特技播放,能用于提高主观空间画面质量。
自然视频有时间的以及空间的相关性。MPEG视频压缩利用这种相关性来降低视频位速率同时又保持一个主观好画面质。对于帧内编码画面,在一给定块内的DCT系数几乎是完全被去掉相关性的。然而在给定块内的系数和相邻块的系数之间仍存在某种相关性。对于由DC系数代表的块平均尤其如此。由于这一理由,利用一种预测DPCM技术把DC系数与AC分开编码。如式2中所示,刚才编码的(由同一分量)邻块DC值P是当前块DC值的预测值。其差值ΔDC通常接近于0。
ΔDC=DC-P(2)该预测是由宏块中各块的编码顺序确定的。图8给出编码和预测序列的示意图。对ΔDC的编码是通过对一大小类别以及指定精确大小和符号的附加位进行编码来完成的。大小类别确定了为完全地指定DC差值所需要的附加位个数。
对于在8点×8行数据块中有显著变化的场合,例如对于边缘处,两个相继DCT DC值之间的差值将不接近于零。其最大值依赖于用于对DC值编码的位数量。在画面编码扩展部分中指出了这个位数量。对于某些MPEG应用,用于代表DC大小(也称作差分DC)的最多位数对于亮度以及色度是10位(见ISO/IEC 13818-2表8.5),而能分配给DC大小值的最多位数对于亮度是9位,对于色度是10位。
借助这10位差分DC值,可定义一个表给出DC大小的范围,见表19。差分DC值能用于控制AC系数的赋值过程。
已研究了差分DC值的统计表现。为此目的,定义了4类以确定差分DC值的统计特征。表14含有所定义的类别。
表14用于差分DC值统计分析的类别定义为了对所得到的结果的集合进行统计分析,定义了类别。类别的宽度一般对所有类别是相等的。为了分析差值DC,采取了不同的途径。前已说明,对于正常视频序列,存在空间的以及时间的相关性。对于本分析,只有空间相关性是重要的。由于这种相关性,差值DC将是小值,甚至或许为零。由于这一理由,根据表14定义了类别。虽然差分DC的范围属于整数集合,但统计分析是基于非负整数,包括零值。这是有效的,因为其范围是对称的,见表19和ISO/IEC 13818-2,7.2.1节。对4个MPEG-2编码的视频序列进行了差分DC统计分析。对于这种分析,对3个视频分量Y、U、V进行了区分。在表15、16、17和18中可得到那些测量的结果。
表15根据选定的类别定义,视频序列HARLEY的差分DC值分布。
表16根据选定的类别定义,视频序列GIRLS的差分DC值分布。
表17根据选定的类别定义,视频序列NEDERLAND-2的差分DC值分布。
表18根据选定的类别定义,视频序列BARBWIRE的差分DC值分布。
可研制一种算法来定义如何对每个DCT块赋予运行长度级编码的AC系数,该算法考虑差分DC值及其统计发生率。除了赋值算法外,还需要一种缓存器限定算法,以防止代码变换过程中I-帧画面缓存器溢出。
表19不同差分DC值的变量长度代码。
下面将进一步描述AC系数的赋予。代码变换的I-帧空间分辨力决定于每个DCT块运行长度级编码AC系数的个数。表9中描述了能用于对帧内编码画面进行代码变换的位成本。当这一位成本能被代码变换过程完全使用时,能得到最佳空间分辨力。这将导致固定的每I-帧位成本,因为最大位成本的大小是有限的。固定位成本的I-帧与也有固定每画面位成本的空P-帧一起,得到固定的每GOP位成本。当I-帧代码变换过程不是最佳完成时,可进行填充,以达到最大I-帧位成本。
代码变换算法的主要任务有两层。第一,产生一个在整个屏幕上多少为常数的空间分辨力。第二,整个画面进行代码变换时必须使其最终位成本低于或等于表9中描述的最大值。为得到在整个屏幕上相等的空间分辨力,代码变换算法必须注意每个切片(slice)的位成本是常数。在代码变换处理的开始可进行计算以确定目标切片的位成本。为这一计算,必须知道基本流开销。由于在编码器一侧有额外信息被嵌入视频基本流,所以这一开销的大小是变化的。另一方面,解码器不需要所有这些信息。为了正确地完成解码器处理,基本流视频解码器只需要如下头段及其相应的扩展部。
■序列头■序列扩展■GOP头■画面头■画面编码扩展■定量矩阵(Quant matrix)扩展虽然在ISO/IEC 13818-2标准中定义了更多的头段和扩展部,但上述这些头段和扩展部构成了为对MPEG编织视频进行解码所必须的最少需要信息,这里的MPEG编码视频是由D-VHS MPEG-2 STD方式格式记录的最高形式(profile)和级别。
在代码变换过程中,所收到的最小需要开销将从最大可得到的位成本中减去。在减去之后,最终位成本保持为能用于代码变换过程的位成本。
对运行长度级编码AC系数个数的赋予依赖于差分DC值对应的AC系数个数。因为对DCT块将被赋予的AC系数量进行一次初始化不能保证代码变换的I-帧位成本等于或低于表9的最大位成本,所以需要一个缓存器限定。对于代码变换过程,两个参数被用于缓存器限定。
■运行切片位成本■运行帧位成本运行切片位成本跟踪当前代码变换I-帧切片所用的位数量。运行帧位成本跟踪已做代码变换的切片所消耗的总位数量。对I-帧代码变换过程的缓存器充满情况可用图形表示,见图9。
对每个DCT块赋予AC系数是差分DC值的函数,并依赖于■正常播放位速率■正常播放画面大小■运行切片位成本计数器■运行帧位成本计数器■帧位成本差头两个参数负责对I-帧代码变换器的初始化。借助这些参数,将确定每类别赋予DCT块AC系数的个数。对于一种可能的赋值,参见表10、11、12和13。
一次初始化将是不够的。赋予的每切片位数事先是不知道的。这意味着其后得要进行检验,看初始化过程中所作假定是否正确。图10指出可能的代码变换缓存器限定过程的总流程图。
该流程图含有函数及其相应的放在括号内的自变量。相应的软件模块含有对缓存器限定的精确描述。由缓存器限定所控制的主要参数是为统计分析所定义的类别边界以及将赋予每个DCT块的AC系数个数。这一行动是在流程图底部分别由‘modify_l_h_boarder(…)’块和‘modify_no_ac_coef(…)’块采取的。
对特技播放信号中信息进行数据压缩的又一方式是利用宏块截断。宏块截断是指删除一个画面的每个切片中一个或多个宏块,更具体地说,是从画面的右手侧算起。收到的一个DVB节目有未知的位速率以及未知的画面大小。对所有可能的信号状况,代码变换过程都应适当地工作。宏块截断是作为数据压缩方法能在临界状态应用的可能步骤,也是能用于允许得到更好的主观画面质量的可能步骤。
代码变换过程的主要任务是产生有效的MPEG视频基本流。在一具体应用中,每个宏块的最大位数是4608位。如果这样的流进入代码变换系统,那么代码变换后的画面适应于目标位成本的机会是小的。对于这种状况,宏块截断提供了有力地降低输入帧内编码画面位成本的可能性。因为每切片1个宏观的画面是有效画面,所以代码变换器能保证在所有情况下都能产生有效的视频流。
宏块截断也能用于提高主观视频质量。这是由删除所有切片的最后5个或10个甚至更多个宏块来完成的。原本应该用于对所删除的画面右手部分进行代码变换的位成本现在可被用于画面的其余部分。由于解码器完成水平方向的上采样(upsampling),所以观看者仍能有全屏视频。因为水平方向上采样是由解码器完成的,所以在空间区域中对象的形状在垂直方向被拉长。如果有太多的宏块被删除,这会成为恼人的事。
下面将描述产生6个特技播放视频信号。
前面描述的道选择特技播放系统实例支持6种不同的特技播放速度,即+/-4、+/-12、以及+/-24。所有这些特技播放速度在带上有其自己的特技播放区,它构成一个在记录期间将由视频特技播放传输流填充的虚拟信道。为了避免实现6个不同的I-帧代码变换器,将实现特技播放视频的可再使用能力。可再使用能力是由于使用固定的每GOP位成本而实现的。所支持的特技播放速度有一个公约数。对应于速度+/-12和+/-24的视频特技播放能由速度+/-4导出。图11指出有不同特技播放带速的画面之间的关系。
当从+/-4倍视频特技播放速度提取视频特技播放信息时,为了产生用于较高带速(如+/-12和+/-24)的视频特技播放,必须当心防止视频基本流缓存器溢出。这个位缓存器决不能溢出。这是MPEG编码器的责任。视频特技播放代码变换器有MPEG编码器的功能,因此承担不造成视频位缓存器溢出的责任。虽然这一点很重要,但不需要任何特别的关注。由视频代码变换器实际产生的唯一流是与4倍正常播放速度相对应的视频特技播放流。这个视频基本流遵从MPEG约束。由于使用了固定的每个GOP位成本,从这一视频流中提取出的视频特技播放流自动满足MPEG约束并避免了缓存器溢出。图12显示在压缩域中从4倍视频特技播放速度中提取更高视频特技播放速度。如图12中所示,通过对最低视频特技播放速度的特技播放信息进行子采样能得到较高视频特技播放速度的特技播放信息信号。
接下来将描述产生用于反向视频特技播放的特技播放信息信号。所得到的前向视频特技播放流也能用于产生反向视频特技播放。为了产生反向视频特技播放,基于GOP的视频需要被交换。图13指出这一过程。
接下来将给出低端视频特技播放的实际实现。在前面给出的描述中,已经解释了视频基本流处理,以得到最好的空间分辨力和时间画面刷新速率。下面的描述将提供基于上述结果的实际实现。
表1中描述了在传输流级视频特技播放所能得到的特技播放信道带宽。在前面的描述中曾假定传输流开销是总位速率的5%。在下面的描述中将计算确切的传输流开销。
为计算传输流开销,可在所支持的帧速率之间加以区分。对于D-VHS MPEG-2 STD方式格式,有3种不同的速率得到支持,即30Hz、29.97Hz以及25Hz。由于有两种扫描器转速得到支持,即30Hz和29.97Hz,所以所支持的帧速率能以所支持的扫描器速率来描述。表20指出所支持的记录方式。
表20所支持的记录和回放扫描器速率方式。
表20表明,对于30Hz帧速率情况和29.97Hz帧速率情况存在完美的匹配。扫描器的每一转等于一个显示周期。用于视频特技播放基本流的GOP长度N等于3。这意味着对于30Hz帧速率以及29.97Hz帧速率,该信号以3个帧周期为周期,换句话说是鼓的3转。由于这一周期性和每转记录51个传输流包这一事实,如前文定义的视频特技播放GOP可描述为153个传输流包。由于这一情况,便能计算出确切的I-帧位成本。为计算I-帧位成本,传输一个GOP所需全部包示于图14。表21指出每种包类型的发生情况。为记录25Hz帧速率的最小周期区间对应于18转。在这一周期内存储了15帧,它等于5个GOP。
借助于图14所示传输流级GOP布局,可计算出传输流开销总量。在表21中对3种帧速率情况描述了传输流开销量。在表21中的字符a、b、c、d、e、f、g、h、i、j和k对应于图14中所用字符。
表213种不同记录方式的传输流(TS)开销。
表21指出所用传输流包类型在最小周期时间区间的分布。对于帧速率等于扫描器速率的情况,能达到传输流包相对于周期性的完美匹配。对于帧速率不能与扫描速率严格匹配的场合,进行填充以得到周期性。其理由在于构成视频基本流的GOP结构将适应于固定的传输流包量。图14中的包a、b、c、d、e、f、g、h、i和j构成传输流级的基本GOP结构。包K是在每个第15基本GOP结构之后唯一可得到的包。借助传输流级的基本GOP结构,可计算出能得到的视频基本流带宽。为了计算出视频基本流带宽,将要探索传输流开销。
接下来将讨论视频基本流的带宽。
传输流由具有固定包长188字节的包组成。可以区分含有视频信息的包、含有视频信息和PEG信息的包、以及含有多路复用和节目指定信息(PSI)的包。图14中描述的包或者含有PSI或视频信息,或视频与PES信息。一种特殊的包是空包,它用于信道填充。通过从可得到的信道位速率中取出非视频基本流位速率,便可计算出视频基本流带宽。非视频基本流由下列包和指定字段定义。
■PAT包■PMT包■主ts头■适应(adaptation)字段■PES头传输流开销略低于前文中假定的5%。由于这一点,I-帧位成本稍高于表9中的值。
首先,将讨论一个具有30Hz扫描器和30Hz帧速率的实施例。信道速率由每转能存储的传输流包数量(它是51)乘以每个GOP周期的转数(它是3)来确定。这得到每3转有153个传输流包。从这153个传输流包中减去全部非基本流数据,得到视频基本流位速率为2131920 bits/s(位/秒)。对于IPP的GOP结构,那里P-帧有固定的位成本350字节,30切片乘以每切片11字节加上20字节用于画面头和画面头扩展,得到每画面的I-帧位成本为207592位。
接下来讨论一个具有29.97Hz扫描器和29.97Hz帧速率的实施例。位速率的计算与30Hz扫描器和30Hz帧速率的情况几乎相等。视频基本流位速率是2129790.209 bits/s(位/秒)。I-帧位成本不受0.1%变化的影响,所以对于IPP的GOP结构,那里P帧有固定的位成本350字节,30切片乘以每切片11字节加上20字节用于画面头和画面头扩展,得到每画面的I-帧位成本为207592位。
最后讨论一个具有30Hz扫描器和25Hz帧速率的实施例。
对于这种情况的计算略不同于前两种情况。信道速率仍由每转能存储的传输流包数量(它是51)乘以每个GOP周期的转数(它是18)来确定。这样得到每18转有918个传输流包。从这153个传输流包中减去全部非基本流数据,得到视频基本流位速率为2198266.66bits/s(位/秒)。对于IPP的GOP结构,那里P-帧有固定的位成本416字节,36切片乘以每切片11字节加上20字节用于画面头和画面头扩展,得到每画面的I-帧位成本为257136位。
接下来将描述产生供记录用的有效MPEG传输流的信号处理,该传输流包含一正常播放传输流分量和一特技播放传输流分量。
图15中描述了所需信号处理块的方块图。图15中的第一信号处理块是传输流信号分离器。这一块从多路复用的传输流中提取视频基本流。为完成这一操作所需的信息是视频基本流的视频PID。这一信息或者能由分析PSI得到,或者能由记录系统的其他部分发布。在使用PSI的情况中,对特定包进行分析以得到所需要的视频PID。被分析的第一包是PAT包,它有PID=‘0’。这一包含有PMT PID。这个PMT PID是由用户规定的值,它携带的视频PID也是一个由用户规定的值。关于详细的信息,请参见图4和ISO/IEC 13818-1。在只可得到一个节目的情况中,视频特技播放的产生不会发生混淆。当有多个节目时,例如多角摄影机(multi camera)的情况,那么就需要一种安排,以确定在哪个节目上进行特技播放。在多节目的情况中,一种可能的解决方案是对PAT表中的第一个或最后一个节目产生特技播放。
在从多路复用的传输流中提取出视频基本流之后,开始进行I-帧提取。只有当在MPEG-1的情况下收到了序列头或在MPEG-2的情况下收到了序列头和序列扩展的时候,视频解码器才能开始解码。由于这一理由,序列头和序列扩展被存储在存储器中。对于一个新GOP没有被序列头和序列扩展所接续的那些情况,在发送GOP头之前把存储在存储器中的序列头和序列扩展插入进去。这一插入的目的是使视频解码过程能在从正常播放切换到特技播放之后尽快地开始。每次收到序列头和序列扩展头时,所存储的序列头和序列扩展头便被更新。这是重要的,因为定量器字段可能已被改变。对于整个视频序列,序列头中的其它字段必须保持同一值。应跟随序列层的下一个头段是GOP头。跟在序列扩展之后的所有扩展起始代码均被忽略。这样做是因为视频解码过程不需要它们,它们只消耗对代码变换过程所必须的位。在GOP头之后,应收到画面头。跟随这一头段的扩展部分,除了画面编码扩展和量化矩阵扩展外,其余均被忽略。到现在,所有过滤都能在字节基础上完成。到此,已分析了下列头段,它们是对代码变换的I-帧所必须的。
■序列头■序列扩展■GOP头■画面头■画面编码扩展■量化矩阵扩展如果能得到量化矩阵扩展则在量化矩阵扩展之后,否则在画面编码扩展之后,收到切片。这些单元含有被压缩的视频数据。可在字节基础上分析视频基本流以检测切片。在此之后,将发生可变长解码,并完成在第5章中描述的代码变换过程。
当选定的I-帧被减小时,必须得到有效的基本流。由于这一理由,所谓空P-帧被加到减小的I-帧中,以便有正确的帧速率。P-帧的水平大小取决于原始I-帧大小的水平大小。其变化量受最大水平大小的限制,在某些MPEG应用中最大为720点。一个空P-帧必须总是含有一个切片的第一个和最后一个宏块,这是MPEG需要的。处在第一个和最后一个宏块之间的那些宏块被跳过。这就是为什么这种帧被称作空P-帧的理由。
在把视频基本流转换成包长为188字节的传输流包之前,对构成视频基本流的单个画面加上包头。打包后的基本流(PES)包含构成视频基本流的单个画面。唯一的差别是对每个被压缩的画面加上了头段,它载有诸如解码时标(DTS)、表演(presentation)时标(PTS)、DSM特技方式标志(DSM_tric_mode_flag)等信息。要了解更多细节,请参见IS0/IEC 13818-1。DTS控制视频解码过程,而PTS控制视频表演过程。这两个时标构成完成解码过程的第二种方式。第一种方式是利用从基本流画面头中可得到的VBV延迟。用于解码过程的时间基准,即节目时钟参考(PCR)是由传输流传送的。DTS和PTS是在PCR时间轴上的唯一点。其举例请参见图16。
只要以一个帧周期为增量去增大DTS和PTS值便能产生DTS和PTS。下面给出的实例描述了这个一帧周期值的计算。
例帧周期=40ms(25Hz帧速率)系统时钟=27MHz每帧周期的27MHz循环周数=(帧周期*系统时钟)1080000=40e-3*27e6DTS和PTS有一个基于90KHz时钟的分辨力。由于这一理由,每帧周期的27MHz循环周数必须除以300。这一除法造成帧周期值为3600。
于是,当需要3个帧周期以传送一个I-帧和两个空P-帧时,对DTS和PTS的初始化值成为DTS=3*3600=10800PTS=4*3600=14400这些值在PES头中以33位宽的字段来描述。
初始化值依赖于为向解码器传送第一个画面所需要的时间量。这依赖于VBV延迟和由多路复用过程消耗的时间,即额外延迟。
传输流多路复用操作把打包的视频基本流和所需要的节目指定信息(PSI)组合起来。为此,打包的视频基本流按每K个传输流包分组。这里K是传送一个打包的视频基本流画面所需要的包数。借助表21,能对3种所支持的记录系统计算出K值。
传输流层关心若干个系统方面。下列系统方面是为创建能被传输流解码器解码的传输流所最低需要的方面■把解码器时间基准同步到编码器时间基准■含有一种机制去处置被搞坏的数据■含有一种机制去处置时间基准不连续■指出随机访问点视频特技播放,如不考虑其特技播放速度,则可被看作一视频序列,而且通常具有有限的持续时间。这种视频序列有一个时间基准,即时间方向,沿此时间方向以规则的时间间隔,通常为帧周期,画面被解码并表现在显示器上,见图16。在解码器一侧的时间基准必须锁定于编码器的时间基准,以防止音频可视信息的漂移。对于视频特技播放,只能在视频解码和表现过程中发生漂移。为把解码器时间基准锁定于编码器的时间基准,一个节目时钟参考(PCR)以规则的时间间隔发送到解码器。MPEG以及DVB已对这一参数加上了约束。下面的表22含有对几个传输参数的推荐刷新值。
表22PAT、PMT和PCR包的包距离。
由于传输错误而被搞坏的传输流包能干扰解码过程。例如它们能引起视频基本流解码器中的流水线错误。对于D-VHS系统,可得到一个纠错系统,它能纠正读过程中发生的大多数错误。被搞坏了而且不能由纠错系统纠正的那些包,或者可由一传输错误指示器(transport_error_indicator)加上标志,或者从多路复用中去掉。传输流解码器能不去考虑其传输错误指示器被激活的那些包,这将提高解码器系统的坚固性。丢失的视频数据由先前被解码的视频数据代替。这一过程被称作遮盖。
在正常播放和特技播放之间发生切换时,时间基准将有一个跳跃。传输流解码器将对这一跳跃作出反应,即由新传输流的PCR值引起的对其系统时钟的修改。这将在传输流解码器中造成不确定状况。在解码器从这一时间基准间断恢复过来并再次开始适当地工作之前,需要一定的时间。这一恢复必须由解码器发起。这意味着解码器得要监视它的行为,以检测出这类情况。为防止这种不连续,在每次发生正常播放和特技播放之间或特技播放和正常播放之间的切换时便能激活一个不连续标志。除了激活不连续标志外,那些参照先前时间基准的数据必须不到达解码器的输入端,而应该到达解码器输入端的第一批新数据必须含有随机访问指示器(random access indicator),关于详细信息,请参见ISO/IEC13818-1。
传输流将穿过介质(例如记录载体)传输。对于每个传输流包,这一介质的延迟必须是等同的。如果不是这样,便有可能搞坏解码时间基准。这是由这样的事实造成的含有PCR值的传输流包将用更多时间才能到达传输流解码器输入端。在解码器一侧取的时间样本,即PCR值,将用于解码器中同步本地解码器时间基准。额外的传输延迟将在27MHz解码器时钟上引起颤动。允许的最大颤动由ISO/IEC13818-1,2.4.2.1规定。图17指出这一过程。
含有PCR值的两个相继传输流包之间的时间距离应是固定的。这意味着能借助两个PCR包中的PCR值计算出的“负时间”(-time)和被传输用掉的时间应该相等。对于图17a描述的情况,用掉的时间应为40ms。如果“负时间”(-time)足够大而且落在所允许颤动范围之外的话,图17b中的情况能造成问题。
一个存储器装置也可作为传输信道对待。如果只完成记录,则延迟是无限的。通常将不会有这种情况。在回放时,相继传输流包之间的计时必须以这样的方式重建即它变为等于记录过程中相继传输流包到达存储装置输入端时这相继传输流包之间的计时。为此,要完成一个称作时间标记的过程。
在D-VHS中的正常播放时间标记是一种机制,它把一个时间标签加到每个到来的传输流包上,这个时间标签是基于锁定在到来的传输流上的27MHz时钟。在特技播放的情况下鼓每转一圈的持续时间查访该时间标签一次,而在正常播放的情况下鼓每转3圈的持续时间查访该时间标签一次。在回放过程中能借助这一时间标签重建相继传输流包之间的计时。一旦把一个时间标签加到一传输流包上,这个包能以各种方式进行管理。这种管理的一个重要方面是可以改变一传输流包的位置。图18指出这种管理。改变位置不意味着改变应到达解码器输入端的顺序。例如当到来的传输流的位速率暂时高于D-VHS信道位速率时,便会发生如图18描述的管理。包将被按时间平滑,以把它们存储在带上。当把特技播放加到带格式上时,则发生另一种情况。当没有特技播放时,正常播放传输流包将被存储在道内与所计算位置相对应的位置上。这种计算是借助所附加的时间标记完成的,细节见D-VHS系统标准第2、4、2、1段和2、4、3段。当这一计算出的位置不空时,例如当被特技播放数据占用时,则正常播放传输流被移到第一个空的同步决区。
由于所附加的时间标记值,使能在回放过程中得到传输流的原始计时。
对于特技播放,也有一个时间标记机制。这种机制的工作与正常播放中完全相同。详情请参考先前受理的国际专利申请IB98/00131(PHN 16614)。特技播放传输流和正常播放传输流之间的差别在于正常播放流能是固定位速率流,而特技播放流当按上述方式产生时则是固定位速率流。一个固定的位速率被规定为一传输流,从而使传输流包在时间轴上有相等距离。在一可变位速率传输流中,相继传输流在时间轴上没有相等距离。因为在特技回放过程中在扫描器转一圈期间有51个传输流包被读出,所以时间标记成为一个简单的过程。对于由软件产生的特技播放传输流,它不是一个真正的时间过程,可由线性内插计算出时间标记。在含有实时27MHz编码器时钟采样的传输流中的PCR值能用于产生为特技播放传输流记录所需要的时间标记。线性内插不仅为含有PCR字段的那些传输流包发布确切的时间标记,而且为介于两个PCR包之间的传输流包发布。这后一种现象是由这样的事实引起的,即传输流有固定的位速率从而传输流包有相等的距离。
可得到如下结论基于道选择系统的低端视频特技回放有潜力提供可归类于从“可接受”到“好”的主观视频质量。特技播放信号处理算法是一种代码变换算法,它基于从选定的正常播放帧内MEPG编码画面中选出运行长度级编码的AC系数。为减少清楚可见的人为产物(它们是当每个DCT块只选择少数AC系数时发生的),AC系数选择过程依赖于那个DCT块的差分DC值。这一方法将减少在边缘处发生的可见人为产物量。
虽然能被传送到接收器一侧的帧内编码画面量小于所支持的帧速率,但正常传输流解码器能被用于显示解码的视频特技播放流。这里的关键因素是所谓空P-帧。借助这种画面,能产生有效的MPEG视频基本流(相对于该帧速率是有效的)。这是重要的,因为能用于视频解码器控制的所有措施都是制造者的任选项。这意味着不保证能实现解码器控制。基于重复帧内画面的特技播放可能导致交错干扰。当原始视频不被渐进扫描时便会发生这种情况。借助传输流层中的标志,视频解码器能被迫进入场(field)重复方式。但这又是制造者的任选项。基于I-帧选择的特技播放提供了这样一个优点,即所产生的视频特技播放流也能用于反向特技播放,这是由于除了交错信息外在视频信息中没有时间信息。利用MPEG压缩域中的子采样,能产生高的视频特技播放流。由于代码变换的视频特技播放数据有再使用能力,所以只要一个视频代码变换器便能产生全部所需要的视频基本特技播放流。
正常播放信道填充是基于假块的播入。基于同步块填充的特技播放信道填充使得产生反向速度特技播放出现不必要的复杂性。由于这一理由,已放弃了基于假同步块的特技播放信道填充,代之以引入了传输流填充。虽然传输流填充需要两个同步块,但相当程度地降低了特技播放系统的复杂性。由于所支持的3种帧速率中有两种能被映射到扫描器速率,所以只对25Hz帧速率发生信道填充。
由于固定的特技播放传输流映射,时间标记过程变为一种不太复杂的信号处理步骤。
下面将描述一种螺线扫描型装置,用于把特技播放信息记录在一纵向记录载体上。图19显示该记录装置,它包含一个输入端111用于接收视频信号和相应的音频信号。视频信号和相应的音频信号可以是已被编码成传输包,它们被包括在一个MPEG串行数据流中,这是本领域技术中公知的。输入端111与‘正常播放’处理单元114的输入端112相连。再有,对‘特技播放’处理单元116提供的输入端117也与输入端111相连。‘正常播放’处理单元114和‘特技播放’处理单元116的输出端119和120连到多路组合器122的相应输入端。‘正常播放’信息以及‘特技播放’信息将被记录在记录载体140上的各道中。
对于‘正常播放’处理单元114和‘特技播放’处理单元116的进一步描述,参考EP-A 702,877(PHN 14.818)。
存在一个子代码信号发生器用于提供子代码信号信息,供存储在记录载体上各道中的子代码信号记录部分。多路复用器122和发生器124的输出端与纠错编码器单元126的相应输入端相连。纠错编码器单元126能对‘正常播放’(视频和音频)信息及特技播放信息完成纠错编码步骤,从而得到奇偶校验信息。
记录装置进一步包含一个发生器130用于增加同步和标识(ID)信息。当信号在组合单元132中组合之后,被组合的信号加到单元134,在其中对组合信号进行信道编码。在编码单元134中进行的信道编码是本技术领域公知的。作为这种信道编码的一例,在这方面参考US-A5,142,421(PHN 13.537)。
信道编码单元134的输出端与一写入单元136的输入端相连,在写入单元136中,由编码单元134得到的数据流被记录在记录载体140上的斜道中,记录是使用两个写头142和144,它们位于转动头鼓146上。写头142和144具有的头间隙带有相互不同的方位角。再有,还能得到一个时间标记发生器147,用于为正常播放处理单元114和特技播放处理单元116产生时间标记。
存在一个微处理器用于控制各块的功能,如-通过控制连接150控制正常播放信号处理块114,-通过控制连接152控制特技播放信号处理块116,-通过控制连接154控制子代码信号发生器块124,-通过控制连接156控制纠错编码块126,-通过控制连接158控制同步信号和ID信号发生器块130,-通过控制连接160控制信道编码块134,-通过控制连接162控制记录载体140的传输速度和头鼓146的转动,以及-通过控制连接164控制时间标记发生器147。
特技播放处理116适于以前述方式从第一信息信号中提取I-帧信息。对一指定特技播放速度得到的特技播放信号被容纳在特技播放同步块中供记录在记录载体上。
再有,对每个特技播放信息信号,在下述意义上产生特技播放同步块,即对每个特技播放同步块,产生一个特技播放速度标识和一个方向标识并存储在特技播放同步块中,并对各特技播放信息信号中的每包加上时间标记。
接下来,这些特技播放同步块与正常播放信号处理单元114产生的‘正常播放’同步块在多路组合器单元122中组合。子代码数据被加进去,并对组合的正常播放数据和特技播放数据进行纠错编码以得到奇偶校验信息。再有,同步字和标识信息被加上。接下来在把信息记录在各道中之前对信息进行信号编码步骤。
尽管已参考其最佳实施例描述了本发明,但应理解,这些不是限定性实例。这样,对于本领域技术人员而言,在没有离开由权利要求规定的本发明范围的情况下,可以做出各种修改。
再有,本发明在于每一个新的特点和特点组合。
权利要求
1.在记录载体上记录数字视频信息信号的装置,该装置包括-输入装置,用于接收数字视频信息信号,-特技播放信号产生装置,用于从所述数字视频信息信号中产生特技播放信号,从而使能从m倍于正常重放速度的速度进行特技播放重放,这里m是大于1的整数,-合并装置,用于把所述数字视频信息信号和所述特技播放信号合并成一个组合信息信号,-写入装置,用于把所述组合信息信号写入所述记录载体的道中,所述特技播放信号产生装置适应于(a)从所述数字视频信息信号中提取内编码画面,(b)产生间编码画面,(c)合并所述内编码画面和所述间编码画面,从而得到一个包含相继画面组的特技播放信号,包含一个内编码画面,后跟n个所述产生的间编码画面,这里n是大于零的整数,所产生的间编码画面是这样的当以所述特技播放速度重放时,一个间编码画面跟随在一个内编码画面后面,在解码时造成重复表现一个由对所述内编码画面进行解码得到的画面。
2.如权利要求1的装置,其中在所述画面组中的间编码画面是由一编码步骤得到的,该编码步骤等价于编码一个画面,它是所述画面组中的一个先前画面的复制品,这个先前画面导致了所述画面组中的内编码画面。
3.如权利要求1或2的装置,其中该装置还适应于在所述记录载体上记录一个第二特技播放信号,所述第二特技播放信号是用于以P*m倍于所述正常重放速度的第二特技播放速度从所述记录载体中重放,P是大于1的整数,所述特技播放信号产生装置是一步适应于从所述视频信息信号中产生所述第二特技播放信号,其作法是从第一次提到的特技播放信号中选出每第P个画面组,所述合并装置进一步适应于把所述第二特技播放信号合并到所述组合信号中。
4.如权利要求3的装置,其中该装置进一步适应于在所述记录载体上记录第三特技播放信号,所述第三特技播放信号是用于以p*m*q倍于所述正常重放速度的第三特技播放速度从所述记录载体中重放,q是大于1的整数,所述特技播放信号产生装置进一步适应于从所述视频信息信号中产生所述第三特技播放信号,其作法是从第二特技播放信号中选出每第q个画面组,所述合并装置进一步适应于把所述第三特技播放信号合并到所述组合信号中。
5.如权利要求1或2的装置,其中该装置进一步适应于在所述记录载体上记录一个第二特技播放信号,所述第二特技播放信号是用于以-m倍于所述正常重放速度的第二特技播放速度从所述记录载体中重放,所述特技播放信号产生装置进一步适应于从所述视频信息信号中产生所述第二特技播放信号,其作法是把第一次提到的特技播放信号每个画面组中的画面序列反序,所述合并装置进一步适应于把所述第二特技播放信号合并到所述组合信号中。
6.如权利要求1或2中申明的装置,其中所述特技播放信号产生装置适应于产生所述特技播放信号中的所述画面组,使它们都有恒定的位成本。
7.如权利要求1或2的装置,其中所述特技播放信号中的所述内编码画面是所述数字视频信息信号中包含的内编码画面的数据压缩版本。
8.如权利要求7的装置,其中所述特技播放信号产生装置适应于对所述数字视频信息信号中包含的内编码画面进行数据压缩,作法是降低所述内编码画面的分辨力,从而得到所述特技播放信号的内编码画面。
9.如权利要求7的装置,其中所述特技播放信号产生装置适应于对所述数字视频信息信号中包含的内编码画面进行数据压缩,作法是选择所述内编码画面的限定个数AC系数,从而得到所述特技播放信号的内编码画面。
10.如权利要求9的装置,其中所述特技播放信号产生装置适应于选择AC系数的个数,该个数对于特技播放信号的相继的内编码画面可以是变化的。
11.如权利要求10的装置,其中特技播放信号产生装置适应于,为产生所述特技播放信号的内编码画面,为所述内编码画面的当前子画面,从所述数字视频信息信号的所述内编码画面的相应子画面中选择若干AC系数,所述AC系数个数与所述数字信息信号的所述内编码画面的当前子画面(将从中提取出特技播放信号的当前内编码画面)的DC系数和所述数字视频信息信号的所述内编码画面的前一个子画面的DC系数二者之差有关系。
12.如权利要求11的装置,其中所述个数随差值增大而增大。
13.如权利要求1的装置,其中特技播放信号产生装置适应于(a)从所述数字视频信息信号中提取I画面,(b)产生P画面,(c)把所述I画面与所述P画面合并,从而得到所述包含画面组的特技播放信号,它包含一个I画面后跟n个P画面,所产生的P画面是这样的当以所述特技播放速度重放时,一个P画面跟随在一个I画面后面,在解码时造成重复表现一个由对所述I画面进行解码得到的画面。
14.如权利要求7的装置,其中所述特技播放信号产生装置适应于对所述数字视频信息信号中包含的内编码画面进行数据压缩,作法是从画面右手一侧开始向着画面的左手一侧删去所述画面的子画面。
15.在记录载体上记录数字视频信息信号的装置,该装置包含-输入装置,用于接收数字视频信息信号,-特技播放信号产生装置,用于从所述数字视频信息信号中产生特技播放信号,从而使能以m倍于正常重放速度的速度进行特技播放重放,这里m是大于1的整数,-合并装置,用于把所述数字视频信息信号和所述特技播放信号合并成一个组合信息信号,-写入装置,用于把所述组合信息信号写入所述记录载体的道中,所述特技播放信号产生装置适应于从所述视频信息信号中提取内编码画面,还适应于对所述提取出的内编码画面完成数据压缩步骤,从而得到所述特技播放信号中的被数据压缩过的内编码画面。
16.如权利要求15的装置,其中所述特技播放信号产生装置适应于对所述数字视频信息信号中包含的内编码画面进行数据压缩,作法是降低所述内编码画面的分辨力,从而得到所述特技播放信号的经数据压缩后的内编码画面。
17.如权利要求15的装置,其中所述特技播放信号产生装置适应于对所述数字视频信息信号中包含的内编码画面进行数据压缩,作法是选择所述内编码画面的限定个数AC系数,从而得到所述特技播放信号的经数据压缩后的内编码画面。
18.如权利要求17的装置,其中所述特技播放信号产生装置适应于选择AC系数的个数,该个数对于特技播放信号的相继的被数据压缩的内编码画面可以是变化的。
19.如权利要求18的装置,其中特技播放信号产生装置适应于,为所述被数据压缩的内编码画面的当前子画面,从所述数字视频信息信号的所述内编码画面的相应子画面中选择若干个AC系数,所述个数与所述数字信息信号的所述内编码画面的当前子画面(将从中提取出特技播放信号的当前内编码画面)的DC系数和所述数字视频信息信号的所述内编码画面的前一个子画面的DC系数二者之差有关。
20.如权利要求19的装置,其中所述个数随差值增大而增大。
21.在记录载体上记录数字视频信息信号的方法,该方法包含以下步骤-接收数字视频信息信号,-从所述数字视频信息信号中产生特技播放信号,从而使能以m倍于正常重放速度的速度进行特技播放重放,这里m是大于1的整数,-把所述数字视频信息信号和所述特技播放信号合并成一个组合信息信号,-把所述组合信息信号写入所述记录载体的道中,所述特技播放信号产生步骤包含以下子步骤(a)从所述数字视频信息信号中提取内编码画面,(b)产生间编码画面,(c)合并所述内编码画面和所述间编码画面,从而得到一个包含相继画面组的特技播放信号,包含一个内编码画面,后跟n个所述产生的间编码画面,这里n是大于0的整数,所产生的间编码画面是这样的当以所述特技播放速度重放时,一个间编码画面跟随在一个内编码画面后面,在解码时造成重复表现一个由对所述内编码画面进行解码得到的画面。
22.在记录载体上记录数字视频信息信号的方法,该方法包含以下步骤-接收数字视频信息信号,-从所述数字视频信息信号中产生特技播放信号,从而使能以m倍于正常重放速度的速度进行特技播放重放,这里m是大于1的整数,-把所述数字视频信息信号和所述特技播放信号合并成一个组合信息信号;-把所述组合信息信号写入所述记录载体的道中,所述特技播放信号产生步骤包含以下子步骤(a)从所述数字视频信息信号中提取内编码画面,以及(b)对所述提取出的内编码画面进行数据压缩,从而得到所述特技播放信号中的被数据压缩的内编码画面。
23.在其上记录有数字视频信息信号和特技播放信号的记录载体,所述数字视频信息信号是用于以正常播放重放速度从所述记录载体中重放,所述特技播放信号是用于以m倍于所述正常重放速度的特技播放速度从所述记录载体中重放,m是大于1的整数,所述特技播放信号包含相继的画面组,其中含有一个内编码画面,后跟n个间编码画面,这里n是大于0的整数,间编码画面是这样的当以所述特技播放速度重放时,一个间编码画面跟随在一个内编码画面后面,在解码时造成重复表面一个由对所述内编码画面进行解码得到的画面。
全文摘要
本发明涉及从正常播放信息流产生特技播放信息流,从而使它们能一起作为一个组合信息流记录在记录载体上,这样,当以特技播放重放方式回放时,便能得到有足够好质量(例如关于可视性)的信息信号。本发明的一个方面在于产生GOP,每个GOP包含从原始正常播放信息流中提取出的一个I-帧和一个或多个所谓“空P-帧”。本发明的另一方面是为特技播放信息流产生GOP的要求,它有恒定的每个GOP位成本。再有,本发明的另一方面在于从正常播放信息中提取特技播放信息流中所用的I-帧。更具体地说,一个I-帧的产生是通过从正常播放信息中包括的I-帧中提取该I-帧的DC系数和那个I-帧中的若干AC系数,并由它们产生特技播放信息的I-帧。更具体地说,特技播放信息信号的I-帧具有的AC系数个数依赖于正常播放信息中两个相继I-帧的DC系数之差,从这两个I-帧中已经为特技播放信息信号提取出了要产生的这个I-帧以及刚刚在前面产生出的那个I-帧。
文档编号H04N5/7826GK1311958SQ99801327
公开日2001年9月5日 申请日期1999年6月3日 优先权日1998年6月11日
发明者O·埃伦伯格, A·M·A·里克尔特, W·H·A·布吕尔斯 申请人:皇家菲利浦电子有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1