专利名称：：Videostreaming的制作方法
技术领域：
：本发明涉及视频流传送。
背景技术：
：过去20年间开发的视频压缩技术都是基于运动补偿变换编码。其基本思想是对一帧图像(image)进行编码并将该图像作为下一帧图像的预测。从源图片(picture)中减去预测图像从而去除了时间冗余，于是得到了用基于块(block)的变换编码技术进行编码的预测余差(residual)。源图片通常被划分为16X16个称为宏块的区域。编码器在一个或多个先前已编码并存储的图片中搜索当前宏块的较佳匹配或预测。参考图片中与当前宏块位置相同(co-located)的宏块和用于预测当前宏块的像素区域之间的位移被称为运动矢量。使用来自先前图像的预测(被称为帧间编码技术)来编码宏块的一种替代方案是在不参照先前已编码图片的情况下来编码宏块。这被称为帧内编码技术。在早期压缩标准中，帧内编码是通过去掉减法器并直接变换和量化源图片而简单实现的。在后期的标准中，在变换和量化处理之前，使用当前图片的已编码像素的各种空间预测形式被用于去除源宏块中的冗余。源图片与预测之间的差异(称为预测误差，或预测余差)通常采用基于块的变换被变换到频域，然后用标量量化器进行量化，并对产生的量化系数进行熵编码。为了满足某种预定的比特率限制，例如为获得在恒定比特率网络上进行传输的恒定比特率，标量量化器的范围通常允许由量化处理引起的失真与熵编码所产生的比特数之间实现权衡。目前已经颁布了许多视频编解码的国际标准，著名的有ITU的H系列标准和ISO/IECMPEG系列标准。前面已经提到可以在不参照先前已编码帧来进行宏块编码，通常是在找不到适合于预测的先前编码宏块的情况下采用这种技术，另外，也可以周期性地强制进行帧内编码，以限制传输误差的传播。也可以不参考先前已编码的帧来编码整个帧，即所谓的帧内帧或I帧。自然地，要编码的第一帧必然是这种类型；原则上，之后不必采用I帧，然而，一些编码器包括场景改变检测器，该场景改变检测器只要检测到场景改变就会触发I帧的生成。Farberetal(〃RobustH.263compatiblevideotransmissionformobileaccesstovideoservers",ProceedingsoftheInternationalConferenceonImageProcessingICIP1997，IEEE,US,vol.2(26October1997)pp.73-76)提出了一种具有第一流的服务器，该第一流完全由以帧间模式(P帧)编码的帧构成。他们还提供了完全由I帧构成的第二比特流(仅每N个帧进行编码)以用于随机访问。从I帧流切换到P帧流要通过第三“S流”。通常为允许从编码序列的开始点以外的某个点完成解码，也有一些编码器以一定间隔插入规则的I帧。例如，目前UK数字广播电视每秒至少一次，通常是每秒两次插入帧内帧。编码视频常被认为具有1秒(或0.5秒)的GOP(图片组)，在每个GOP的开始都有“同步帧”。这就是切换到数字广播的任何人在解码器可以开始显示视频前必须等候最短的可能时间的原因。与其他图片类型相比，帧内帧的编码比特代价是高的，因此在编码效率与随机访问功能之间有一个权衡。出于类似原因，一些视频点播(VOD)系统也针对编码电影和电视节目使用这种1秒GOP结构以便从特技播放操作返回。帧内帧被一输入(import)处理拔除并被以各种比特率单独进行流传送以提供诸如倒带和快进的特技播放模式，当观众从特技播放退出时，他可以在需要的点直接回到视频节目中。在带宽受限的条件下，频繁定期地插入帧内帧的问题在于为保持在比特预算范围内，需要相对于周围帧以较低的视觉质量对帧内帧进行编码。所导致的图片质量劣化在足球内容中尤其明显。其结果是每个同步帧(每秒)产生一个脉冲赝像，该脉冲赝像在足球运动的远射上体现地尤为明显。
发明内容本发明提供了一种对视频源材料进行流传送的方法，该方法包括以下步骤使用帧间编码和帧内编码的组合、根据所述视频源材料来生成第一编码信号，其中第一信号具有夹杂了帧间编码图像的帧内编码图像，且在预定持续时间的每个连续的第一设定时间段内，帧内编码图像被强制出现至少一次；使用帧间编码和帧内编码的组合、根据所述视频源材料来生成第二编码信号，其中第二信号具有夹杂了帧间编码图像的帧内编码图像，且帧内编码图像全部或主要出现在由所述视频源材料中的场景改变的识别所决定的时刻；响应于对所述视频源材料进行流传送或继续进行(resumption)流传送的命令(a)从帧内编码图像开始对第一编码信号进行流传送；(b)在与第二编码信号的帧内编码图像一致的点，停止对第一编码信号的流传送并取而代之从帧内编码图像开始对第二编码信号进行流传送。本发明的其他方面在权利要求书中作了限定。现在将借助实例并参照附图来描述本发明的一些实施方式，其中图1是本发明实施方式中使用的第一形式的视频编码器的框图；图2是本发明实施方式中使用的第二形式的视频编码器的框图；图3是视频流传送服务器的框图。具体实施例方式图1示出了一种视频编码器。在输入端1接收视频信号(通常为数字形式)。减法器2形成了输入信号与来自预测器缓冲器3的预测信号之间的差，随后对该差进行进一步编码。例如，这里执行的编码可以包括变换编码4、阈值化(抑制零或最小差异的传输)、量化5和/或可变长度编码6。预测器存储器3的输入是预测信号与在8、9处经过解码的编码差信号的和(因此编码和解码处理中的信息损失被包括在预测器循环中)，该和形成于加法器7处。反量化器8、反变换9、加法器7以及存储器3和运动补偿10构成了本地解码器。可以在编码器输出12和解码器输入(未示出)提供缓冲以允许在恒定比特率信道上进行传输。也包括运动估计器13。该运动估计器13将图片的正在被编码的帧与预测器帧进行比较对于当前帧的每个块(图像被认为划分为快)，运动估计器13识别出先前帧的与该区域最接近相似的区域。所识别区域与正谈及的块之间的位置向量差被称为运动矢量(因为在电视图片所描述的场景中它通常代表目标的运动)，该运动矢量被应用于运动补偿单元10，运动补偿单元10用于将先前帧的标识区域移动到当前帧的相关块的位置，由此产生较好的预测。这将导致减法器2所形成的差平均来讲较小，并且允许在4、5处进行编码，以使用相比其他情形更低的比特率来编码图像。然而该编码器不总是采用帧间编码。一些标准规定，编码器对于每个宏块判定是否要使用运动补偿帧间差编码来对该宏块进行编码，或者对该宏块使用帧内编码是否在比特上更经济。该判定通过控制单元14来实现如果要使用帧内编码，则不再将“先前图像”预测提供给减法器。在图1中这由开关15示意性指示。该判定也被发送到解码器以控制相似的开关。帧内编码并不是简单地编码实际像素值，而是使用根据同一图片中的先前已解码像素的预测来调用帧内差编码。然而附图并未对此进行图示。图1的编码器工作在第一模式，即自由模式，其中场景改变检测器16识别场景改变并通过支配开关15的操作来作出响应从而强制生成帧内帧。图2示出了第二模式，即固定模式的编码器，其除了具有计时器17而非检测器16外，与图1的编码器的结构是相同的，该计时器17对开关15产生定期支配信号从而强制以1秒或0.5秒的间隔生成I帧。在I帧之间执行最小时间的另一种替代方式为只要从先前I帧经过了1秒(或者相关的期望时段)，便强制生成I帧。图3示出了用于将视频流传送到客户终端的服务器20，其中仅示出了一个客户终端30。源视频由具有图1结构的自由模式编码器21和具有图2结构的固定模式编码器21’进行编码，由此产生了两种视频编码(一种具有固定GOP结构，而另一种具有仅与视频中的场景改变相关的自由GOP结构)，它们分别被存储或缓冲在缓冲器12、12’中。另选的是，可采用单个编码器(同时具有检测器16和计时器17并且可在两种模式之间进行切换)依次以两种不同模式两次完成两种编码，此种情形下需要足够大的缓冲器来容纳整个序列。可选择性提供第三缓冲器12”来存储同一视频序列的一个或多个特技播放编码版本。这些版本可以通过从缓冲器12’中选择I帧或提供第三编码器来产生。控制单元22用于接收来自客户终端30的用于进行视频流传送的命令，因此用户可以启动流传送并根据情况在编码模式间进行切换以实现充分的随机访问功能。在无特技播放场景下，用户可按下“播放”来触发对于控制单元22的启动从来自缓冲器12的自由模式内容开始的流传送并直接观看内容。在这种情况下，用户将仅看到自由GOP结构视频(即无(或非常小)抖动或赝像，总体上对于相同质量可能具有较低的比特率)。当客户终端发送特技播放命令时，取而代之会触发来自缓冲器12”的特技播放编码的流传送——如命令中所指定的，快进/倒带模式。用户将看到特技模式。当客户终端收到终止特技播放并返回到正常播放的命令时，控制单元(a)终止特技播放编码的流传送；(b)然后切换到来自缓冲器12’的规则GOP编码视频——但是只要需要用户就将一直停留在该流中直到他到达与缓冲器12中的自由GOP视频的下一个可用同步帧(帧内帧)相对应的帧为止，从而从特技模式返回后赝像仅出现短暂时间。(c)因此，当到达该点时，控制单元停止来自缓冲器12’的固定GOP编码的流传送并启动来自缓冲器12的流传送。同步帧位置需要被确定并在流传送之前对于控制单元可用。实现上述目的的一种方法是解析所得到的编码比特流并在独立的索引文件中记录同步点位置。一些容器格式(例如MP4文件)也以特殊表格来存储该信息。MP4文件头具有stss(sampletablesyncsamples)头结构。在自由模式编码器21中，场景改变检测器将每10秒左右触发至少一个同步帧在统计角度上是可能的(在经常引证的典型场景持续时间为8秒或更少的电影中可能性更高)；然而如果需要的话，可以增加计数器18(图1虚线框所示)来确保上述目标。在识别出每个场景改变时将计数器复位到0。然而，如果计数超过10秒将支配开关15来生成I帧。注意图1和2的编码器根据需要可以由H.264编码器来实现。许多商业可用编码器都可支持合适的设置；例如，由法国AtemeBievresSA制造的编码器，可以被设置用于固定GOP尺寸，或者用于最小和最大GOP尺寸。具有上述提到的10秒限度的自由模式操作可以通过将最大GOP尺寸设置为10来获得。具有1秒速率的固定模式需要将固定GOP尺寸设置为1秒。正常情况下，从特技播放到自由模式的转换是经由固定模式视频的短时流传送来实现的。然而，如果需要，也可以是这样的在接收到终止特技播放并返回到正常播放的命令时，首先确定自由模式编码中的同步帧是否紧急可用，并在此情形下直接切换到它，忽略固定模式编码的流传送。通常情况下，调用该选项的标准是到下一个自由模式I帧的时间间隔是否小于等于固定模式编码中的同步帧之间的最小时间(或可能为该数值的1.5倍)。本发明的第二实施例不涉及固定模式流的使用，而涉及在特技播放之后直接切换到自由模式流。在这种情况下，通过如下方式来处理定时中断，在快进播放情形下，播放跳回到最近的同步帧，或者在倒带播放情形下，向前跳到目标自由模式编码中最近的同步帧。在更完善的实现中，从快进退出后，允许小幅前跳。实现它的一种算法是，如果在特技播放流的退出点之后的X帧的设定时段内的目标流中存在同步帧，那么该同步帧被选择，否则在退出点之前从最近的同步帧进入自由模式流。X值可能不超过1秒，如果快进帧速率是正常播放帧速率的N倍，那么χ典型地等于N或2N。权利要求一种对视频源材料进行流传送的方法，该方法包括以下步骤使用帧间编码和帧内编码的组合、根据所述视频源材料来生成第一编码信号，其中第一信号具有夹杂了帧间编码图片的帧内编码图片，且在预定持续时间的每个连续的第一设定时间段内，所述帧内编码图片被强制出现至少一次；使用帧间编码和帧内编码的组合、根据所述视频源材料来生成第二编码信号，其中第二信号具有夹杂了帧间编码图片的帧内编码图片，且所述帧内编码图片全部或主要出现在由所述视频源材料中的场景改变的识别所确定的时刻；响应于对所述视频源材料进行流传送或继续进行流传送的命令(a)从帧内编码图片开始对第一编码信号进行流传送；(b)在与所述第二编码信号的帧内编码图片一致的点，停止对第一编码信号的流传送并取而代之从该帧内编码图片开始对第二编码信号进行流传送。2.根据权利要求1所述的方法，其中，在第一编码信号中，所述帧内编码图片被强制按照第一设定时间段规则地出现。3.根据权利要求1或2所述的方法，其中，第一设定时段是1秒或更少。4.根据权利要求1、2或3所述的方法，其中，在第二信号中，所述帧内编码图片仅出现在(a)由所述视频源材料中的场景改变的识别所确定的时刻和(b)在从先前帧内编码帧开始的第二设定时间段内未识别出场景改变的事件中，其中，第二设定时间段的持续时间比第一设定时间段的持续时间要长。5.根据权利要求4所述的方法，其中，第二设定时段是第一设定时段的至少5倍。6.根据权利要求5所述的方法，其中，第二设定时段是第一设定时段的至少8倍。7.根据权利要求4、5或6所述的方法，其中，第二设定时段是至少5秒。8.根据前述权利要求中任意一项所述的方法，该方法还包括以下步骤在接收到对所述视频源材料进行流传送或继续进行流传送的所述命令之前根据所述视频源材料来生成用于特技播放的第三编码信号；对第二编码信号进行流传送；以及响应于特技播放命令，取代第二编码信号来对所述第三编码信号进行流传送；并且在接收到对所述视频源材料的进行流传送或继续进行流传送的所述命令时，停止对所述第三编码信号的流传送。9.根据前述权利要求中任意一项所述的方法，其中，步骤(a)中对第一编码信号进行流传送的条件是在第三设定时间段内，第二编码信号中没有帧内编码图片。全文摘要文档编号H04N7/24GK101953164SQ20098010599公开日2011年1月19日申请日期2009年1月23日优先权日2008年2月21日发明者MulroyPatrickJoseph申请人:BritishTelecomm