专利名称：在视频序列中插入切换帧的方法
技术领域：
本发明涉及一种图像信息的传输和处理技术，具体说，涉及一种在视频 序列中插入切换帧的方法。
背景技术：
随着有线宽带网络和无线网络的发展和用户需求的驱动，多媒体技术和 相关的应用得到了越来越多的关注。特别是数字视频技术得到了广泛的应
用，例如IPTV、手机电视、数字电视、会议电视、激光视盘等。其中一个 常见的用户操作是进行视频切换，即用户端从一个正在播放的视频序列切换 到另外一个视频序列。
对于数字视频而言，由于现有的数字视频编码方法都采取了图像帧编码 的方式，视频序列的切换无法快速完成。这些图像帧含有帧内编码帧(I帧) 和非帧内编码帧，其中非帧内编码帧有预测帧(P帧)和双向预测帧(B帧)。 I帧是可以独立解码的帧，不需要其它图像帧作为参考图像。而P帧是前向 预测帧，需要用当前解码的P帧图像之前的图像作为参考帧，B帧是双向预 测帧，需要用当前解码的B帧之前和之后的图像作为参考图像。
在传统的视频序列切换方法中，如果视频切换位置的图像帧是帧内编码 模式(I帧)，从切换位置开始可以立即进行标准的视频解码处理。解码图 像可以进行显示，并作为后续编码视频码流的参考图像。
如图l所示，如果视频切换位置的图像帧不是帧内编码模式，例如P帧 或者B帧。由于P帧或者B帧需要使用前向或/和后向的重建图像作为参考 帧，不能立即进行视频解码处理。在f "'时刻进行视频切换时，由于此时的 编码图像帧不是帧内编码，需要参考前向或/和后向的重建图像帧进行解码。 在这种情况下，视频解码器必须暂停，等待至下一个帧内编码图像帧才能开 始进行视频解码，需要等待至时刻，接收到帧内编码图像才能恢复解
码。因此在传统的视频切换方法中，-现频切换的等待时延为"-"
由于视频码流中只有I帧能够独立解码，因此一段视频码流必须以I帧 作为起始帧。在进行频道切换时，需要等待視频码流的I帧正确接收后，才 能进行解码和显示。
因此为了实现视频码流的切换，需要在编码的视频码流中插入I帧编码
图像。但是由于I帧的编码效率远低于P帧或者B帧的编码效率，在编码视 频码流中频繁插入I帧会造成编码效率降低，从而影响用户观看的图像质量。
发明内容
本发明所解决的技术问题是提供一种在视频序列中插入切换帧的方法， 通过插入切换帧，能够对不同的视频序列进行快速切换。
技术方案如下
在视频序列中插入切换帧的方法，步骤如下
a、 在视频码流中选取插入切换帧的时刻；
b、 提取对应的原始图像帧或者重建图像帧；
c、 将原始图像帧或者重建图像帧按照视频编码方法进行帧内编码，得 到切换帧；
d、 对视频序列进行编码时，在视频码流中插入切换帧。
进一步，步骤(a)中相邻切换帧之间的间隔小于相邻I帧之间的间隔。
进一步，步骤(c)具体为
(cl )选定缩放系数，对所述原始图像帧或者重建图像帧进行缩放处理；
(c2)对缩放处理后的原始图像帧或者重建图像帧进行帧内编码，得到 切换帧。
进一步，当进行图像的缩放时，如果缩放系数小于l,表示对图像进行 缩小；如果缩放系数大于l,表示对图像进行放大；如果缩放系数等于l， 表示图像保持原有大小。 技术效果如下
快速视频切换，与原有的根据视频序列的I帧进行枧频切换相比，切换时间
被缩短。
由于切换帧是对普通的视频图像帧进行了缩放后再进行帧内编码，而且 在对切换帧进行编码时，采取了提高压缩比的方法，例如粗量化、更有效的 熵编码方法、更有效的帧内预测方法等，切换帧的编码后数据量远小于普通 的I帧编码。在这种情况下，当编码视频码流的相邻普通I帧之间相隔较远 时，通过在相邻的普通I帧之间插入多个切换帧，从而可以在解码端实现快 速的视频序列切换，而且插入的切换帧不会明显增加编码后的视频码流数据 量。
本发明在不需要视频切换的情况下，插入的切换帧只是作为附加的无效
数据，不影响视频解码器正常解码；在需要视频切换的情况下，插入的切换 帧可以独立解码，无需参考其它解码图像，新的视频序列可以从切换帧位置 开始进行视频解码，从而实现快速的视频序列切换。
图1是现有技术中的视频切换方法示意图； 图2是本发明中使用切换帧的视频切换方法示意图； 图3是本发明中插入切换帧后的两个视频序列示意图； 图4是本发明中基于切换帧的视频切换过程示意图。
具体实施例方式
下面参考附图，对本发明的优选实施例作详细描述。
视频序列的切换整体上包括视频编码器的编码过程和视频解码器的解 石马过详呈两个部分。
1、视频编码器的编码过程。
第一步，对需要编码的视频序列按照标准的视频编码方法进行编码。视
频编码可以采取H.261、 H.263、 H.264、 AVS、 MPEG4、 MPEG2等方法， 编码的图像帧类型可以是I帧、P帧或者B帧，为了提高编码效率，相邻的 I帧之间可以有4壬意大间隔。
第二步，在标准的编码视频码流中插入切换帧。
参照图2所示，在进行视频编码的过程中，除了标准的帧内编码图像帧， 在视频码流中插入了另外一种帧内编码的图像帧一切换帧、。
切换帧的实现方法包括如下几个步骤
(1) 选定插入切换帧的时刻。
例如，选定V时刻或者&时刻，作为切换帧的插入时刻。切换帧的位置 可以根据实际需要确定， 一般来说切换帧的频率大于视频码流中的I帧频率， 即相邻切换帧之间的间隔小于相邻I帧之间的间隔。
(2) 在切换帧时刻y或者&处，提取出对应的原始图像帧或者重建图 像帧，记为巧或者R。
(3 )将巧或者A按照预先给定的缩放系数(w"/e),经过滤波器(Fz7fer/ )
处理，得到一个缩放后的图像，记为&"/^—巧或者&"/^_/;-。
在对巧或者&进行缩放时，若缩放系数小于l,表示对图像进行缩小； 若缩放系数大于l,表示对图像进行放大；若缩放系数等于l,表示图像保 持原有大小。
(4)对Sca/e(巧或者&"/^_^按照标准的视频编码方法进行帧内编 码，得到切换帧，记为SwWz一巧或者Sh^c/2—&。
在对Sw/fcA一巧或者Sw/fc/z—^进行帧内编码时，为了降低切换帧的编码 数据量，可以采取适当的提高压缩比的策略，例如粗量化、更有效的熵编码 方法、更有效的帧内预测方法等。
在乂时刻插入了切换帧后，原有的非帧内编码图像巧后增加了 一个切换 帧。若在z'时刻进行视频切换时，由于此时的编码图像帧不是帧内编码，需 要参考前向或者后向的重建图像帧进行解码。在这种情况下，视频解码器必 须暂停，等待至下一个帧内编码图像帧或者切换帧才能开始进行视频解码。
由于在"时刻之前的J'时刻有切换帧存在，因此，解码器不需要等待至W时
刻，接收到帧内编码图像才能恢复解码。而是在y时刻，接收到切换帧后就 开始进行解码。因此在加入切换帧的视频切换方法中，视频切换的等待时延 为乂-"与原有的在w时刻进行切换比较，切换时延缩短了w-_/。
由于切换帧的是对普通的视频图像帧进行了缩放后再进行帧内编码，而 且在对切换帧进行编码时，采取了提高压缩比的方法，例如粗量化、更有效 的熵编码方法、更有效的帧内预测方法等，切换帧的编码后数据量远小于普 通的I帧编码。在这种情况下，当编码浮见频码流的相邻普通i帧之间相隔较 远，在相邻的普通i帧之间插入多个切换帧，从而可以在解码端实现快速的 视频序列切换，而且插入的切换帧不会明显增加编码后的视频码流数据量。
2、视频解码器的解码过程。 (1 )检测是否接收到视频切换请求。
第一种情况，如果没有接收到视频切换请求，则进行下列步骤
a、 对接收的^L频码流进行判断。
如果接收的视频码流为普通图像帧，例如I帧、P帧或者B帧，则按照 标准的视频解码处理；如果接收的视频码流为切换帧，则不进行解码处理。
b、 解码过程结束，将解码图像作为后续视频图像解码的参考帧，并将 其发送至显示终端。
c、 进入下一时刻解码处理。
第二种情况，如杲接收到视频切换请求，则进行下列步骤。 I 、对接收的纟见频码流进行判断。
如果接收的视频码流为普通图像帧，且为非帧内编码模式，例如P帧或 者B帧，则不进行解码处理，视频解码器处于等待状态；如果接收的视频 码流为普通图像帧，且为帧内编码模式，例如I帧，则进行标准的解码处理； 如果接收的视频码流含有^见频切换帧，例如Sw/fc/i—巧，则进行切换帧的视 频解码处理，得到解码图像&a/e(巧，然后对&^/e(巧按照缩放系数""/e 进行上采样滤波处理得到恢复的图像帧巧'，上采样滤波通过上采样滤波器 Ff/ted完成，得到切换参考图像。
n、将切换参考图像作为后续视频图像解码的参考帧，并将其发送至显 示终端。
III、进入下一时刻解码处理。
参照图3所示，序列1是正在播放的序列，序列2是准备切换的序列。
在两个插入切换帧后的视频编码序列中，序列1和序列2都是CIF格式 (352象素x288象素)，所以序列中的I帧和P帧都是CIF格式，分别记为 I (seq， t)和P (seq, t),其中seq表示序列编号，t表示时刻。在本实施 例中，切换帧的缩放系数取0.5,即切换帧的格式为SQCIF,大小为(176 象素xl44象素)。
对于序列1，选定在t + 2时刻插入切换帧，记为S(seql， t+2 ) 。 S(seql, t + 2)是通过P (seql, t + 2)缩小为QCIF格式后，再采取帧内编码得到。
在t + 2时刻序列1插入切换帧的具体步骤如下
(1 )选定插入切换帧的时刻t + 2。 在t + 2时刻P帧是CIF格式，记为P(seql, t + 2)。
(2)在切换帧时刻t + 2处，提取出对应的原始图像帧或者重建图像帧。
(3 )将提取的原始图像帧或者重建图像帧按照预先给定的缩放系数 (sca/e=0.5)经过滤波器(F//teW)处理，得到一个缩放后的图像。
(4)对缩放后的图像按照标准的视频编码方法进行帧内编码，得到切 换帧，记为记为S(seql, t+2)。
对于序列2,选定在t + 4时刻插入切换帧，记为S (seq2， t + 4) 。 S (seq2, t + 4)是通过P (seq2, t + 4 )缩小为QCIF格式后，再采取帧内编 码得到。
在t + 4时刻序列2插入切换帧的具体步骤如下 (1 )选定插入切换帧的时刻t + 4。 在t + 4时刻P帧是CIF格式，记为P(seq2, t + 4)。
(2) 在切换帧时刻t + 4处，提取出对应的原始图像帧或者重建图像帧。
(3) 将提取的原始图像帧或者重建图像帧按照预先给定的缩放系数
(W"/e=0.5)经过滤波器(F"teW)处理，得到一个缩放后的图像。
(4)对缩放后的图像按照标准的视频编码方法进行帧内编码，得到切 换帧，记为记为S (seq2, t十4)。
参照图4所示，在图3所示情况下，当需要在t + 2时刻从视频序列1 切换到视频序列2时，此时视频序列2的解码端视频切换处理过程如下。
t+2时刻从t + 2时刻开始，终端开始接收序列2的视频码流，表示 为P, P, P, S， P, P， I, P， P,…。
t + 2时刻，非帧内编码图像P (t + 2)无法用前面的重建图像作为参考 帧，P (t + 2 )不能进行解码操作。
t + 3时刻帧内编码图像P (t + 3)无法用前面的重建图像作为参考帧， P (t + 3)不能进行解码操作。
t + 4时刻非帧内编码图像P (t + 4)无法用前面的重建图像作为参考 帧，P(t + 4)不能进行解码操作。但是在t + 4时刻，存在一个使用帧内编 码方式编码的切换帧S (t + 4)。因此，终端的解码器对切换帧S (t + 4) 进行解码，得到一个QCIF格式的解码图像。然后将这个QCIF格式图像通 过上采样滤波器处理，得到一个CIF格式的切换参考图像F，(t + 4)。
在t + 4时刻^L频解码器解码的具体过程如下
(1 )视频解码器检测是否接收到视频切换请求。
如果没有接收到视频切换请求，则进行下列步骤
a、 对4妄收的纟见频码流进行判断。
如果接收的视频码流为普通图像帧，例如I帧、P帧或者B帧，则按照 标准的视频解码处理；如果接收的视频码流为切换帧，则不进行解码处理。
b、 解码过程结束，将解码图像作为后续视频图像解码的参考帧，并将 其发送至显示终端。
c、 进入下一时刻解码处理。
如果接收到视频切换请求，则对接收的视频码流进行判断，并进行下列 步骤
如果接收到的视频码流为普通图像帧，且为非帧内编码模式，例如P帧
或者B帧，则不进行解码处理，视频解码器处于等待状态；如果接收的视
频码流为普通图像帧，且为帧内编码模式，例如I帧，则进行标准的解码处 理。
如果接收的视频码流中含有视频切换帧S (t + 4),则进行切换帧S (t + 4)的视频解码处理，得到解码图像，然后对解码图像按照缩放系数Gc"/e -0.5)进行上采样滤波处理，得到一个QCIF格式的解码图像。然后将这个 QCIF格式图像通过上采样滤波器处理，得到一个CIF格式的切换参考图像 F， (t + 4),该切换参考图像F (t + 4)作为后续图像解码的参考帧。
t + 5时刻非帧内编码图像P (t + 5)利用从切换帧S (t + 4)得到的 切换参考图像F， (t + 4)作为参考帧，进行标准的视频解码处理，得到t + 5 时刻的解码图像。
t + 6时刻非帧内编码图像P (t + 6)利用从P (t + 5)的解码图像作 为参考帧，进行标准的视频解码处理，得到t + 6时刻的解码图像。
t + 7时刻帧内编码图像P (t + 7)不需要利用前面的参考帧，可以进 行标准的视频解码，得到t + 7时刻的解码图像。
t + 8时刻之后的视频解码过程与标准的视频序列解码过程一样。
在IPTV、手机电视、数字电视等基于数字视频的应用中，视频序列的 切换是一种非常重要的客户端操作。由于数字视频切换的过程中等待至帧内 编码图像才能进行视频解码，因此在客户端进行视频切换需要较长的等待时 间。本发明提出了一种在编码视频码流中插入可以独立解码的切换帧方法。 一方面，在不进行;現频切换时，不会影响终端对正常一见频码流的解码和4番》丈; 另一方面，在进行3见频切换时，终端可以从切换帧位置实现快速视频切换， 从而缩短用户在观看视频节目时的视频切换时间。
权利要求
1、一种在视频序列中插入切换帧的方法，步骤如下a、视频码流中选取插入切换帧的时刻；b、提取对应的原始图像帧或者重建图像帧；c、将原始图像帧或者重建图像帧按照视频编码方法进行帧内编码，得到切换帧；d、对视频序列进行编码时，在视频码流中插入切换帧。
2、 根据权利要求1所述的在视频序列中插入切换帧的方法，其特征在 于，步骤(a)中相邻切换帧之间的间隔小于相邻I帧之间的间隔。
3、 根据权利要求1所述的在视频序列中插入切换帧的方法，其特征在 于，步骤(c)具体为(cl )选定缩放系数，对所述原始图像帧或者重建图像帧进行缩放处理；(c2)对缩放处理后的原始图像帧或者重建图像帧进行帧内编码，得到 切换帧。
4、 根据权利要求3所述的在视频序列中插入切换帧的方法，其特征在 于，当进行图像的缩放时，如果缩放系数小于l,表示对图像进行缩小；如 果缩放系数大于l，表示对图像进行放大；如果缩放系数等于1,表示图像 保持原有大小。
全文摘要
本发明公开了一种在视频序列中插入切换帧的方法，步骤如下在视频序列中插入切换帧的方法，步骤如下在视频码流中选取插入切换帧的时刻；提取对应的原始图像帧或者重建图像帧；将原始图像帧或者重建图像帧按照视频编码方法进行帧内编码，得到切换帧；对视频序列进行编码时，在视频码流中插入切换帧。本发明方法可以在不明显降低视频编码效率的条件下，实现解码器端的快速视频切换，与原有的根据视频序列的I帧进行视频切换相比，切换时间被缩短。
文档编号H04N7/26GK101184230SQ200610149790
公开日2008年5月21日 申请日期2006年11月27日 优先权日2006年11月13日
发明者于培松, 宋立锋, 宁 王, 郭晓强, 睿 陈 申请人:中兴通讯股份有限公司