在iptv系统中使用低比特率流的视频数据丢失恢复的制作方法

专利名称：在iptv系统中使用低比特率流的视频数据丢失恢复的制作方法
技术领域：
本发明总体上涉及网络电视(IPTV)，具体地涉及使用低比特率 比特流从IPTV系统中的视频数据丢失中恢复。
背景技术：
诸如运动图像专家组(MPEG2)或H.264高级视频编码(AVC) 之类的高级视频编解码器(CODEC)使用帧内编码和帧间编码预测来 实现高压缩率。帧间编码图像使用来自其他图像的信息来压缩。因此， 压縮图像中的分组/帧丢失不仅会使图像本身的质量变差，而且影响使 用该图像作为帧间编码预测参考的所有图像的质量。例如，I帧的分组 丢失可能对图像组(GOP)中的所有图像造成不利影响。
在商业数字TV广播系统中，如图la所示，将视频数据流从头端 (head-end)流服务器通过主干网发送至多个组播交换机，从组播交 换机将视频数据流组播至多个多个驻留机顶盒。主干传递中的数据完 整性是非常重要的。如图lb所示，主干传递中的任何分组丢失都会传 播至所有下游机顶盒。
在实时流中，通常使用用户数据报协议(UDP)来传递流。UDP 本身不保证服务的质量。为了提供高质量的商业视频服务(例如， 99.999%的时间没有错误)，在主干网中分组丢失率应当非常低(小于 lxlOE-6)，远小于ITUY.1541中0级网络服务(最佳)中定义的分组丢 失率lxlOE-3。前向纠错(FEC)或选择重传技术能够显著地降低有效 分组丢失率。但是在实际系统中，出于各种原因仍会发生分组丢失。当发生分组丢失时，重要的是减少呈献给最终用户的主观视频伪 像。错误隐藏技术通常用于该目的。错误隐藏利用来自时间或空间邻 域的的信息来隐藏被破坏的区域或帧中的错误。然而，在丢失的分组 包括参考帧(I或P)数据时，或在大量连续帧全部丢失时，错误隐藏 通常不具有良好性能。
之前已作出努力来降低组播主干网中的分组丢失率。FEC是一种 显著提高服务质量(QoS)的切实可行的方式。 一些最新研究已集中 于改进FEC算法。然而，强FEC通常要求高计算能力，并在视频数据 流传递中引入显著的附加等待时间，而弱FEC通常对于延长的中断期 (例如，>2秒)不具有适当的性能。自适应FEC使用双向通信来动态 地调整FEC的强度，但是系统的复杂性会更高。
一些IPTV系统(例如，最大服务电视(MSTV))使用重传来执 行丢失恢复。存在两种类型的组播数据丢失恢复方案，即，基于源的 恢复和分布式恢复。分布式组播数据丢失恢复方案通常在效率和恢复 等待时间方面优于基于源的视频数据丢失恢复方案，其中效率和等待 时间对于大规模视频组播来说是非常重要的。但是分布式丢失恢复方 案需要布置在分级网络拓扑不同等级的多个节点处的主动丢失恢复组 件。基于源的恢复方案较容易实现并在网络中需要较少的主动组件， 但是特别在大规模布置中效率低。此外，服务器可能被大量重传请求 所充斥，即，否定应答(NAK)内爆(implosion)问题。
需要严格QoS等级的一些商业系统使用针对主干传送的冗余路 径； 一个用作主路径，另一个用作备用路径。这样的系统具有该可靠 性，但是在网络传递方面的成本几乎加倍。
本发明解决了上述问题。

发明内容
在本发明中，将视频数据帧编码进低比特率和正常/标准比特率视
频数据比特流中。如这里所使用的，"/"用于指示相同组件或构思的选 用名。视频服务器将这两种流通过两个单独组播组中的主干网传送至 与一个或多个组播交换机相连接的代理服务器，然后从一个或多个组播交换机将视频数据比特流选择性地组播至多个视频终端(例如，机
顶盒)。在正常条件下，低比特率视频数据比特流不消耗组播交换机和 古"17 会+ fe1速拉的"rVW工乂FTT胜齒
VLjyi血"it"U^i:]3icitTn工w:j i丄i"j屮児。
代理服务器监控正常视频数据比特流的分组丢失。如果检测到分 组丢失事件，则代理服务器将低比特率视频数据比特流的解码参数(例
如，序列参数集合(SPS)和图像参数集合(PPS))以及与正常比特
率视频数据比特流的丢失部分相对应的低比特率视频数据比特流复用 为正常视频数据流的组播组。接收机顶盒然后对低比特率和正常比特 率视频数据比特流进行解复用，并且使用从低比特率视频数据比特流 解码的帧来隐藏正常比特率视频数据比特流中丢失的或损坏的帧。相 同的低比特率视频数据比特流可以用于快速频道改变以及画中画或马 赛克视图。马赛克视图类似于照片的縮略图。它在一个屏幕上同时显
示多个视频频道(例如，12个)。
描述了一种从数据丢失中恢复的系统和方法，包括监控第一比 特率视频数据比特流，以确定是否存在帧丢失或损坏；复用第二比特 率视频数据比特流的解码参数、第二比特率视频数据比特流以及第一 比特率视频数据比特流；如果存在帧丢失或损坏，则对第一比特率视 频数据比特流和第二比特率视频数据比特流进行解复用；对第一比特 率视频数据比特流进行解码；从第一比特率视频数据比特流中移除损 坏的帧；对第二比特率视频数据比特流进行解码；如果所述处理后的 第二比特率视频数据比特流具有比所述处理后的第一 比特率视频数据 比特流低的分辨率，则对来自所述处理后的第二比特率视频数据比特 流的帧进行上采样；以及将来第二比特率视频数据比特流的帧与来自 第一比特率视频数据比特流的帧合并。


根据结合附图阅读的以下详细描述，将更好地理解本发明。附图 包括以下简要描述的图
图1是传统多组IPTV系统的示意图。
图2是用于快速频道改变的低比特率视频数据比特流的示例。图3是用于恢复标准(正常)比特率视频数据比特流中的数据丢 失的示例。
图4示出了对视频/数据劣化事件开始和结束的标记。 图5是由代理服务器执行的丢失检测方法的流程图。 图6是执行流接收、解复用、解码和帧恢复的机顶盒的详细示意图。
图7是将传统数据恢复与根据本发明的视频恢复相比较的详细示 意图。
图8示出了使用较短图像组的低比特率比特流的优点。
具体实施例方式
在本发明中，对低比特率(例如，200Kbps)和短GOP大小(例 如，0.5秒)的视频数据流进行编码并伴随正常视频数据流传送所述低 比特率和短GOP大小的视频数据流。低比特率视频流可以具有较低的 分辨率(例如，CIF)或具有与正常视频^相同的分辨率但是比正常 视频流低的视频质量。图2A示出了在频道改变期间正常视频数据比特 流和低比特率视频数据比特流的传递，图2B示出了在频道改变后正常 视频数据比特流的传递(传递过程中没有低比特率视频数据比特流)。 在图2A中还示出了从低比特率视频数据比特流中解码的、所显示的 帧。正常和低视频数据比特率流的传送可以是以零时移同时播放的， 或者是以固定或可配置的时间距离(例如，2秒)交错播放的。交错播 放使得一个网络假信号在相同媒体时间引起两个流中的分组丢失的可 能性最小化，从而成为优选方法。在交错播放的情况下，低比特率视 频数据比特率流可以使正常流提前或延时一定时间距离(例如，2秒)。
在正常条件下，将两个视频数据比特流发送至两个不同的组播 组，以使最终用户可以独立地加入、使用> 或不使用每一视频数据比 特流。这降低了在组播交换机与机顶盒之间的网络的最后段中的带宽。 在数字订户线(DSL)布置中，最后段是DSL接入复用器(DSLAM) 与机顶盒之间的本地回路，通常是IPTV系统中的带宽瓶颈。因此，重 要的是减少DSLAM带宽的使用。本发明的优点在于，低比特率视频数据比特流可以用于画中画
(PIP)显示或快速频道改变。在那些应用中，仅在STB请求低比特率 视频数据比特流时，才向该STB播放该低比特率视频数据比特流。图2 示出了频道改变应用中的流动。
本发明提供了存在于主干网与组播交换机之间的代理服务器。代 理服务器在一定时间段内(例如5秒)接收并缓冲/存储(存储器存储 设备)正常比特率视频数据比特流和低比特率视频数据比特流。解码 参数(例如，针对H.264流的SPS、 PPS)也被存储在代理服务器中。 代理服务器针对任何分组丢失(QOS)监控正常比特率视频数据比特 流。如果代理服务器检测到分组丢失或损坏的分组，则该代理服务器 将首先确定与视频劣化事件的开始相对应的媒体呈现时间戳(Tb)。 在不允许B图像的视频编码(例如H.264基准简档编码)中，Tb是最后 接收到的完好帧的媒体呈现时间。在具有B图像的视频编码中，如果 将Tb编码为开放GOP，则Tb是最后接收的完好B帧的媒体呈现时间， 如果将Tb编码为闭合GOP，则Tb是最后接收的完好B或I帧的媒体呈现 时间。时间戳Tb标记了分组丢失事件的开始。代理服务器对存储于其 本地缓冲器中的低比特率视频数据比特流以及输入流进行搜索，以发 现时间戳正好在Tb之前的I帧。设计代理服务器中缓冲器的大小，使得 在多数情况下可以找到该I帧。随后，如图3所示，代理服务器发送低 比特率视频数据比特流的解码参数，并然后将从该I帧开始的低比特率 视频数据比特流转发至正常比特率视频数据比特流的组播组中作为不 同节目。应当注意，"修复"低比特率视频数据比特流分组不与正常比 特率视频数据比特流结合，但是可以作为正常比特率视频数据比特流 组播传递组内的单独流而被传送。在机顶盒处执行将"修改"低比特 率视频数据比特流实际合并到正常比特率视频数据比特流中。
代理服务器然后搜索视频劣化事件的结束。代理服务器将与视频 劣化事件的结束相对应的呈现时间戳记录为Te。代理服务器传送所有 低比特率视频数据比特流分组，直到检测到呈现时间戳正好大于Te的 低比特率I帧为止。这可以确保代理服务器传送呈现时间戳小于Te的所 有低比特率视频数据比特流分组，从而复用后的低比特率视频数据比特流分组覆盖正常比特率视频数据比特流的整个丢失部分。
分组丢失的结束通常并不意味着视频劣化的结束。这是由于丢失 或损坏的图像可能被后续图像用作参考图像。通常，将正常比特率视
频数据比特流中下一个接收到的完好I帧(针对MPEG2和H.264)或中 间数据率(IDR)帧(针对H.264)视作视频劣化事件的结束。图4示 出了视频劣化时间戳的结束。特别地，在情况A下，并不将B帧编码进 正常比特率视频数据比特流中，正好在识别出的丢失的P帧前面紧邻 的P帧之前标记视频劣化事件的开始Tb。相应地，正好在下一个I帧之 前标记视频劣化事件的结束Te。
在B情况下，B帧存在于正常比特率视频数据比特流中。以解码顺 序传送视频帧。丢失的正常比特率视频数据比特流帧是18、 20、 22、 32和26，它们是依解码顺序连续的。正好在识别出的丢失的P帧前面 紧邻的B帧之前标记视频劣化事件的开始Tb。相应地，正好在下一个I 帧之前标记视频劣化事件的结束Te。按照数字顺序呈现视频帧，其中 将低比特率帧嵌入在呈现顺序显示中，其中低比特率视频数据比特流 帧没有按照解码顺序中的连续顺序。
图5是由代理服务器对正常比特率视频数据比特流的帧执行的丢 失检测方法的流程图。 一旦检测到丢失的帧并且标记了视频劣化事件 (Tb、 Te)，则将低比特率视频数据比特流复用为正常比特率视频数 据比特流。在505处，执行测试以确定是否已检测到分组/帧。如果尚 未检测到分组/帧丢失，则重复该动作。如果已检测到分组/帧丢失， 则在510处，标记并记录视频劣化事件的开始Tb。在515处，执行向后 搜索。向后搜索在缓冲器中查找低比特率视频数据比特流中时间戳小 于或等于Tb的第一I帧。在520处测试是否定位了低比特率视频数据比 特流中的I帧。如果没有定位I帧，则在525处在输入低比特率视频数据 比特流中搜索小于或等于Tb的第一I帧。在530处，执行检查以确定是 否定位了低比特率视频数据比特流中的I帧。如果没有定位I帧，则在 535处执行测试以确定是否己存在超时。如果尚未存在超时，则在525 处重复该测试。如果已存在超时，则重复动作505。如果在动作520处 定位了低比特率视频数据比特流I帧，则在540处将低比特率视频数据比特流帧复用为正常比特率视频数据比特流。在545处，执行测试以确 定是否检测到视频劣化丢失的结束。如果还没有检测到视频劣化丢失 的结束，则重复540。如果已检测到视频劣化丢失的结束，则在550处 确定视频劣化丢失结束时间戳Te。在555处执行测试以确定最后的低比 特率视频数据比特流I帧的时间戳是否大于Te。如果该时间戳不大于 Te，则在560处继续将低比特率视频数据比特流的分组复用为正常比特 率视频数据比特流。如果时间戳大于Te，则停止复用并重复动作505。
将低比特率视频数据比特流复用为正常比特率视频数据比特流 组播组是重要的。这允许STB在无需主动请求的情况下接收低比特率 视频数据比特流。否则，STB必须发送组播加入命令(例如，互联网 组管理协议(IGMP)加入)以接收低比特率视频数据比特流。分组丢 失事件将触发调到该节目的所有STB同时向组播交换机发送组播加入 命令，该组播交换机可能会被这些命令所充斥。在本发明中，STB仅 接收来自正常频道的数据。代理服务器在检测到正常比特率视频数据 比特流中的丢失或损坏时，主动地将低比特率视频数据比特流与正常 比特率视频数据比特流一起转发至正常频道(但是作为不同的节目)。 如图6所示，STB从正常频道接收这两个节目，并且基于节目编号解复 用为两个节目，然后分别对它们进行解码。针对正常比特率视频数据 比特流的解码器对视频流进行解码，并消除已损坏的视频帧。纠错模 型将已解码的低比特率视频数据比特流帧合并到解码的正常比特率视 频数据比特流中。如果低比特率视频数据比特流具有比正常比特率视 频数据比特流低的分辨率，则纠错模型还对已解码的低比特率视频数 据比特流帧执行上采样，以使它们具有与已解码的正常比特率视频数 据比特流帧相同的分辨率。
图7是用于恢复正常比特率视频数据比特流中数据丢失的低比特 流视频数据比特流的使用的详细示意图。特别地，图7是现有技术与本 发明之间的比较。如图7所示，如果低比特率视频数据比特流具有比正 常比特率视频数据比特率流低的分辨率，则对已解码的低比特率视频 数据比特流帧进行上采样，以与正常比特率视频数据比特流的分辨率 相同，并且使用已解码的低比特率视频数据比特流帧来替换或修复正常比特率视频数据比特流中丢失的或损坏的帧。然后将替换后的或修 复后的帧发送至显示设备。在现有技术中，数据丢失引起正常比特率 视频数据比特流中的帧丢失。在本发明中，通过用低比特率视频数据 帧替换正常比特率视频数据比特流中丢失的帧，将数据丢失恢复。
使用低比特率视频数据比特流帧而非FEC、奇偶或空间可縮放编 码作为冗余数据的优点在于，相同的低比特率视频数据比特流可以用 于画中画、马赛克视图或快速频道改变流。
重要的是，替换正常比特率视频数据比特流的损坏的或丢失的帧 是在解码后执行的。因此，本发明无需中断任一流的解码过程。同样， 本发明能够替换正常比特率视频数据比特流的单个帧，而不改变相同
GOP中的其他帧。
还重要的是，低比特率视频数据比特流的GOP大小比正常流的大 小短。当正常比特率视频数据比特流的一部分丢失或损坏时，代理服 务器仅需要将低比特率视频数据比特流的相应GOP转发至STB。图4 的情况A示出了当不存在B帧时，视频劣化事件的持续时间可以比正常 比特率视频数据比特流的GOP大小短。因此，需要覆盖劣化时间段的 低比特率视频数据比特流帧的"修复"可以比正常比特率视频数据比特 流的GOP大小短。这是在图8中示出的，其中，正常比特率视频数据比 特流中被破坏的部分是没有颜色/阴影的部分。错误恢复仅需要低比特 率视频数据比特流的GOP4。 '
应当理解的是，本发明可以以各种形式的硬件、软件、固件、专 用处理器、或其组合的形式来实现。优选地，本发明是以硬件和软件 的组合来实现的。此外，软件优选地是以有形地体现在程序存储单元 上的应用程序来实现的。该应用程序可以被上载到包括任意适合体系 结构的机器，并由该机器来执行。优选地，该机器是在计算机平台上 实现的，所述计算机平台具有诸如一个或更多个中央处理单元(CPU)、 随机存取存储器(RAM)、以及输入/输出(I/O)接口等的硬件。该计 算机平台还包括操作系统和微指令代码。这里描述的各种过程和功能 可以是微指令代码的一部分，或是应用程序的一部分(或是它们的组 合)，其可以由CPU来执行。另外，可以将多种其他外围设备连接至计算机平台相连，例如附加的数据存储设备和打印设备。
还将理解，由于附图所示的构成系统组件和方法步骤当中的一些 优选地是以软件来实现的，所以系统组件(或过程步骤)之间的实际 连接可能根据编程本发明的方式而有所不同。在这里给出的教义的前 提下，相关技术领域中的技术人员将能够想到本发明的这些和类似的 实现或配置。
权利要求
1、一种从数据丢失中恢复的方法，所述方法包括监控第一比特率视频数据比特流，以确定是否存在帧丢失和帧损坏之一；如果存在帧丢失和帧损坏之一，则复用第二比特率视频数据比特流的解码参数、所述第二比特率视频数据比特流以及所述第一比特率视频数据比特流，其中，所述第二比特率视频数据比特流具有比第一比特率视频数据比特流低的比特率；对所述第一比特率视频数据比特流和所述第二比特率视频数据比特流进行解复用；对所述第一比特率视频数据比特流进行解码，以产生处理后的第一比特率视频数据比特流；从所述处理后的第一比特率视频数据比特流中移除损坏的帧；对所述第二比特率视频数据比特流进行解码，以产生处理后的第二比特率视频数据流，其中，所述处理后的第二比特率视频数据比特流具有比所述处理后的第一比特率视频数据比特流低的比特率，其中，所述处理后的第二比特率视频数据比特流具有比所述处理后的第一比特率视频数据比特流低的比特率；如果所述处理后的第二比特率视频数据比特流具有比所述处理后的第一比特率视频数据比特流低的分辨率，则对来自所述处理后的第二比特率视频数据比特流的帧进行上采样；以及将来自所述处理后的第二比特率视频数据比特流的帧与来自所述处理后的第一比特率视频数据比特流的帧合并。
2、 根据权利要求l所述的方法，其中，所述第一比特率视频数据 比特流和所述第二比特率视频数据比特流是同时播放的。
3、 根据权利要求l所述的方法，其中，所述第一比特率视频数据 比特流和所述第二比特率视频数据比特流是交错播放的。
4、 根据权利要求l所述的方法，还包括-将所述第一比特率视频数据比特流传输至第一组播组；以及将所述第二比特率视频数据比特流传输至第二组播组。
5、 根据权利要求l所述的方法，其中，所述第二比特率视频数据 比特流用来完成快速频道改变。
6、 根据权利要求l所述的方法，其中，所述第二比特率视频数据比特流用于画中画。
7、 根据权利要求l所述的方法，其中，所述第二比特率视频数据 比特流用于马赛克视图。
8、 根据权利要求l所述的方法，还包括确定视频劣化事件的开始；以及 确定所述视频劣化事件的结束。
9、 根据权利要求8所述的方法，还包括在存储器存储元件中进行向后搜索并在输入第二比特率视频数 据比特流中进行向前搜索，以定位在所述视频劣化事件开始之前的第 一I帧；以及在所述存储器存储单元和所述输入第二比特率视频数据比特流 之一中搜索在所述视频劣化事件结束之后的第一I帧。
10、 根据权利要求9所述的方法，其中，所述复用动作选择性地 复用与所述第一比特率视频数据比特流的丢失的帧和损坏的帧之一相 对应的所述第二比特率视频数据比特流的图像组。
11、 根据权利要求10所述的方法，其中，所述第二比特率视频数. 据比特流的所述图像组的分辨率等于或小于所述第一比特率视频数据 比特流的所述图像组的分辨率。
12、 一种从数据丢失中恢复的方法，所述方法包括-接收组播组中复用的视频数据比特流；将所述接收到的视频数据比特流解复用为第一比特率视频数据 比特流和第二比特率视频数据比特流，所述第二比特率视频数据比特 流包括与所述第一比特率视频数据比特流的丢失的帧和损坏的帧之一 相对应的帧，其中，所述第二比特率视频数据比特流具有比所述第一 比特率视频数据比特流低的比特率；以及对来自所述第二比特率视频数据比特流的帧进行解码，以替换或修复所述第一比特率视频数据比特流的所述丢失的帧和损坏的帧之
13、 一种用于从数据丢失中恢复的系统，包括用于监控第一比特率视频数据比特流以确定是否存在帧丢失和 帧损坏之一的装置；用于在存在帧丢失和帧损坏之一的情况下复用第二比特率视频 数据比特流的解码参数、所述第二比特率视频数据比特流以及所述第 一比特率视频数据比特流的装置，其中，所述第二比特率视频数据比 特流具有比第一 比特率视频数据比特流低的比特率；用于对所述第一比特率视频数据比特流和所述第二比特率视频 数据比特流进行解复用的装置；用于对所述第一比特率视频数据比特流进行解码以产生处理后 的第一比特率视频数据流的装置；用于从所述处理后的第一比特率视频数据流中移除损坏的帧的 装置；用于对所述第二比特率视频数据比特流进行解码以产生处理后 的第二比特率视频数据流的装置，其中，所述处理后的第二比特率视 频数据比特流具有比所述处理后的第一 比特率视频数据比特流低的比 特率；用于在所述处理后的第二比特率视频数据比特流具有比所述第 一比特率视频数据比特流低的分辨率的情况下，对来自所述处理后的 第二比特率视频数据比特流的帧进行上采样的装置；以及用于将来自所述处理后的第二比特率视频数据比特流的帧与来 自所述处理后的第一比特率视频数据比特流的帧合并的装置。
14、 根据权利要求13所述的系统，其中，所述第一比特率视频数 据比特流和所述第二比特率视频数据比特流是同时播放的。
15、 根据权利要求13所述的系统，其中，所述第一比特率视频数 据比特流和所述第二比特率视频数据比特流是交错播放的。
16、 根据权利要求13所述的方法，还包括用于将所述第一比特率视频数据比特流传输至第一组播组的装置；以及用于将所述第二比特率视频数据比特流传送至第二组播组的装置。
17、 根据权利要求13所述的系统，其中，所述第二比特率视频数 据比特流用来完成快速频道改变。
18、 根据权利要求13所述的系统，其中，所述第二比特率视频数 据比特流用于画中画。
19、 根据权利要求13所述的系统，其中，所述第二比特率视频数 据比特流用于马赛克视图。
20、 根据权利要求13所述的系统，还包括 用于确定视频劣化事件开始的装置；以及 用于确定所述视频劣化事件结束的装置。
21、 根据权利要求20所述的系统，还包括-用于在存储器存储单元中进行向后搜索并在输入第二比特率视 频数据比特流中进行向前搜索，以定位在所述视频劣化事件开始之前 的第一I帧的装置；以及用于在所述存储器存储单元和所述输入第二比特率视频数据比 特流之一中搜索在所述视频劣化事件结束之后的第一I帧的装置。
22、 根据权利要求21所述的系统，其中，所述用于复用的装置是 用于选择性地复用与所述第一比特率视频数据比特流的丢失的帧和损 坏的帧之一相对应的所述第二比特率视频数据比特流的图像组的装 置。
23、 根据权利要求22所述的系统，其中，所述第二比特率视频数 据比特流的所述图像组的分辨率小于或等于所述第一比特率视频数据 比特流的所述图像组的分辨率。
24、 一种用于从数据丢失中恢复的装置，包括 用于接收组播组中复用的视频数据比特流的装置； 用于将所述接收到的视频数据比特流解复用为第一比特率视频数据比特流和第二比特率视频数据比特流的装置，所述第二比特率视 频数据比特流包括与所述第一比特率视频数据比特流的丢失的帧和损坏的帧之一相对应的帧，其中，所述第二比特率视频数据比特流具有比所述第一比特率视频数据比特流低的比特率；以及用于对来自所述第二比特率视频数据比特流的帧进行解码以替 换所述第一比特率视频数据比特流的所述丢失的帧和损坏帧的之一的 装置。
全文摘要
提出了一种从数据丢失中恢复的系统和方法，包括监控第一比特率视频数据比特流，以确定是否存在帧丢失或损坏；复用第二比特率视频数据比特流的解码参数、第二比特率视频数据比特流以及第一比特率视频数据比特流；如果存在帧丢失或损坏，则对第一比特率视频数据比特流和第二比特率视频数据比特流进行解复用；对第一比特率视频数据比特流进行解码；从第一比特率视频数据比特流中移除损坏的帧；对第二比特率视频数据比特流进行解码；如果所述处理后的第二比特率视频数据比特流具有比所述处理后的第一比特率视频数据比特流低的分辨率，则对来自所述处理后的第二比特率视频数据比特流的帧进行上采样；以及将来第二比特率视频数据比特流的帧与来自第一比特率视频数据比特流的帧合并。
文档编号H04N7/66GK101584221SQ200680056746
公开日2009年11月18日 申请日期2006年12月20日 优先权日2006年12月20日
发明者戴季旺, 约翰·强·李, 艾伦·杰·施坦因 申请人:汤姆森研发基金公司