专利名称：视频恢复系统和方法
发明
背景技术：
领域本发明总的涉及编码视频数据的电子通信，更具体地，涉及在设备之间恢复视频数据的系统和方法。
相关技术随着对于利用无线视频应用(例如，视频电话、蜂窝设备、个人数字助理等)的设备的要求不断增强，对于提供能够有效地传送编码视频数据的系统的需要变得越来越重要。在其中定期地出现传输错误的无线和其他易失性(Volatile)通信系统中，数据丢失是不可避免的问题。例如，在涉及蜂窝设备的移动应用中，当接收机临时位于其中有山或其他地理特性干扰信号接收的位置上时，会出现衰落条件。在其他的情形下，不可预见的事件(诸如飞机飞过头顶)会干扰和恶化信号。
这样的通信错误常常严重到足以造成许多数据比特丢失(称为“突发误码”)。这些错误可能导致一个或多个视频数据帧丢失。不幸地，在典型的编码视频应用中，这样的错误不单使得接收设备失去丢失的帧，还可能导致随后的视频数据帧的丢失，即使随后的帧完整无损地被接收。
例如，在诸如MPEG-2视频应用那样的编码方案中，视频帧通过使用在帧之间的相互依赖性被编码。因此，如果预测帧(例如，P帧)被丢失，则任何直接或间接地依赖于丢失的帧的随后的帧不能被解码，所以，它也将被丢失。因此，如果在发送到接收机的时间期间P帧丢失，则直到下一个I帧之前所接收的所有的以后的P帧都将是不能解码的。假定P帧典型地是以链状出现的，存在丢失多个P帧的高的或然率。取决于P帧的链的长度，丢失的视频帧数据的量可以是相当大的。
假定高的错误的或然率被引入到无线(和其他易失性)通信信道，以及编码的视频帧的互相依赖性质，因此需要一种能够有效地恢复丢失的视频数据的系统和方法。
发明概要本发明通过提供恢复系统，它识别在发射机与视频解码设备之间的恶化的信号条件，然后把P帧变换成I帧，以避免由视频解码设备造成进一步的丢失，从而解决上述的问题以及其他问题。第一方面，本发明包括视频通信系统，它包括发射机，用于发送编码视频数据到设备；接收机，用于接收来自设备的返回信号；信号分析系统，用于分析返回的信号，以确定在发射机与该设备之间是否存在恶化信号条件；以及恢复系统，如果存在恶化信号条件，则恢复系统把编码视频数据中的预测的视频帧变换成帧内编码的视频帧。
第二方面，本发明提供被存储在可记录的媒体上的程序产品，当它被执行时，它提供用于恢复从发射机发送到设备的编码视频数据的系统，其中程序产品包括用于分析来自设备的返回信号以确定在发射机与该设备之间是否存在恶化信号条件的功能；以及如果存在恶化信号条件则用于把编码视频数据中的预测的视频帧变换成帧内编码的视频帧的功能。
第三方面，本发明提供在视频通信系统中用于恢复丢失的视频数据的方法，包括以下步骤把编码视频数据从发射机发送到设备；接收来自设备的返回信号；分析返回信号，以确定在发射机与该设备之间是否存在恶化信号条件；以及如果存在恶化信号条件，则把编码视频数据中的预测的视频帧变换成帧内编码的视频帧。
第四方面，本发明提供在把编码视频的帧从第一设备发送到第二设备时使用的视频恢复系统，该系统包括用于确定在第一设备与第二设备之间是否存在恶化信号条件的系统；以及如果存在恶化信号条件则用于发送帧内编码的视频帧而不发送具有预测单元的视频帧的系统。
附图简述此后将结合附图描述本发明的优选的示例性实施例，图上相同的符号表示相同的单元，以及
图1显示具有被引入到基站的恢复系统的视频通信系统。
图2显示具有远程地放置在网络上的恢复系统的视频通信系统。
发明详细描述现在参照附图，图1和2显示具有对于被发送到无线设备16的编码视频数据的数据恢复能力的视频通信系统的两个实施例。无线设备16可包括任何类型的、能够接收和显示编码视频数据的设备，诸如视频电话、蜂窝设备、移动设备、个人数字助理、个人计算机、电视机等等。无线设备16包括通信系统21，用于接收发送的视频数据13；解码器19，用于解码视频数据；以及显示器17，用于显示解码的视频数据。发送的视频数据13可包括任何类型的、利用预测的视频帧的编码视频数据(例如，MPEG-2、MPEG-4、H.261等等)。解码器19可以是MPEG解码器。应当看到，虽然优选实施例是参照无线通信系统描述的，但本发明可应用于任何类型的、通过易失性通信网络(例如，互联网)传送编码数据的通信系统。
参照图1，视频通信系统的第一实施例被显示为具有基站11，它包括恢复系统10；发射机12，用于发送编码数据18；以及接收机14，用于接收由无线设备16的通信系统21产生的返回信号15。基站11可包括能够发送编码信号的任何系统，诸如视频电话、蜂窝设备、广播系统、视频服务器、卫星系统等等。
在正常的工作过程中，基站11使得编码数据18由发射机12发送到无线设备16，在无线设备16中数据被解码和被显示。视频数据可以是任何格式的，例如，流动的视频广播、预先记录的节目、多媒体数据等等。在视频数据被无线设备16接收的时间期间，无线设备16的通信系统21把返回信号15发回基站11，该信号由接收机14接收。返回信号15可包括任何类型的信号，它把在无线设备16与基站11之间的信号条件通知基站。例如，无线设备16可重复发送代码或比特序列，它把通信链路的状态连续地通知基站。替换地，返回信号15可包括在无线设备16无法接收来自基站11的信号的任何时间被发送的错误消息。在涉及连续双向视频通信的再一个情形下，返回信号15可包括或被嵌入在视频数据中，它被发回到基站11。
一旦被接收，返回信号15被传送到恢复系统10的信号分析系统22，它分析返回信号，以确定在无线设备16与基站11之间是否存在丢失条件。丢失条件可以作为丢失信号、恶化的信号、衰落条件、错误接收的数据等等被检测。信号分析系统22可以根据任何准则作出它的判决，例如，如果返回信号功率电平低于预定的门限值，如果没有接收到返回的比特序列，等等。如果对于从无线设备16发送到基站11的数据检测到丢失条件，则本实施例作出结论，对于从基站11发送到无线设备16的数据也存在丢失条件。根据这个决定，恢复系统28可以识别没有被无线设备16接收的数据的任何帧。
如上所述，如果视频数据的P帧在发送到无线设备16期间被丢失，则所有以后的P帧在接收到下一个I帧之前，不能由无线设备16进行解码。所以，所有的这些以后的P帧必须被无线设备16丢弃。恢复系统10改变编码数据按以下描述的方式被发送，以避免这样的丢失。
具体地，如果检测到丢失条件，则信息被传送到恢复控制28。恢复控制28然后自动地用I帧替代在编码数据18内将来的(即，马上要被发送的)P帧。将被替代的、将来的P帧可以通过估计需要发送替代的帧的比特数目和在解码器中可提供的缓存空间的数量而被确定。这种替代确保整个P帧的链将不丢失。恢复控制28可以以变化的智能(intelligence)量而被实施。例如，恢复控制可以在任何时间检测到丢失时只选择下一个可提供的P帧变换到I帧。替换地，恢复控制28可检验当前的帧数据流，以确定这样的替换是否值得(例如，如果I帧反正是要被发送的，则不受替换步骤打扰)。
把P帧变换到I帧的处理过程由P到I变换器24操纵。P到I变换器24可以以技术上已知的任何方式被实施，它典型地包括促进P帧到I帧的转换的解码器26。变换处理过程需要I和P帧的连续的正常的解码。当P帧被变换成I帧时，去除它对于先前的I或P帧的依赖性。相应的解码的帧通过施加DCT和适当的VLC而被处理。然而，关键是，新的I帧与解码的P帧没有太多不同，所以，解码器可恢复其余的帧而质量上没有大的损失。虽然这样的变换可以是复杂的工作，但只有在知道无线设备16正在从丢失条件进行恢复时才需要发送变换的I帧。
应当看到，变换处理可以瞄准可被编码的视频序列内任何的或所有的层，诸如由MPEG-2和MPEG-4规定的基本和增强的层，而且，本发明和变换处理可以被施加到使用局部内部刷新方法被编码的视频数据，其中预测帧没有被明确规定，但预测的单元可以在某些或所有的帧的一部分中被使用。在这样的系统中，任何一个包含某些预测单元的帧可以不用任何预测单元地被改变和被编码，它是内部帧。
现在参照图2，图上显示视频通信系统的第二实施例。类似于图1所示的实施例，图2所示的实施例包括基站30，它具有发射机52，用于发送编码的视频数据到无线设备16，还具有接收机54，用于接收来自无线设备16的返回信号15。发射机52、接收机54、和无线设备16提供与图1描述的相同的功能。然而，图2的实施例的不同处在于，恢复系统被分布在基站30与网络服务器40之间。
在这种情形下，视频数据48将会(1)由位于网络服务器40的编码器44编码；(2)通过网络38被转发到基站30；以及被发射机52发送到无线设备16。类似于图1描述的情形，丢失条件可以由接收机54与信号分析系统36接收和识别。然而，在丢失条件的事件中，信息被转发到本地控制系统34，它通过网络38把信息转发到网络服务器40。网络控制系统46然后利用该信息，以及可以使得要一个马上发送的P帧在网络服务器40用I帧来替代。即，P到I变换器42把P帧变换成I帧，然后，把变换的帧插入到要被发送到基站30的帧的数据流。
应当看到，这里描述的系统、功能、方法、和模块可以用硬件、软件、或硬件与软件的组合来实施。它们可以由任何类型的计算机系统或适合于实现这里描述的方法的其他设备实施。硬件和软件的典型的组合可以是具有计算机程序的通用计算机系统，计算机程序在被装载和被执行时控制计算机系统，以使得计算机系统执行这里描述的方法。替换地，可以利用包含用于实行本发明的一个或多个功能性任务的专门化的硬件的特殊用途计算机。本发明也可被嵌入计算机程序产品中，计算机程序产品包括能够实施这里描述的方法和功能的所有的特性，以及计算机程序产品在被装载到计算机系统时能够实行这些方法和功能。计算机程序、软件程序、程序、程序产品、或软件在本文中，是指以任何语言、代码或符号对于一组指令的任何表达方式，打算使得具有信息处理能力的系统直接地或在以下操作的任一项或二项以后执行特定的功能，这些操作是(a)变换到另一个语言、代码或符号；和/或(b)以不同的材料形式重现。
本发明的优选实施例的以上的说明是为了显示和说明给出的。它们不打算是无穷多举的或把本发明限制于揭示的精确的形式，显然，从以上的教导看来，许多修正和改变是有可能的。对于本领域技术人员来说很明显的、这样的修正和改变打算被包括在如附属权利要求规定的、本发明的范围内。
权利要求
1.一种视频通信系统，包括发射机[12、52]，用于发送编码视频数据[18、48]到设备[16]；接收机[14、54]，用于接收来自设备[16]的返回信号[15]；信号分析系统[22、36]，用于分析返回的信号[15]，以确定在发射机[12、52]与该设备[16]之间是否存在恶化信号条件；以及恢复系统[10]，如果存在恶化信号条件，则该恢复系统把编码视频数据[18、48]中的预测的视频帧变换成帧内编码的视频帧。
2.如权利要求1的视频通信系统，其中编码视频数据[18，48]在MPEG格式下被编码，预测视频帧包括P帧，以及帧内编码的视频帧包括I帧。
3.如权利要求1的视频通信系统，其中设备[16]包括蜂窝设备。
4.如权利要求1的视频通信系统，其中设备[16]包括个人数字助理。
5.如权利要求1的视频通信系统，其中如果返回信号的强度降低到低于预定的门限值，则确定为存在恶化信号条件。
6.如权利要求1的视频通信系统，其中如果返回信号[15]包括来自设备的错误消息，则确定为存在恶化信号条件。
7.如权利要求1的视频通信系统，其中恢复系统[10]是通过网络[38]可远程接入的。
8.如权利要求1的视频通信系统，其中用于把预测视频帧变换成帧内编码的视频帧的系统[24、42]可工作在一个或多个单独的层上。
9.如权利要求1的视频通信系统，其中预测视频帧通过使用局部内部刷新方法被编码。
10.一种被存储在可记录的媒体上的程序产品，当它被执行时，它提供用于恢复从发射机[12、52]发送到设备[16]的编码视频数据[18、48]的系统，其中程序产品包括用于分析来自设备[16]的返回信号[15]，以确定在发射机[12、52]与该设备[16]之间是否存在恶化信号条件的功能；以及如果存在恶化信号条件，用于把编码视频数据中的预测的视频帧变换成帧内编码的视频帧的功能。
11.一种在视频通信系统中用于恢复丢失的视频数据的方法，包括以下步骤把编码视频数据[18、48]从发射机[12、52]发送到设备[16]；接收来自设备[16]的返回信号[15]；分析返回信号[15]，以确定在发射机[12、52]与该设备[16]之间是否存在恶化信号条件；以及如果存在恶化信号条件，则把编码视频数据中的预测的视频帧变换成帧内编码的视频帧。
12.如权利要求11的方法，其中如果返回信号[15]的强度降低到低于预定的门限值，则存在恶化信号条件。
13.如权利要求11的方法，其中如果返回信号[15]包括错误消息，则存在恶化信号条件。
全文摘要
用于视频通信系统的恢复系统和方法。视频通信系统包括发射机，用于把编码视频数据发送到设备；接收机，用于接收从设备返回的信号；信号分析系统，用于分析返回的信号，以确定在发射机与该设备之间是否存在恶化信号条件；以及恢复系统，如果存在恶化信号条件，则恢复系统把编码视频数据中的预测的视频帧变换成帧内编码的视频帧。
文档编号H04N7/32GK1555653SQ02818216
公开日2004年12月15日 申请日期2002年9月4日 优先权日2001年9月18日
发明者R·卡卢里, R 卡卢里 申请人:皇家菲利浦电子有限公司