加速中断后的可视电话的视频恢复的制作方法

专利名称：加速中断后的可视电话的视频恢复的制作方法
技术领域：
本发明涉及一种用于可视电话通信的恢复和再同步的系统和方 法、硬件和/或软件中方法的实现以及包括在硬件和/或软件中实现所 述方法的相应移动终端。
具体地说，本发明涉及数据网络中切换之后对正在进行的可视 电话通信连接或会话的恢复和再同步。
背景技术：
在本文中，可视电话(VT)通常涉及两个或更多个终端用户之
间的全双工、实时音频4见频通信，其中通信包含音频(例如语音)
和视频、或音频、数据和视频的组合。
过去，所谓的可视会议被限制在用于基于数据包的多媒体通信
系统的H.323协议，基本上是由国际电信联盟(ITU)电信标准化部 (ITU-T)定义的协议集，用于基于数据网络(例如因特网)的有关 任何数据包的音频-视频通信会话，其中使用因特网协议(IP)的语 音传输也被称为IP语音(或縮写为VoIP)。除了语音应用之外，H.323 还结合ITU-T的T.120系列标准提供用于视频通信和数据协作的机 审U。简言之，H.323规定了如何能够借助基本的三个主要步骤在IP 网络上实现实时服务，这三个主要步骤是代理(agent)请求接入 H.323域的符合H.225协议的信号发送；用于呼叫建立的符合H.245 协议的包括待使用的媒体流的信号发送；以及最后的使用实时协议 (RTP)的数据传送，所述实时协议是一种定义了管理多媒体数据的 实时传输的应用方法的因特网协议标准。
符合H.323架构的部件是(多个)终端(T)、(多个)网关(GW)、 (多个)网守(GK)以及用于建立多点会议的(多个)多点控制单 元(MCU)。终端是指每个通信连接的终端设备，其中可以提供与其他H.323终端、网关或多点控制单元的实时双路通信。网关用于建 立H.323网络中的(多个)终端与属于使用不同协议栈的网络(诸如 公共交换电话网络(PSTN))的终端之间的连接。网守负责电话号 码与IP地址之间的变换、管理带宽并且提供用于终端登记和验证的 机制。
通常，在H.323架构中存在五种类型的信息交换，即数字化的 音频(例如，语音或话音)、数字化的视频、数据、通信控制、对连 接和会话的控制，其中本文主要关注的是可视电话中的音频和视频的
^i入 ^口 口 。
在H.323协议集中所包含的协议中，存在专用于视频处理的协 议，例如H.261，其包含对Px64kps的视听服务的视频编解码，以及 H.263，其涉及用于低比特率通信的视频编码。现在最常用的视频编 解码是H.263及其后续的H.264/MPEG-4 AVC。
在可视电话中，被传送的视频数据由一系列图像组成，其中单 个图像被表示为"帧"。为了减小待传送的视频数据量，使用三种主 要类型的编码帧。首先，I帧主要是对静止图像进行编码的一种帧， 因此其可以单独被解码从而得到完整的静止图像。其次，P帧是对与 一个或多个前面的(多个)I帧或(多个)P帧的差值进行编码的帧。 第三，另一帧类型是B帧，是对其与前面的I帧或P帧以及与后面 的I帧或P帧的差值进行编码的帧。由于P帧和B帧的编码都是基 于差值的编码，因此，被称为预测视频编码，其一方面通过消除视频 图像序列中的时间冗余度来提供数据压縮。然而，另一方面，在视频 数据的传输期间发生干扰的情况下，也成为质量方面的一个弱点。
可视电话所使用的另 一种协议是H.324 。 H.324的稍加修改的版 本(也被称为3G-324M并且已经由第三代合作伙伴计划(3GPP)定 义)被用于允许视频呼叫的蜂窝电话。现在的典型用途是用于基于分 组的通用移动通信系统(UMTS)的数据网络，诸如频分复用(FDD)、 时分复用(TDD)和低码片速率时分复用(LCR-TDD)以及其他的 UMTS实现)。该标准包括几个子协议，其用于处理语音、视频、用 户和控制数据的多路复用和多路分离(参见H.223协议)以及带内呼叫控制(参见H.245协议)。
由于涉及移动可视电话，所以术语"移动"表示存在通过无线 链路或无线连接所连接的至少一个移动终端。因此，在视频比特流中 可能产生由干扰所引起的误差。如上所述，用户很容易注意到音频和 视频中断和/或恶化。因此，当恶化持续几秒钟时，用户所感受的视 频质量可能明显下降，这取决于传输I帧的频率。然而，由于I帧比
B帧或P帧需要更大的带宽，所以使用更高频率传输的I帧是不被希 望的。
例如，UMTS环境中的可视电话依赖于无线链路控制(RLC) 层没有中继的64kbps的同步承载，也被称为RLC透明模式 (RLC-TM) 。 UMTS承载支持每20ms发送和接收两倍80字节的信 号序列。对于每个信号序列来说，可能存在一个与之前的信号序列无 关的语音帧以及视频帧的一部分。语音帧在20ms步长中相互独立， 这是因为所述语音编解码是伪固定语音方案的，其对于自适应多速率 (AMR)编码来说是20ms步长而对于符合G.723.1协议的语音编码 来说是30ms步长。可视电话承载依赖于UMTS协议栈，而可视电话 会话依赖于H.245协议的可视电话协议栈，这两个协议是相互独立 的。通常H.245栈对于UMTS协议栈来说是透明的。
H.245协议栈通过用于打开和关闭用于音频、视频和数据、性能 交换、控制和指示的逻辑信道(用于数据传输的端点之间的多路复用 路径)的消息和程序来控制多媒体通信。在通过呼叫信号发送程序建 立连接之后，使用H.245呼叫控制协议来解析呼叫媒体类型并且在能 够建立呼叫之前建立媒体流。通过H.245协议，还可以在建立呼叫之 后来管理呼叫。存在几种H.245协议提供的逻辑信道程序，其用于打 开和关闭逻辑信道。而且，H.245另外还提供了 "视频快速更新"命 令，对应于下文所述"VideoFastUpdate"请求并且在数据丢失的情况 下用于请求视频帧的更新。
如上所述，视频帧可能依赖于之前的除I帧之外的视频帧。在 RAT (无线接入技术)间的UMTS硬切换期间，可能发生的是承载 的中断时间大于100ms。在某些情况下，在无线链路中断和无线链路
8故障的情况下，承载的中断可能持续几秒钟。而且，只要网络认为承 载是接通的，远程(即，远距离的)承载终端就意识不到该中断。而 且，通常当承载恢复时，正在进行的可视电话连接中没有一个通信方 意识到该中断时间。
艮P，由于上述承载比特速率限制的原因，不经常产生I帧，通 常在承载中断(例如由于切换引起的)的情况下，在完成承载中断之 后，可能需要一些时间来恢复正常的视频。

发明内容
因此，本发明的目的在于加速中断后对正在进行的可视电话通 信的视频恢复，即再同步。
具体地说，本发明的目的在于提供一种方法、系统和实现该方 法的移动终端，当移动终端所使用的无线通信连接发生中断时，其用 于提供对正在进行的可视电话通信的更好的再同步。
本发明的另一目的在于，当移动终端所使用的无线通信连接发 生中断时，减小正在进行的可视电话通信中的值得注意的中断时间。
本发明的又一目的在于在中断之后提供感觉到的视频质量的更 快速的恢复。
此外，为了实现本发明的至少一个目的，本发明提供了一种根 据权利要求1所述的实现移动可视电话功能的系统，该系统用于提供 可视电话通信。
根据本发明的第一方面，提供了一种用于实现移动可视电话功 能的系统，该系统通过数据网络提供可视电话通信，其中该系统包括 无线接入装置，用于连接到数据网络的无线连接并且通过数据网络与 至少一个远程终端进行通信，并且其中该系统还包括
连接到解码装置和编码装置的可视电话控制装置，该解码装置 用于对从远程终端接收的视频数据进行解码，该编码装置用于对将要 发送到远程终端的视频数据进行编码；
连接到无线接入装置的检测装置，其用于检测现行的(例如当 前的)无线接入连接的中断，其中将该检测装置配置为向可视电话控制装置通知无线接入连接的中断；并且其中将可视电话控制装置配置 为在无线接入连接恢复之后向远程终端发送请求消息，用于通过远程 终端来产生独立的编码视频帧，从而在包含该系统的移动终端实现可 视电话通信的再同步。
在一个实施例中，将该系统实现为芯片组，该芯片组可以是一 个或其间互连的几个芯片。而且，注意，可以采用软件控制专用硬件 部件来实现该系统的全部特定功能。而且，注意，术语"芯片组"还 可以包括以下实施例，其中在一个单独的芯片中实现全部功能。
根据本发明另一方面，为了实现本发明的至少一个目的，提供 了一种根据权利要求11所述的可视电话通信的再同步方法。
因此，提供了一种在通过数据网络进行通信的可视电话代理之 间发生中断之后对可视电话通信进行再同步的方法，其中可视电话代 理中的一个是近程代理，该代理是具有连接到数据网络的无线接入的 移动代理并且与至少一个远程代理进行通信，其中该方法包括
近程代理对可视电话通信的中断进行检测，并且在可视电话连 接恢复之后请求远程代理产生可视电话通信的独立的编码视频帧，以 用于在近程代理处对可视电话通信的再同步。
总之，本发明提出了一种在无线连接协议栈(通过数据核心网 络对近程代理的无线连接进行控制)与可视电话协议栈(负责对近程 代理和远程代理之间正在进行的可视电话通信的音频和视频数据进 行处理)之间实现的机制，使得近程可视电话代理意识到中断，或者 更一般来说，意识到所使用的连接到数据网络的无线连接的可用性。 在本文中，代理对可视电话连接中断的检测包括由近程代理检测所使 用的连接到数据网络的无线接入连接的承载(例如，UMTS承载)的 存在。
注意，请求产生独立的编码视频帧不应当理解为是系统性的。 换言之，这样的请求可以基于用于触发该请求的某个算法，例如，可 以考虑解码器误差检测或者中断的持续时间。
由于本发明涉及数据网络方面，所以不用说，这可以应用于电 路交换或分组交换网络以及它们的结合。例如，在某个实施例中，使用UMTS网络作为无线接入网络的示例性实施例，其中无线接入协
议栈是UMTS协议栈。在此情况下，即，在UMTS网络的示例中， 连接到数据网络的无线连接或链接对应于UMTS承载。核心网络可 以是基于诸如因特网之类的网络的互连网协议(IP)。
在一个实施例中，可视电话控制装置由可视电话控制器实现。 在一个实施例中，无线接入装置是移动终端的无线接入单元。在一个 实施例中，解码装置和编码装置分别是解码器和编码器。然而，注意， 这些功能可以由单独的专用芯片或者由可编程硬件和软件及其它们 的任意组合来实现。在一个实施例中，用于检测现行的无线接入连接 的中断的检测装置是检测器，该检测器被配置用于检测现行的(例如 当前的)无线接入连接的中断。
在所提出的方案的一个典型应用中，近程代理从连接到数据网 络的第一无线接入连接到另一无线接入连接的切换造成了可视电话 通信的中断。所提出的方案的另一个或其他的应用是由于不良无线条 件或由于无线链路故障造成的中断。
在另一个实施例中，该方法还包括近程代理响应于检测到的 中断，代理停止近程代理处的可视电话通信的当前显示的帧的更新， 从而避免由于丢帧造成的当前显示的视频图像的恶化。换言之，这可 以通过具有对相同帧进行解码从而保持显示画面不变的解码器来实 现。因此，"保持不变的图像"可以被理解成当近程代理显现从远程 代理接收到的最后一个正确的视频帧时在显示器上再现静止图像。
在又一个实施例中，该方法还可以包括近程代理响应于检测
到的中断，代理以保持视频编码器装置(诸如在专用硬件芯片实现的 或通过近程代理的软件例程实现的视频编码器)。在本文中，"编码 器装置的保持"被理解为暂停或停止对相机装置拍摄的图像进行编 码，这是因为由于中断，由此所产生的视频帧不能被发送到远程可视 电话代理并且只能填充发送机视频缓冲区作为等待的视频帧，这将在 连接恢复之后产生另外的延迟。然而，编码器仍然进行编码也是可行 的。
在另一个有利的实施例中，该方法还包括，在无线接入连接的
11承载恢复之后，在近程代理处产生独立的编码视频帧，并且将独立的 编码视频帧发送到远程代理，用于对远程代理处的可视电话通信进行 再同步。由于近程代理意识到这种情况，通过该措施可以减小远程代 理处正在进行的可视电话通信中可感知的中断时间。
在又一个有利的实施例中，该方法还包括，近程代理响应于检
测到的中断，清空要从近程代理传送到远程代理的当前等待的可视电 话帧。在一个实施例中，可以将等待的帧存储在发送机视频缓冲区中， 即将在缓冲区中排队并且等待被发送的等待帧清除或丢弃，这避免了 在无线连接恢复之后发送这种帧所需时间所导致的进一步延迟，这是 因为这些帧在该时间点处已经是过期的帧。
对于近程代理请求远程代理产生用于再同步的独立的编码帧， 这可以通过在可视电话通信恢复之后从近程代理发送消息或命令(诸
如"VideoFastUpdate" -H.245)到远程代理来实现。
因此，在帧编码和解码的情况中，大多数视频通信协议提供了 包括被称为"VideoFastUpdate"的视频恢复机制的命令和控制协议。 这样的"VideoFastUpdate"请求告知远程代理(例如，终端或服务器) 传送视频数据，以将下一视频帧编码为I帧，即仅根据当前视频图像 的内容来对下一帧进行编码。
对于本发明所提出的系统，在一个优选实施例中，该系统包括 与视频相机装置(例如视频相机)进行连接的相机接口，其在一个实 施例中包括数字图像传感器和各个光学器件，用于接收视频相机装置 (例如，来自用户)所拍摄的在可视电话通信中作为视频数据将要在 移动终端发送的连续图像。
因此，在一个实施例中，该系统的可视电话控制装置被配置成 在可视电话连接恢复之后将独立的编码视频帧从视频相机装置所拍 摄的当前图像发送到远程终端，以用于远程终端处的可视电话通信的 再同步。
如结合所述方法的论述，该系统可以包括存储装置或存储器， 例如发送机缓冲区的形式，其用于存储将要发送到可视电话通信的远 程终端的正在进行的可视电话通信的等待帧，并且其中可视电话控制装置还被配置成在检测到连接到数据网络的无线接入连接的中断时， 清空(即清空存储器装置)或者至少避免等待帧的使用。
而且，在优选实施例中，该系统包括与显示器或显示装置(诸
如LCD或TFT类型的数字显示器)进行连接的显示器接口，其用于
连接到视频解码装置并且用于提供待显示的经过解码的可视电话数 据，即在远程终端处获得的可视电话通信的图像。因此，可视电话控 制装置还可以配置成在对连接到数据网络的无线接入连接的中断进 行检测时通知或通过显示器接口控制显示装置停止对可视电话通信 当前显示的视频图像进行刷新，即保持显示静止图像。在特定实施例 中，该特征通过不刷新显示器缓冲区来实现。
因此，基本构思是通知可视电话代理例如由切换(例如由不同
无线网络控制器所控制的无线连接的两个无线小区之间的RAT间的 UMTS切换)所引起的无线连接(例如UMTS承载)的不存在，从 而使可视电话代理能保持当前显示的视频图像不变。在可视电话连接 恢复之后，即无线连接(例如UMTS承载)重新建立之后，近程可 视电话代理可以使其编码器产生当前的视频图像的独立的编码帧，即 H.32x协议族的术语中的I帧，这使得远程可视电话代理的快速再同 步可行。
而且，近程可视电话代理可以请求远程可视电话代理来产生远 程代理的当前视频图像的独立的编码帧(即H.32x协议族的术语中的 I帧)，以用于快速再同步。这可以分别通过例如在H.245协议中可 用的"VideoFastUpdate"消息或命令来实现。
换言之， 一个主要方面在于在通信的代理(即，通信的可视电 话代理)之间快速视频更新功能的使用或应用。然而，注意，这可以 通过在可视电话控件与物理网络连接的控件(诸如UMTS承载控件) 之间交换与所使用的物理通信连接(诸如UMTS承载)的可用性有 关的信息来实现，其中可视电话控件和物理连接控件是两个不同的实 体。
这种"VideoFastUpdate"请求通知传送视频数据的终端(或服 务器)将下一视频帧编码为I帧，即仅根据当前的视频帧的内容来对下一帧进行编码，这使得视频质量的快速恢复可行。因此，借助
"VideoFastUpdate "可以将任何中断限制为极短的时间段。恢复正在
进行的视频通信所需的时间越短，将引起所涉及用户的注意的就少。 参考下文所述的实施例加以说明，本发明的这些和其他方面将 变得明显。
应该理解，该方案基本可以用于任何类型的数据网络，如电路 交换网络、分组交换网络或它们的任意组合。因此，本发明可以将兼 容的用户设备用作支持基于电路交换(CS)禾B/分组交换(PS)连接 的可视电话的终端或移动电话。


下面将参考附图所示的实施例以非限定示例的方式具体描述本 发明。
图1示出了用于通过至少一方是移动终端的数据网络进行的可 视电话通信的一般网络架构的简图2以示例的方式示意性地示出了符合H.32x协议族的可视电 话协议栈，该协议栈建立在终端Tl和T2的接线端侧的网络层上的 UMTS协议栈之上；
图3示出了根据本发明的优选实施例和典型应用场景的工作示 例的示意流程图；以及
图4示出了包括根据本发明的系统的终端的示意框图。
这些附图是示意性地绘制，而没有按真实比例绘制，并且不同 附图中的相同标号(如果存在)指示对应的元件。对于本领域技术人 员来说明显的是，在不脱离本发明实际发明构思的情况下，本发明的 替代而等效的实施例是可行的，并且本发明的范围仅由权利要求所限 定。
具体实施例方式
图1示出了用于通过至少一方是移动终端的数据网络进行的可 视电话通信的一般网络架构的简图。如以上所强调的，在下文中，符合UMTS标准的网络被用作无线接入网络的示例，为至少一个移动
终端提供接入核心网络(可以是因特网)的机会。实质上，可以通过
电路交换连接(例如通过ISDN (综合业务数字网))或者通过分组 交换连接(例如通过因特网)或者通过它们的结合来连接通信终端。
换言之，在此仅为说明的目的描述这些方法以及对相关标准的 现有协议的参考。所述的方法是一般性的，并且应用于可视电话通信 的多媒体终端中的视频处理。相关领域的技术人员会认识到可以在不 脱离由所附权利要求所限定的本发明的情况下使用替代并等效的步 骤、配置和布置。
因此，在图1中，存在移动终端T1，其与另一移动终端T2正 在进行可视电话通信。两个终端Tl和T2在UMTS环境的中是被称 为符合ITU-T所公布的H.32x协议族的终端。换言之，这些终端能 够支持顶层的各个多媒体应用运行H.32x协议栈。
在本文中，H.32x协议族的主要目的是能够使多媒体终端互通， 其可以通过核心网络CN (诸如电路交换网络(SCN)、无线网络、 B-ISDN网络的H.310或H.321终端、ISDN网络的H.320终端或局 域网的H.322终端)连接到不同的网络类型。
在图1中，移动终端T1通过UMTS接入网的第一无线小区C1 连接，无线小区Cl由通过接口 luBl与第一无线网络控制器RNC1 连接的第一基站或节点B Nl提供服务。RNC1提供了到核心网络CN 的连接。通过核心网络CN的虚线示意性地表示通过通信终端Tl和 T 2之间的网络所选择的视频通信数据的路径。
移动终端T2也通过UMTS接入网络连接到核心网络CN，该 UMTS接入网络包括由基站N4提供服务的无线小区C4，其受核心 网络CN的控制并且通过无线网络控制器RNC3连接到核心网络CN。
在图1中示出了网关GW，其用于连接两个不同的网络， 一般 描述为互通网络IWN。例如，H.32x网关GW可以提供H.32x网络与 非H.32x网络N2之间的连通性。例如，网关GW连接并提供H.324 终端Tl与连接到电路交换网络(SCN) N2的H.323可视电话终端 T3之间的通信，所述电路交换网络包括所有交换电话网络，诸如公
15共交换电话网络(PSTN)。简言之，通过转变呼叫建立和释放的协 议、变换不同网络之间的媒体格式并且在经由网关GW连接的网络 之间传输信息来实现不同网络的连通性。然而，对于在如图1所示的 H.32x网络环境下的两个终端Tl和T2之间的通信来说，不需要网关 GW。
而且在图1中示出了网守GK，其可以是H.32x网络中所有呼叫 的联络点。尽管网守GK并非强制性的需要，但是GK可以提供重要 的服务，诸如寻址、终端和网关的授权和验证、带宽管理、结算、计 费以及收费。而且，网守GK还可以提供呼叫路径选择服务。
而且，在图1中还示出了多点控制单元MCU，其可以提供对三 个或更多个H.32x终端的会议的支持，例如终端T1、 T2和T3之间 的会议通信。参与会议的所有终端建立与MCU的连接，该MCU管 理会议资源、在终端之间协调，以确定使用的音频或视频编码器/解 码器(CODEC)，并且可以处理媒体流。值得注意的是，网守GK、 网关GW和MCU是逻辑上独立的H.32x标准的部件，而原则上可以 实现为单个物理装置。
由于在该示例中的终端Tl和T2被假定为移动终端，所以在切 换事件中可能会中断两个终端Tl和T2之间正在进行的可视电话通 信。这在图1中通过终端T1沿着箭头移动到属于UMTS接入网的无 线小区C3的新位置来示出。在该新位置处，终端T1被表示为T1、
无线小区C3由节点B N3提供服务，其由核心网络CN控制并 且通过无线网络控制器RNC2连接到核心网络CN。因此，根据触发 前提实现终端Tl从RNC1控制下的节点B Nl到RNC2控制下的节 点BN3的切换，这又被称为RAT间的UMTS切换。
如上所述，在无线链路控制(RLC)层没有中继的64kbps的同 步承载上载有UMTS环境下的可视电话。UMTS承载支持每20ms发 送和接收160字节的信号序列。对于每个信号序列来说，存在与之前 的信号序列无关的一个语音帧和视频帧的一部分。语音帧在20ms步 长中相互独立。同时可视电话承载依赖于UMTS协议栈，可视电话 会话依赖于符合H.245协议的可视电话协议栈。然而，这两个协议是彼此独立的。特别地，通常H.245协议栈对于UMTS协议栈是透明 的。
如上所述，因为除了 I帧之外，可视电话通信中大多数视频帧 (即，P帧和B帧)与之前的视频帧有关。在如图1所示移动终端 Tl的RAT (无线接入技术)间的UMTS硬切换期间，可能发生承载 的中断时间在100ms以上。如上所述，在发生无线链路中断或无线 链路故障的情况下，这样的中断可能会持续几秒钟。
而且，只要承载认为UMTS网络已建立，远程承载(即，远距 离的承载)终端T2甚至不会意识到该中断。同样，当承载恢复时， 正在进行的可视电话连接中的通信终端Tl和T2均不会意识到该中 断时间。因此，由于承载比特速率限制的原因通常不产生I帧，所以 有可能需要一些时间恢复到正常的视频，例如直到每个终端Tl和T2 处显示的视频被再次同步(即，再同步)为止。
根据本发明，在UMTS协议栈与可视电话协议栈之间实现所述 机制以使得可视电话代理能意识到UMTS承载的可用性。这意味着 在移动终端T1中各个可视电话控制装置与检测装置(诸如检测器) 相连，所述检测装置用于检测UMTS承载的存在。可替换地，当无 线接入网络向终端的UMTS协议栈通知有关在进程中将要进行的切 换时，可以修改终端中的各个软件程序，从而也向可视电话协议栈通 知接下来发生的中断。
因此，可以布置终端中的可视电话装置，从而在中断开始时清 空未处理的帧并且保持视频编码器以及显示器不变。随后，在RAT 间切换之后，当UMTS承载恢复时，通过在中断完成时请求远程终 端T2处的编码器产生I帧来快速地恢复可视电话通信。为了在中断 完成时请求远程VT代理处的编码器产生I帧，可以通过H.245 "VideoFastUpdate"消息来实现。而且，终端T1还可以在切换之后 向远程终端T2发送I帧以用于相同的目的，即使得终端T2立即对 可视电话通信的视频进行再同步。
图2以示例方式示意性地示出了符合H.32x协议族的可视电话 协议栈，该协议栈建立在终端Tl和T2的接线端侧的网络层上的UMTS协议栈之上。
首先，在协议栈之上是应用层，其主要包括音频、视频以及终 端呼叫管理器应用。
而且，还提供了至少一个音频编解码器，其对来自麦克风的音
频信号进行编码以用于在传输H.32x终端上进行传输，并且对在接收 H.32x终端上所接收到的发送到扬声器的音频代码进行解码。音频通 信是H.32x标准所提供的最小业务。因此，所有H.32x终端必须支持 如在ITU-T G.711建议(64kbps的音频编码)中规定的至少一个音频 CODEC。终端也可以支持另外的音频CODEC建议，诸如G.722 (64 kbps、 56 kbps禾卩48kbps) 、 G.723.1 (5.3 kbps禾卩6.3kbps) 、 G.728 (16kbps)以及G.729 (8kbsp)。
而且，提供了至少一个视频编解码器，其对来自照相装置的视 频进行编码以用于在传输H.32x终端上进行传输，并且对在接收 H.32x终端上所接收到的发送到视频显示器的视频代码进行解码。任 何提供视频通信(即，可视电话)的H.32x终端必须支持如在ITU-T H.261/H.263建议中规定的视频编码和解码。
用于登记、许可和状态(RAS)的协议(例如H.225协议)是 端点终端T1和T2之间的协议。使用RAS协议来实现登记、许可控 制、带宽改变、状态和终端Tl和T2之间的分离程序。基本上，使 用H.225呼叫信号发送通过交换呼叫信令信道上的H.225协议消息来 建立两个H.32x端点之间的连接。
而且，使用例如符合H.245协议的控制信令来交换用于控制 H.32x端点(即，终端T1或T2)的操作的端到端控制消息。可能的 控制消息载有与其中的性能交换、用来携带媒体流的逻辑信道的打开 和关闭、流量控制消息、 一般命令和指示有关的信息。H.242还提供 了视频快速更新命令，可用来在发生数据丢失的情况下请求视频帧的 更新。
在网络层上，使用实时传输协议(RTP)，其提供了实时音频和 视频的端到端的传输服务，如在可视电话中尤其需要的那样。尽管使 用H.32x协议在基于分组的数据网络(IP网络)上传输数据，但是
18RTP通常通过用户数据报协议(UDP)传输数据。与RTP对应的协 议是实时传输控制协议(RTCP)，其提供控制服务。RTCP的主要 功能在于提供关于数据分配的质量的反馈。RTCP的其他功能包括携 带RTP源的传输层标识符，被称为规范名称，由接收机使用以同步 音频和视频。
在图2中，箭头A表示在作为网络层无线连接协议栈的UMTS 协议栈与用于对近程终端和远程终端之间正在进行的应用层上的可 视电话通信的音频和视频数据进行处理的可视电话协议栈之间的信 息交换。
此处参考图3，其示出了根据本发明的优选实施例和典型应用场 景的工作示例的示意流程图。
在图3顶部，示出了正在进行的可视电话通信中所涉及的实体。 近端终端T1包括人机接口 (MMI)、具有可视电话(VT)栈和资源 控件的可视电话近程代理、具有全部编码/解码获取和呈现性能(视 频)的功能模块、具有音频编解码和音频路径选择功能(音频)的功 能模块以及网络层协议栈(通信)，即与网络接触的全部。还存在把 网络自身描述为通信终端Tl和T2之间的通信链路的方框。最后， 存在表示作为近程终端Tl的通信配对方的远程(或远端)终端T2 的方框。因此，远程终端T2包括相应的实体MMI、 VT代理、视频、 音频和通信。
结合图3，其示出了可以采用本发明所提出的方案的UMTS环 境的特定情况，步骤S100中的情况对应于图1中的情况，其中移动 终端Tl由UMTS无线接入网络的节点B Nl提供服务。也就是说， 在步骤S100中，假定终端T1和T2正在进行可视电话通信。然而， 应当注意， 一旦建立UMTS承载，就可以在任意阶段采用本发明所 提出的方案。
如参考图1所述，终端Tl从无线小区Cl的覆盖范围移动到无 线小区C3的覆盖范围，这触发了 RAT间的UMTS硬切换。因此， 在步骤S101中，网络向近程终端Tl的UMTS协议栈发送各切换命 令。因此，事先通知UMTS协议栈关于下面的切换，或者更一般的来说，通知其关于无线链路故障或无线链路中断。然而，如上所述，
可视电话协议栈和各视频和音频应用不会意识到从终端到UMTS无
线接入网络的无线连接发生的中断。
终端T1的通信实体在步骤S102中向可视电话代理(即，终端 Tl中的可视电话应用程序)发送各中断请求，以响应于来自网络的 切换命令。因此，在步骤S103中，可以停止视频编码器的当前编码 会话，并且在步骤S104中，也可以停止音频编码器会话。
当由于RAT间的UMTS切换使得UMTS承载被中断时，近端 终端既不接收也不发送可视电话通信的任何视频或音频数据。因而， 远程终端处的远端画面被保持不变，这是因为解码器一直在对同一帧 进行解码。而且，UMTS承载缓冲区将在切换之前所接收的所有未处 理的视频和音频数据块(通常为一个块)提供给可视电话终端以用于 解码和呈现。因此，如果存在切换之前所接收的未处理的数据块，仍 然可以进行预览。
随后，在步骤S105中，根据本发明的第一方面，终端T1处运 行的可视电话代理进行更新或避免使用等待的视频帧，B卩，如果存在 等待的视频帧，则清除或清空可视电话终端中未处理的缓冲区以及图 像。换言之并且更一般来说，原理在于避免使得任意未处理的H.223 帧进入任何缓冲区(例如中间存储器或存储器，这会在连接恢复时产 生端到端的视频和/或音频的传输延迟。
在切换期间，如上所述，在通信双方(即，终端Tl和T2)之 间将不传输可视电话数据。因而，由于任何新的数据将在UMTS承 载缓冲区中排队，有利地是，可视电话终端可以确保不发送任何信息 以保持端到端的延迟尽可能的小。因此，根据本发明的一个方面的这 些缓冲区的清空意在确保清空可能的未处理缓冲区。
在步骤S200中，在UMTS应用栈中，重新建立网络连接，即终 端T1已经建立由图1的节点BN3提供服务的无线小区C3的UMTS 承载。随后，在步骤S201中，通信实体发送信号通知网络已经完成 切换。因此，在步骤S202中，向终端T1的可视电话代理发送例如 重启请求，以再次开始音频和视频的解码和编码。现在，在步骤S203中，根据本发明的主要方面，终端T1的可 视电话代理向远程终端发送H.245协议的"VideoFastUpdate "消息。 如上所述，远程终端并没有意识到由切换所引起的中断并且因此将不 会发送独立的编码图像，然而，在终端T1的显示器上的视频的快速 再同步需要该独立的编码图像。
在步骤S204中，终端Tl的可视电话代理再次开始视频编码， 例如通常从终端Tl的用户端通过终端Tl的照相装置拍摄或捕获图 像。在步骤S205中，根据本发明的第三方面，终端Tl中的可视电 话代理请求或命令其自身的视频编码器产生独立的编码图像，即I 帧。该步骤实质上对应于将"VideoFastUpdate"消息发送到远程终端 T2。紧接着切换之后在终端Tl处产生的I帧的目的在于使得远程终 端T2处的可视电话代理快速地使其显示的视频再同步。
在步骤S206中，响应于步骤S203中的"VideoFastUpdate"消 息，终端T1通过第一H.223帧接收请求的I帧，也可能包含音频帧。
在步骤S207中，发生了视频数据到发送机缓冲区的首次写入， 即根据步骤S205所产生的I帧的写入。例如，当在步骤S208中开始 音频编码和解码时，以IF2 (接口格式)的格式写第一个AMR (自 适应多速率)帧。然而，注意，音频编码和解码的分别停止(S104) 和开始(S204)对于本发明所提出的方案的实现来说不是必不可少 的部分。
最后，从步骤S300开始进行两个终端Tl和T2之间的可视电话 通信会话。
对于根据本发明的方法的实现以及实现该方法的终端的实现来 说，应当理解的是，本发明可以完全以由终端的至少一个专用处理器 执行的软件的形式来实现。也就是说，可以将根据本发明的方法的相 关方法步骤转换成各个软件代码或命令，其可以存储在终端硬件的存 储器中，该存储器可由至少一个处理器访问。因此，由处理器读取时 的软件命令将使得处理器与终端系统的相关外围设备相连结来执行 根据本发明的方法的步骤。
参考图4，其描绘了终端T的示意性框图，该终端T可以包括电路，或者可以被看作是通过硬件和软件相结合的方式对本发明所提 出的解决方案的实现。因此，图4的主要目的在于以示例的方式示出 本发明所提出的解决方案的可能的实现，不用说本领域技术人员可以 想到等效的方法。
而且，移动终端T包括由中央处理单元或处理器P实现的可视 电话电路。这样的处理器P可以是用于移动应用的专用处理器，基 本上实现了用于应用层的某些操作系统，在该应用层上可以实现如可 视电话应用的应用。
而且，所述处理器P具有通过各个接口 IV连接到实现所需的视
频编解码的专用视频芯片vc的连接。所述视频芯片vc包括连接到
终端T的显示器的显示器接口 ID，以用于再现终端的已经由视频芯 片解码的视频图像。所述视频芯片VC还具有相机接口 IC以用于连 接到终端T的视频相机，接口 IC将捕获的视频图像提供给视频芯片 IC，视频芯片根据如ITU-T H.261/H.263或H.264以及MPEG4建议 规定的至少一种视频编解码对所述视频图像进行编码。
而且，终端T包括实现所需的音频编解码(如在ITU-T G.711 建议(64kbps的音频编码)中所规定的)的专用音频芯片AC，可替 换的或附加的音频芯片AC还可以支持符合G.722 (64 kbps、 56 kbps 和48kbps) 、 G.723.1 (5.3 kbps禾B 6.3kbps) 、 G.728 (16kbps)和 G.729 (8kbps)的音频。音频芯片AC还具有麦克风接口 IM以用于 连接到终端T的麦克风M，所述接口 IM将所记录的来自终端T的用 户的诸如语音之类的音频信号提供给音频芯片AC。而且，音频芯片 AC具有连接到终端的扬声器的接口 IL以使用户听到在终端T处产 生的解码的音频数据。
而且，存在用于由终端的用户输入命令或数据的装置，在此作 为示例这些装置被表示为键盘或键区K。
一般来说，显示器D、相机C、麦克风M、扬声器L和键区K 均可以被概括为人机接口 MMI (如图3所示)。
此外，存在终端T的射频部分RF，其至少与一个或多个天线A 连接，以用于在接入诸如UMTS无线网络之类的各个无线接入网期
22间发送和/或接收无线信号。在图4中，射频部分RF通过无线接口 IRF与处理器P相连。应当注意，图4仅仅是示意性表示，其目的在 于提供根据本发明的移动终端T的主要架构的整体描述。
最后，不用说，与图4中通过例如由处理器P所实现的软件程 序实现的方式相比，还可以采用一个或者其他不同数量的部件来实现 在专用硬件芯片中实现的上述功能。即，该方案可以通过计算机程序 产品来实现，以用于在经由数据网络通信的可视电话代理之间发生中 断之后可视电话通信的再同步，其中可视电话代理中之一是近程代 理，该近程代理是具有连接到数据网络的移动代理并且与至少一个远 程代理通信。因此，所述计算机程序产品包括代码工具，其用于使得 处理器执行本文所限定的与本发明所提出的方法相关的步骤。
因此，对于在通信的近程终端与远程终端之间正在进行的可视 电话通信的快速恢复或再同步来说，包括处理器和软件的各个系统实 现了无线连接协议栈(在该示例中为UMTS协议栈(图2)，其处在 基于网络层的无线连接的控制下)与可视电话协议栈(图2，负责处 理在近程终端和远程终端之间正在进行的可视电话通信的音频和视 频数据)之间的机制。因此，近程终端中的可视电话代理或应用可以 意识到所使用的连接到数据网络的无线连接的可用性，例如，对于 UMTS承载，不可用的无线连接可能由RAT间的UMTS切换或者所 使用的连接到数据网络物理连接的任何其他中断引起。
因此，在可视电话连接恢复之后，可视电话应用将请求远程终 端的远程可视电话应用产生远程代理的当前视频图像的独立的编码 帧，以用于快速再同步。而且，近程终端的可视电话应用也可以在可 视电话连接恢复之后向远程终端发送近程终端的当前视频图像的独 立的编码帧，以用于快速再同步。
最后，应当注意，上述实施例示出而非限制本发明，并且本领 域技术人员在不脱离所附权利要求所限定的本发明的范围的情况下 能够设计许多替代实施例。在权利要求中，括号中的任何标号不应当 理解为对权利要求的限制。词语"包括"及其词行变化并不排除作为 整体在任何权利要求或说明书中列出的元件或步骤之外的元件或步骤的存在。元件的单个标号并不排除这些元件的多个引用的存在，反 之亦然。在列举几个装置的设备权利要求中，这些装置中的几个可以 采用同一软件或硬件来实施。在互不相同的从属权利要求中所记载的 某些措施并不表示不能将这些措施组合来获得优势。
权利要求
1.一种通过数据网络提供可视电话通信的可视电话功能实现的系统，其中所述系统包括无线接入装置，其用于连接到数据网络的无线连接并且通过数据网络与至少一个远程终端进行通信，并且其中所述系统还包括可视电话控制装置，其连接到用于对从远程终端接收到的可视电话数据进行解码的解码装置，并且连接到用于对将要发送到远程终端的可视电话数据进行编码的编码装置；连接到无线接入装置的检测装置，其用于检测当前无线接入连接的中断，其中所述检测装置被配置成将无线接入连接的中断通知可视电话控制装置；其中，可视电话控制装置被配置成在无线接入连接恢复之后向远程终端发送请求消息，以使远程终端产生独立的编码视频帧，从而对包括所述系统的移动终端的可视电话通信进行再同步。
2. 如权利要求l所述的系统，还包括与视频相机装置进行连接 的相机接口，其用于在包括所述系统的移动终端处接收由视频相机装 置所拍摄的连续图像，其中所拍摄的图像作为视频数据将在正在进行 的可视电话通信中被传送到远程终端。
3. 如权利要求2所述的系统，其中所述可视电话控制装置还被 配置成在无线接入连接恢复之后向远程终端发送由视频相机装置所 拍摄的当前图像的独立的编码视频帧，以实现对移动终端中的可视电 话通信的再同步。
4. 如权利要求l所述的系统，还包括存储装置，其用于存储正 在进行的可视电话通信的等待帧；并且其中可视电话控制装置还被配 置成在检测到连接到数据网络的无线接入连接的中断时清空存储器 装置中的等待帧或者避免对存储器装置中等待帧的使用。
5. 如权利要求l所述的系统，还包括与显示装置进行连接的显 示接口，其用于与视频解码装置进行连接并且用于提供待显示的经过解码的可视电话数据；并且其中可视电话控制装置还被配置成在检测 到连接到数据网络的无线接入连接的中断时通过显示接口通知显示 装置停止对可视电话通信的当前显示的视频帧进行刷新。
6. 如权利要求l所述的系统，其中所述数据网络是基于电路交 换和/或分组交换连接的网络，并且其中通过无线接入网络建立到数 据网络的无线接入。
7. 如权利要求l所述的系统，其中无线接入连接是无线承载。
8. 如权利要求l所述的系统，其中所述系统通过一个单芯片或 通过包括几个芯片的芯片组的电路来实现。
9. 一种移动终端，其通过数据网络与经由所述数据网络的至少 一个远程终端进行可视电话通信，其中所述移动终端包括根据权利要 求1所述的系统或者根据权利要求8所述的芯片或芯片组。
10. 如权利要求9所述的移动终端，其中所述移动终端被配置成 经由提供连接到数据网络的无线接入的无线接入网络进行通信。
11. 一种用于在经由数据网络进行通信的可视电话代理之间发 生中断之后对可视电话通信进行再同步的方法，其中所述可视电话代 理之一是近程代理，该近程代理是具有连接到数据网络的无线接入的 移动代理，并且与至少一个远程代理进行通信，其中所述方法包括步 骤近程代理检测所述可视电话通信的中断，并且在可视电话连接 恢复之后请求远程代理产生可视电话通信的独立的编码视频帧，以用于在近程代理处对可视电话通信进行再同步。
12. 如权利要求11所述的方法，其中所述方法还包括步骤 近程代理响应于检测到的中断，保持近程代理处的可视电话通信的当前显示的帧不变。
13. 如权利要求11所述的方法，其中所述方法还包括步骤 近程代理响应于检测到的中断，保持近程代理的视频编码器。
14. 如权利要求13所述的方法，其中对可视电话连接的中断的检测包括近程代理对无线接入连接的承载的存在的检测。
15. 如权利要求14所述的方法，其中所述方法还包括在无线接入连接的承载恢复之后，在近程代理处产生独立的编 码视频帧，并且将独立的编码器视频帧发送到远程代理，以用于对远程代理处 的可视电话通信的再同步。
16. 如权利要求11所述的方法，其中所述方法还包括 近程代理响应于检测到的中断，清空将要从近程代理传送到远程代理的等待的可视电话帧。
17. 如权利要求11所述的方法，其中所述中断是由近程代理连接到数据网络的第一无线接入连接到另一无线接入连接的切换所引 起的。
18. 如权利要求11所述的方法，其中通过将用于快速视频更新的消息或命令从近程代理发送到远程代理来实现请求远程代理产生 用于再同步的独立的编码帧。
19. 如权利要求18所述的方法，其中所述数据网络是提供符合 H.324规范的无线接入的网络，并且其中用于快速视频更新的消息或 命令是符合H.245协议的"VideoFastUpdate"消息。
20. —种计算机程序产品，其用于在经由数据网络进行通信的可 视电话代理之间发生中断之后对可视电话通信进行再同步，其中所述 可视电话代理之一是近程代理，其是具有连接到数据网络的无线接入 的移动代理并且与至少一个远程代理进行通信，其中所述计算机程序 产品包括代码工具，用于使处理器执行如权利要求11所述的方法所 限定的步骤。
全文摘要
本发明涉及可视电话，尤其涉及对近程终端与远程终端之间正在进行的可视电话通信的恢复或再同步。本发明提出实现一种在无线连接协议栈(例如在基于网络层的无线连接的控制下的UMTS协议栈)与可视电话协议栈(负责处理近程终端与远程终端之间正在进行的可视电话通信的音频和视频数据)之间的机制。因此，近程终端的可视电话代理可以意识到所使用的连接到数据网络的无线连接的可用性，例如，对于UMTS承载，RAT间的UMTS切换会引起其不存在，使得在可视电话连接恢复之后，可视电话代理请求远程可视电话代理产生远程代理的当前的视频图像的独立的编码帧，以用于快速再同步。
文档编号H04N7/64GK101647290SQ200880010598
公开日2010年2月10日 申请日期2008年3月19日 优先权日2007年3月29日
发明者让·迪马泽 申请人:Nxp股份有限公司