视频电话中的选择性速率适应的制作方法

本发明涉及视频电话(vt)，且更明确地说，涉及vt会话期间的速率适应技术。

背景技术：

例如移动电话等通信装置可包含音频捕获装置，例如麦克风或语音合成器；用于产生音频包(或帧)的音频编码器；视频捕获装置，例如相机；以及用于产生视频帧的视频编码器。视频帧可在用于视频电话(vt)的装置之间发射。通信装置(即，vt装置)可使用通信协议层，例如实时传输协议(rtp)、无线电链路协议(rlp)、媒体接入控制(mac)和物理(phy)层。在视频电话应用中，通信装置可将视频和音频rtp包置于rlp队列中。mac层模块可从rlp队列的内容中产生mac层包。mac层包可转换成phy层包，以在通信信道上发射到另一通信装置。在此上下文中，仍需要用于vt的选择性速率适应，取决于信道条件和不同无线电接入技术(rat)之间的越区移交。

技术实现要素：

本发明的系统、方法和装置各自具有若干创新方面，其中没有单个方面单独负责本文所揭示的合乎需要的属性。

在一个方面，提供一种视频电话(vt)会话的速率适应的方法，其包含：接收第一信息集合，其指示装置从第一无线电接入技术(rat)到第二rat的越区移交的开始；接收第二信息集合，其指示所述越区移交的结束；以及至少部分地基于所述第一和第二信息集合来调整用于所述vt会话的速率适应协议。

另一方面，一种用于vt会话的速率适应的设备包括：接收器，其经配置以接收第一信息集合，其指示从第一rat到第二rat的越区移交的开始，且经进一步配置以接收第二信息集合，其指示所述越区移交的结束。所述设备进一步包括处理器，其经配置以至少部分地基于所述第一和第二信息集合来调整用于所述vt会话的速率适应协议。

另一方面，一种非暂时性计算机可读存储媒体含有指令，所述指令在被执行时，致使装置的处理器：在vt会话期间，接收第一信息集合，其指示能够执行vt的装置从第一rat到第二rat的越区移交的开始；且进一步接收第二信息集合，其指示所述越区移交的结束。所述指令在被执行时，进一步致使所述处理器至少部分地基于所述第一和第二信息集合来调整用于所述vt会话的速率适应协议。

另一方面，提供一种用于vt会话的速率适应的视频译码装置，其包含：用于接收第一信息集合的装置，所述第一信息集合指示装置从第一rat到第二rat的越区移交的开始；用于接收第二信息集合的装置，所述第二信息集合指示所述越区移交的结束；以及用于至少部分地基于所述第一和第二信息集合来调整用于所述vt会话的速率适应协议的装置。

附图说明

图1说明具有vt装置的示范性系统。

图2是说明经配置以用于视频电话的移动终端200的示范性实施例的框图。

图3是概念上说明根据本发明的方面的利用基于调制解调器信息的速率适应的vt通信中的两个装置302和308的框图。

图4是示出根据本发明的技术的用于vt中的速率适应的示范性方法的流程图。

图5是示出根据本发明的技术的用于vt中的速率适应的另一示范性方法的流程图。

具体实施方式

本发明涉及视频电话(vt)，且更明确地说，涉及vt会话期间的速率适应技术。vt通常是指包含视频和音频两者的实时通信，与仅音频的传统电话形成对比。在vt会话期间，不同位置处的通信装置经由例如因特网等网络发射和接收运载音频和视频数据的包。

与其它应用程序相比，vt需要较高带宽。因此，在可能时，载体卸载视频业务。举例来说，当可用时，载体需要将视频业务从长期演进(lte)卸载到wi-fi，以减少无线网络和/或网络主干线上的负载。然而，视频质量和用户体验中的主要问题可起因于第一无线电接入技术(rat)与第二rat之间的越区移交。这些问题可由不必要的速率适应所导致，其响应于越区移交期间信道条件中的临时且通常微量减少的视频质量降低而产生。

图1说明具有vt装置的示范性系统。在实施方案中，vt装置105可经由一或多个网络110与另一vt装置105'双向通信。举例来说，网络110可为无线电接入网络(ran)。所述一或多个网络可实施一或多个rat115、120。rat是用于ran的基础物理连接方法。rat的实例可包含蓝牙、wi-fi、3g、4g、lte、高级lte、5g等。举例来说，第一rat115可为lte，且第二rat120可为wi-fi。在vt会话的过程期间，vt装置105可从一个rat切换到另一rat。举例来说，当进入wi-fi路由器的范围时，经由lte通信的vt装置105可切换到wi-fi。

在vt会话期间，vt装置105可使用视频速率适应(例如控制源视频的编码速率)。举例来说，视频源编码速率可归因于变化的信道条件、丢包、抖动、过量的丢包或延迟，或过量的视频内容或复杂性而降低。然而，在某些周期(例如第一rat115与第二rat120之间的转变周期)期间，可能有利的是改变速率适应的行为。举例来说，在从lte到wi-fi的转变期间，vt装置可短暂体验差信道条件。然而，因为转变仅是临时的，所以适合较长持续的差信道条件的速率适应可为不必要的和/或不合适此类转变。举例来说，简短转变期间的信道条件可比转变之后的信道条件差得多，这可导致可在所述转变结束之后继续的转变期间的降低的位速率，从而导致所述转变之后的差视频质量。因此，可能有利的是防止和/或修改转变周期期间的速率适应的行为，以便通过利用来自调制解调器层的关于所述转变的信息来优化多媒体用户体验。

一些实施例可适合与经由因特网协议(ip)的各种多媒体服务(例如ip多媒体子系统(ims))一起使用。ims通常是指用于传递ip多媒体服务的架构框架。此类服务包含话音和/或视频(例如ip语音(voip)、skype等)。ims可涉及利用因特网工程任务小组(ietf)协议(例如会话起始协议(sip))来使与因特网的整合变得容易。

vt装置

图2是说明vt装置105的示范性实施例的框图，所述vt装置可为移动终端、用户设备(ue)或经配置以用于vt的接入终端(at)。如本文中所使用，组合的视频编码器解码器可被称为“编解码器”。如本文所述，当空间在调制解调器层中可用时，vt装置105可经装备以抢先重新发送调用设置包，例如带编号的简单重传协议(nsrp)包。在图2的实例实施例中，vt装置105包含视频编解码器205、音频编解码器210、控制层模块215、多路复用器-多路分用器(mux-demux)层模块225、调制解调器230、发射-接收(tx/rx)接口235和控制信道分段与重组层(ccsrl)-nsrp模块220。这些组件可一起形成ims协议栈。一般来说，本文所述的技术的许多方面可在vt装置105的调制解调器230中实施。

根据行业标准视频压缩协议(例如mpeg-4、ituh.263、h.264或h.265(即，高效视频写码(hevc)))，视频编解码器205编码从视频输入装置(例如相机或视频存档源)获得的视频数据，以供发射到另一vt装置105'。另外，视频编解码器205对从另一vt装置105'接收到的视频数据进行解码，以用于在视频输出装置(例如显示器)上输出。类似地，音频编解码器210根据一或多个音频压缩协议来编码从音频输入设备(例如麦克风或音频存档源)接收到的音频数据。音频编解码器210还对从远程设备接收到的音频数据进行解码，以供音频输出装置(例如与vt装置105相关联的内置或外部扬声器)呈现。

控制层模块215产生消息，以供发射到远程vt装置105'以用于视频呼叫设置，且处置从远程vt装置105'接收到的消息。举例来说，可使用各种协议(例如h.245和/或sip(例如具有ims)来发射消息。还可将消息从一个协议变换到另一协议(例如h.245到sip)。ccsrl-nsrp模块220将来自控制层模块215的消息分段成nsrp包，以供发射到远程vt装置105'，并将接收到的nsrp包重组成消息，供控制层模块215处置。因此，可将呼叫控制消息分成若干片段来进行nsrp包化。一般来说，视频编解码器205、音频编解码器210和控制层模块215驻存在vt装置105的适应层内，并将相应的包传递到mux-demux层模块225。

mux-demux层模块225将从视频编解码器205、音频编解码器210和控制层模块215接收到的包多路复用成mux协议数据单元(pdu)，且将muxpdu传递到调制解调器230，以用于经由tx/rx接口235到远程vt装置105'的调制和发射。tx/rx接口235包含经配置以用于根据多种不同通信技术中的任一者的无线通信的无线发射器和无线接收器，所述技术例如码分多址(cdma)、宽带cdma(wcdma)、时分多址(tdma)或频分多址(fdma)，以用于经由无线通信信道的通信。

调制解调器230可对muxpdu进行分段，并将其包封在整合服务数字网(isdn)包中，其接着由tx/rx接口235在一系列无线电链路控制(rlc)pdu中发射。包还可使用sip发射，和/或可变换为sip以用于ims中。由mux/demux模块225传递的每一muxpdu运载nsrp包信息。一旦呼叫设置完成，每一muxpdu就还将包含视频和音频信息。然而，在呼叫设置期间，通常将不存在从适应层传递的视频和音频信息。因此，在呼叫设置期间，每一muxpdu将主要含有nsrp包信息。mux-demux层225还对从远程vt装置105'接收到的包进行多路分用，以供视频编解码器205、音频编解码器210和h.245控制层模块215处理。

本文所述的技术可在通用微处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或vt装置105内的其它等效逻辑装置内实施。因此，各种组件，例如视频编解码器205、音频编解码器210、控制层模块215、mux-demux层模块225和调制解调器230，可实施为在一或多个逻辑装置内执行的固定或可编程特征。本文所述的技术的各个方面可在硬件、软件、固件或其任何组合中实施。如果在软件中实施，那么所述技术可实施为计算机可读媒体上的指令，所述计算机可读媒体例如为随机存取存储器(ram)、只读存储器(rom)、非易失性随机存取存储器(nvram)、电可擦除可编程只读存储器(eeprom)、快闪存储器等。

图3是概念上说明根据本发明的方面的利用基于调制解调器信息的速率适应的vt通信中的两个装置105和105'的框图。vt装置105包含视频电话应用程序304和调制解调器306。视频电话应用程序304可存储在vt装置105的合适存储媒体(例如计算机可读媒体)中。在本发明的一方面，视频电话应用程序304包含用于执行数字视频的解码和/或编码的视频编解码器305。在本发明的一些方面，视频编解码器305可在软件、硬件或硬件与软件的组合中实施。vt装置105'还包含视频电话应用程序304'和调制解调器306'。因此，vt装置105和vt装置105'可执行vt通信。视频电话应用程序304'还包含视频编解码器305'，其可支持视频编解码器305所使用的视频解码/编码方案。在本发明的一些方面，视频编解码器305'可在软件、硬件或硬件与软件的组合中实施。

当vt装置105和105'处于vt通信中时，端对端反馈信息314可在vt装置之间交换，而有效负荷数据包316(例如视频帧)经由调制解调器306和306'在应用程序304与304'之间传送。另外，视频电话应用程序304从调制解调器306接收调制解调器信息318，使得视频电话应用程序304可检测上行链路或下行链路信道中的拥塞，并且还确定或估计用于vt通信的可用带宽，与从vt装置105'接收到的端对端反馈信息314无关。

具有反馈的视听简档(avpf)

在一定程度上，使用实时输送(rtp)的实时媒体流对抗丢包而复原。接收器可使用实时传输控制协议(rtcp)的基本机制来报告包接收统计，且因此允许发送者在中期适应其发射行为。这是用于反馈和基于反馈的误差修复(除几个编解码器特定机制以外)的单独装置。具有反馈的视听简档(avpf)是对视听简档(avp)的扩展，所述avp使接收器能够以统计方式将较直接反馈提供给发送者，且因此允许实施基于短期适应和高效反馈的修复机制。通过将用于直接反馈的新机制/信号提供给发送者而不等待所调度的rtcp间隔来这样做。avpf维持对rtcp的avp带宽约束，且保留到大群组的可缩放性。

avpf通过rtcp业务的网络溢流来实施控制反馈消息的时序的规则以避免拥塞。针对avpf的信令设置允许在rtp会话基础上配置或协商每一个别类型的功能。

avpf是在vt会话期间可用于ims系统的请求注解(rfc)标准。avpf规范使所有反馈消息格式和预期行为标准化，使得第一公司所制作的ue可对第二公司所制作的ue正确地反应，如果两者均支持avpf标准的话。这对于ims和vt适应来说可为有利的，以允许用户跨越载体进行调用，并使用具有不同制造商的装置。

针对转变周期的速率适应

在本发明的一方面，调制解调器信息318可由vt装置105用来确定从第一rat115到第二rat120的转变何时开头和/或结束。举例来说，调制解调器信息318可指示与转变周期有关的事件。举例来说，此信息可基于avpf标准，且可包含事件、信令信息等。举例来说，调制解调器306可提供信号来指示网络转变已开始，且提供另一信号以指示所述转变已成功或失败。ue可使用所述信息来改变vt呼叫的行为。然而，虽然在本发明中可将调制解调器306描述为提供此类信息，但这仅为示范性的，且所述信息可从其它来源接收。举例来说，用户可提供输入以指示转变何时将发生。此外，虽然可将信息描述为基于avpf(其当前在各种市场使用和支持，例如美国、日本和中国)，还可使用和预期其它标准。此外，调制解调器信息318还可包含其它类型的信息，包含缓冲器充满度、信号强度、调制解调器层处的可用上行链路/下行带宽等。

许多装置使用速率适应来基于信号强度和网络条件调整位速率。举例来说，如果信号差和/或信道条件不良，那么装置可降低其位速率，以便以较低分辨率显示视频。在第一rat115与第二rat120(例如lte与wi-fi)之间的转变期间，当装置确定新连接时，信号强度和/或信道条件临时降低。因为所述转变期间的信号强度的丢失只是临时的，所以所述装置可不需要基于所述损失来调整其位速率，因为可预期，当转变完成时，强度将增加。因此，所述装置可经配置以制止在转变周期期间记录信号信息，和/或在从第一rat到第二rat的转变期间调整位速率或其它参数，这避免了在一个rat到另一rat的转变期间，对视频质量的临时降低的过度反应。

在一实施例中，装置105的调制解调器306可用于检测一或多个rat。在一些例子中，调制解调器306可起始从rat中的一者到第二rat的转变。在所述转变的开头，调制解调器306可将指示所述转变的开始的调制解调器信息318提供到vt应用程序304。举例来说，当装置正从lte移动到wi-fi时，装置105可使用来自数据层的调制解调器信息318，或反之亦然。来自数据层的此类信息可包含指示1)可能的越区移交何时开始，和/或2)越区移交成功完成还是未能完成。虽然将信息描述为从调制解调器306接收，但此类信息可改为从其它来源(例如另一装置105'或用户)接收。通过跟踪越区移交周期，装置可知晓何时停止跟踪信号强度信息和/或忽略哪些信息。所述装置还可删除在转变周期期间创建的历史信息，或在转变周期之后完全清除历史信息。

在一个方面，装置105可使用转变(即，越区移交)信息来修改对临时最大媒体流位速率请求(tmmbr，“timber”)的响应和/或发射。tmmbr是用于avpf中的信令方法，其允许装置向另一装置传送改变编码位速率的需要。接收器、转译器或混频器使用tmmbr来请求发送者将媒体的最大位速率限制为或低于所提供的值。当在转变周期期间发出时，此类请求可响应于所述转变周期期间的临时差信道条件。举例来说，如果装置检测到不良信道条件，那么其可以200kbps发送tmmbr值，以向另一装置指示将编码位速率改变为大约200kbps的需要。装置105接着可在转变周期期间阻止和/或忽略接收到的tmmbr和/或其它位速率请求。装置105也可在此类周期期间制止发射和/或阻止tmmbr的发射。

一个实施例可涉及在转变周期之后，基于信号强度的预期增加或减小、信道条件等来调整位速率。举例来说，如果当前使用lte的装置开始转变到具有良好信号强度的已知wi-fi网络(例如归属网络)，那么所述装置可尝试将其位速率调整到对应于wi-fi网络的等级，甚至在转变完成之前。这可涉及发送对应于装置转变到的网络的tmmbr值。

另一实施例可涉及在已指示从第一rat的转变之后和/或在已指示成功转变之后，发射清除与第一rat相关联的数据的请求。举例来说，在接收到从第一rat的转变的指示之后，装置105可向数据存储装置和/或与数据存储装置通信的装置发出请求，以清除指示经由第一rat通信期间的信号强度和/或信道条件的数据。所述数据存储装置可为装置105的组件或可为外部装置。

图4是示出根据本发明的一或多个方面的用于vt中的速率适应的示范性方法/过程400的流程图。过程400可由例如图1到3中的vt装置或其组件执行。过程400在框405处开始。在框410处，过程400可涉及接收第一信息集合。举例来说，vt装置105可从调制解调器306接收第一信息集合。在其它实施例中，所述第一信息集合可从其它来源(例如外部装置105')接收。所述第一信息集合可指示转变信息。举例来说，所述第一信息集合可包含指示从第一rat115到第二rat120的转变的开始的信息。在其它实施例中，vt装置105可从用户接收可指示转变信息的输入。

在框415处，过程400可涉及接收第二信息集合。举例来说，所述第一信息集合可包括指示转变周期的开始的信息，且所述第二信息集合可包括指示转变周期的结束的信息。在另一实施例中，所述第一和第二信息集合可包括一个信息集合。

在框420处，过程400可涉及调整速率适应协议。举例来说，过程400可涉及在转变周期期间制止执行速率适应。在一实施例中，这可涉及阻止传出和/或传入信息(例如tmmbr值)。在另一实施例中，装置105可制止响应所接收的信息。举例来说，装置105可接收指示转变周期期间的差信道条件的信息。然而，如果在转变周期期间接收到，那么装置105可不响应此类信道信息。过程400在框425处结束。

在一实施例中，过程400可涉及对速率适应协议的多次调整。举例来说，过程400可涉及在接收到第一信息集合之后，第一次调整速率适应，以及在接收到第二信息集合之后，第二次调整速率适应。这是因为不同调整可对不同类型的信息有益。举例来说，响应于接收到指示越区移交的开始的第一信息集合，vt装置可阻止和/或忽略tmmbr值和/或其它位速率请求，因为此请求可不必要响应于越区移交。作为另一实例，响应于接收到指示越区移交的结束的第二信息集合，vt装置可发出tmmbr值，因为到不同rat的转变可使经更新的tmmbr值有益。

在另一实施例中，可接收两个以上信息集合。举例来说，信息集合可指示越区移交周期正在进行中。另一信息集合可指示转变是否成功。

图5是示出根据本发明的一或多个方面的用于vt中的速率适应的另一示范性方法的流程图。过程500在框505处开始。在框510处，过程500可涉及接收第一信息集合。所述第一信息集合可指示从第一rat到第二rat的越区移交的开始。

在决策框515，过程500可涉及确定第一信息集合中是否指示转变周期的开始。如果指示转变周期的开始，那么过程500可继续到框520。如果不指示转变周期的开始，那么过程500可继续到框555。转变周期信息可对确定可执行以调整速率适应的动作有用。如上文所论述，在转变周期期间调整和/或制止执行速率适应可为有益的，因为转变周期通常是临时的，且通常不指示近未来信道条件。

在框520处，过程500可涉及利用前向错误校正(fec)来控制数据发射中的错误，因为归因于转变，可预期丢包。举例来说，fec可应用于音频rtp消息或可得益于额外保护的任何其它重要多媒体信息。

在框525处，过程500可涉及阻止传出和/或传入tmmbr值。举例来说，过程500可涉及在转变周期期间阻止传出和/或传入tmmbr值。在替代实施例中，并非阻止和/或忽略传入tmmbr值，过程500可涉及将视频编码器设置为在转变周期开始之前可用的位速率值。或者，可将视频编码器设定成最大位速率值。举例来说，最大位速率值可根据偏好和/或经由会话描述协议(sdp)提供/响应来设定。

在框530处，过程500可涉及接收第二信息集合。举例来说，所第一信息集合可包括指示转变周期的开始的信息，且所述第二信息集合可包括指示转变周期的结束的信息。在另一实施例中，可接收单个信息集合。

在决策框535处，过程500可涉及确定转变是否成功。举例来说，第二信息集合可指示vt连接是否从第一rat115成功地传送到第二rat120。在一个实例中，转变周期的结束的指示可等效于成功转变的指示。如果转变成功，那么过程500可涉及继续到框540。如果转变周期尚未结束，那么过程500可涉及返回到框525。

在框540处，过程500可涉及中断传出和/或传入timmbr值的阻止。在框545处，过程500可进一步涉及发出tmmbr值。tmmbr值可指示最大可允许位速率。在另一实施例中，过程500可涉及等待某一时间周期(例如1往返时间(rtt))，以及再发出所述tmmbr值。

在框550处，过程500可涉及发射对i帧(即，i图片)的请求。举例来说，所述请求可为图片丢失指示(pli)消息。pli消息包含于avpf中。过程500在框555处结束。

其它考量

可使用多种不同技术和技法中的任一个来表示本文中所揭示的信息和信号。举例来说，可通过电压、电流、电磁波、磁场或磁粒子、光场或光粒子或其任何组合来表示在整个上文描述中可能参考的数据、指令、命令、信息、信号、位、符号和码片。

结合本文中所揭示的实施例所描述的各种说明性逻辑块和算法步骤可实施为电子硬件、计算机软件，或两者的组合。为清楚说明硬件与软件的这种可互换性，上文已大体上关于其功能性而描述了各种说明性组件、块和步骤。将此类功能性是实施为硬件还是软件取决于特定应用以及强加于整个系统的设计约束。本领域的技术人员可针对每一特定应用以不同方式来实施所描述的功能性，但这样的实施决策不应被解释为会引起脱离本发明的范围。

本文中所描述的技术可在硬件、软件、固件或其任何组合中实施。此类技术可在多种装置中的任一者中实施，例如通用计算机、无线通信装置手持机或具有多种用途的集成电路装置，包含无线通信装置手持机、汽车、器具、可穿戴的东西和/或其它装置中的应用程序。被描述为装置或组件的任何特征可一起实施于集成逻辑装置中或分开实施为离散但可互操作的逻辑装置。如果在软件中实施，那么所述技术可至少部分地由包括程序代码的计算机可读数据存储媒体来实现，所述程序代码包括在被执行时执行上文所描述的方法中的一或多个的指令。计算机可读数据存储媒体可形成计算机程序产品的一部分，所述计算机程序产品可包含封装材料。所述计算机可读媒体可包括存储器或数据存储媒体，例如ram、同步动态随机存取存储器(sdram)、rom、nvram、eeprom、快闪存储器、磁性或光学数据存储媒体等。另外或替代地，所述技术可至少部分地由计算机可读通信媒体来实现，所述计算机可读通信媒体运载或传送呈指令或数据结构的形式且可由计算机存取、读取和/或执行的程序代码(例如，传播的信号或波)。

与计算机可读媒体(例如存储器或其它数据存储装置)通信(例如合作操作)的处理器可执行可由处理器执行的程序代码的指令，所述处理器可包含一或多个处理器，例如一或多个dsp、通用微处理器、asic、fpga或其它等效集成或离散逻辑电路。此处理器可经配置以执行本发明中所描述的技术中的任一者。通用处理器可为微处理器；但在替代方案中，处理器可为任何常规处理器、控制器、微控制器或状态机。处理器还可实施为计算装置的组合，例如dsp和微处理器的组合、多个微处理器的组合、与dsp核心结合的一或多个微处理器，或任何其它此类配置。因此，如本文中所使用的术语“处理器”可指前述结构中的任一者、上述结构的任何组合，或适合实施本文中所描述的技术的任何其它结构或设备。另外，在一些方面，本文所述的功能性可在经配置以用于编码和解码的专用软件或硬件内提供，或并入编解码器中。并且，所述技术可完全实施于一或多个电路或逻辑元件中。

本发明的技术可在各种各样的装置或设备中实施，包含无线手持机、集成电路(ic)或一组ic(例如芯片组)。本发明中描述各种组件或单元是为了强调经配置以执行所揭示技术的装置的功能方面，但未必需要通过不同硬件单元实现。实际上，如上文所描述，各种单元可配合合适的软件和/或固件组合在编解码器硬件单元中，或者通过互操作硬件单元的集合来提供，所述硬件单元包含如上文所描述的一多个处理器。

虽然已经结合各种不同实施例描述了前文，但可在不脱离本发明的教示的情况下，将来自一项实施例的特征或元件与其它实施例组合。但是，相应实施例之间的特征的组合不一定限于此。已经描述了本发明的各种实施例。这些和其它实施例在所附权利要求书的范围内。