专利名称：一种视音频编码速度的控制方法
技术领域：
本发明涉及多媒体技术，特别提供一种视音频编码速度的控制方法。
背景技术：
随着宽带技术的迅猛发展，宽带业务也越来越多，在宽带上的视音频应用更是得到迅猛的发展和广泛的应用。在视讯通信体系中，用户侧视讯设备通常被称作视讯终端，视讯终端按表现形式来说，又可分为软终端和硬终端两类，软终端一般基于PC运行，采用PC机进行图像语音的编解码处理，硬终端一般为单独的一个硬件设备，图像和语音编解码都基于专用的视音频编解码芯片。
传统的视讯终端的内部结构组成如图1所示，其中界面模块为用户操作平台，用户可以通过界面模块进行发起呼叫等操作；主控模块为视讯终端软件的神经中枢，协调处理用户操作等控制信息；呼叫控制模块由主控模块触发，完成对呼叫流程的具体控制；协议栈是为信令交互而定义的通信标准的具体实现，通信标准如h323、sip等；视频模块处理视频数据的编码、解码、打包和解包；音频模块处理音频数据的编码、解码、打包、解包；RTP模块用于在网络上传送视音频媒体流。
在图1中，虚线代表多媒体视音频流走向，实线代表控制信令走向，主控通过呼叫控制模块、协议栈界面与外界进行信令交互，从而控制视频模块和音频模块从RTP模块中发送、接收媒体流。现有技术中，RTP模块仅作为接收、发送媒体流的介质。
现有技术的视音频控制方法存在下列缺陷1、发送端没有参考对端接收媒体流的情况而去调整本端发送的媒体流的大小以保证接收质量，因此如果网络质量变差，可用的网络带宽变小，必然会造成接收端视音频数据质量。
2、发送端如果不考虑网络情况，而去盲目地用大带宽进行音视频通讯的话，也会使发送端计算机的资源由于处理了过多无用的数据造成很大的浪费。
3、现有技术中并没有考虑视频、音频的优先级，在带宽不足的情况下没有优先保证音频信息的完整，影响了接收端的还原效果。
发明内容
本发明提供一种视音频编码速度的控制方法，以解决网络资源不足时，视音频效果不佳的问题。
一种视音频编码速度的控制方法，包括下列步骤a、接收端在发生丢包时通知发送端降低视音频编码速度；b、发送端接收到所述通知后降低视音频编码速度。
根据本方法，所述步骤b中，所述发送端降低视音频编码速度的方法包括降低视频编码的带宽；和/或选择占用带宽低于当前音频编码协议的编码协议进行音频编码。
根据本方法，所述步骤a中接收端每当检测到丢包发生就发出所述通知；或者接收端检测到丢包后，监测所述丢包的持续时间或计算丢包率，当所述持续时间到达预定时间或丢包率等于或超过设定阈值时发出所述通知。
接收端降低视频编码带宽的比例根据所述丢包率确定。
所述比例可以和所述丢包率相等。
所述方法还包括下列步骤发送端统计处理器占有率，当所述占有率高出上限值时降低视音频编码速度；或者，当所述占有率高出上限值的持续时间到达预定时间时，降低视音频编码速度。
根据该方法，当所述占有率低于下限值时提高视音频编码速度；或者，当所述占有率低于下限值的持续时间到达预定时间时，提高视音频编码速度。
所述降低或提高视音频编码速度的方法包括
降低或提高视频编码的帧率；和/或选择带宽占用率低于或高于当前音频编码协议的编码协议进行音频编码。
一种视音频编码速度的控制方法，包括下列步骤发送端统计处理器占有率，当所述占有率高出上限值时降低视音频编码速度；或者，当所述占有率高出上限值的持续时间到达预定时间时，降低视音频编码速度。
当所述占有率低于下限值时提高视音频编码速度；或者，当所述占有率低于下限值的持续时间到达预定时间时，提高视音频编码速度。
所述降低或提高视音频编码速度的方法包括降低或提高视频编码的帧率；和/或选择带宽占用率低于或高于当前音频编码协议的编码协议进行音频编码。
本发明的有益效果具体表现为1、本发明采用音频优先的原则，尽可能保证音频的流畅。
2、接收端通过统计网络丢包情况来控制发送端的视音频编码带宽，使接收端减少丢包的发生，以此来保证发送端视音频编码数据尽可能多地被接收端解码并显示，保证了视音频效果。
3、发送端通过统计处理器的繁忙程度，来控制捕获帧率，从而使捕获到的帧最大限度地被用于编码而不被浪费，同时也能在同等输出的情况下，降低处理器的繁忙程度，最大限度了利用了处理器资源以达到更好的视音频传输效果。
图1为视讯终端结构示意图；图2为本发明所述发送端根据接收端丢包情况调整视音频编码速度的流程图。
具体实施例方式
本发明所述方法根据人们在收看多媒体时，对于声音的敏感度高于图像的特点，在网络资源不足时，首先保证音频的传输效果，即采用音频优先原则，以收到更好的视频效果。
由于网络资源情况直接影响到RTP(Real-time Transport Protocol，实时传输协议)包的正确传输，因此RTP包的丢包率在一定程度上反映了网络的运行情况，因此可以根据将RTP包的丢包率作为控制发送端视音频编码速度的依据，当丢包率高时，降低编码速度，在接收状态稳定时适度的提高编码速度，以保证发送端的视音频编码数据尽可能地被接收端接收还原。
另外，根据发送端处理器的繁忙程度适度的控制编码帧率，使捕获的帧最大程度地被用于编码而不被浪费，提高图像质量，同时也能在同等输出的情况下，降低处理器的繁忙程度。
具体方法如图2所示，包括下列步骤S11、接收端接收数据包S12、接收端判断是否发生丢包；该步骤由接收端的RTP模块完成，RTP模块通过在收包时检测包的序列号是否连续来判断是否发生丢包，如果是则执行步骤S13；如果否则执行步骤S17。
S13、监测丢包的持续时间或者计算丢包率并上报呼叫控制模块；最简单的方法是接收端检测到丢包发生时马上上报，但是由于影响网络运行情况的因素很多，某些突发因素的影响时间可能很短，这时候并不需要实时进行调整，因此这种方法的操作过于频繁，不利于系统稳定。
较佳的方法是根据具体情况设定丢包的持续时间阈值或者丢包率的阈值，当丢包持续到设定的时间阈值或丢包率达到或超过一定的设定值时再进行调整，例如检测到连续3-10秒的丢包或丢包率大于等于3％时进行适应性调整，丢包的持续时间阈值或者丢包率的阈值等设定值可以通过界面输入到配置文件。
S14、根据配置文件中预先设定的阈值判断是否需要降低音频频的编码速度；该步骤由呼叫控制模块完成，当呼叫控制模块收到RTP模块上报的丢包持续时间或丢包率后，从配置文件读取设定的阈值判断是否需要降速，如果是则执行步骤S15；如果否则执行步骤S17。
S15、通知发送端降低视音频的编码速度；接收端呼叫控制模块发送控制命令通知发送端的呼叫控制模块进行降速。
S16、发送端收到降速通知后降低视音频的编码速度；在该步骤中，由发送端的呼叫控制模块接收降低速度的通知并通知视频编码模块降低发送的视音频的编码速度。
具体降低视音频的编码速度的方法包括1、降低视频编码的带宽；本方法采用音频优先的原则，因此在网络资源不足时，首先保证音频的传输，降低视频编码的带宽。
低视频编码的带宽的降幅可以根据丢包率确定，具体比例根据实际情况确定，比如是丢包率的一半或相等，例如丢包率为8％，则降幅就为8％。
2、选择低于当前音频编码协议的编码协议进行音频编码。
S17、不向发送端发出降速通知，由发送端保持现在的视音频的编码速度。
本方法虽然采用了占用带宽较少的协议进行音频编码，但是对音频的效果并没有产生影响，对于视听效果上影响不大，因此可以作为方法一的补充方法或在视频效果需要保证的情况下单独使用，节省带宽。例如在丢包率大的情况下，将占用带宽64K的音频协议G.711改为占用带宽8K的音频协议G.723，从而减少数据流量。
本方法采用音频优先的原则，尽可能保证音频的流畅。接收端通过统计网络丢包情况来控制发送端的视音频编码带宽，使接收端减少丢包的发生，以此来保证发送端视音频编码数据尽可能多地被接收端解码并显示，保证了视音频效果。
另外，根据视频编码帧率越大，处理器占有率也越大的特点，由发送端通过统计处理器的占有率来调整视频编码帧率，具体包括下列步骤S21、发送端主控模块每隔一定时间通过统计系统的空闲时间比例来计算一次处理器占有率，并将处理器占有率通知视频模块。
S22、由视频模块通过统计处理器占有率的变化规律来通过提高或降低视频采集帧率来改变视频编码帧率，或者选择带宽占用率低于或高于当前音频编码协议的编码协议进行音频编码来减轻处理器的负担。
一般利用改变编码帧率的方法效果较佳，具体方法可以是根据统计的处理器占有率的变化规律确定一个上限值和一个下限值以及每次的调整值，例如95％、60％和5帧，如果高出上限则降低编码速度，如果低于下限则提高编码速度，为了系统的稳定，避免频繁调整，还可以分别设定高出上限和低于下限的持续时间，例如10秒和30秒，这样，当处理器占有率持续10秒钟都高于95％时，则降低编码帧率5帧，如果处理器占有率持续30秒钟低于60％时，则增高编码帧率5帧。具体数字根据网络的运行规律确定，并不限定本方明，一般来说，处理器占有率高出上限的造成的影响较大，因此设定的高出上限的持续时间要小于低于下限的持续时间。
发送端通过统计处理器的繁忙程度，来控制捕获帧率，从而使捕获到的帧最大限度地被用于编码而不被浪费，同时也能在同等输出的情况下，降低处理器的繁忙程度，最大限度了利用了处理器资源以达到更好的视音频传输效果。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
权利要求
1.一种视音频编码速度的控制方法，其特征在于，包括下列步骤a、接收端在发生丢包时通知发送端降低视音频编码速度；b、发送端接收到所述通知后降低视音频编码速度。
2.如权利要求1所述的方法，其特征在于，所述步骤b中，所述发送端降低视音频编码速度的方法包括降低视频编码的带宽；和/或选择比当前音频编码协议占用带宽更低的编码协议进行音频编码。
3.如权利要求1或2所述的方法，其特征在于，所述步骤a中接收端每当检测到丢包发生就发出所述通知；或者接收端检测到丢包后，监测所述丢包的持续时间或计算丢包率，当所述持续时间到达预定时间或丢包率等于或超过设定阈值时发出所述通知。
4.如权利要求3所述的方法，其特征在于，接收端降低视频编码带宽的比例根据所述丢包率确定。
5.如权利要求4所述的方法，其特征在于，所述比例和所述丢包率相等。
6.如权利要求1或2所述的方法，其特征在于，所述方法还包括下列步骤发送端统计处理器占有率，当所述占有率高出上限值时降低视音频编码速度；或者，当所述占有率高出上限值的持续时间到达预定时间时，降低视音频编码速度。
7.如权利要求6所述的方法，其特征在于，当所述占有率低于下限值时提高视音频编码速度；或者，当所述占有率低于下限值的持续时间到达预定时间时，提高视音频编码速度。
8.如权利要求7所述的方法，其特征在于，所述降低或提高视音频编码速度的方法包括降低或提高视频编码的帧率；和/或选择带宽占用率低于或高于当前音频编码协议的编码协议进行音频编码。
9.一种视音频编码速度的控制方法，其特征在于，包括下列步骤发送端统计处理器占有率，当所述占有率高出上限值时降低视音频编码速度；或者，当所述占有率高出上限值的持续时间到达预定时间时，降低视音频编码速度。
10.如权利要求9所述的方法，其特征在于，当所述占有率低于下限值时提高视音频编码速度；或者，当所述占有率低于下限值的持续时间到达预定时间时，提高视音频编码速度。
11.如权利要求10所述的方法，其特征在于，所述降低或提高视音频编码速度的方法包括降低或提高视频编码的帧率；和/或选择带宽占用率低于或高于当前音频编码协议的编码协议进行音频编码。
全文摘要
本发明涉及多媒体技术，特别提供一种视音频编码速度的控制方法，以解决网络资源不足时视音频效果不佳的问题。所述方法包括接收端在发生丢包时通知发送端降低视音频编码速度；发送端降低视音频编码速度。所述发送端降低视音频编码速度的方法包括降低视频编码的带宽；或选择占用带宽低于当前音频编码协议的编码协议进行音频编码。所述方法还包括下列步骤发送端统计处理器占有率，当所述占有率高出上限值时降低视音频编码速度；或当所述占有率高出上限值的持续时间到达预定时间时，降低视音频编码速度。当所述占有率低于下限值时提高视音频编码速度；或当所述占有率低于下限值的持续时间到达预定时间时，提高视音频编码速度。
文档编号H04L1/16GK1855793SQ20051006466
公开日2006年11月1日 申请日期2005年4月19日 优先权日2005年4月19日
发明者颜军 申请人:华为技术有限公司