专利名称：基于移动通信网络的视音频信号实时传输方法
技术领域：
本发明涉及广播电视实时视音频转播及新闻采集应用领域，特别是一种基于多路移动网络的实时电视转播系统。
背景技术：
公开号为CN101668210A的中国发明专利申请公开了一种基于商用无线网络的广播级音视频传输方法，通过同时接入多个商用无线网络，实时地将广播级摄像机拍摄的视频流和音频流传输至电视台，从而提高新闻的实时性。但3G网络是一个公用的无线网络，QOS无法保证，为了增强视音频的传输的强健性，该专利申请将压缩TS码流分为速率为 2Mbps的增强层码流和速率为500Kbps的基本层码流，其中基本层码流为高传输优先级，能保证基本的观看效果；增强层码流为低传输优先级，保证在基本的观看效果上能对画面的清晰度、分辨率等进行完善。然而该专利所提出的技术方案存在以下不足第一，由于收发高质量的信号，需要同步传输500Kbps和2Mbps的两个码流，缺少对网络带宽的预测和管理，容易造成网络堵塞，延长后续列队的等待时间，增加了网络负担；第二，将TS码流分为基本层码流和增强层码流，同时增加了压缩和解码时处理器的负担；第三，码率变化缺乏渐进，信号质量变化大。而且该专利也未提供针对广播级实时视音频传输时产生误码解决方案。通常视音频传输时产生误码所采用的解决方案为重传、FEC、纠错、掩错四种机制。其中FEC、纠错、掩错都在编码器和解码器部分进行解决，而重传会带来时延，一般的方法就是设定一个时间阀值，低于这个阀值就进行重传。但该方法对于广播级实时视音频的信号传输有二个问题 一是重传的包是否能成功传送没有相关保障机制；二是如果在时间阀值没到但网络将持续恶化的状态下，继续重传则会导致后面的关键数据传送没有更多的时间缓冲，反而会造成关键帧的丢失会严重影响视音频质量。
发明内容
针对上述不足，本发明采取一种带宽波形预测算法，可以比较精确地预知带宽从而来精确调整编码器码率，以适应带宽的变化；另外，采取一种创新的误码重传机制最大能力的保障传输视音频数据质量。本发明包括如下步骤步骤1 当摄像机输出信号时，从摄像机输出接口获取实时视音频信号；步骤2 以当前编码器编码码率，对待传输的实时视音频信号进行压缩编码，得到 TS码流，所述当前编码器编码码率由步骤5设定；步骤3 将得到的TS码流送入主缓存区，处理成IP包后，送往某一未满的传送缓冲区，经由该传送缓冲区所对应的移动通信网络模块进行发送；步骤4 对网络带宽和信号接收方时延时间进行测试；记录测得的网络带宽，以及当前时间，作为历史网络带宽数据；记录测得的时延时间作为当前时延时间；以第一单位时间为间隔重复本步骤；步骤5 根据历史网络带宽数据对下一第二单位时间的网络带宽用外推法进行预测，并根据预测网络带宽设置相应的当前编码器编码码率，以第二单位时间为间隔重复本步骤。其中步骤3的具体步骤如下步骤(1)将得到的TS码流送入主缓存区，并根据TS码流的内容标记优先级别， 再将TS码流处理成IP包；步骤O)检测各移动通信网络模块的传送缓冲区是否已满如果存在未满的传送缓冲区，则将IP包送入待传送列队最短的传送缓冲区，等待发送，进入步骤(3)；如果所有的传送缓冲区都已满，则判断主缓存区和各传送缓冲区内IP包的优先级，丢弃优先级别较低的IP包，重复步骤O)；步骤(3)将缓冲区内等待发送的IP包按先进先出的顺序，经由该传送缓冲区所对应的移动通信网络模块进行发送。其中步骤(1)中根据TS码流的内容标记优先级别的标准为1帧的数据包为最高优先级，其余为次优先级。其中步骤(3)的IP包的发送方法还包括根据IP包的优先级和实时网络状况数据而有所选择的误码重传机制。其中误码重传机制的具体如下判断IP包的优先级a.如果优先级较高，则比较当前时延时间和事先设置的系统时延阀值1)如果当前时延时间高于系统时延阀值，则丢弃该IP包；2)如果当前时延时间不高于系统时延阀值，则重传该IP包；b.如果优先级较低，则计算当前时延时间与预测带宽速率的比值作为重传系数， 与系统时延阀值与事先设置的系统标准码率的比值——重传常数进行比较1)如果重传系数大于重传常数，则丢弃该IP包；2)如果重传系数小于重传常数，则重传该IP包。其中步骤4的具体步骤如下对各个移动通信网络模块网络带宽和信号接收方时延时间进行测试；记录测得的各个移动通信网络模块中网络带宽的最小值与移动通信网络模块个数的乘积，以及当前时间，作为历史网络带宽数据；记录测得的各个移动通信网络模块中时延时间的最大值作为当前时延时间；以第一单位时间为间隔重复本步骤。其中步骤5的具体步骤如下根据历史网络带宽数据，分别计算得出上一个第二单位时间内和当前第二单位时间内的带宽平均值，再根据这两个带宽平均值计算出带宽变化的斜率和方向，通过斜率和方向推算出下一个第二单位时间内的短期预测带宽平均值；根据历史网络带宽数据，分别计算得出上一个N倍第二单位时间内和当前N倍第二单位时间内的带宽平均值，再根据这两个带宽平均值计算出带宽变化的斜率和方向，通过斜率和方向推算出下一个N倍第二单位时间内的长期预测带宽平均值；
通过计算短期预测带宽平均值和长期预测带宽平均值的平均值，得出预测网络带宽；根据预测网络带宽设置相应的当前编码器编码码率如果预测网络带宽速率高于系统标准码率，则当前编码器编码码率设置为系统标准码率；如果预测网络带宽低于系统标准码率，则当前编码器编码码率设置为预测网络带宽；以第二单位时间为间隔重复本步骤。其中第一单位时间为0. 5 1秒。其中第二单位时间为系统时延阀值加2秒。其中N为3，4或5。
图1为总流程图。图2为码流处理和发送流程图。图3为重传机制的流程图。图4为系统元件布局图。
具体实施例方式以具有4个3G网络模块的实时电视转播系统为例首先，设置系统标准码率，例如与标清码流的码率相当的2Mbps，设置系统时延阀值，例如目前实时转播中可以接受的时延时间3秒。同时设置第一单位时间，即网络状况测试的周期，例如1秒；设置第二单位时间，即设置编码器编码码率的周期，为时延阀值加2 秒，例如5秒。当系统启动后，以第一单位时间，如1秒为周期，通过4个3G模块分别向信号接收方发送网络测试包。根据反馈回来的数据，分别得到4个3G模块的网络带宽和时延时间。 以4个网络带宽中最小值的4倍为当前网络带宽，和当前时间一起记录，作为历史网络带宽数据。记录4个时延时间中的最大值作为当前时延时间。以第二单位时间，如5秒为周期，对编码器编码码率进行设置首先根据历史网络带宽数据，分别计算得前10秒至前5秒内的带宽平均值，以及前5秒至当前的带宽平均值，再根据这两个带宽平均值计算出带宽变化的斜率和方向，通过斜率和方向推算出下5秒内的短期预测带宽平均值。其次根据历史网络带宽数据，分别计算得前40秒至前20秒内的带宽平均值，以及前20秒至当前的带宽平均值，再根据这两个带宽平均值计算出带宽变化的斜率和方向，通过斜率和方向推算出下20秒内的长期预测带宽平均值。此处假定预测带宽的长期时间是短期时间的4倍。再通过计算短期预测带宽平均值和长期预测带宽平均值的平均值，得出预测网络带宽。最后，根据预测网络带宽设置相应的当前编码器编码码率如果预测网络带宽速率高于系统标准码率，则当前编码器编码码率设置为系统标准码率；如果预测网络带宽低于系统标准码率，则当前编码器编码码率设置为预测网络带宽。
当广播级摄像机拍摄时，摄像机通过ASI接口将实时广播级视音频信号传送到 H. 264编码器，H. 264编码器以当前编码器编码码率进行视音频信号的压缩编码，生成TS码流。将得到的TS码流送入主缓存区，根据TS码流的内容标记优先级别，标准为1帧的数据包为最高优先级，其余为次优先级。再将TS码流处理成IP包后，检测各移动通信网络模块的传送缓冲区是否已满如果所有的传送缓冲区都已满，则判断主缓存区和各传送缓冲区内IP包的优先级，丢弃优先级别较低的IP包后再次检测各移动通信网络模块的传送缓冲区是否已满；如果存在未满的传送缓冲区，则将IP包送入待传送列队最短的传送缓冲区。将缓冲区内等待发送的IP包按先进先出的顺序，经由该传送缓冲区所对应的移动通信网络模块进行发送。对于IP包的发送过程还有一套误码重传机制的具体如下判断IP包的优先级a.如果优先级较高，则比较当前时延时间和系统时延阀值1)如果高于系统时延阀值，则丢弃该IP包；2)如果不高于系统时延阀值，则重传该IP包；b.如果优先级较低，则计算当前时延时间与预测带宽速率的比值作为重传系数， 与系统时延阀值与系统标准码率的比值——重传常数进行比较1)如果重传系数大于重传常数，则丢弃该IP包；2)如果重传系数小于重传常数，则重传该IP包。
权利要求
1.一种基于移动通信网络的视音频信号实时传输方法，其特征在于，所述方法包括如下步骤步骤1 当摄像机输出信号时，从摄像机输出接口获取实时视音频信号；步骤2 以当前编码器编码码率，对待传输的实时视音频信号进行压缩编码，得到TS码流，所述当前编码器编码码率由步骤5设定；步骤3 将得到的TS码流送入主缓存区，处理成IP包后，送往某一未满的传送缓冲区， 经由该传送缓冲区所对应的移动通信网络模块进行发送；步骤4 对网络带宽和信号接收方时延时间进行测试；记录测得的网络带宽，以及当前时间，作为历史网络带宽数据；记录测得的时延时间作为当前时延时间；以第一单位时间为间隔重复本步骤；步骤5 根据历史网络带宽数据对下一第二单位时间的网络带宽用外推法进行预测， 并根据预测网络带宽设置相应的当前编码器编码码率，以第二单位时间为间隔重复本步马聚ο
2.根据权利要求1所述的基于移动通信网络的视音频信号实时传输方法，其特征在于，所述步骤3的具体步骤如下步骤(1)将得到的TS码流送入主缓存区，并根据TS码流的内容标记优先级别，再将 TS码流处理成IP包；步骤O)检测各移动通信网络模块的传送缓冲区是否已满如果存在未满的传送缓冲区，则将IP包送入待传送列队最短的传送缓冲区，等待发送，进入步骤(3)；如果所有的传送缓冲区都已满，则判断主缓存区和各传送缓冲区内IP包的优先级，丢弃优先级别较低的IP包，重复步骤O)；步骤(3)将缓冲区内等待发送的IP包按先进先出的顺序，经由该传送缓冲区所对应的移动通信网络模块进行发送。
3.根据权利要求2所述的基于移动通信网络的视音频信号实时传输方法，其特征在于，所述步骤(1)中根据TS码流的内容标记优先级别的标准为1帧的数据包为最高优先级，其余为次优先级。
4.根据权利要求2或3所述的基于移动通信网络的视音频信号实时传输方法，其特征在于，所述步骤(3)的IP包的发送方法还包括根据IP包的优先级和实时网络状况数据而有所选择的误码重传机制。
5.根据权利要求4所述的基于移动通信网络的视音频信号实时传输方法，其特征在于，所述误码重传机制的具体如下判断IP包的优先级a.如果优先级较高，则比较当前时延时间和事先设置的系统时延阀值1)如果当前时延时间高于系统时延阀值，则丢弃该IP包；2)如果当前时延时间不高于系统时延阀值，则重传该IP包；b.如果优先级较低，则计算当前时延时间与预测带宽速率的比值作为重传系数，与系统时延阀值与事先设置的系统标准码率的比值——重传常数进行比较1)如果重传系数大于重传常数，则丢弃该IP包；2)如果重传系数小于重传常数，则重传该IP包。
6.根据权利要求1所述的基于移动通信网络的视音频信号实时传输方法，其特征在于，所述步骤4的具体步骤如下对各个移动通信网络模块网络带宽和信号接收方时延时间进行测试；记录测得的各个移动通信网络模块中网络带宽的最小值与移动通信网络模块个数的乘积，以及当前时间， 作为历史网络带宽数据；记录测得的各个移动通信网络模块中时延时间的最大值作为当前时延时间；以第一单位时间为间隔重复本步骤。
7.根据权利要求1所述的基于移动通信网络的视音频信号实时传输方法，其特征在于，所述步骤5的具体步骤如下根据历史网络带宽数据，分别计算得出上一个第二单位时间内和当前第二单位时间内的带宽平均值，再根据这两个带宽平均值计算出带宽变化的斜率和方向，通过斜率和方向推算出下一个第二单位时间内的短期预测带宽平均值；根据历史网络带宽数据，分别计算得出上一个N倍第二单位时间内和当前N倍第二单位时间内的带宽平均值，再根据这两个带宽平均值计算出带宽变化的斜率和方向，通过斜率和方向推算出下一个N倍第二单位时间内的长期预测带宽平均值；通过计算短期预测带宽平均值和长期预测带宽平均值的平均值，得出预测网络带宽；根据预测网络带宽设置相应的当前编码器编码码率如果预测网络带宽速率高于系统标准码率，则当前编码器编码码率设置为系统标准码率；如果预测网络带宽低于系统标准码率，则当前编码器编码码率设置为预测网络带宽；以第二单位时间为间隔重复本步骤。
8.根据权利要求1或5所述的基于移动通信网络的视音频信号实时传输方法，其特征在于，所述第一单位时间为0. 5 1秒。
9.根据权利要求1或7所述的基于移动通信网络的视音频信号实时传输方法，其特征在于，所述第二单位时间为系统时延阀值加2秒。
10.根据权利要求3所述的基于移动通信网络的视音频信号实时传输方法，其特征在于，所述N为3，4或5。
全文摘要
本发明涉及一种基于多路移动网络的实时电视转播系统，采取一种带宽波形预测算法，可以比较精确地预知带宽从而来精确调整编码器码率，以适应带宽的变化；另外，采取一种创新的误码重传机制最大能力的保障传输视音频数据质量。
文档编号H04N21/647GK102256183SQ20101017905
公开日2011年11月23日 申请日期2010年5月21日 优先权日2010年5月21日
发明者吴罡, 周静, 孔德惠, 窦永霞, 陈迪 申请人:上海捷骐数码科技有限公司