一种低码率视频流复合高清图解数据及其带宽分配方法
【专利摘要】本发明涉及一种低码率视频流复合高清图解数据及其带宽分配方法，在低码率条件下，传输通过分配带宽完成，音频互动优先级最高，低码率视频流传输优先级其次，复合高清图解数据传输优先级最低，复合高清图解数据的每一帧，按照时间戳标识对应低码率视频流的指定帧，并从该帧开始保持两路数据的同步,展现复合高清图解数据的每一帧，则通过分块、编码压缩、传输、展现，每个分块根据位置信息，在完成传输后，覆盖保持同步的低码率视频帧经过放大显示所对应的位置，使复合过程越来越清晰的还原成高清图像。本发明低带宽条件下保障语音互动和低码率视频基础上，并实现同步传输高清图解数据的方法。
【专利说明】一种低码率视频流复合高清图解数据及其带宽分配方法
【技术领域】
[0001]本发明涉及一种低码率视频流复合高清图解数据的传输方法，尤其涉及一种在低码率中带宽分配传输方法。
【背景技术】
[0002]当前，广泛使用INMARSAT第四代卫星的Explorer700系统，接收信号强度最佳时，带宽可达128kbps,带宽范围在16kbps?128kbps水平。海事卫星通信过程中，为了保持稳定的天线接收信号强度，常常采用静中通方式，即天线对准卫星获得好的信号强度后，固定不动。天线与单兵之间以近距离无线方式连接。如=Explorer 700，在静中通方式下信号强度可达到54?57dBHZ，数据流带宽可达64?128kbps，这为音频互动和低码率视频传输提供足够的带宽。但是无法进行高清视频的传输。
[0003]基于海事卫星通信的应用，非实时性要求的应用，主要是WEB、Email等基于互联网的服务，实时性要求的应用主要用于语音互动和传输低码率视频。在传输低码率视频方面，为了提高低码率视频的清晰度和稳定性，已经有不少成果和专利，在传输高清视频方面，理论计算就不可行，依托宽带海事卫星通信业务的发展，大约需要15?20年。在现有带宽条件下是无法实现高清视频传输。低码率视频的局限性，极大的制约了基于海事卫星通信的应用功能和应用效果。
【发明内容】
[0004]本发明针对现有技术的不足，提供了一种在保障语音互动和低码率视频帧率降低到可接受的帧率范围前提下，将多余的带宽用于传输高清图解数据，用于清晰的展现低码率视频中看不清的场景。
[0005]本发明是通过以下技术方案实现的:
在低码率条件下，同时完成音频互动、低码率视频传输和复合高清图解数据传输。传输过程是通过合理分配带宽完成的，音频互动优先级最高，带宽控制在4kbps?16kbps水平，低码率视频流传输优先级其次，帧率控制在25fps以下，复合高清图解数据传输优先级最低，帧率控制在0.01?Ifps水平。
[0006]复合高清图解数据的每一帧，按照时间戳标识对应低码率视频流的指定帧,并从该帧开始保持两类数据的同步。展现复合高清图解数据的每一帧，则通过分块、编码压缩、传输、展现，每个分块根据位置信息，在完成传输后，覆盖保持同步的低码率视频帧经过放大显示所对应的位置，使复合过程越来越清晰的还原成高清图像。
[0007]带宽自适应性方法设计，低码率视频流支持QCIF和CIF两种规格，高清图解数据为1080p规格，按照低带宽在32kbps?128kbps范围自动调整规格，并支持人工控制传输规格。
[0008]采集模块将接收的音频数据以I2S音频解码输出，将接收的高清视频数据以YUV高清视频解码输出；处理模块将YUV高清视频解码数据，按两路压缩处理，一路处理成QCIF或CIF低码率视频，一路按照时间戳获取指定低码率视频帧对应的高清视频帧，处理成1080p高清图解数据，并通过编码标识同步特征信息，再等分成M*N块，并将每块进行压缩。音频数据和两路视频数据均发送到传输缓冲区，各自再打包成更小的有利于传输和重传的数据包，传输时音频数据优先，其次低码率视频，最后是复合高清图解数据。
[0009]低码率视频采用H.264编码。编码前，对原始图像进行色彩空间压缩，从而使编码后的码流变得更小，相应的占用的传输带宽就会更少。具体压缩方式为:低码率数据按照H.264进行压缩编码。对于H.264编码，为了减小原始图片大小，可以采用灰度图像进行编码；即将原始的YUV码流扔掉UV色彩分量以后，直接转换为只有Y分量的灰度数据送给
H.264编码器，这样原始图像占用的存储空间就减少了一倍，编码后的码流大小也会大大减少。同时，对过降低帧率使码流数据包更少。
[0010]两路视频数据无论码率为多少，都必须保持同步。基于实用性考虑，实际低码率视频帧率限定在5?25fps。自适应调整过程必兼顾帧率及质量来调整码流大小。动态调整以调节低码率视频流及高清图解数据的帧率来进行，而音频码流是不会调整的。以0.2fps为高清图解数据基准帧率，以15fps为低码率数据基准帧率，调节周期以5秒一次为宜。具体方法如下:
当检测到带宽低于基准时，如果侧重于观察高清图解数据，则优先下调低码率视频的码率，具体方法是将低码率视频流码率降低为上一次码率的60%?80%。如果侧重于观察低码率视频，则保持最低码率在15fps水平后，不再降低，此时高清图解数据，按照不限定时间要求传输，如果低于最低设计值0.0lfps,则按超时处理。当检测到带宽充足时，升高码率。低码率视频每次提高为上一次码率的105%，直到25fps。如果侧重于观察高清图解数据，则优先提高高清图解数据码率，而将低码率视频保持在较低的水平。
[0011]本发明提供了一种在低带宽条件下保障语音互动和低码率视频基础上，同步传输高清图解数据的方法。在应急指挥系统中，使用该方法，高清图解数据就象播放高清动画片一样，能够帮助后端有间隔但不间断的看清现场状况，并与持续性的低码率视频相同步，相辅相承，大大提高了专家对现场进行分析、诊断和领导决策的准确性，具有很高的实用价值。
[0012]
【具体实施方式】
[0013]在低码率条件下，同时完成音频互动、低码率视频传输和复合高清图解数据传输。传输过程是通过合理分配带宽完成的，音频互动优先级最高，带宽控制在4kbps?16kbps水平，低码率视频流传输优先级其次，帧率控制在25fps以下，复合高清图解数据传输优先级最低，帧率控制在0.01?Ifps水平。复合高清图解数据的每一帧，按照时间戳标识对应低码率视频流的指定帧，并从该帧开始保持两类数据的同步。展现复合高清图解数据的每一帧，则通过分块、编码压缩、传输、展现，每个分块根据位置信息，在完成传输后，覆盖保持同步的低码率视频帧经过放大显示所对应的位置，使复合过程越来越清晰的还原成高清图像。带宽自适应性方法设计，低码率视频流支持QCIF和CIF两种规格，高清图解数据为1080p规格，按照低带宽在32kbps?128kbps范围自动调整规格，并支持人工控制传输规格。采集模块将接收的音频数据以I2S音频解码输出，将接收的高清视频数据以YUV高清视频解码输出；处理模块将YUV高清视频解码数据，按两路压缩处理，一路处理成QCIF或CIF低码率视频，一路按照时间戳获取指定低码率视频帧对应的高清视频帧，处理成1080p高清图解数据，并通过编码标识同步特征信息，再等分成M*N块，并将每块进行压缩。音频数据和两路视频数据均发送到传输缓冲区，各自再打包成更小的有利于传输和重传的数据包，传输时音频数据优先，其次低码率视频，最后是复合高清图解数据。低码率视频采用
H.264编码。编码前，对原始图像进行色彩空间压缩，从而使编码后的码流变得更小，相应的占用的传输带宽就会更少。具体压缩方式为:低码率数据按照H.264进行压缩编码。对于
H.264编码，为了减小原始图片大小，可以采用灰度图像进行编码；即将原始的YUV码流扔掉UV色彩分量以后，直接转换为只有Y分量的灰度数据送给H.264编码器，这样原始图像占用的存储空间就减少了一倍，编码后的码流大小也会大大减少。同时，对过降低帧率使码流数据包更少。两路视频数据无论码率为多少，都必须保持同步。基于实用性考虑，实际低码率视频帧率限定在5?25fps。自适应调整过程必兼顾帧率及质量来调整码流大小。动态调整以调节低码率视频流及高清图解数据的帧率来进行，而音频码流是不会调整的。以
0.2fps为高清图解数据基准帧率，以15fps为低码率数据基准帧率，调节周期以5秒一次为宜。具体方法如下:当检测到带宽低于基准时，如果侧重于观察高清图解数据，则优先下调低码率视频的码率，具体方法是将低码率视频流码率降低为上一次码率的60%?80%。如果侧重于观察低码率视频，则保持最低码率在15fps水平后，不再降低，此时高清图解数据，按照不限定时间要求传输，如果低于最低设计值0.0lfps,则按超时处理。当检测到带宽充足时，升高码率。低码率视频每次提高为上一次码率的105%，直到25fps。如果侧重于观察高清图解数据，则优先提高高清图解数据码率，而将低码率视频保持在较低的水平。
[0014]本发明提供了一种在低带宽条件下保障语音互动和低码率视频基础上，同步传输高清图解数据的方法。在应急指挥系统中，使用该方法，高清图解数据就象播放高清动画片一样，能够帮助后端有间隔但不间断的看清现场状况，并与持续性的低码率视频相同步，相辅相承，大大提高了专家对现场进行分析、诊断和领导决策的准确性，具有很高的实用价值。
【权利要求】
1.一种低码率视频流复合高清图解数据及其带宽分配方法，其特征在于:在低码率条件下，传输通过分配带宽完成，音频互动优先级最高，带宽控制在4kbps?16kbps水平,低码率视频流传输优先级其次，帧率控制在25fps以下，复合高清图解数据传输优先级最低，帧率控制在0.0l?Ifps水平。
2.一种低码率视频流复合高清图解数据及其带宽分配方法，其特征在于:复合高清图解数据的每一帧，按照时间戳标识对应低码率视频流的指定帧，并从该帧开始保持两路数据的同步，展现复合高清图解数据的每一帧，则通过分块、编码压缩、传输、展现，每个分块根据位置信息，在完成传输后，覆盖保持同步的低码率视频帧经过放大显示所对应的位置，使复合过程越来越清晰的还原成高清图像。
3.根据权利要求1所述的一种低码率视频流复合高清图解数据及其带宽分配方法，其特征在于采集模块将接收的音频数据以I2S音频解码输出，将接收的高清视频数据以YUV高清视频解码输出；处理模块将YUV高清视频解码数据，按两路压缩处理，一路处理成QCIF或CIF低码率视频，一路按照时间戳获取指定低码率视频帧对应的高清视频帧，处理成1080p高清图解数据，并通过编码标识同步特征信息,再等分成M*N块，并将每块进行压缩； 音频数据和两路视频数据均发送到传输缓冲区，各自再打包成更小的有利于传输和重传的数据包，传输时音频数据优先，其次低码率视频，最后是复合高清图解数据。
4.根据权利要求2所述的一种低码率视频流复合高清图解数据及其带宽分配方法，其特征在于低码率视频采用H.264编码； 编码前，对原始图像进行色彩空间压缩，从而使编码后的码流变得更小，相应的占用的传输带宽就会更少，具体压缩方式为:低码率数据按照H.264进行压缩编码； 对于H.264编码，为了减小原始图片大小，可以采用灰度图像进行编码；即将原始的YUV码流扔掉UV色彩分量以后，直接转换为只有Y分量的灰度数据送给H.264编码器，这样原始图像占用的存储空间就减少了一倍，编码后的码流大小也会大大减少，同时，通过降低帧率使码流数据包更少。
5.根据权利要求2所述的一种低码率视频流复合高清图解数据及其带宽分配方法，其特征在于两路视频数据无论码率为多少，都必须保持同步，低码率视频帧率限定在5?25fps,自适应调整过程兼顾帧率及质量来调整码流大小，动态调整通过调节低码率视频流及高清图解数据的帧率来进行，音频码流则不调整，以0.2fps为高清图解数据基准帧率，以15fps为低码率数据基准帧率，调节周期以5秒一次，具体方法如下: 当检测到带宽低于基准时，如果侧重于观察高清图解数据，则优先下调低码率视频的码率，具体方法是将低码率视频流码率降低为上一次码率的60%?80%，如果侧重于观察低码率视频，则保持最低码率在15fps水平后，不再降低，此时高清图解数据，按照不限定时间要求传输，如果低于最低设计值0.0lfps,则按超时处理，当检测到带宽充足时，升高码率，低码率视频每次提高为上一次码率的105%，直到25fps，如果侧重于观察高清图解数据，则优先提高高清图解数据帧率，而将低码率视频保持在较低的水平。
【文档编号】H04N19/00GK103647980SQ201310715948
【公开日】2014年3月19日 申请日期:2013年12月23日 优先权日:2013年12月23日
【发明者】林杰华, 潘子春, 王彩虹, 鲍红杰, 周立, 刘汉斐, 偶春生, 吴国凤, 徐诚 申请人:合肥工业大学, 国网安徽省电力公司信息通信分公司, 安徽采易电子科技有限责任公司