专利名称：基于功耗模型的最优化可伸缩视频传输和解码系统的制作方法
技术领域：
本发明属于视频压缩编码与无线传输技术领域，设计了适用于智能手机等移动设备的可伸缩视频编解码与无线传输方法。本发明根据网络带宽和移动终端可用功率实时优化可伸缩码流参数来保证最佳的视频质量。
背景技术：
在可伸缩视频编码的解码模块中，是分解为七个基本的解码模块进行的，即熵解码，边信息准备，反量化和逆变换，参考信息更新，帧内预测，运动补偿和去块。首先比特流被送入到熵解码模块，以获得边信息和量化后的变换系数等；然后解码器使用解析过的信息来初始化必要的解码数据结构，即边信息准备。块类型，参考图，预测模式，运动矢量，将被计算并填入到相应的数据结构中作进一步的使用。反量化和逆变换模块接着把量化转移系数转换成块残差系数。在目标层，解码残差可以被归结为预测样本，用帧内预测或者运动补偿来重构信号。最后，去块滤波器被用来消除由基于块的混合变换编码结构引入的块效应。由于可以通过把即时复杂度要求映射为处理器功耗来得到功耗模型，因此获得复杂度模型是很有必要的。为了准确的获得帧解码复杂度，可以把视频解码器分解成7个解码模块，每一个解码模块都有一个特殊的复杂度单元(CU)来解决这一解码模块所要求的基本操作。一个固定CU所要求的平均循环数或者为常数，或者可以由一个简单的线性预测器容易的获得。由于有限的电池能量供应是流行移动视频应用中的一个关键问题。相比其它服务如音频播放，短信等，视频解码通常要求更多的能量，这是由于其复杂的计算操作和缓冲区内戏剧性的数据传输。对于采用先进视频编码标准，如H.264/AVC及其可伸缩扩展的高清晰度(HD)视频解码来说，电池能量的短缺是一个更为严重的问题。一般来说，在视频解码中有两个主要的能量消耗源。一个是内存传输，另一个是CPU周期工作。因此获得可伸缩视频解码的功耗是关键和必须的，功耗可以表示为所需视频解码复杂度的函数(就每秒循环数来说)，即P = φ (C)；这里P和C分别表示视频解码的功耗和计算复杂度，φ 0抽象了功耗和复杂度的关系。而对于ARM处理器下可伸缩视频解码的功耗模型为穴I t) =^(C(q, t))=\C(q,ty+k2 ，这里C为解码复杂度，k1 k2为参数。论文名H. 264/AVC baseline profile decoder complexity analysis,其月干丨J : IEEETrans. Circuits and Systems for Video Technology,年份2003 年，第 13 其月，704 页至716页，论述了在视频解码中的两个主要的消耗源，即内存传输和CPU周期工作，但是没有考虑其它部分的功耗。论文名Power -rate-distortion analysis for wireless video communication under energy constraints，期干丨J :IEEE Trans. Circuit and Sys. for Video Technology, 年份2005年，第15期，645页至659页，说明了解码功耗可以用解码复杂度的函数来表示， 但只是在一个固定的平台上实现，而且这种关系是确定的，无法自适应解码环境变化。
论文名A dynamic voltage scaled microprocessor system,期干丨 J :IEEE Journal of Solid-State Circuits，年份2000 年，第 35 期，1571 页至 1580 页，提出了为了节省能量而广泛使用的动态电压/频率调整方案。论文名:Performance analysis of SVC,期干丨J :IEEE Trans. Circuit and Sys. for Video Technology，年份2007年，第17期，1194页至1203页，论述了由于SVC的单环解码设计，SVC的解码复杂度与H. 264/AVC解码解码复杂度相差不大，并分析了解码性能，没有采用剩余能量模型。
发明内容
本发明为功率受限的无线移动终端提供最优化视频传输和解码系统，保证终端视频的最佳质量，包括实时带宽侦听，实时终端功率检测，实时功率率失真优化，以及实时视频服务器和终端通信。本发明的技术方案该系统包括视频服务器，移动终端天线，网络带宽检测电路，终端功率检测电路， 功率率失真优化电路，视频服务器与终端对等通信，以及可伸缩视频解码电路。视频服务器存储大量的可伸缩视频，包括不同的视频内容，帧率，幅度值等等。移动终端天线提供和视频服务器的通信链接，可以使用WiFi，或者3G/4G蜂窝网网络检测电路和终端天线连接，实时侦听有效网络带宽并提供给终端功率检测电路。该电路可以整合入天线模块，扩展当前软件驱动来控制侦听频率。终端功率检测电路可以使用电池传感器来检测终端电池容量，继而得出可用功率。类似与网络检测电路，可以通过扩展软件驱动来控制功率检测的精度和频率。从端功率检测电路出来的信号通过功率率失真优化电路计算并计算最优化视频参数，即前述的实时功率和网络带宽将会被功率率失真模块使用来计算最优化视频参数。 最优化参数反馈至视频服务器进行码流提取。在功率率失真优化电路中，结合了我们下面提出的可伸缩视频解码功率模型，根据带宽和可用功率，来计算最优化视频参数，例如视频帧率，幅值等。可伸缩视频解码的功耗是关键和必须的，功耗可以表示为所需视频解码复杂度的函数(就每秒循环数来说)，即P = φ (C)；这里P和C分别表示视频解码的功耗和计算复杂度，φ()抽象了功耗和复杂度的关系。而对于ARM处理器下可伸缩视频解码的功耗模型为Kq，t) =^(C(q, t))=\C(q,ty+k2 ，这里C为解码复杂度，k1; 1 为参数。该功率率失真模块可以使用独立硬件电路，譬如FPGA，或者终端控制器譬如ARM 9，或者终端信号处理器，譬如ARM Cortex, DSP,来实现。可伸缩视频解码器用来进行可伸缩视频解码，可以使用专用硬件解码器，或者基于嵌入时平台的软件解码器，用来进行视频解码和播放。本发明的有益效果是通过实时带宽侦听，实时功率检测，实时功率率失真优化以及视频服务器和终端通信，实现可伸缩性视频的最优传输和解码。本发明能够提供提供最佳视频质量，有效控制无线终端功率消耗，提供视频传输实时优化，支持不同无线终端以及不同无线网络接入。
附图1是本发明的结构示意图。
具体实施例方式下面结合具体实施例和附图详细阐述本发明，但本发明并不局限于具体实施例。实施例1.使用dell optiplex 360作为视频服务器，无线路由CISCO WRVS 4400作为网络代理，提供无线接入(802. lla/b/g/n)。2.使用智能手机平台TI 0MAP3 EVM作为移动终端。3.实现扩展天线驱动支持带宽检测，每1秒检测一次获取实时网络带宽(比特每秒 bps)。4.使用电池感应器检测终端可用功率，每10秒检测一次获取当前电池容量(毫安时 mAh)。5.实现功率率失真模块，基于终端控制器的底层协议C/ASM，实时计算最优化参数，计算时间0.5毫秒。6.实现基于ARM平台的实时可伸缩视频解码模块，实时解码可伸缩视频码流，达到30帧每秒。7.结合前述的可伸缩视频解码功率模型，视觉感知模型以及码率模型，输入网络带宽100千比特每秒GAps)，可用平均功率500毫瓦(mW)，计算得出最佳视频帧率为15帧每秒(fps)和信号幅度控制参数2。8.将最佳视频参数反馈至视频服务器来提取对应可伸缩视频码流。9.提取码流通过无线网络传输至终端利用视频解码器解码和实时播发。
权利要求
1. 一种基于功耗模型的最优化可伸缩视频传输和解码系统，该系统包括视频服务器、 移动终端天线、网络带宽检测电路、终端可用功率检测电路、功率率失真优化电路以及视频解码器电路，其特征在于视频服务器存储大量的可伸缩视频；移动终端天线提供和视频服务器的通信链接，通过WiFi或者3G/4G蜂窝网络； 网络带宽检测电路和移动终端天线连接，实时侦听有效网络带宽并提供给终端功率检测电路；从端功率检测电路出来的信号通过功率率失真优化电路计算并计算最优化视频参数；该功率率失真模块使用独立硬件电路；视频解码器用来进行可伸缩视频解码，使用专用硬件解码器，或者基于嵌入时平台的软件解码器。
全文摘要
本发明属于视频压缩编码与无线传输技术领域，提供了一种适用于智能手机等移动设备的可伸缩视频编解码与无线传输方法。其特征是根据移动设备当前可用功率和接收网络带宽，结合本发明提出的可伸缩视频解码功率模型，视觉感知模型和视频码率模型，得出最优化视频参数，例如视频帧率，信号幅度。最优视频参数由无线终端反馈至服务器，或者网络接入点来提取对应的可伸缩视频码流。该提取的码流通过无线网络传输至移动设备进行解码和播放。本发明可以根据无线终端的当前功率和接入带宽实时调节视频传输，并保证最优的视频质量。
文档编号H04N7/26GK102209242SQ20111013791
公开日2011年10月5日 申请日期2011年5月26日 优先权日2011年5月26日
发明者王洁, 王洪玉, 马展 申请人:大连理工大学