专利名称：一种多路径无线视频传输方法和系统的制作方法
一种多路径无线视频传输方法和系统
一、 技术领域；
本发明属于通信网络技术领域，更具体地，涉及在公用移动通信网络环境中的实 现多路信道无线视频传输的方法和系统
二背景技术：
随着移动通信和多媒体技术的发展，基于无线移动网络的视频传输越来越受到人 们的关注，在视频电话，视频会议以及视频监控系统领域得到广泛应用。无线移动网 络的共同特点是带宽相对较窄且波动性较大，误码率高，传输时延大，丢包率大，而 无线实时视频传输又要求传输网络具有高传输带宽、高可靠性和低时延等，因此，在 无线通信环境下，构建实时无线视频传输系统提供具有一定QoS服务质量保证的视 频流，面临着诸多困难和挑战。
目前，我国先后建立了 GSM、 GPRS、 CDMA-1X、以及EDGE网络，后三者的 网络理论峰值带宽分别可达171.2Kbps， 307.2kbps和473.6Kbps。但是，无线移动网 络的实际传输带宽与理论峰值差距很大，传输带宽最高的EDGE网络实测只能达到 80K左右的上行传输速率，远不能满足高质量实时视频传输的要求。因此，现有基于 公共移动通信网络的无线视频传输方案一般采用单路GPRS或CDMA1X信道进行传 输，受信道限制带宽影响，很难达到高质量的实时视频图像。
三
发明内容
本发明的目的是在限制带宽和高误码率的公用移动通信网络上获得高质量的实 时视频传输，公开了一种基于双路EDGE信道的无线视频传输方法和系统。本发明以 高性能的DSP为核心设计了无线视频终端；利用双路增强型数据业务(EDGE， Enhanced Data rate for GSM Evolution)传输信道提供较高的传输带宽，提出了基于双 路缓冲区判断的发送机制和双路传输的错误隐藏方法。
本发明的技术方案是多路径无线视频传输方法，由无线视频终端、视频发布服 务器和多种类型的客户端组成无线视频传输系统；无线视频终端具有视频采集、视频 压縮和无线发送；无线视频终端首先对摄像机采集的视频信号进行压縮编码形成视频 流，然后采用多发送缓冲区的判断机制，将压縮视频流经多路EDGE信道发送到 INETERNET网上的视频发布服务器。视频发布服务器负责重建接收的多路视频流、视 频的错误隐藏处理和管理客户端的信息，对登录到服务器的客户端提供相应的视频服 务；客户端接收用户的指令完成无线视频终端的控制功能和视频流的解码显示功能。 对于编码器的选择，考虑到移动终端的计算能力和实时性的要求，系统可以选择H.264 基本档次(Baseline Profile)编码器。发送端和接收端各开辟2个缓冲区对双路信号 进行缓存。发送控制单元根据双路缓冲区的检测判断，对已编码好的码流进行发送控 制，依据双路发送策略分配视频数据流至相应的发送缓冲区，然后经双路EDGE信道进行发送。接收端对双路缓冲区数据进行合并，判断数据包的丢失，并标记出丢失数 据范围及类型。合并后的码流送由解码器解码，根据双路传输的特点以及丢帧类型， 在解码器中采用相应的差错隐藏方法。双路无线视频传输系统框架如图l所示。系统由无线视频终端、视频发布服务器 和多种类型的客户端组成。其中，无线视频终端具有视频采集、视频压縮和无线发送 等功能。无线视频终端首先对摄像机采集的视频信号进行压縮编码形成视频流，然后 采用多发送缓冲区的判断机制，将压縮视频流经多路EDGE信道发送到INETERNET网 上的视频发布服务器。视频发布服务器负责重建接收的多路视频流、视频的错误隐藏 处理和管理客户端的信息，对登录到服务器的客户端提供相应的视频服务。客户端接 收用户的指令完成无线视频终端的控制功能和视频流的解码显示功能。系统处理流程如图2所示，主要包括四个处理单元编码器单元、发送控制单元、 数据合并单元，及解码和差错隐藏单元。对于编码器的选择，考虑到移动终端的计算能力和实时性的要求，系统可以选择 H.264基本档次(Baseline Profile)编码器。发送端和接收端各开辟2个缓冲区对双路 信号进行缓存。发送控制单元根据双路缓冲区的检测判断，对己编码好的码流进行发 送控制，依据双路发送策略分配视频数据流至相应的发送缓冲区，然后经双路EDGE 信道进行发送。接收端对双路缓冲区数据进行合并，判断数据包的丢失，并标记出丢失数据范围 及类型。合并后的码流送由解码器解码，根据双路传输的特点以及丢帧类型，在解码 器中采用相应的差错隐藏方法。(b)基于双路缓冲区判断的发送策略H. 264基本档次支持I帧和P帧。I帧采用帧内模式编码，编码效率较低但无需参 考帧，可以独立恢复出全部图像信息且能有效阻止由于包丢失而引起的错误扩散。P 帧采用帧间模式编码，利用帧间预测和运动补偿来消除时域冗余，只传输当前帧和参 考帧的差值，编码效率高，但需要参考帧并且容易造成错误扩散。针对I帧和P帧的特点，采取如图3所示的不同发送策略。其中，I帧是H.264 码流中的关键帧，采取双路重复发送的方法。对于P帧采取双路交替发送的策略。P 帧按奇偶间隔平均的分配给双路信道。系统为2个发送模块各开辟一个发送缓冲区，每一个缓冲区对应一个无线发送模 块。在双路信道数据发送过程中，无线信道的不稳定性势必会造成发送缓冲区的波动， 因此需要针对双路发送缓冲区的剩余空间状况进行监测，进而判断并选择相对应的发 送控制。设WA与WB分别表示双路缓冲区剩余空间，其公式定义如下
<formula>formula see original document page 4</formula>其中，5"#"—^禾B S分别表示双路缓冲区大小，尸—『及—丄尸J D—j和
尸_『/ _万、i>J Z)_々分别为双路缓冲区读写指针。缓冲区读写指针起始于同一位置， 当读写指针相同时，表示缓冲区为空。读写指针的差即为缓冲区占用空间。
依据缓冲区的剩余空间，分为4种状态
Sh (『^>当前帧长且^^>当前帧长)即双路空间均有足够缓存空间。
S2:(『^>当前帧长且『^<当前帧长)即A路径缓冲区空间足够，但B路径空间不 够。
S3:(『,<当前帧长且^^>当前帧长)即B路径缓冲区空间足够，但A路径空间不 够。
S4:(『,<当前帧长且『3<当前帧长)即两路缓冲区均无足够空间。
系统每次编码完成一帧后，并不直接送去缓冲区发送，而是先行判断当前帧类型
和发送缓冲区状态，然后选择相应的发送机制
Sl: I帧采取双路重复发送；P帧根据路径标志单路发送，随后将路径标志修改为另 一路。
S2:对于I帧，进行A路发送，在下一帧数据编码完成前，保持对B路缓冲区状态检 湖'J，若B路缓冲区空间足够，则进行B路发送。对于P帧，进行A路发送，并将路径 标志修改为B。 S3:与S2状态处理类同。
S4:系统启动错误计数器，对于后续P帧主动丢弃，不进入发送进程，直至下一个I帧到达。错误计数器计数连续未发送的I帧个数，若超过3个则发出系统错误信号，
提示信道阻塞。计数期间，若状态转换，则将错误计数器清空。
(c)接收与差错隐藏处理
接收端首先对正确接收的数据进行排序合并。对于双路重复发送的I帧，接收端 选取正确接收的一路数据，主动丢弃另一路数据。其自身设定一个定时器，如果规定 时间内没有收到对应的包则认为该包丢失。由于无线信道的不可靠性，接收端还需要 进行一定的差错隐藏，针对双路发送的特点，I帧和P帧采用不同的差错隐藏方法， 如图4所示。I帧采用邻近像素线性内插算法进行差错隐藏而P帧采用前帧替代法和 双向预测补偿法进行差错隐藏。
* I帧错误隐藏
系统在发送端采用双路信道冗余发送关键的I帧，目的在于尽可能地降低I帧的 出错概率。 一旦I帧传输出错，解码端将采用邻近像素线性内插算法进行差错隐藏。 如图5所示，通过对丢失宏块周围像素值取加权平均来代替丢失宏块，权值与插值像 素和参考像素的距离成反比。图5邻近像素线性内插示意图 对于丢失宏块N内任意像素g(;c，力，其像素值由下式确定十(fe. (7V —办).~ (x, >>) + U" &R (x,力]/(2 iV)其中血，办，H W-办分别为g(jc,力到6,(;c,力，Zv(x,力，6R0c,_y)， 6B(x,;;) 的距离，iV为宏块的大小。* P帧错误隐藏P帧采用帧间编码消除时间冗余，编码效率高。 一帧图像的数据量往往小于一个 基本网络传输单元,在这种情况下，当网络传输中出现数据包丢失时，则往往导致整帧 图像内容的丢失，因此本系统对于P帧的差错隐藏考虑是整帧丢失的差错隐藏处理。 最简单的整帧差错隐藏方法就是前帧替代法，前帧替代法对相对静止的视频序列能取 得较好的错误隐藏效果,但对运动的视频序列却会产生较大的失真。考虑到本系统中P 帧是双路交替发送，能够较有效地避免连续帧出错，因此，当接收端的P帧非连续出 错时，则采用双向预测补偿的方法；对于P帧连续出错，则采用前帧替代法。如图6所示，对于尸。+2、尸 +3帧，由于出现了连续丢帧错误，所以采取前帧替代的 方法，实验表明这种情况较少。对于^帧，采用双向预测补偿的方法。设C帧参考f,.2帧以及尸 +,帧参考尸 帧的运动矢量集合分别为 {MF —, I ~>尸 _2} ， {MF +1 I4 P }。设为4中的第i个宏块，其运动矢量 为M7""。根据物体运动线性理论，则尸 中同样位置的宏块似 ,前向预测运动矢量MF",,1 e (MF"' I尸 —尸 _}为MFj = ImK"., , (1)其中ZV,， D,，分别表示/^与C，尸 .,与尸 之间的时间距离。同理，A^,后向预测运动矢量MK",2 e {A#;2 I尸 ~>尸 —J为iW;,2 =#MF +1,, (2)根据(1) (2)两式，通过运动补偿就可以分别得到两个预测宏块M"， M /，并加权平均后得到最终掩盖宏块M"/ =会(风,,,'+风,,2)。本发明是有益效果是提出了一种基于双路EDGE信道的无线视频传输方法和系 统，通过双路EDGE获得较高的传输带宽，发送端采用双路缓冲区判断的发送机制，6200810020904.5说明书第4/5页图5邻近像素线性内插200810020904.5说明书第4/5页图5邻近像素线性内插示意图 对于丢失宏块N内任意像素g(;c，力，其像素值由下式确定十(fe. (7V —办).~ (x, >>) + U" &R (x,力]/(2 iV)其中血，办，H W-办分别为g(jc,力到6,(;c,力，Zv(x,力，6R0c,_y)， 6B(x,;;) 的距离，iV为宏块的大小。* P帧错误隐藏P帧采用帧间编码消除时间冗余，编码效率高。 一帧图像的数据量往往小于一个 基本网络传输单元,在这种情况下，当网络传输中出现数据包丢失时，则往往导致整帧 图像内容的丢失，因此本系统对于P帧的差错隐藏考虑是整帧丢失的差错隐藏处理。 最简单的整帧差错隐藏方法就是前帧替代法，前帧替代法对相对静止的视频序列能取 得较好的错误隐藏效果,但对运动的视频序列却会产生较大的失真。考虑到本系统中P 帧是双路交替发送，能够较有效地避免连续帧出错，因此，当接收端的P帧非连续出 错时，则采用双向预测补偿的方法；对于P帧连续出错，则采用前帧替代法。如图6所示，对于尸。+2、尸 +3帧，由于出现了连续丢帧错误，所以采取前帧替代的 方法，实验表明这种情况较少。对于^帧，采用双向预测补偿的方法。设C帧参考f,.2帧以及尸 +,帧参考尸 帧的运动矢量集合分别为 {MF —, I ~>尸 _2} ， {MF +1 I4 P接收端采用对应的合并和错误隐藏方法，在有限带宽和高误码率的公用移动通信网络 上获得高质量的实时视频传输。 四
图l本发明无线视频传输系统框架图 图2无线视频传输系统处理流程框图 图3双路信道发送策略示意图 图4接收端错误隐藏处理示意图 图5邻近像素线性内插示意图 图6 P帧差错隐藏示意图 图7无线终端硬件框图
五、具体化实施方式
无线视频终端是双路无线视频传输系统的核心部分，如图6所示，可以选用专用 数字信号处理器TMS320DM642作为核心单元。外围功能模块还包括音视频解码单元， 时钟单元，SDRAM，Flash，UART控制，无线EDGE模块等。TMS320DM642时钟高达600MHz， 处理能力达4800MIPS，具有3个视频端口(VP0-VP3),支持多种分辨率和标准。通过 外部内存接口(EMIF)控制单元可直接与外部的SDRAM， FLASH进行连接，并可扩展实 现ATA硬盘接口， UART接口和数字IO接口等。
无线视频终端采用VPO端口与视频解码芯片(A/D)相连实现视频采集，配置EMIF 端口为2路UART接口，并通过串口驱动芯片与EDGE无线传输模块相连，实现双路无 线数据传输。
在解码器中采用差错隐藏方法解码器的错误隐藏，根据双路传输的特点以及丢 帧类型I帧和P帧分别采用不同的差错隐藏方法。I帧采用邻近像素线性内插法进 行差错隐藏；而P帧的错误隐藏方法还要进一步细分，当接收端的P帧非连续出错时， 则釆用双向预测补偿的方法；对于P帧连续出错，则采用前帧替代法。
权利要求
1、多路径无线视频传输方法，其特征是设有无线视频终端、视频发布服务器和多种类型的客户端组成无线视频传输系统；无线视频终端具有视频采集、视频压缩和无线发送；无线视频终端首先对摄像机采集的视频信号进行压缩编码形成视频流，然后采用多发送缓冲区的判断机制，将压缩视频流经多路EDGE信道发送到INETERNET网上的视频发布服务器；视频发布服务器重建接收的多路视频流、视频的错误隐藏处理和管理客户端的信息，对登录到服务器的客户端提供相应的视频服务；客户端接收用户的指令完成无线视频终端的控制功能和视频流的解码显示功能。对于编码器的选择，考虑到移动终端的计算能力和实时性的要求，系统采用H.264基本档次编码器；发送端和接收端各开辟2个缓冲区对双路信号进行缓存；发送控制单元根据双路缓冲区的检测判断，对已编码好的码流进行发送控制，依据双路发送策略分配视频数据流至相应的发送缓冲区，然后经双路EDGE信道进行发送。接收端对双路缓冲区数据进行合并，判断数据包的丢失，并标记出丢失数据范围及类型。合并后的码流送由解码器解码，根据双路传输的特点以及丢帧类型，在解码器中采用相应的差错隐藏方法。
2、 根据权利要求1所述的多路径无线视频传输方法，其特征是在解码器中采用差错隐藏方法解码器的错误隐藏，根据双路传输的特点以及丢帧类型I帧和P帧 分别采用不同的差错隐藏方法；I帧采用邻近像素线性内插法进行差错隐藏；而P帧 的错误隐藏方法还要进一步细分，当接收端的P帧非连续出错时，则采用双向预测补 偿的方法；对于P帧连续出错，则采用前帧替代法。
全文摘要
多路径无线视频传输方法，通过设有无线视频终端、视频发布服务器和多种类型的客户端组成无线视频传输系统；无线视频终端具有视频采集、视频压缩和无线发送；无线视频终端首先对摄像机采集的视频信号进行压缩编码形成视频流；视频发布服务器重建接收的多路视频流、视频的错误隐藏处理和管理客户端的信息，对登录到服务器的客户端提供相应视频服务；客户端接收用户的指令完成无线视频终端的控制功能和视频流的解码显示功能。对于编码器的选择，考虑到移动终端的计算能力和实时性的要求，系统采用H.264协议，发送端和接收端各开辟2个缓冲区对双路信号进行缓存；合并后码流由解码器解码，在解码器中采用相应的差错隐藏方法。
文档编号H04N7/24GK101330609SQ20081002090
公开日2008年12月24日 申请日期2008年7月31日 优先权日2008年7月31日
发明者刘景亚, 季晓勇, 丹 李, 李劼伟, 健 王, 晋 祁 申请人:南京大学