专利名称：一种网络视频传输方法
技术领域：
本发明属于通信领域，涉及一种网络视频传输方法。
背景技术：
目前巿面上经常可以看到实现远程监控功能的摄像机或照相机，这些监控设 备可以使阳户在接收端以视频的形式及时观察到异地的情况。这些设备的实现方 式是监控端与接收端通过某种类型的网络来通信，监控端通过一个摄像头采集 视频数据，通过某个标准对接收到的图像进行编码，然后通过网络实时传送到接 收端，在接收端通过同一个标准进行解码，并且播放给用户。
目前市面上此类设备主要采取的设计方案都具有以下特点
1) 监控软件都需要在视频质量和播放实时性上做出权衡。高质量的视频信 息必然要求传输的高码率，而网络的特性导致在接收端的延迟变大，尤其是在无 线网络中，信道环境恶劣，有效带宽资源非常有限。因此无限信道的大数据量视 频信息的传输面临巨大挑战。而对于一个监控软件来说，为了使用户及时方便地 掌握细节信息，在移动设备上开发接收端软件无疑是最好的方式。
2) 采用的视频编解码标准多采用MPEG-4或者H.264。 MPEG-4出现比 较早，技术水平比较成熟，而且市面上基于此标准的产品也比较多。H.264是 近几年才出现的新标准，属于MPEG-4标准的第十部分，它的压縮率最高可达 传统MPEG-4的两倍，非常适合视频信息的在移动设备上的存储和在低带宽无 线信道上的传输，但是它增加了编码时间，如果在CPU处理速度允许的情况下， H.264标准是非常适合远程监控软件的。
3) 几乎所有的监控设备都缺乏灵活性，高质量的视频必然意味着高码率， 如果用户希望掌握图像的细节信息则软件就需要高带宽的信道。我们希望找到一 种监控策略，既能使得视频信息可以在低带宽信道上传输，又能根据用户需要得 到相应的细节信息，使监控软件能够将移动设备作为它的接收端。
日本NTT CyberSpace研究所开发了一种基于分层编码算法的软件编解码 器，这种编解码器所采取的策略是l.在正常传输时只发送基本层；2.在基本层 的发送过程中如果发现信道有剩余带宽，则选择增强层发送到接收端。这种策略 虽然可以自适应地改变传输码率，相应地改变视频接收质量，但也存在下述缺陷
l.当信道质量差，没有足够带宽时，编码端几乎不会发送增强层信息。此时本策
略并不能为接收端提供高质量的视频。2.增强层视频的有用性不高。当信道有剩
余带宽时， 一般都是在码率较低的时候信道，根据编解码原理得知画面内容变化
较小才会导致低码率，接近静止的画面热点信息都较少，此时提高视频的质量用
途显然不大。
发 明 内 容
本发明提出了一种网络视频传输方法，在实时监控时只传送分层编码中的基 本层码流来提供一般质量的视频信息，当进行回放时候，监控端传送增强层信息， 配合先前存储在接收端的基本层信息解码出高质量的视频进行高清处理。在满足 用户实时监控需求的前提下，利用分层编码的思想，最大程度减少传输的码率， 同时也能够根据用户需要提供高质量视频，减小了单位时间内网络上的数据传输 量，满足了低带宽无线信道的需求。
一种网络视频传输方法，采取了分层编码的传输方式，包括如下步骤
步骤1:手机、PDA等移动设备被作为接收端发出远程监控的请求，接收 端与监控端建立连接；
步骤2:监控端为采集到的视频信息进行分层编码，分为一个基本层和一个
增强层，并将基本层信息传送到接收端，同时将增强层信息储存到监控端本地； 接收端解码播放基本层信息，并将视频文件存储到接收端本地，直至视频监控结 朿；
步骤3:用户回放视频时，如第一次查看文件，接收端将再次与监控端建立 连接，接收端接收先前存储在监控端的增强层信息，并保存成辅助文件，并将此 增强层信息结合先前存储在本地的基本层文件共同解码成高质量的视频播放。如 不是第一次查看文件，接收端直接读取本地已储存的辅助文件获取增强层信息， 联合基本层文件共同解码出高质量的视频文件播放，直至视频回放结束。
所述步骤3中辅助文件包括文件头和文件主体内容两部分，文件主体内容顺 序保存所有帧的增强层信息，文件头包括每个视频帧的id号以及对应视频帧的 增强层在文件主体内容中的位置索弓I 。
所述步骤3中不是第一次回放视频时，根据辅助文件的当前的基本层信息 id号，接收端播放视频过程中通过读取所述辅助文件的头信息便可以获得所对 应增强层信息在辅助文件主体内容中的位置索引，根据这个索引接收端便可以快 速得到该增强层信息并与基本层信息联合解码。
所述步骤3中第一次回放视频时，接收端向辅助文件中保存增强层信息时， 要把需要保存的信息写到辅助文件的文件主体，同时向文件头中添加该增强层信 息的id号码和位置索引。
本发明一种网络视频传输方法的优点在于
(1) 本发明一种网络视频传输方法的接收端为无线移动设备，可以使用户 随吋随地得到监控端的视频信息，而不必需要PC的支持。
(2) 本发明一种网络视频传输方法在实时监控时仅仅传送基本层信息，在 用户回放视频文件的同时传送增强层信息，起到了分流信道负载的作用，保证在 低带宽的情况下仍然可以提供高质量的视频。
附 图 说 明
图l为本发明一种网络视频传输方法的网络架构图； 图2为本发明一种网络视频传输方法的流程图； 图3为本发明一种网络视频传输方法的辅助文件的结构框图； 图4为本发明一种网络视频传输方法的和一般方法不同码率的视频信息的 信噪比PSNR值折线图。
具体实施例方式
下面将结合附图和实施例对本发明作进一步的详细说明。 本发明提出了一种网络视频传输方法，本方法采用了改进的分层编码技术， 将传输信息合理地分为基本层与增强层两部分，基本层能够满足用户实时监控的 需要，增强层能够满足用户高质量观看的需要，其中基本层可以独立解码成基本 质量的视频，增强层结合基本层使用，可以改善基本层的质量，并且二者的冗余 内容很小。在正常传输的时候，只需要传送基本层，当回放时，监控端开始为相 应热点部分提供增强层信息的编码。当接收端用户回放存储在本地的视频文件的 时候，监控端同时向接收端传输增强层信息，配合基本层信息解码出高质量的视 频；接收端同时将增强层信息存储为一个辅助文件，在以后的回放过程中将直接 读取辅助文件中的增强层信息，而不再需要监控端传输信息。这样起到了分流信 道负载的作用，保证在低带宽的情况下仍然可以提供高质量的视频。
本发明采取策略的工作环境设定如下
1) 监控端和接收端设备都要能够连接到有线网络(拥有无线网卡通过AP
连接)。
2) 监控端要有足够空间存储增强层编码信息。 3)接收端要有足够空间存储基本层文件和辅助文件。
如
图1所示，本发明设计的远程监控设备由远程监控端、移动设备接收端和 覆盖到移动设备的无线AP组成。其中远程监控端带有一个摄像头，它可以是连 接到Internet上的PC设备，也可以是一个带有无线网卡的嵌入式设备，后者 需要通过无线AP来连入有线网络；移动设备接收端是一个内置无线网卡的手机 或PDA,通过无线AP连接到Internet与远程监控端进行通信。
监控端和接收端设备将先后两次建立连接，分别为实时连接和回放连接，设 备通过无线网卡连接到Internet有线网络进行通信，实时连接时监控端将使用 信道持续地为接收端提供基本质量的视频；回放连接发生在用户回放存储视频的 时候，此时监控端将向接收端传输增强层视频信息。
为了测试采用本策略的系统的性能，本实施例中，采用PC机作为监控端， PC机需要连接一个摄像头来采集视频信息；使用NOKIA的N95作为接收端， N95内置无线网卡，二者通过wi-fi信道进行通信。模拟环境设定如下
PC机通过有线网络连接到Internet;
另一台主机连接AP作为有线网络与无线网络的接口；
N95通过其wi-fi模块连接到覆盖到无线AP，进而与监控端进行通信 视频采集帧大小为CIF模式(352x288);
如图2所示，本实施例的详细工作步骤如下
步骤一用户手机作为接收端发出远程监控的请求，接收端与监控端建立实 时连接，开始接收监控端的视频数据。采用UDP协议传输，差错控制由高层 RTP协议负责。
步骤二监控端在建立连接后开始采集视频信息并且用H.264标准对视频 图像进行压缩，对视频的压缩采用了改进的分层编码思想，监控端将视频图像编 码成一个提供基本质量的基本层和一个具有高视频质量的增强层，具体编码过程 为选择较大的量化步长作为参数对视频图像进行量化，得到一般质量的视频， 然后利用H.264编码器将其编码得到基本层信息；然后选择较小的量化参数将 图像量化得到高质量的视频，与一般质量的视频相减得到残差信息，利用H.264 编码器将其编码得到增强层信息。由此可见，基本层可以独立解码成基本质量的 视频，增强层不能独立使用，它结合基本层使用，可以改善基本层的质量；另外 在H.264标准中规定了头文件中的帧序号字段，该字段记录了该帧在整个视频 流中出现的位置序号id，由于二者都是利用H.264编码器进行编码，并且所有
视频图像的基本层与增强层中的编码排列顺序一致，则每一帧的增强层信息与基 本层信息都被标记有同样的id号码，解码器可以通过此id号将同一巾l的基本层 信息与增强层信息相互联系起来。
基本层编码信息在实时监控中传输到接收端，同时增强层编码信息储存到监 控端本地供以后使用，接收端利用标准H.264解码器将收到的基本层信息解码 并播放，直至视频监控结束。
步骤三用户第一次回放视频时，接收端将通过wi-fi再次与监控端建立连 接，监控端从第一帧图像的增强层开始发送，直到最后一帧。当监控端通过wi-fi 信道发送一帧图像的增强层信息到接收端后，接收端将此增强层信息存储到接收 端的本地缓存中，当视频文件播放某一帧的时候，会通过该视频帧的id号码从 接收端本地缓存中遍历查找出对应的增强层信息，结合先前存储在文件中的基本 层信息，分别将基本层信息和增强层信息通过H.264解码器解码，基本层信息
解码后将得到一般质量的视频图像，增强层信息解码将得到高质量视频图像与--般质量视频图像的残差信息，两个信息相加便能够得到高质量的视频图像，通过 上述方式进行联合解码并播放，同时将增强层信息保存在一个辅助文件中，直至 视频回放结束。
如图3所示，该辅助文件包括文件头和文件主体内容，文件主体内容顺序保 存所有视频帧的增强层信息，文件头包括每个视频帧的id号以及对应视频帧的 增强层在文件主体内容中的位置索引。播放时根据当前的基本层信息id号，通 过读取辅助文件的头信息便可以获得所对应增强层信息在辅助文件的文件主体 内容中的位置索引，根据这个索引便可以快速得到该增强层信息，向辅助文件中 保存增强层信息时，要把需要保存的信息写到文件主体，同时向文件头中添加该 增强层信息的id号码和位置索引。
如用户不是第一次回放视频，接收端将不再连接监控端，而是打开并直接读 取接收端本地的辅助文件来获取增强层信息，具体方式为根据当前播放帧的基 本层信息id号，通过读取辅助文件的头信息来获得所对应增强层信息在辅助文 件主体内容中的位置索引，根据这个索引便可以快速得到该增强层信息。该增强 层信息与存储的基本层信息联合解码，解码方式为分别将基本层信息和增强层 信息通过H.264解码器解码，基本层信息解码后将得到一般质量的视频图像，
增强层信息解码将得到高质量视频图像与一般质量视频图像的残差信息，两个信 息相加便能够得到高质量的视频图像，直至视频回放结束。
如图4所示，本实施例中，在不同码率的情况下，分别在釆用一般方法情况 下和采取本方法情况下提供的视频信息的信噪比PSNR值做出一个对比。x轴为 传输时最大的码率限制，y轴为在相应码率限制下接收端获得视频的信噪比 PSNR值。通过图4可以看出由于采用了分阶段传输的方法，第二阶段的传输可 以弥补第一阶段视频质量的不足，通过两个阶段传输在控制信道码率的前提下优 化了最终的视频质量，虽然此方法会导致一定的编码冗余，但是却能够使视频质 量显著上升，而且在码率越小的情况下视频质量上升越明显，这恰恰适合信道质 量较差的无线信道传输。
理论上来说，本方法中采取的基本层和增强层的阶段传输方法能达到相当两 倍于普通方法的码率，但考虑到分层编码也存在一定比例的冗余度，阶段传输方 法能够达到的码率会低于二倍的普通传输方法，从图4中可以看到，300kbps 码率下阶段传输方法达到的PSNR值也略低于600kbps码率下普通传输方法的 PSNR值，350kbps和700kbps情况下也符合这一规律。
权利要求
1、一种网络视频传输方法，其特征在于，包括如下步骤步骤一手机、PDA等移动设备被作为接收端发出远程监控的请求，接收端与监控端建立连接；步骤二监控端为采集到的视频信息进行分层编码，分为一个基本层和一个增强层，并将基本层信息传送到接收端，同时将增强层信息储存到监控端本地；接收端解码播放基本层信息，并将视频文件存储到接收端本地，直至视频监控结束；步骤三用户回放视频时，如第一次查看文件，接收端将再次与监控端建立连接，接收端接收先前存储在监控端的增强层信息，并保存成辅助文件，并将此增强层信息结合先前存储在本地的基本层文件共同解码成高质量的视频播放；如不是第一次查看文件，接收端直接读取本地已储存的辅助文件获取增强层信息，联合基本层文件共同解码出高质量的视频文件播放，直至视频回放结束。
2、 根据权利要求l所述一种网络视频传输方法，其特征在于所述步骤三中辅助文 件包括文件头和文件主体内容两部分，文件主体内容顺序保存所有帧的增强层信息， 文件头包括每个视频帧的id号以及对应视频帧的增强层在文件主体内容中的位置索引。
3、 根据权利要求1或2所述一种网络视频传输方法，其特征在于所述步骤三中不 是第一次回放视频时，根据辅助文件的当前的基本层信息id号，接收端播放视频过 程中通过读取所述辅助文件的头信息便可以获得所对应增强层信息在辅助文件主体 内容中的位置索引，根据这个索引接收端便可以快速得到该增强层信息并与基本层信息联合解码。
4、 根据权利要求1或2所述一种网络视频传输方法，其特征在于所述步骤三中第 一次回放视频时，接收端向辅助文件中保存增强层信息时，要把需要保存的信息写到 辅助文件的文件主体，同时向文件头中添加该增强层信息的id号码和位置索引。
全文摘要
本发明提出了一种网络视频传输方法，本方法将传输信息合理地分为基本层与增强层两部分，基本层能够满足用户实时监控的需要，增强层能够满足用户高质量观看的需要，其中基本层可以独立解码成基本质量的视频，增强层结合基本层使用，可以改善基本层的质量。当接收端用户回放存储在本地的视频文件的时候，监控端同时向接收端传输增强层信息，配合基本层信息解码出高质量的视频；接收端同时将增强层信息存储为一个辅助文件，在以后的回放过程中将直接读取辅助文件中的增强层信息，而不再需要监控端传输信息。本方法起到了分流信道负载的作用，保证在低带宽的情况下仍然可以提供高质量的视频。
文档编号H04N7/18GK101170685SQ20071017856
公开日2008年4月30日 申请日期2007年11月30日 优先权日2007年11月30日
发明者群 常, 牛建伟 申请人:北京航空航天大学