专利名称：一种利用小波变换实现视频实时传输的方法
技术领域：
本发明属于计算机的数字图像处理领域和多媒体消息服务技术领域，具体是一种利用小波变换实现视频实时传输的方法。
背景技术：
目前数字媒体产业正值高速发展之际，视频含有海量信息这一特征使得它成为人们在未来数字生活中获取信息的一个重要来源。同时，随着网络技术、嵌入式技术的飞速发展，嵌入式实时视频系统面临着迫需解决的新技术瓶颈问题。
当前，视频传输的编解码方式最主要有MEPG，H.264，AVS等。各有各的特点H.264能实现D1分辨率(720*480)视频的实时编码，而对于解码，普通的PC机就能实现x264编码的DVDrip电影的流畅播放。AVS具有的技术特点就是速度快、解码率高、带宽占用率少。
但是，这些方法都广泛被用于个人电脑，他们以高速的有线网络为基础。而针对无线的移动设备，就无法满足移动设备实时视频传输的需求。因为，移动设备的计算能力一般比较低，CPU速度也相差甚多，有些智能手机具有300MHz的处理速度，有些低端的PDA却只有几十MHz，因此对视频的编解码能力很有限；同时无线的网络具有不稳定性，带宽较低。
发明内容
为了解决上述技术问题，本发明提出一种一种利用小波变换实现视频实时传输的方法，可以实现移动终端之间的实时的视频传输，适应无线传输网络带宽低，不稳定的特点，同时屏蔽移动终端的计算处理能力的不同，减小由于移动终端的计算处理能力不同所带来的视频流传输的不稳定性。
本发明方法所采用的技术方案为本发明方法主要包括视频发送和视频接收两个过程，所述视频发送过程的步骤如下a.视频发送端与视频接收端建立连接，然后向视频接收端发送一个检测数据包，视频接收端接收到检测数据包之后，发送给视频发送端一个回馈数据包；b.视频发送端通过视频捕获设备捕获视频信息；c.对视频信息的第一帧进行HAAR小波变换，得到视频信息的高低频分离的信息；d.根据从第一步得到的视频接收端的配置信息来确定进行量化的系数，根据量化系数对视频信息进行量化；e.对量化后的视频信息数据进行反量化之后，存取在帧缓存区，同时对反量化后的数据进行感兴趣区域的判断；f.对每一帧的视频进行感兴趣区域分析，生成FGS(Fine GranularScalability)编码优先发送给视频接收端；g.当视频的下一帧到达时，先做HAAR小波变换，然后与帧缓存中的上一帧的数据进行相减操作，得到残差并发送到视频接收端；所述视频发送过程的步骤如下①视频接收端在收到视频发送端发送过来的数据后，首先接收到的是FGS编码，先对其进行解码；②然后接收到的残差数据进行解码和反量化；
③解码后的数据经过RHAR(HAAR反变换)，加上帧缓存中的上一帧视频的信息，得到下一帧视频的信息；④接收端输出视频信息。
所述视频发送过程步骤a中所述回馈数据包包含视频接收端配置信息，具体包括接收端的CPU速度、内存大小、屏幕分辨率等。
所述视频发送过程步骤b中所述视频捕获设备可以是摄像头、可摄像手机、数码相机的一种或者多种。
所述视频发送过程步骤d中所述量化的系数根据从步骤a中得到的接收端的硬件配置信息来确定，硬件配置越高则量化系数的值越小，这样有损压缩的损失就小一些，根据量化系数对视频信息进行量化，这样可以得到适合视频接收端的信息量，使得接收端不会因为接收到的信息量过大，处理速度有限，从而造成的视频播放不流畅的问题。
所述视频发送过程步骤e中所述感兴趣区域的判断是根据小波变换后主体部分缩微到一个点象素或者四个象素的级别的时候，将其象素跟相邻分块的相同级别的象素进行比较和计算梯度等方向值，根据这些值来决定此分块是否处在梯度变换较大的部分，从而判断是否为感兴趣区域。
所述视频发送过程步骤f中所述FGS编码可以将感兴趣区域的位平面进行移位，通过移位来增加感兴趣区域的权值，使其处在码流的前面而不易被丢弃，接着求出位平面的移位大小，对每一层位平面进行编码然后传输。
本发明方法的有益效果是采用HAAR变换以及分快重要性判断，达到处理速度是现有设备的4倍左右，以及更高的压缩比。视频传输可根据视频接收端的配置情况，提供不同的数据量，使得接收端得到适合自己配置情况的数据量，从而解决因为数据量与处理速度等不匹配所造成的视频播放不流畅的问题，达到实时传输的效果。
图1视频发送端的视频编码与发送过程；图2视频接收端的视频编码与接收过程。
具体实施例方式
下面结合
其中的一个实施例，如图1、图2所示，视频发送端和视频接收端双方包括以下步骤视频发送端包括以下步骤1)当视频发送端与接收端建立了连接之后，视频发送端在发送视频数据之前先发送一个检测数据包。接收端接收到数据之后，发送一个包含接收端配置信息的回馈数据包，回馈数据包包括接收端的CPU速度，内存大小，屏幕分辨率等。
2)视频发送端通过摄像头捕获视频信息，视频信息的第一帧经过HAAR小波变换，得到视频信息的高低频分离的信息。由于DCT变换属于频率域上的变换，不具备空间信息，因此在现有的编码系统中必须将已经编码完成的残差视频帧再次反量化计算，以及与下一输入帧进行残差计算等。我们采用具有时空特性的HAAR小波变换来代替DCT变换。
3)在编码方(即视频发送方)，对输入帧还是进行同样的残差计算和量化编码等，但当输入帧转化作为前一帧的时候，我们只需进行反量化，而不必进行HAAR逆变换，也就是说将残差计算的部分提到进行HAAR变换后进行，这样就省下了在编码方进行逆变换的过程。而在解码方(即视频接收方)基本上同基于DCT变换的是一样的。这是利用了HAAR变换具有时空特性的特点。现有视频编码系统是在编码方将输入帧与前一帧之间的残差进行DCT变换，接着在DCT变换的基础上进行量化并编码，编码后的视频传输到解码方。在解码方，进行反量化和DCT逆变换，再与前一帧进行残差的合并，便可得到由编码方传输过来的视频信息。但是在编码方处，为了让输入帧作为前一帧与下一个输入帧进行残差计算，以及一些运动估计、运动补偿等，编码后的残差视频帧除了发送给解码方以外，在编码方也要重新进行反量化和DCT逆变换，与前一帧进行残差合并得到恢复后的输入帧。
4)根据从第一步得到的接收端的配置信息来确定进行量化的系数，假若接收端的硬件配置高，则系数的值小一些，这样有损压缩的损失就小一些。根据量化系数对视频信息进行量化。这样可以得到适合视频接收端的信息量，使得接收端不会因为接收到的信息量过大，处理速度有限，从而造成的视频播放不流畅的问题。
5)对量化后的数据进行反量化之后，存取在帧缓存区，同时对反量化后的数据进行感兴趣区域的判断。在编码方进行感兴趣区域编码的工作也要转换到进行HAAR变换后的过程中来了，基于人类视觉特性，人类的眼睛对视频的低频部分(也就是主体轮廓)比较敏感，而对高频部分(也就是细节)相对来说敏感度要弱得多。我们要尽量保证主体轮廓的可见性，同时也要保证重要区域的细节部分质量相对要高。根据小波变换后主体部分缩微到一个点象素或者四个象素的级别的时候，我们将其象素跟相邻分块的相同级别的象素进行比较和计算梯度等方向值，根据这些值来决定此分块是否处在梯度变换较大的部分，从而判断是否为感兴趣区域。
6)对每一帧的视频进行感兴趣区域分析，生成FGS(Fine GranularScalability)编码发送给视频接收端。FGS增强编码可以将感兴趣区域的位平面进行移位，通过移位来增加感兴趣区域的权值，使其处在码流的前面而不易被丢弃。接着求出位平面的移位大小，对每一层位平面进行编码然后传输。
7)当视频的下一帧到达时，先做HAAR小波变换，然后与帧缓存中的上一帧的数据进行相减操作，得到残差，发送到视频接收端。
视频接收端的接收过程如下1)视频接收端在收到视频发送端发送过来的数据后，首先接收到的是FGS编码，先对其进行解码。
2)把解码后的FGS编码与接收到的解码后的残差数据相加然后反量化，并把它存放在帧缓存中。
3)反量化后的数据经过RHAR(HAAR反变换)，加缓存中的上一帧视频的信息，得到下一帧视频的信息。
4)接收端输出视频信息。
权利要求
1.一种利用小波变换实现视频实时传输的方法，包括视频发送和视频接收两个过程，其特征在于所述视频发送过程的步骤如下a.视频发送端与视频接收端建立连接，然后向视频接收端发送一个检测数据包，视频接收端接收到检测数据包之后，发送给视频发送端一个回馈数据包；b.视频发送端通过视频捕获设备捕获视频信息；c.对视频信息的第一帧进行HAAR小波变换，得到视频信息的高低频分离的信息；d.根据从第一步得到的视频接收端的配置信息来确定进行量化的系数，根据量化系数对视频信息进行量化；e.对量化后的视频信息数据进行反量化之后，存取在帧缓存区，同时对反量化后的数据进行感兴趣区域的判断；f.对每一帧的视频进行感兴趣区域分析，生成FGS(Fine GranularScalability)编码优先发送给视频接收端；g.当视频的下一帧到达时，先做HAAR小波变换，然后与帧缓存中的上一帧的数据进行相减操作，得到残差并发送到视频接收端；所述视频发送过程的步骤如下①视频接收端在收到视频发送端发送过来的数据后，首先接收到的是FGS编码，先对其进行解码；②然后接收到的残差数据进行解码和反量化；③解码后的数据经过RHAR(HAAR反变换)，加上帧缓存中的上一帧视频的信息，得到下一帧视频的信息；④接收端输出视频信息。
2.根据权利要求1所述的视频实时传输的方法，其特征是视频发送过程步骤a中所述回馈数据包包含视频接收端配置信息，具体包括接收端的CPU速度、内存大小、屏幕分辨率等。
3.根据权利要求1所述的视频实时传输的方法，其特征是视频发送过程步骤b中所述视频捕获设备可以是摄像头、可摄像手机、数码相机的一种或者多种。
4.根据权利要求1所述的视频实时传输的方法，其特征是视频发送过程步骤d中所述量化的系数根据从步骤a中得到的接收端的硬件配置信息来确定，硬件配置越高则量化系数的值越小，这样有损压缩的损失就小一些，根据量化系数对视频信息进行量化，这样可以得到适合视频接收端的信息量，使得接收端不会因为接收到的信息量过大，处理速度有限，从而造成的视频播放不流畅的问题。
5.根据权利要求1所述的视频实时传输的方法，其特征是视频发送过程步骤e中所述感兴趣区域的判断是根据小波变换后主体部分缩微到一个点象素或者四个象素的级别的时候，将其象素跟相邻分块的相同级别的象素进行比较和计算梯度等方向值，根据这些值来决定此分块是否处在梯度变换较大的部分，从而判断是否为感兴趣区域。
6.根据权利要求1所述的视频实时传输的方法，其特征是视频发送过程步骤f中所述FGS编码可以将感兴趣区域的位平面进行移位，通过移位来增加感兴趣区域的权值，使其处在码流的前面而不易被丢弃，接着求出位平面的移位大小，对每一层位平面进行编码然后传输。
全文摘要
本发明公开一种利用小波变换实现视频实时传输的方法，属于计算机的数字图像处理领域和多媒体消息服务技术领域。本方法具体包括视频发送和视频接收两个过程，视频发送过程首先是视频发送端获得视频接收端的配置信息，确定量化系数；然后视频发送端通过视频捕获装置获得视频信息，并进行HAAR小波变换处理，再根据上述量化系数进行量化，然后发送到视频接收端；视频接收过程是视频接收端在收到视频发送端发送过来的数据后，先进行解码，再进行RHAR变换，并将最终的视频信息输出。采用本方法进行视频传输可以达到更高的处理速度和压缩比，解决了数据量与处理速度等不匹配所造成的视频播放不流畅的问题，达到实时传输的效果。
文档编号H04N7/14GK101031083SQ20071002741
公开日2007年9月5日 申请日期2007年4月4日 优先权日2007年4月4日
发明者吴佳文, 罗笑南 申请人:中山大学