一种全景视频传输方法及系统的制作方法
【技术领域】
[0001]本发明涉及全景视频技术领域，尤其涉及一种全景视频传输方法及系统。
【背景技术】
[0002]全景是以空间中的一点为中心，对周围景象以某种几何关系进行映射生成平面图片或视频，只有通过全景播放器的矫正处理才能成为360°全景视频。全景视频全面的展示了中心点周围360°范围内的所有景致；用户可在图像当中采用如鼠标左键按住拖动等操作，来观看场景的各个部分，虽然照片或视频都是平面的，但是通过软件处理之后得到的360°实景，却能给人以三维立体的空间感觉，使用户犹如身在其中。
[0003]由于全景视频的每一帧是通过多张局部图片拼接而成，因此全景视频相比普通的视频要大很多，在网络带宽有限的条件下，这为实时在线传输带来极大困难。目前，业内全景视频的在线传输和普通视频的传输采用同样的网络传输方法，即通过服务器端下发整部视频文件，导致传输速度极慢，严重影响用户的观看体验。
[0004]因此，现有技术还有待于改进和发展。
【发明内容】
[0005]鉴于上述现有技术的不足，本发明的目的在于提供一种全景视频传输方法及系统，旨在解决现有的全景视频传输速度慢的问题。
[0006]本发明的技术方案如下:
一种全景视频传输方法，其中，包括步骤:
A、采集二维图像，将采集到的二维图像拼接成全景视频帧，并通过哈尔小波算法将全景视频帧分解获得全景视频帧的第一低频子带图像以及第一高频分量，将其中的第一低频子带图像压缩处理后发送至客户端；
B、根据客户端发送的当前播放窗口的窗口参数，从全景视频帧从提取出当前播放窗口的视频数据，并通过哈尔小波算法将提取的视频数据分解获得当前播放窗口的第二低频子带图像以及第二高频分量，将其中的第二高频分量压缩处理后发送至客户端；
C、客户端解压缩接收到的第一低频子带图像和第二高频分量，然后将接收到的第一低频子带图像作为纹理贴在创建的圆柱状模型的表面，并根据当前播放窗口的窗口参数获取当前播放窗口的第二低频子带图像，并将所述第二低频子带图像与第二高频分量通过哈尔小波算法进行重构，生成当前播放窗口的视频数据，重新作为纹理更新在圆柱状模型的显示区域。
[0007]所述的全景视频传输方法，其中，所述步骤C之后还包括:
D、当当前播放窗口发生变化时，获取更新的当前播放窗口的窗口参数，并将更新后的窗口参数发送至服务器，并且在新的高频分量下发之前，输出更新的当前播放窗口对应的第二低频子带图像。
[0008]所述的全景视频传输方法，其中，所述窗口参数为播放窗口在全景视频帧中的起始位置和播放夹角。
[0009]所述的全景视频传输方法，其中，所述第一或第二低频子带图像的分辨率为原视频帧分辨率的1/4。
[0010]所述的全景视频传输方法，其中，所述第一或第二高频分量包括:垂直高频分量、水平高频分量和对角高频分量。
[0011 ] —种全景视频传输系统，其中，包括:
低频子带图像处理模块，用于采集二维图像，将采集到的二维图像拼接成全景视频帧，并通过哈尔小波算法将全景视频帧分解获得全景视频帧的第一低频子带图像以及第一高频分量，将其中的第一低频子带图像压缩处理后发送至客户端；
高频分量处理模块，用于根据客户端发送的当前播放窗口的窗口参数，从全景视频帧从提取出当前播放窗口的视频数据，并通过哈尔小波算法将提取的视频数据分解获得当前播放窗口的第二低频子带图像以及第二高频分量，将其中的第二高频分量压缩处理后发送至客户端；
合成模块，用于解压缩接收到的第一低频子带图像和第二高频分量，然后将接收到的第一低频子带图像作为纹理贴在创建的圆柱状模型的表面，并根据当前播放窗口的窗口参数获取当前播放窗口的第二低频子带图像，并将所述第二低频子带图像与第二高频分量通过哈尔小波算法进行重构，生成当前播放窗口的视频数据，重新作为纹理更新在圆柱状模型的显示区域。
[0012]所述的全景视频传输系统，其中，还包括:
更新模块，用于当当前播放窗口发生变化时，获取更新的当前播放窗口的窗口参数，并将更新后的窗口参数发送至服务器，并且在新的高频分量下发之前，输出更新的当前播放窗口对应的第二低频子带图像。
[0013]所述的全景视频传输系统，其中，所述窗口参数为播放窗口在全景视频帧中的起始位置和播放夹角。
[0014]所述的全景视频传输系统，其中，所述第一或第二低频子带图像的分辨率为原视频帧分辨率的1/4。
[0015]所述的全景视频传输系统，其中，所述第一或第二高频分量包括:垂直高频分量、水平高频分量和对角高频分量。
[0016]有益效果:本发明采用哈尔小波算法将全景视频视窗外的视频数据和视窗内的视频数据进行分解，并将分解的视频数据分别编码，并在播放器端进行重组，这样降低了非视窗区域的传输效率，却极大的提高了视窗区域的传输效率。
【附图说明】
[0017]图1为本发明一种全景视频传输方法较佳实施例的流程图。
[0018]图2为本发明中哈尔小波算法中一级分解子带图。
[0019]图3为本发明中哈尔小波算法中三级分解子带图。
[0020]图4为本发明中全景视频帧中当前播放窗口的位置示意图。
[0021]图5为本发明一种全景视频传输系统较佳实施例的结构框图。
【具体实施方式】
[0022]本发明提供一种全景视频传输方法及系统，为使本发明的目的、技术方案及效果更加清楚、明确，以下对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
[0023]请参阅图1，图1为本发明一种全景视频传输方法较佳实施例的流程图，如图所示，其包括步骤:
5101、采集二维图像，将采集到的二维图像拼接成全景视频帧，并通过哈尔小波算法将全景视频帧分解获得全景视频帧的第一低频子带图像以及第一高频分量，将其中的第一低频子带图像压缩处理后发送至客户端；
5102、根据客户端发送的当前播放窗口的窗口参数，从全景视频帧从提取出当前播放窗口的视频数据，并通过哈尔小波算法将提取的视频数据分解获得当前播放窗口的第二低频子带图像以及第二高频分量，将其中的第二高频分量压缩处理后发送至客户端；
5103、客户端解压缩接收到的第一低频子带图像和第二高频分量，然后将接收到的第一低频子带图像作为纹理贴在创建的圆柱状模型的表面，并根据当前播放窗口的窗口参数获取当前播放窗口的第二低频子带图像，并将所述第二低频子带图像与第二高频分量通过哈尔小波算法进行重构，生成当前播放窗口的视频数据，重新作为纹理更新在圆柱状模型的显示区域。
[0024]首先，介绍下本发明采用的哈尔小波(Haar小波)原理，本发明所采用的哈尔小波(Haar小波)对二维图像的分解如图2和图3所示，其中的最低频&3子带图像与原始图像极其相似，只是尺寸变小，它包含了原图的绝大部分能量，对恢复图像质量影响较大，其余高频子带的小波系数大多非常小，但在图像重构的时候可以用来恢复原图的分辨率。
[0025]本发明通过Haar小波算法对全景视频进行处理，生成全景视频的缩略视频，即通过低分辨率的全景视频来减少需要传输的数据量；同时通过Haar小波算法对当前播放窗口的视频数据进行处理，生成当前播放窗口的高频分量，最后在播放端将两路视频重组，这样在减少视频数据传输量的同时，最大限度的提高了用户的观赏体验。因为用户在观看全景视频的时候，只选取视窗范围内的视频数据观看，而视窗范围内的数据通常只占全景视频全部数据的不到四分之一，所以本发明避免了传输带宽的浪费，提高了全景视频的传输速度。
[0026]下面对本发明的过程进行详细说明。
[0027]所述步骤S101中，本发明的全景视频采集端，是由一组摄像头构成，例如3~8个不等，这些中心点为圆心间隔排列的3~8个摄像头采集360°空间的二维图像。采集到的二维图像被拼接成全景视频帧。
[0028]然后通过Haar小波算法将全景视频帧进行2尺度小波分解获得全景视频帧的第一低频子带图像以及第一高频分量，其中的第一高频分量或者后面提到的第二高频分量包括垂直高频分量、水平高频分量和对角高频分量；将分解得到的的第一低频子带图像经压缩处理后得TS流，将其发送至客户端，由于第一低频子带图像或者后面提到的第二低频子带图像为原视频帧分辨率的1/4，而其他高频分量不发送至客户端，即最后传输至客户端的第一低频子带图像为全景视频帧的四分之一，所以传输码流大大降低，提高了传输效率。
[0029]在所述步骤S102中，客户端在连接服务器后，会向服务器报告当前播放窗口的窗口参数，所以服务器根据客户端发