送的当前播放窗口的窗口参数，从全景视频帧从提取出当前播放窗口的视频数据。所述的窗口参数具体包括当前播放窗口在全景视频帧中的起始位置P和播放夹角a，如图4所示。
[0030]提取出当前播放窗口的视频数据后，对该视频数据进行Haar小波算法的分解，从而得到当前播放窗口的第二低频子带图像以及第二高频分量，由于在步骤S101中已将包含了当前播放窗口的第二低频子带图像发送至客户端，所以本步骤将当前播放窗口的第二低频子带图像略去，只提取其中的第二高频分量，并经压缩处理后得TS流，将其发送至客户端；由于该第二高频分量能量小，所以传输码流不大，但传输到客户端，可极大提高当前窗口区域的分辨率。
[0031]在所述步骤S103中，客户端接收到TS流后，解压缩处理，得到全景视频帧的第一低频子带图像以及当前播放窗口的第二高频分量，然后通过0PENGL创建圆柱状模型(三维模型)，将全景视频帧的第一低频子带图像作为纹理贴在圆柱状模型的表面，选择当前播放窗口的起始位置P以及播放夹角a，确定投射到播放器的视频窗口并进行显示，这样用户即可在播放器窗口中看到1/4分辨率图像(即当前播放窗口的第二低频子带图像)。然后将当前播放窗口的第二低频子带图像和第二高频分量通过Haar小波算法进行2尺度小波重构，生成当前播放窗口的原分辨率视频数据，并重新作为当前播放窗口的纹理更新在圆柱状模型中，即可恢复原全景视频帧的分辨率。
[0032]进一步，所述步骤S103之后还包括:
S104、当当前播放窗口发生变化时，获取更新的当前播放窗口的窗口参数，并将更新后的窗口参数发送至服务器，并且在新的高频分量下发之前，输出更新的当前播放窗口对应的第二低频子带图像。
[0033]即服务器和客户端两端需协同工作，在客户端改变当前播放窗口时，会将更新的当前播放窗口的窗口参数发送至服务器，服务器需要及时调整视频的视窗范围及从全景视频帧中截取对应角度的视频数据下发到客户端，具体是服务器重新下发更新后的窗口区域的高频分量。而在新的高频分量下发之前，输出更新的当前播放窗口对应的第二低频子带图像，这样在新的窗口区域的高频分量数据下发之前，仍然可以提供给用户全景视频中其他区域的视频观看，虽然分辨率稍低，但避免了转动窗口后黑屏的问题，增强了用户体验。
[0034]具体地，在服务器下发数据(如低频子带图像或高频分量)时，需先将数据进行视频压缩，然后以TS流方式下发数据，然后在客户端对数据进行解压缩并提取数据进行处理。
[0035]基于上述方法，本发明还提供一种全景视频传输系统较佳实施例，如图5所示，其包括:
低频子带图像处理模块100，用于采集二维图像，将采集到的二维图像拼接成全景视频帧，并通过哈尔小波算法将全景视频帧分解获得全景视频帧的第一低频子带图像以及第一高频分量，将其中的第一低频子带图像压缩处理后发送至客户端；
高频分量处理模块200，用于根据客户端发送的当前播放窗口的窗口参数，从全景视频帧从提取出当前播放窗口的视频数据，并通过哈尔小波算法将提取的视频数据分解获得当前播放窗口的第二低频子带图像以及第二高频分量，将其中的第二高频分量压缩处理后发送至客户端； 合成模块300，用于解压缩接收到的第一低频子带图像和第二高频分量，然后将接收到的第一低频子带图像作为纹理贴在创建的圆柱状模型的表面，并根据当前播放窗口的窗口参数获取当前播放窗口的第二低频子带图像，并将所述第二低频子带图像与第二高频分量通过哈尔小波算法进行重构，生成当前播放窗口的视频数据，重新作为纹理更新在圆柱状模型的显示区域。
[0036]进一步，所述的全景视频传输系统，其还包括:
更新模块，用于当当前播放窗口发生变化时，获取更新的当前播放窗口的窗口参数，并将更新后的窗口参数发送至服务器，并且在新的高频分量下发之前，输出更新的当前播放窗口对应的第二低频子带图像。
[0037]进一步，所述窗口参数为播放窗口在全景视频帧中的起始位置和播放夹角。
[0038]进一步，所述第一或第二低频子带图像的分辨率为原视频帧分辨率的1/4。
[0039]进一步，所述第一或第二高频分量包括:垂直高频分量、水平高频分量和对角高频分量。
[0040]关于上述模块的技术细节在前面的方法中已有详述，故不再赘述。
[0041]综上所述，本发明采用哈尔小波算法将全景视频视窗外的视频数据和视窗内的视频数据进行分解，并将分解的视频数据分别编码，并在播放器端进行重组，这样降低了非视窗区域的传输效率，却极大的提高了视窗区域的传输效率。
[0042]应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。
【主权项】
1.一种全景视频传输方法，其特征在于，包括步骤: A、采集二维图像，将采集到的二维图像拼接成全景视频帧，并通过哈尔小波算法将全景视频帧分解获得全景视频帧的第一低频子带图像以及第一高频分量，将其中的第一低频子带图像压缩处理后发送至客户端； B、根据客户端发送的当前播放窗口的窗口参数，从全景视频帧从提取出当前播放窗口的视频数据，并通过哈尔小波算法将提取的视频数据分解获得当前播放窗口的第二低频子带图像以及第二高频分量，将其中的第二高频分量压缩处理后发送至客户端； C、客户端解压缩接收到的第一低频子带图像和第二高频分量，然后将接收到的第一低频子带图像作为纹理贴在创建的圆柱状模型的表面，并根据当前播放窗口的窗口参数获取当前播放窗口的第二低频子带图像，并将所述第二低频子带图像与第二高频分量通过哈尔小波算法进行重构，生成当前播放窗口的视频数据，重新作为纹理更新在圆柱状模型的显示区域。2.根据权利要求1所述的全景视频传输方法，其特征在于，所述步骤C之后还包括: D、当当前播放窗口发生变化时，获取更新的当前播放窗口的窗口参数，并将更新后的窗口参数发送至服务器，并且在新的高频分量下发之前，输出更新的当前播放窗口对应的第二低频子带图像。3.根据权利要求1所述的全景视频传输方法，其特征在于，所述窗口参数为播放窗口在全景视频帧中的起始位置和播放夹角。4.根据权利要求1所述的全景视频传输方法，其特征在于，所述第一或第二低频子带图像的分辨率为原视频帧分辨率的1 /4。5.根据权利要求1所述的全景视频传输方法，其特征在于，所述第一或第二高频分量包括:垂直高频分量、水平高频分量和对角高频分量。6.一种全景视频传输系统，其特征在于，包括: 低频子带图像处理模块，用于采集二维图像，将采集到的二维图像拼接成全景视频帧，并通过哈尔小波算法将全景视频帧分解获得全景视频帧的第一低频子带图像以及第一高频分量，将其中的第一低频子带图像压缩处理后发送至客户端； 高频分量处理模块，用于根据客户端发送的当前播放窗口的窗口参数，从全景视频帧从提取出当前播放窗口的视频数据，并通过哈尔小波算法将提取的视频数据分解获得当前播放窗口的第二低频子带图像以及第二高频分量，将其中的第二高频分量压缩处理后发送至客户端； 合成模块，用于解压缩接收到的第一低频子带图像和第二高频分量，然后将接收到的第一低频子带图像作为纹理贴在创建的圆柱状模型的表面，并根据当前播放窗口的窗口参数获取当前播放窗口的第二低频子带图像，并将所述第二低频子带图像与第二高频分量通过哈尔小波算法进行重构，生成当前播放窗口的视频数据，重新作为纹理更新在圆柱状模型的显示区域。7.根据权利要求6所述的全景视频传输系统，其特征在于，还包括: 更新模块，用于当当前播放窗口发生变化时，获取更新的当前播放窗口的窗口参数，并将更新后的窗口参数发送至服务器，并且在新的高频分量下发之前，输出更新的当前播放窗口对应的第二低频子带图像。8.根据权利要求6所述的全景视频传输系统，其特征在于，所述窗口参数为播放窗口在全景视频帧中的起始位置和播放夹角。9.根据权利要求6所述的全景视频传输系统，其特征在于，所述第一或第二低频子带图像的分辨率为原视频帧分辨率的1 /4。10.根据权利要求6所述的全景视频传输系统，其特征在于，所述第一或第二高频分量包括:垂直高频分量、水平高频分量和对角高频分量。
【专利摘要】本发明公开一种全景视频传输方法及系统。本发明采用哈尔小波算法将全景视频视窗外的视频数据和视窗内的视频数据进行分解，并将分解的视频数据分别编码，并在播放器端进行重组，这样降低了非视窗区域的传输效率，却极大的提高了视窗区域的传输效率。
【IPC分类】H04N7/18, H04N5/265, H04N5/262
【公开号】CN105323503
【申请号】CN201510730313
【发明人】王丛华
【申请人】Tcl集团股份有限公司
【公开日】2016年2月10日
【申请日】2015年11月2日