一种超高清多景融合视频远程移动端流畅缩放方法与装置与流程

本发明涉及视频处理技术，尤其涉及一种超高清多景融合视频远程移动端流畅缩放方法与装置。

背景技术：

1、随着影像拼接融合技术的发展，多景融合视频可使用户高效获取目标场景完整且连续的有效信息，从而逐渐在安防监控等多个领域获得应用。此外随着移动互联网的爆发式增长，人们日常使用移动设备获取信息成为当前的主流形式。将大尺寸超高清多景融合视频放置在移动端等屏幕较小的设备进行展示时，用户为获取融合视频的相关具体细节，需要进行频繁的缩放平移操作，使用现有传统的融合视频播放方案，用户在进行每次缩放平移操作时，都会重新请求当前视口的融合视频流数据。从而占用大量的网络带宽资源，并造成用户使用严重卡顿和延迟，极大程度影响了用户的操作使用体验。

技术实现思路

1、本发明要解决的技术问题在于针对现有技术中的缺陷，提供一种超高清多景融合视频远程移动端流畅缩放方法与装置。

2、本发明解决其技术问题所采用的技术方案是：一种超高清多景融合视频远程移动端流畅缩放方法，包括以下步骤：

3、1)根据多景融合视频制作融合多景帧影像金字塔；

4、将制作好的多景融合视频按设定时间周期分段，对每段多景融合视频抽取一个节点帧，对每帧图像按倍数比例进行缩小，每次缩放结果为一个缩放等级制作融合多景帧影像金字塔；

5、2)将服务端制作好的多景帧影像金字塔传输并缓存到移动端本地；

6、3)用户在进行每次缩放平移操作时，监听当前用户要求的缩放层级，并进行视频流调度，调度策略具体如下：

7、当小于设定的缩放层级阈值k时，将多景融合视频流切换成同缩放层级对应的多景帧影像金字塔图片；根据指定时间段指定画面范围的视频图像进行图片矩阵加载，保证低缩放层级的缩放平移的高流畅性；

8、当大于等于设定的缩放层级阈值k时，将多景帧影像金字塔图片切换成同层级的多景融合视频流。

9、按上述方案，所述步骤1)中，制作融合多景帧影像金字塔，具体如下：

10、1.1)确定展示平台所要提供的缩放级别的数量n；

11、1.2)对抽取的融合多景帧，对其进行分块，从融合多景帧的左上角开始，从左至右、从上到下进行切割，分割成相同大小的正方形图片，形成第0层图片矩阵，作为融合多景帧影像金字塔的底层；

12、1.3)对抽取的融合多景帧按每2x2像素合成为一个像素的方法生成第1层图片，并对其进行分块，分割成与底层相同大小的正方形地图图片，形成第1层图片矩阵；

13、1.4)采用同样的方法生成第2层至第n-1层图片矩阵，构成整个多景帧影像金字塔；

14、1.5)生成的多景帧影像金字塔一共由n层构成，最上层为第n-1层图片矩阵，其缩放层级为1，最底层为第0层图片矩阵，其缩放层级为n，缩放层级越大，分辨率越高。

15、按上述方案，所述步骤2)中，将服务端制作好的多景帧影像金字塔传输并缓存到移动端本地为根据播放时间段将对应的多景帧影像金字塔传输并缓存到移动端本地。

16、本发明还提供一种超高清多景融合视频远程移动端流畅缩放装置，包括：

17、视频转换模块，用于根据多景融合视频制作融合多景帧影像金字塔；将制作好的多景融合视频按设定时间周期分段，对每段多景融合视频，抽取节点帧，对每帧图像按倍数比例进行缩小，每次缩放结果为一个缩放等级制作融合多景帧影像金字塔；

18、缓存模块，用于将服务端制作好的多景帧影像金字塔传输并缓存到移动端本地；

19、调度模块，用于用户在进行每次缩放平移操作时，监听当前用户要求的缩放层级，并进行视频流调度，调度策略具体如下：

20、当小于设定的缩放层级阈值k时，将多景融合视频流切换成同缩放层级的多景帧影像金字塔图片；根据指定时间段指定画面范围的视频图像进行图片矩阵加载，保证低缩放层级的缩放平移的高流畅性；

21、当大于等于设定的缩放层级阈值k时，将多景帧影像金字塔图片切换成同层级的多景融合视频流。

22、按上述方案，所述视频转换模块中，制作融合多景帧影像金字塔，具体如下：

23、1)确定展示平台所要提供的缩放级别的数量n；

24、2)对抽取的融合多景帧，对其进行分块，从融合多景帧的左上角开始，从左至右、从上到下进行切割，分割成相同大小的正方形图片，形成第0层图片矩阵，作为融合多景帧影像金字塔的底层；

25、3)对抽取的融合多景帧按每2x2像素合成为一个像素的方法生成第1层图片，并对其进行分块，分割成与底层相同大小的正方形地图图片，形成第1层图片矩阵；

26、4)采用同样的方法生成第2层至第n-1层图片矩阵，构成整个多景帧影像金字塔；

27、5)生成的多景帧影像金字塔一共由n层构成，最上层为第n-1层图片矩阵，其缩放层级为1，最底层为第0层图片矩阵，其缩放层级为n，缩放层级越大，分辨率越高。

28、按上述方案，所述缓存模块中，将服务端制作好的多景帧影像金字塔传输并缓存到移动端本地为根据播放时间段将对应的多景帧影像金字塔传输并缓存到移动端本地。

29、本发明产生的有益效果是：

30、1、本发明将画面均匀分割成画面块，同时根据不同的缩放比例，建立融合多景帧影像金字塔，构建了各缩放层级的画面数据，用户在进行每次缩放平移操作时切换为多景帧影像金字塔图片时可以快速定位和获取数据，保证低缩放层级的缩放平移的高流畅性。

31、2、本发明将制作好的多景融合视频按设定时间周期分段，缓存到移动端本地可根据播放时间段缓存，尽可能减少加载数据；

32、3、低缩放层级时，用户往往无法获得具体的视频细节信息，使用融合多景帧影像金字塔代替多景融合视频流，可以有效提升用户缩放平移操作的流畅性，并极大程度减少网络带宽的负载压力。

技术特征：

1.一种超高清多景融合视频远程移动端流畅缩放方法，包括以下步骤：

2.根据权利要求1所述的超高清多景融合视频远程移动端流畅缩放方法，其特征在于，所述步骤1)中，制作融合多景帧影像金字塔，具体如下：

3.根据权利要求1所述的超高清多景融合视频远程移动端流畅缩放方法，其特征在于，所述步骤1)中多景融合视频为监控视频。

4.根据权利要求1所述的超高清多景融合视频远程移动端流畅缩放方法，其特征在于，所述步骤2)中，将服务端制作好的多景帧影像金字塔传输并缓存到移动端本地为根据播放时间段将对应的多景帧影像金字塔传输并缓存到移动端本地。

5.根据权利要求1所述的超高清多景融合视频远程移动端流畅缩放方法，其特征在于，所述步骤3)中，k取值为n或n-1。

6.一种超高清多景融合视频远程移动端流畅缩放装置，其特征在于，包括：

7.根据权利要求6所述的超高清多景融合视频远程移动端流畅缩放装置，其特征在于，所述视频转换模块中，制作融合多景帧影像金字塔，具体如下：

8.根据权利要求6所述的超高清多景融合视频远程移动端流畅缩放装置，其特征在于，所述缓存模块中，将服务端制作好的多景帧影像金字塔传输并缓存到移动端本地为根据播放时间段将对应的多景帧影像金字塔传输并缓存到移动端本地。

9.根据权利要求6所述的超高清多景融合视频远程移动端流畅缩放装置，其特征在于，所述视频转换模块中，多景融合视频为监控视频。

10.根据权利要求6所述的超高清多景融合视频远程移动端流畅缩放装置，其特征在于，所述调度模块中，k取值为n或n-1。

技术总结
本发明公开了一种超高清多景融合视频远程移动端流畅缩放方法与装置，包括以下步骤：1)根据多景融合视频制作融合多景帧影像金字塔；2)将服务端制作好的多景帧影像金字塔传输并缓存到移动端本地；3)用户在进行每次缩放平移操作时，监听当前用户要求的缩放层级，当小于设定的缩放层级阈值K时，将多景融合视频流切换成同缩放层级的多景帧影像金字塔图片；根据指定时间段指定画面范围的视频图像进行图片矩阵加载，保证低缩放层级的缩放平移的高流畅性；当大于等于设定的缩放层级阈值K时，将多景帧影像金字塔图片切换成同层级的多景融合视频流。本发明建立融合多景帧影像金字塔，构建了各缩放层级的画面数据，保证低缩放层级的缩放平移的高流畅性。

技术研发人员：王开强,李迪,崔宁波,胡正欢,李记昌,王晓飞,高敬轩
受保护的技术使用者：中建三局集团有限公司
技术研发日：
技术公布日：2024/3/21