一种基于AI抽帧补帧的VR云渲染图像增强方法与流程

本发明涉及vr全景视频，具体涉及一种基于ai抽帧补帧的vr云渲染图像增强方法。

背景技术：

1、随着信息技术的不断发展，vr虚拟现实技术逐渐走进了我们的日常生活，通过三维空间的虚拟生成，让人们能无限的观察三维空间内的事物。目前的vr虚拟现实技术已经非常成熟，vr虚拟现实技术得到普及和应用，数字化产品不断涌现，不仅可以提高消费者体验物质化产品的新颖性和趣味性，还可以保证消费者更好地感受产品背后的文化知识和价值观念，从而为更好地满足消费者的文化精神生活的追求体现出非常重要的应用价值。传统的vr虚拟现实技术需要将vr全景视频资源存储在客户端本地，客户端加载本地vr场景资源，随着vr全景视频的空间场景以及观看体验的需求，对客户端的配置要求也会越来越高，vr体验会由于客户端配置而受到影响。因此，将vr全景视频在云端服务器进行渲染再通过ffmpeg等技术推流拉流在客户端进行展示是未来的发展趋势，可以解决客户端配置需求问题，增强客户端的vr体验。

2、随着vr全景视频技术的蓬勃发展，vr全景视频的大小也会随着vr全景视频的空间场景以及观看体验的需求变得越来越大，传统的vr眼镜需要进行配置的不断升级才能提供更好的体验，vr全景视频通过云端gpu能力进行云渲染，在客户端进行投放显示是未来的一个比较好的解决方案，但客户端拉取云端vr视频资源时，存在画面流畅性不高和完整性差的问题，为此，提出一种基于ai抽帧补帧的vr云渲染图像增强方法。

技术实现思路

1、本发明所要解决的技术问题在于：如何解决客户端拉取云端vr视频资源的画面流畅性和完整性问题，提供了一种基于ai抽帧补帧的vr云渲染图像增强方法，在服务端通过gpu对视频流进行抽帧，使用到光流算法在客户端对视频流补帧操作，再进行图像增强，提升vr客户端访问云vr应用的体验感。

2、本发明是通过以下技术方案解决上述技术问题的，本发明包括以下步骤：

3、s1：将vr应用制作成镜像

4、通过docker容器化技术将需要使用到的vr应用场景打包到镜像中，并将推流服务器打包到镜像中，开放推流服务器需要的udp/tcp端口；

5、s2：客户端进入vr应用

6、客户端打开制作好的前端网址页面，打开应用，点击需要访问的vr应用，此时客户端会通过调用服务端接口的方式启动容器，在容器中打开内部的vr应用，通过容器内部的屏幕截取并通过推流服务器将容器中的vr画面通过推流展示，并通过内部udp通信返回给客户端vr应用场景拉流地址；

7、s3：服务端对视频流抽帧

8、服务端依次通过视频解码、帧色彩空间转换、jpeg编码操作实现对视频流抽帧；

9、s4：客户端对视频流补帧

10、客户端使用基于光流算法的视频流插帧算法对视频流进行分析，进行补帧操作；

11、s5：对补帧画面进行增强

12、采用图像增强算法对补帧画面进行图像增强。

13、更进一步的，在所述步骤s3中，帧色彩空间转换、jpeg编码操作均采用gpu cudakernel来做并行计算加速。

14、更进一步的，在所述步骤s4中，基于光流算法的视频流插帧算法使用到光流算法通过数学建模形式计算t-1帧与t+1帧的像素点变化情况，根据光流算法计算出t帧时刻的像素点位置情况，从而进行补帧操作。

15、更进一步的，所述步骤s4包括以下过程：

16、s41：获取vr视频流的当前帧图像，即通过拉流获取截取当前帧图像；

17、s42：根据光流算法计算当前帧的一组像素点在下一帧图像中的位置；

18、s43：建立相邻的两帧图像全局参数模型对像素点抽样；

19、s44：通过数学建模计算出当前帧到下一帧的全局运动参数；

20、s45：根据全局运动参数对中间帧进行插帧操作。

21、更进一步的，所述步骤s42包括以下过程：

22、s421：将当前帧图像划分成k*n个宏块，从每个宏块中取中心像素点，取到k*n个像素点；

23、s422：通过光流算法计算每个像素点在下一帧图像中的局部运动矢量；

24、s423：根据每个像素点当前帧的坐标以及局部运动矢量计算出在下一帧图像中的位置坐标。

25、更进一步的，所述步骤s43包括以下过程：

26、s431：将随机选取的当前帧图像中的多个像素点的位置和上述多个像素点在下一帧图像中的位置坐标代入全局参数模型中获取全局运动参数；

27、s432：采用随机抽样一致性方式从当前帧图像和下一帧图像的k*n对像素点中任意抽取多对像素点，从多对像素点中任意抽取2对像素点，坐标代入全局参数模型得到四个方程，根据四个方程求得四个全局运动参数w、α、lx、ly；

28、s433：将当前帧图像中的一组像素点中的剩余像素点的位置坐标输入全局参数模型中，得到剩余像素点在下一帧图像中的位置坐标；

29、s434：统计在预设范围内的像素点坐标，根据记录的每次筛选出来的像素点个数，判断此次抽样的准确率是否达标，以及本次抽样计算出来的结果是否有效。

30、更进一步的，在所述步骤s431中，全局参数模型如下：

31、

32、其中，α为帧图像的旋转角度参数，w为帧图像的伸缩运动参数，lx、ly分别为x轴、y轴平移运动参数，(xi,yi)为像素点在i帧图像中的位置坐标，(xi+1，yi+1)为像素点在i+1帧图像中的位置坐标。

33、更进一步的，在所述步骤s44中，根据筛选出来的像素点在当前帧图像以及下一帧图像中的位置坐标，进而计算出全局运动参数。

34、更进一步的，在所述步骤s45中，通过计算当前帧到下一帧的全局运动参数获取中间时刻像素点的流动情况，整个过程视为匀速进行，通过当前帧中每个像素点的位置以及全局运动参数w、α、lx、ly，计算出中间时刻各个像素点的位置，在中间时刻进行插帧操作。

35、更进一步的，在所述步骤s5中，图像增强算法包括图像锐化、图像平滑、灰度调整、直方图均衡。

36、本发明相比现有技术具有以下优点：vr应用通过云端gpu能力进行云渲染，服务端采用ai算法对vr推流画面图像进行抽帧，减少数据包传输，客户端通过拉流接收到数据包后，采用深度学习神经网络算法对拉流画面进行补帧操作，保证投放画面的完整和流畅，然后针对补帧之后生成的画面采用灰度变换、图像锐化、图像平滑、频域滤波等技术进行图像增强，解决了客户端拉取云端vr视频资源的画面流畅性和完整性问题，大大提升了vr客户端访问云vr应用的体验感。

技术特征：

1.一种基于ai抽帧补帧的vr云渲染图像增强方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种基于ai抽帧补帧的vr云渲染图像增强方法，其特征在于：在所述步骤s3中，帧色彩空间转换、jpeg编码操作均采用gpu cuda kernel来做并行计算加速。

3.根据权利要求1所述的一种基于ai抽帧补帧的vr云渲染图像增强方法，其特征在于：在所述步骤s4中，基于光流算法的视频流插帧算法使用到光流算法通过数学建模形式计算t-1帧与t+1帧的像素点变化情况，根据光流算法计算出t帧时刻的像素点位置情况，从而进行补帧操作。

4.根据权利要求1所述的一种基于ai抽帧补帧的vr云渲染图像增强方法，其特征在于：所述步骤s4包括以下过程：

5.根据权利要求4所述的一种基于ai抽帧补帧的vr云渲染图像增强方法，其特征在于：所述步骤s42包括以下过程：

6.根据权利要求5所述的一种基于ai抽帧补帧的vr云渲染图像增强方法，其特征在于：所述步骤s43包括以下过程：

7.根据权利要求6所述的一种基于ai抽帧补帧的vr云渲染图像增强方法，其特征在于：在所述步骤s431中，全局参数模型如下：

8.根据权利要求7所述的一种基于ai抽帧补帧的vr云渲染图像增强方法，其特征在于：在所述步骤s44中，根据筛选出来的像素点在当前帧图像以及下一帧图像中的位置坐标，进而计算出全局运动参数。

9.根据权利要求8所述的一种基于ai抽帧补帧的vr云渲染图像增强方法，其特征在于：在所述步骤s45中，通过计算当前帧到下一帧的全局运动参数获取中间时刻像素点的流动情况，整个过程视为匀速进行，通过当前帧中每个像素点的位置以及全局运动参数w、α、lx、ly，计算出中间时刻各个像素点的位置，在中间时刻进行插帧操作。

10.根据权利要求9所述的一种基于ai抽帧补帧的vr云渲染图像增强方法，其特征在于：在所述步骤s5中，图像增强算法包括图像锐化、图像平滑、灰度调整、直方图均衡。

技术总结
本发明公开了一种基于AI抽帧补帧的VR云渲染图像增强方法，属于VR全景视频技术领域。本发明中VR应用通过云端GPU能力进行云渲染，服务端采用AI算法对VR推流画面图像进行抽帧，减少数据包传输，客户端通过拉流接收到数据包后，采用深度学习神经网络算法对拉流画面进行补帧操作，保证投放画面的完整和流畅，然后针对补帧之后生成的画面采用灰度变换、图像锐化、图像平滑、频域滤波等技术进行图像增强，解决了客户端拉取云端VR视频资源的画面流畅性和完整性问题，大大提升了VR客户端访问云VR应用的体验感。

技术研发人员：童文栋,晏宗明,文建良
受保护的技术使用者：联通灵境视讯（江西）科技有限公司
技术研发日：
技术公布日：2024/1/13