云视频AI理解生成方法、装置及计算机设备与流程

本发明涉及视频处理，具体涉及一种云视频ai理解生成方法、装置及计算机设备。

背景技术：

1、云游戏是以云计算为基础的游戏方式，在云游戏的运行模式下，所有游戏都在服务器端运行，并将渲染完毕后的游戏画面压缩后通过网络传送给用户。在客户端，用户的游戏设备不需要任何高端处理器和显卡，只需要基本的视频解压能力就可以了。云计算（cloud computing），是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需提供给计算机和其他设备。

2、在现有技术进行云游戏的云视频生成时，通常使用人工制作渲染的方式，容易造成云视频制作效率低下，难以满足在云游戏中云视频加载服务的时效性，影响云游戏体验。

技术实现思路

1、本发明的目的在于提供一种云视频ai理解生成方法、装置及计算机设备，以解决现有技术中云视频制作效率低下，难以满足在云游戏中云视频加载服务的时效性，影响云游戏体验的技术问题。

2、为解决上述技术问题，本发明具体提供下述技术方案：

3、在本发明的第一个方面，本发明提供了一种云视频ai理解生成方法，包括以下步骤：

4、获取期望图像，所述期望图像对应于云视频生成的期望特征；

5、根据期望图像，进行像素块抽取，得到多个第一像素块；

6、根据第一像素块，通过ai理解网络，得到多个云视频帧，所述ai理解网络为神经网络；

7、将多个云视频帧，通过序列映射关系，得到云视频帧序列顺序，所述序列映射关系为聚类模型；

8、根据云视频帧序列顺序，对各个云视频帧进行序列化，得到云视频。

9、作为本发明的一种优选方案，所述第一像素块确定，包括：

10、对期望图像进行laplace变换，得到期望图像的各个低频分量，以及期望图像的各个高频分量；

11、在期望图像中，逐一将各个高频分量对应的像素块截取出，作为高频像素块；

12、在期望图像中，逐一将各个低频分量对应的像素块截取出，作为第一低频像素块；

13、高频像素块和第一低频像素块共同构成第一像素块。

14、作为本发明的一种优选方案，所述根据第一像素块，通过ai理解网络，得到多个云视频帧，包括：

15、第一步：在所有高频像素块中，随机抽取至少一个高频像素块，标记为第二像素块；

16、第二步：将所述第二像素块与所有第一低频像素块以在期望图像中的位置进行拼接，得到第三像素块；

17、第三步：在对抗网络gan中输入第三像素块，由对抗网络gan生成云视频帧；

18、循环执行第一步至第三步，得到多个云视频帧。

19、作为本发明的一种优选方案，所述云视频帧序列顺序的确定，包括：

20、将多个云视频帧，利用kmeans算法对多个云视频帧进行聚类划分，得到多个视频帧簇；

21、在每个视频帧簇中，设定云视频帧序列顺序中相邻位置的云视频帧的动量连续性最大化函数，作为帧排序期望目标函数；

22、所述帧排序期望目标函数的函数表达式为：；；式中，f ij为第 i个云视频帧和第 j个云视频帧间的动量连续性，g i为第 i个云视频帧，g j为第 j个云视频帧，similar(g i,g j)为g i和g j间的相似度运算函数，f为视频帧簇中以云视频帧的序列顺序的所有云视频帧间的动量连续性总和，g i和g j为相邻位置的云视频帧，n为视频帧簇中云视频帧的总数量，max为最大化运算符， i， j为计数变量；将视频帧簇作为求解空间，对帧排序期望目标进行排序求解，得到每个视频帧簇中云视频帧的序列顺序；

23、依据各个视频帧簇之间的聚类距离，由小到大排列，确定各个视频帧簇之间的序列顺序；

24、根据各个视频帧簇之间的序列顺序，对各个视频帧簇中云视频帧的序列顺序进行拼接，得到所述云视频帧序列顺序。

25、作为本发明的一种优选方案，多个云视频帧在对抗网络gan生成后，进行标准化处理。

26、作为本发明的一种优选方案，所述第三像素块与期望图像具有相同的图像矩阵空间。

27、作为本发明的一种优选方案，将序列化后的各个云视频帧，进行超分辨处理，得到云视频。

28、作为本发明的一种优选方案，所述各个视频帧簇之间的聚类距离对应于各个视频帧簇中聚类中心之间距离。

29、在本发明的第二个方面，本发明提供了一种云视频ai理解生成装置，包括：

30、数据获取模块，用于获取期望图像，所述期望图像对应于云视频生成的期望特征；

31、数据处理模块，用于根据期望图像，进行像素块抽取，得到多个第一像素块；

32、根据第一像素块，通过ai理解网络，得到多个云视频帧，所述ai理解网络为神经网络；

33、将多个云视频帧，通过序列映射关系，得到云视频帧序列顺序，所述序列映射关系为聚类模型；

34、根据云视频帧序列顺序，对各个云视频帧进行序列化，得到云视频；

35、数据存储模块，用于存储ai理解网络、序列映射关系。

36、在本发明的第三个方面，本发明提供了一种计算机设备，

37、至少一个处理器；以及

38、与所述至少一个处理器通信连接的存储器；

39、其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使计算机设备执行云视频ai理解生成方法。

40、在本发明的第四个方面，本发明提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现云视频ai理解生成方法。

41、本发明与现有技术相比较具有如下有益效果：

42、本发明通过ai理解网络，自动快速生成符合期望的视频，提高云视频帧生成效率，而且通过序列映射关系控制云视频帧的序列顺序，能够保证生成的云视频动态性更佳，更具真实感。

技术特征：

1.一种云视频ai理解生成方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的一种云视频ai理解生成方法，其特征在于：所述第一像素块确定，包括：

3.根据权利要求1所述的一种云视频ai理解生成方法，其特征在于：所述根据第一像素块，通过ai理解网络，得到多个云视频帧，包括：

4.根据权利要求3所述的一种云视频ai理解生成方法，其特征在于：所述云视频帧序列顺序的确定，包括：

5.根据权利要求4所述的一种云视频ai理解生成方法，其特征在于：

6.根据权利要求5所述的一种云视频ai理解生成方法，其特征在于：所述第三像素块与期望图像具有相同的图像矩阵空间。

7.根据权利要求6所述的一种云视频ai理解生成方法，其特征在于：将序列化后的各个云视频帧，进行超分辨处理，得到云视频。

8.根据权利要求7所述的一种云视频ai理解生成方法，其特征在于：所述各个视频帧簇之间的聚类距离对应于各个视频帧簇中聚类中心之间距离。

9.一种云视频ai理解生成装置，其特征在于，包括：

10.一种计算机设备，其特征在于，

技术总结
本发明公开了一种云视频AI理解生成方法、装置及计算机设备，包括以下步骤：获取期望图像；根据期望图像，进行像素块抽取，得到多个第一像素块；根据第一像素块，通过AI理解网络，得到多个云视频帧；将多个云视频帧，通过序列映射关系，得到云视频帧序列顺序；根据云视频帧序列顺序，对各个云视频帧进行序列化，得到云视频。本发明通过AI理解网络，自动快速生成符合期望的视频，提高云视频帧生成效率，而且通过序列映射关系控制云视频帧的序列顺序，能够保证生成的云视频动态性更佳，更具真实感。

技术研发人员：贺国超,王曜,刘琦,许亦,请求不公布姓名,请求不公布姓名,请求不公布姓名
受保护的技术使用者：深圳云天畅想信息科技有限公司
技术研发日：
技术公布日：2024/1/16