一种实时云渲染系统中视频动态索引操控方法与流程

本发明涉及视频动态索引操控，具体为一种实时云渲染系统中视频动态索引操控方法。

背景技术：

1、近年来，智慧城市、数字孪生、虚拟仿真等应用逐步兴起，由于这些往往都是大型3d应用，依赖于高性能显卡硬件。故而，为降低大型内容对终端的要求，一般使用实时云渲染技术（也称为实时云流化技术）进行云端部署。

2、实时云渲染技术的原理是：将大型3d应用运行在云端服务器，基于画面抓取、视频编码、指令传输等相关技术，将云端应用的画面形成低延迟视频流传输到用户终端，并实时传递终端指令给云端应用，对云端应用实时操控。这样终端机器就只需要能够流畅播放视频即可，不再需要专业显卡和大量运算资源，在手机、平板等轻量终端设备下也能流畅体验，实时云渲染技术的产生大大加速了智慧城市、数字孪生、虚拟仿真、元宇宙等应用推广的进程。

3、在实时云渲染类型的业务系统中，像智慧城市等应用，一般是为超宽屏幕的展示设计，这些画面往往是宽度明显超过高度，一般宽高比16:9是高清晰电视的国际标准，但这些宽屏应用的比例甚至可以超过160:9。

4、目前，通过实时云渲染技术，在常规电脑屏幕上浏览此应用时，有个突出的问题就是：由于传输的是给客户端的是160:9的超宽画面，16:9的常规电脑屏幕若按适应高度显示，只能显示一部分画面，另外一部分则不会显示出来，但对这不需要显示的这部分画面，服务端仍然需要进行编码、网络传输等操作，无疑是浪费了服务器的编码资源与带宽资源。

技术实现思路

1、针对现有技术存在的不足，本发明目的是提供一种实时云渲染系统中视频动态索引操控方法，通过视频动态索引的方法，只局部加载和实时渲染宽屏应用中被终端显示器观看到的部分画面，达到仅对部分画面进行局部实时渲染处理的效果；并且通过实现只对该局部区域的画面进行云端的指令响应，从而实现节约服务器算力资源的目的。以解决上述背景技术中提出的问题。

2、为了实现上述目的，本发明是通过如下的技术方案来实现：一种实时云渲染系统中视频动态索引操控方法，包括

3、基于云渲染服务端

4、s1，对完整的宽屏应用画面生成一张整体鸟瞰图，其中，所述鸟瞰图为表征宽屏应用画面的一缩略图；

5、s2，根据获取的宽屏应用画面计算其宽度appwidth、高度appheight以及索引画面的宽度slidingwidth；

6、s3，将所述鸟瞰图的图像参数以及所述索引画面宽度slidingwidth返回至客户端；

7、基于云渲染客户端

8、s4，根据获取的所述鸟瞰图以及索引画面在宽屏应用画面的占比，绘制得到表征索引画面的索引位置矩形；

9、s5，滑动所述索引位置矩形以得到当前索引位置矩形所处位置的相对父窗口的x偏移slidingoffset，返回云渲染服务端；

10、s6，裁剪所述索引画面并进行编码后，返回云渲染客户端；

11、s7，基于所述云渲染客户端，解码显示。

12、与现有技术相比，本发明的有益效果：

13、本发明通过视频动态索引的方法，只局部加载和实时渲染宽屏应用中被终端显示器观看到的部分画面，达到仅对部分画面进行局部实时渲染处理的效果；

14、通过实现只对该局部区域的画面进行云端的指令响应，使得客户端可以按正常比例清晰，不受影响的预览并操控宽屏画面中的部分画面，服务端仅需要对小部分画面进行编码传输即可，从而实现节约服务器算力资源的目的。

技术特征：

1. 一种实时云渲染系统中视频动态索引操控方法，其特征在于：包括：

2.根据权利要求1所述的一种实时云渲染系统中视频动态索引操控方法，其特征在于：步骤s1中，云渲染服务端生成一整体鸟瞰图的具体方法包括：

3.根据权利要求1所述的一种实时云渲染系统中视频动态索引操控方法，其特征在于：步骤s2中，在云渲染服务端获取到宽屏应用画面的id3dtexture2d对象时，需要调用成员函数getdesc以获取宽屏应用画面的宽度appwidth、高度appheight；同时，索引画面的高度与宽屏应用画面的高度appheight一致，索引画面的宽度slidingwidth的计算方式为：

4.根据权利要求1所述的一种实时云渲染系统中视频动态索引操控方法，其特征在于：基于云渲染客户端

5.根据权利要求1所述的一种实时云渲染系统中视频动态索引操控方法，其特征在于：步骤s6中，裁剪所述索引画面的具体方式为：

6.根据权利要求5所述的一种实时云渲染系统中视频动态索引操控方法，其特征在于：当所述索引画面裁剪后，还需要对新画面缓存区的部分画面进行视频编码，其中，所述编码接口使用nvdiaenc api硬件编码，内部主要编码逻辑在显卡编码芯片中执行，编码方式为h.264或h.265。

技术总结
本发明提供一种实时云渲染系统中视频动态索引操控方法包括基于云渲染服务端对完整的宽屏应用画面生成一张整体鸟瞰图；根据获取的宽屏应用画面计算其宽度、高度以及索引画面的宽度；将鸟瞰图的图像参数以及索引画面宽度返回至客户端；基于云渲染客户端根据获取的鸟瞰图以及索引画面在宽屏应用画面的占比，得到当前索引位置矩形所处位置的相对父窗口的x偏移，基于云渲染客户端，解码显示。通过视频动态索引的方法，只局部加载和实时渲染宽屏应用中被终端显示器观看到的部分画面，达到仅对部分画面进行局部实时渲染处理的效果。

技术研发人员：张鹏,顾帅,高玉飞
受保护的技术使用者：南京点量云流科技有限公司
技术研发日：
技术公布日：2024/1/11