一种视频处理方法及装置与流程

本发明涉及通信领域，具体而言，涉及一种视频处理方法及装置。

背景技术：

传统视频会议或监控等视频应用系统受到显示屏幕分辨率和尺寸、会议室物理空间、系统成本等的限制，只能同时实现两路或三路视频流画面。如果系统要支持更多路视频流，要么需要分辨率和尺寸非常大的屏幕或多个显示屏，要么需要缩小画面才能同时显示多路视频流。前者成本较高，后者清晰度下降，都不能让用户灵活便捷的对视频进行浏览。

针对相关技术中用户不能灵活便捷的浏览视频的问题，尚未提出解决方案。

技术实现要素：

本发明实施例提供了一种视频处理方法及装置，以至少解决相关技术中用户不能灵活便捷的浏览视频的问题。

根据本发明的一个实施例，提供了一种视频处理方法，包括：

接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令，其中，所述视频流为一路或多路，来自一个或多个终端；

根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据虚拟现实/增强现实ar/vr界面中显示的场景生成的；

在所述vr/ar界面中呈现所述画面布局流。

可选地，在接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令之前，所述方法还包括：

根据一路或多路视频流生成视频流缩略图，其中，一路视频流生成一个视频流缩略图；或者，

获取一路或多路视频流的关键帧，根据所述一路或多路视频流的关键帧生成关键帧缩略图，其中，一路视频流的关键帧生成一个关键帧缩略图。

可选地，所述获取一路或多路视频流的关键帧包括：

从服务器中预先设置的关键帧队列中获取所述一路或多路视频流的关键帧，其中，所述一路或多路视频流的关键帧是所述服务器在解码所述一路或多路视频流过程中根据收集的码字信息和量化参数信息生成并保存的关键帧。

可选地，在根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流之前，所述方法还包括：

接收选中所述场景缩略图的选中指令；

根据所述选中指令将所述场景缩略图放大预定倍数，并显示在所述ar/vr界面中。

可选地，根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流包括：

根据所述选择指令调整所述视频流缩略图或所述关键帧缩略图的大小；

选择虚拟电视的类型，将所述虚拟电视渲染到所述场景缩略图中；

根据所述场景缩略图在所述ar/v界面的坐标，将一路或多路视频流、以及所述虚拟电视渲染到所述ar/vr界面，更新所述场景缩略图。

可选地，在根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流之前，所述方法还包括：

通过ar/vr摄像头采集通过手势沿预定方向形成的虚拟框；

通过计算得到所述虚拟框在所述ar/vr界面中的坐标和尺寸；

在所述ar/vr界面中渲染所述虚拟框标示的虚拟电视。

可选地，所述方法还包括：

接收ar/vr摄像头反馈的用户当前注视方向和实时画面的布局信息；

根据所述布局信息调整所述一路或多路视频流中的每路视频流的以下至少参数之一：分辨率、帧率、码率。

根据本发明的另一个实施例，还提供了一种视频处理装置，应用于虚拟现实/增强现实ar/vr设备，包括：

第一接收模块，用于接收选中待浏览的视频流或视频流的关键帧的选择指令，其中，所述视频流为一路或多路，来自一个或多个终端；

第一生成模块，用于根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据ar/vr界面中显示的场景生成的；

呈现模块，用于在所述vr/ar界面中呈现所述画面布局流。

可选地，所述装置还包括：

第二生成模块，用于根据一路或多路视频流生成视频流缩略图，其中，一路视频流生成一个视频流缩略图；或者，

获取模块，用于获取一路或多路视频流的关键帧，根据所述一路或多路视频流的关键帧生成关键帧缩略图，其中，一路视频流的关键帧生成一个关键帧缩略图。

可选地，所述获取模块，还用于

从服务器中预先设置的关键帧队列中获取所述一路或多路视频流的关键帧，其中，所述一路或多路视频流的关键帧是所述服务器在解码所述一路或多路视频流过程中根据收集的码字信息和量化参数信息生成并保存的关键帧。

可选地，所述装置还包括：

第二接收模块，用于接收选中所述场景缩略图的选中指令；

放大模块，用于根据所述选中指令将所述场景缩略图放大预定倍数，并显示在所述ar/vr界面中。

可选地，所述第一生成模块，还用于

根据所述选择指令调整所述视频流缩略图或所述关键帧缩略图的大小；

选择虚拟电视的类型，将所述虚拟电视渲染到所述场景缩略图中；

根据所述场景缩略图在所述ar/v界面的坐标，将一路或多路视频流、以及所述虚拟电视渲染到所述ar/vr界面，更新所述场景缩略图。

可选地，所述装置还包括：

采集模块，用于通过ar/vr摄像头采集通过手势沿预定方向形成的虚拟框；

计算模块，用于通过计算得到所述虚拟框在所述ar/vr界面中的坐标和尺寸；

渲染模块，用于在所述ar/vr界面中渲染所述虚拟框标示的虚拟电视。

可选地，所述装置还包括：

第三接收模块，用于接收ar/vr摄像头反馈的用户当前注视方向和实时画面的布局信息；

调整模块，用于根据所述布局信息调整所述一路或多路视频流中的每路视频流的以下至少参数之一：分辨率、帧率、码率。

根据本发明的又一个实施例，还提供了一种存储介质，所述存储介质包括存储的程序，其中，所述程序运行时执行上述任一项所述的方法。

根据本发明的又一个实施例，还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述任一项所述的方法。

通过本发明，接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令；根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据虚拟现实/增强现实ar/vr界面中显示的场景生成；在所述vr/ar界面中呈现所述画面布局流，通过提供虚拟的多路视频流画面的布局界面，解决了相关技术中用户不能灵活便捷的浏览视频的问题，用户可以通过手柄或手势控制对整个布局界面内多路视频流画面进行操作。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的视频处理方法的流程图；

图2是根据本发明实施例的视频处理的系统架构图；

图3是根据本发明实施例的终端自由选择视频流的示意图；

图4是根据本发明实施例的从服务端获取所有终端的视频流缩略图的流程图；

图5是根据本发明实施例的从本地获取当前接收的视频流缩略图的流程图；

图6是根据本发明实施例的从本地获取某一路接收的视频流的关键帧的流程图；

图7是根据本发明实施例的从本地获取多路接收的视频流的关键帧的流程图；

图8是根据本发明实施例的在虚拟现实中多路视频流呈现和布局方式的流程图；

图9是根据本发明实施例的在增强现实中多路视频流呈现和布局方式的流程图；

图10是根据本发明实施例虚拟现实界面中虚拟电视的示意图；

图11是根据本发明实施例的视频处理装置的结构框图。

具体实施方式

下文中将参考附图并结合实施例来详细说明本发明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。

实施例1

在本实施例中提供了一种运行于服务器的视频处理方法，图1是根据本发明实施例的视频处理方法的流程图，如图1所示，该流程包括如下步骤：

步骤s102，接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令，其中，所述视频流为一路或多路，来自一个或多个终端；

步骤s104，根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据虚拟现实/增强现实ar/vr界面中显示的场景生成的；

步骤s106，在所述vr/ar界面中呈现所述画面布局流。

通过上述步骤，接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令；根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据虚拟现实/增强现实ar/vr界面中显示的场景生成；在所述vr/ar界面中呈现所述画面布局流，通过提供虚拟的多路视频流画面的布局界面，解决了相关技术中用户不能灵活便捷的浏览视频的问题，用户可以通过手柄或手势控制对整个布局界面内多路视频流画面进行操作。

可选地，在接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令之前，所述方法还包括：

根据一路或多路视频流生成视频流缩略图，其中，一路视频流生成一个视频流缩略图；或者，

获取一路或多路视频流的关键帧，根据所述一路或多路视频流的关键帧生成关键帧缩略图，其中，一路视频流的关键帧生成一个关键帧缩略图。

可选地，所述获取一路或多路视频流的关键帧可以包括：从服务器中预先设置的关键帧队列中获取所述一路或多路视频流的关键帧，其中，所述一路或多路视频流的关键帧是所述服务器在解码所述一路或多路视频流过程中根据收集的码字信息和量化参数信息生成并保存的关键帧。

可选地，在根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流之前，所述方法还包括：接收选中所述场景缩略图的选中指令；根据所述选中指令将所述场景缩略图放大预定倍数，并显示在所述ar/vr界面中。

可选地，根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流包括：根据所述选择指令调整所述视频流缩略图或所述关键帧缩略图的大小；选择虚拟电视的类型，将所述虚拟电视渲染到所述场景缩略图中；根据所述场景缩略图在所述ar/v界面的坐标，将一路或多路视频流、以及所述虚拟电视渲染到所述ar/vr界面，更新所述场景缩略图。

可选地，在根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流之前，所述方法还包括：通过ar/vr摄像头采集通过手势沿预定方向形成的虚拟框；通过计算得到所述虚拟框在所述ar/vr界面中的坐标和尺寸；在所述ar/vr界面中渲染所述虚拟框标示的虚拟电视。

可选地，所述方法还包括：接收ar/vr摄像头反馈的用户当前注视方向和实时画面的布局信息；根据所述布局信息调整所述一路或多路视频流中的每路视频流的以下至少参数之一：分辨率、帧率、码率。

本发明实施例提出一种多路视频流的呈现方式，利用虚拟现实或增强现实技术虚拟显示设备，接收并显示从一路或多路视频流，通过价格低廉的ar/vr眼镜就可以实现一个用户体验更好的多路视频流呈现。

本发明实施例中的每个终端都可以发送一路或多路视频流，每个终端也可以控制接收到的每一路视频流。提供虚拟的多路视频流画面的布局界面，用户可以通过手柄或手势控制对整个布局界面内多路视频流画面进行操作。由于ar/vr的视野很宽广，为了更加便利的对画面进行操作，用户可以利用场景缩略图对多路视频流在ar/vr视野整个界面布局进行调整，还可以利用视频流缩略图对多路视频流画面进行画面选择、画面切换以及画面的回溯和对比等操作。此外,系统通过追踪眼球焦点或检测用户事件，动态调整每路视频流的编码带宽，降低整个系统的传输带宽。

本发明实施例提供一种基于虚拟现实或增强现实的多路视频流呈现的系统，允许每一个终端可以选择接收一个或多个终端发送的一路或多路视频流，能够同时呈现多路视频流，并能够便捷地对多路视频流进行布局、切换、回溯和对比，提升视频呈现系统的易用性和沉浸感。

图2是根据本发明实施例的视频处理的系统架构图，如图2所示，主要包含三个功能模块：多画面布局模块22、关键帧提取模块24、带宽动态调整模块26。

多画面布局模块22，多画面布局模块的任务，是生成当前终端接收到的多路视频流画面的缩略图，或者从服务端获取到的所有终端发送的多路视频流画面的缩略图，或者某一路视频流或多路视频流的多个关键帧的缩略图，由用户选择需要浏览的视频流或关键帧，将其放到场景缩略图中并进行布局，最终系统根据场景缩略图在vr/ar界面中生成相应的画面布局流呈现给用户。该模块包括视频流缩略图、关键帧缩略图和场景缩略图三部分，视频流缩略图的实现步骤为：

获取每个终端的一路或多路视频流；

生成视频流缩略图；

从视频流缩略图中选择视频流画面进行操作。

关键帧缩略图的实现步骤：

获取某一路或多路视频流的关键帧；

生成关键帧缩略图；

从关键帧缩略图中选择关键帧画面进行操作。

场景缩略图的实现步骤：

根据当前ar/vr界面布局生成场景缩略图；

从视频流缩略图、关键帧缩略图中选择想要显示的画面放到场景缩略图中；

检测更新场景缩略图的布局；

在ar/vr界面上的相应位置上进行画面显示。

关键帧提取模块24：关键帧提取模块的任务，是在解码过程中收集码字、量化参数等信息，并根据这些信息，生成当前视频流的关键帧，并保存在相应的关键帧队列中。

带宽动态调整模块26：带宽动态调整模块的任务，是跟踪用户眼球焦点或者根据当前的布局位置，提高用户关注的视频流的带宽，增大分辨率、帧率等参数，降低用户未关注的视频流的带宽，减小分辨率、帧率等参数，在保持总体带宽不变的情况下，最大程度增强用户视觉感受。该模块的实现步骤为：

通过ar/vr眼镜的眼球跟踪功能，跟踪用户当前注视的方向，同时检测用户是否进行布局调整；

将眼球焦点和实时画面布局反馈给服务器；

服务端根据终端实时反馈的布局信息，调整每路视频流的分辨率、帧率、码率等参数，降低非关注画面的带宽，提高关注画面的带宽。

本发明实施例基于虚拟现实或增强现实技术，实现了一种多路视频流的呈现方式和系统，每个终端都可以方便的选择要浏览的视频流，并在虚拟现实或增强现实中便捷的调整视频流画面布局，也可以对视频流画面进行回溯和对比，且能够在不显著增加编码带宽的基础上，实现每个终端接收一个或多个终端发送的一路或多路视频流。

关键帧提取模块24在解码视频流的过程中收集mb或lcu级的码字、量化参数等信息，并根据这些信息，生成当前视频流的关键帧并保存到关键帧队列。

多画面布局模块22首先会将ar/vr视野整个界面生成一个场景缩略图，然后将接收到的视频流生成视频流缩略图，关键帧画面生成关键帧缩略图，用户再根据自己的需求将自己想要看到的视频流和关键帧放到场景缩略图中，并进行布局调整，最终将场景缩略图的布局结果在ar/vr视野整个界面的相应位置上进行显示。

带宽动态调整模块26通过ar/vr眼镜的眼球跟踪功能，跟踪用户当前注视的方向。系统将结果反馈给服务器，服务器再根据反馈结果调整发送给该终端的相应的视频流的帧率、分辨率等参数以增加或降低带宽。

图3是根据本发明实施例的终端自由选择视频流的示意图，如图3所示，以视频会议为例，召开多点会议，参加会议的有t1、t2、t3、t4四个终端，四个终端都发送了一个或多个视频流，四个终端都可以自由选择浏览其他终端的视频流，也可以浏览自己的视频流，如t1浏览t1、t2、t3、t4的视频流，t2浏览t1、t2、t3、t4的视频流，t3浏览t1、t2的视频流，t4浏览t1的视频流。

图4是根据本发明实施例的从服务端获取所有终端的视频流缩略图的流程图，如图4所示，包括以下步骤：

步骤401，每个终端入会发送视频流到服务端，服务端检测每个视频流的码流是否存在idr帧，如果当前视频流有新的idr帧，则服务端解码该idr帧，并缩小得到当前视频流的缩略图；

步骤402，当前终端向服务端发送消息，希望从服务端获取所有终端的视频流缩略图；

步骤403，服务端将所有终端视频流的缩略图按照一定的顺序排列布局形成一个较大的缩略图画面，然后编码发送给终端；

步骤404，当前终端t3收到并解码得到缩略图画面后，将缩略图画面中的每个子画面都裁剪出来，得到每路视频流对应的缩略图；

步骤405，将当前ar/vr眼镜中显示的场景，缩小生成场景缩略图；

步骤406，将每路视频流对应的缩略图以合适的方式，显示在布局界面中，同时将场景缩略图也显示在布局界面中；

步骤407，用户通过手柄或手势等方式操作，将选择的视频流缩略图放到场景缩略图中，表示希望看到该视频流画面，并在对应的位置显示；

步骤408，用户确定场景缩略图的布局后，系统将在相应的视频流在ar/vr界面位置上进行显示；

步骤409，用户确定最终多画面布局后，系统将用户选择的视频流序号、希望显示的位置、尺寸等信息反馈给服务端，服务端根据上述信息动态调整带宽，并将对应的码流转发给当前终端。

图5是根据本发明实施例的从本地获取当前接收的视频流缩略图的流程图，如图5所示，包括以下步骤：

步骤501，本地接收到所有视频流画面；

步骤502，系统将本地接收到的所有视频流画面，缩小得到每路视频流的缩略图；

步骤503，将当前ar/vr眼镜中显示的场景，缩小生成场景缩略图；

步骤504，将每路视频流对应的缩略图以合适的方式，显示在布局界面中，同时将场景缩略图也显示在布局界面中；

步骤505，用户通过手柄或手势等方式操作，将选择的视频流缩略图放到场景缩略图中，表示希望看到该视频流画面，并在对应的位置显示；

步骤506，用户确定场景缩略图的布局后，系统将在相应的视频流在vr/ar界面位置上进行显示；

步骤507，用户确定最终多画面布局后，系统将用户选择的视频流序号、希望显示的位置、尺寸等信息反馈给服务端，服务端根据上述信息动态调整带宽，并将对应的码流转发给当前终端。

图6是根据本发明实施例的从本地获取某一路接收的视频流的关键帧的流程图，如图6所示，包括以下步骤：

步骤501，本地获取某一路接收的视频流；

步骤602，系统将当前ar/vr眼镜中显示的场景，缩小生成场景缩略图；

步骤603，系统从该路视频流的历史关键帧队列中，取出一定数量的关键帧，生成缩略图以合适的方式在布局界面中显示；

步骤604，用户通过手柄或手势等方式操作，将选择的关键帧缩略图放到场景缩略图中，表示希望看到该关键帧画面，并在对应的位置显示；

步骤605，系统按照用户设置关键帧的布局，在相应的ar/vr界面位置上将选中的关键帧画面进行显示；

图7是根据本发明实施例的从本地获取多路接收的视频流的关键帧的流程图，如图7所示，包括以下步骤：

步骤701，系统将当前ar/vr眼镜中显示的场景，缩小生成场景缩略图；

步骤702，系统从该路视频流的历史关键帧队列中，取出一定数量的关键帧，生成缩略图以合适的方式在布局界面中显示；

步骤703，用户通过手柄或手势等方式操作，将选择的关键帧缩略图放到场景缩略图中，表示希望看到该关键帧画面，并在对应的位置显示；

步骤704，重复步骤702～703，用户将其他视频流的关键帧的缩略图放到场景缩略图中；

步骤705，系统按照用户设置关键帧的布局，在相应的ar/vr界面位置上将选中的关键帧画面进行显示。

图8是根据本发明实施例的在虚拟现实中多路视频流呈现和布局方式的流程图，如图8所示，包括以下步骤：

步骤801，整个vr视野的3d场景缩略图按照一定比例实时显示在用户vr视野的正前方但不影响用户视线的位置；

步骤802，用户选中场景缩略图，缩略图放大到用户容易操作的尺寸并显示在布局界面；

步骤803，用户按照上述的方法获得视频流缩略图；

步骤804，用户将希望观看的视频流的缩略图拖拽到场景缩略图中适当的位置；

步骤805，用户根据场景缩略图的参考物，调整视频流缩略图的位置和尺寸，并选择播放该视频流的虚拟电视的类型(如平面电视、曲面电视等,图10是一个虚拟电视的图例,包含两个曲面电视和一个平面电视)；

步骤806，重复上述803～805步骤，直到用户希望观看的视频流全部拖拽到场景缩略图中并完成调整，用户确定调整完毕；

步骤807，更新场景缩略图，将虚拟电视渲染到场景缩略图中；

步骤808，系统根据场景缩略图与vr视野的坐标关系，将视频流和虚拟电视渲染到vr视野；

步骤809，更新场景缩略图并缩小，在不影响用户视线的位置实时显示。

图9是根据本发明实施例的在增强现实中多路视频流呈现和布局方式的流程图，如图9所示，包括以下步骤：

步骤901，用户通过手势在空中画出一个框，ar眼镜的摄像头采集到用户动作；

步骤902，ar眼镜通过计算分析得到用户所画的框相对ar坐标系的坐标和尺寸，并在ar眼镜中渲染该框标示一个虚拟电视；

步骤903，用户按照上述的方法，选择一个视频流的缩略图；

步骤904，用户将希望观看的视频流的缩略图拖拽到虚拟电视中；

步骤905，用户调整视频流缩略图尺寸和位置，并选择虚拟电视的类型(如平面电视、曲面电视等，图10是根据本发明实施例虚拟现实界面中虚拟电视的示意图，如图10所示，包含两个曲面电视和一个平面电视)；

步骤906，用户重复上述901～905步骤，直到所有用户希望观看的视频流都调整好尺寸和位置，用户确定调整完毕；

步骤907，ar眼镜根据虚拟电视的坐标和尺寸渲染并播放用户选择的视频流。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到根据上述实施例的方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

实施例2

在本实施例中还提供了一种视频处理装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

根据本发明的另一个实施例，还提供了一种视频处理装置，图11是根据本发明实施例的视频处理装置的结构框图，如图11所示，应用于虚拟现实/增强现实ar/vr设备，该装置包括：

第一接收模块112，用于接收选中待浏览的视频流或视频流的关键帧的选择指令，其中，所述视频流为一路或多路，来自一个或多个终端；

第一生成模块114，用于根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据ar/vr界面中显示的场景生成的；

呈现模块116，用于在所述vr/ar界面中呈现所述画面布局流。

可选地，所述装置还包括：

第二生成模块，用于根据一路或多路视频流生成视频流缩略图，其中，一路视频流生成一个视频流缩略图；或者，

获取模块，用于获取一路或多路视频流的关键帧，根据所述一路或多路视频流的关键帧生成关键帧缩略图，其中，一路视频流的关键帧生成一个关键帧缩略图。

可选地，所述获取模块，还用于

从服务器中预先设置的关键帧队列中获取所述一路或多路视频流的关键帧，其中，所述一路或多路视频流的关键帧是所述服务器在解码所述一路或多路视频流过程中根据收集的码字信息和量化参数信息生成并保存的关键帧。

可选地，所述装置还包括：

第二接收模块，用于接收选中所述场景缩略图的选中指令；

放大模块，用于根据所述选中指令将所述场景缩略图放大预定倍数，并显示在所述ar/vr界面中。

可选地，所述第一生成模块，还用于

根据所述选择指令调整所述视频流缩略图或所述关键帧缩略图的大小；

选择虚拟电视的类型，将所述虚拟电视渲染到所述场景缩略图中；

根据所述场景缩略图在所述ar/v界面的坐标，将一路或多路视频流、以及所述虚拟电视渲染到所述ar/vr界面，更新所述场景缩略图。

可选地，所述装置还包括：

采集模块，用于通过ar/vr摄像头采集通过手势沿预定方向形成的虚拟框；

计算模块，用于通过计算得到所述虚拟框在所述ar/vr界面中的坐标和尺寸；

渲染模块，用于在所述ar/vr界面中渲染所述虚拟框标示的虚拟电视。

可选地，所述装置还包括：

第三接收模块，用于接收ar/vr摄像头反馈的用户当前注视方向和实时画面的布局信息；

调整模块，用于根据所述布局信息调整所述一路或多路视频流中的每路视频流的以下至少参数之一：分辨率、帧率、码率。

需要说明的是，上述各个模块是可以通过软件或硬件来实现的，对于后者，可以通过以下方式实现，但不限于此：上述模块均位于同一处理器中；或者，上述各个模块以任意组合的形式分别位于不同的处理器中。

实施例3

本发明的实施例还提供了一种存储介质，该存储介质包括存储的程序，其中，上述程序运行时执行上述任一项所述的方法。

可选地，在本实施例中，上述存储介质可以被设置为存储用于执行以下步骤的程序代码：

s11，接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令，其中，所述视频流为一路或多路，来自一个或多个终端；

s12，根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据虚拟现实/增强现实ar/vr界面中显示的场景生成的；

s13，在所述vr/ar界面中呈现所述画面布局流。

可选地，在本实施例中，上述存储介质可以包括但不限于：u盘、只读存储器(read-onlymemory，简称为rom)、随机存取存储器(randomaccessmemory，简称为ram)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

实施例4

本发明的实施例还提供了一种处理器，该处理器用于运行程序，其中，该程序运行时执行上述任一项方法中的步骤。

可选地，在本实施例中，上述程序用于执行以下步骤：

s21，接收选中待浏览的一路或多路视频流或视频流的关键帧的选择指令，其中，所述视频流为一路或多路，来自一个或多个终端；

s22，根据所述选择指令将所述视频流生成的视频流缩略图或所述关键帧生成的关键帧缩略图设置到场景缩略图中生成画面布局流，其中，所述场景缩略图是根据虚拟现实/增强现实ar/vr界面中显示的场景生成的；

s23，在所述vr/ar界面中呈现所述画面布局流。

可选地，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在两个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的两个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。