互动视频多画面呈现方法及装置、存储介质和终端与流程

本发明涉及直播画面显示，尤其涉及一种互动视频多画面呈现方法及装置、存储介质和终端。

背景技术：

1、在观看直播类节目或者上网课时，经常会遇到多人互动的场景，例如两人pk场景、多人团战场景、观众连麦场景(学生上麦和教师互动)等。在互动场景中，各互动用户之间的互动视频是采用rtc技术相互推拉流实现的。而普通观众看到的互动画面是经服务端合流后的视频。现有服务端合流方式为：拉取各互动用户的视频数据流并解码得到各用户的画面；根据指定的布局要求将各用户的画面进行合图处理，编码得到新的视频流；普通观众用户端从服务器拉取合并后的视频流进行观看。

2、为了满足用户看到不同画面布局的需求，服务器需要进行多次合图处理，即针对每一种画面布局，服务器均需合成出一路新的视频，因此就需要占用大量的cpu资源，拖慢直播流畅度。且当存在多人互动画面时，由于cpu资源有限，也可能仅存在有限几个画面排布显示方式，降低用户体验。

技术实现思路

1、本发明所要解决的技术问题是目前的互动视频生成过程中，为了满足用户看到不同画面布局的需求，服务器需要进行多次合图处理，占用大量的cpu资源，拖慢直播流畅度。

2、为了解决上述技术问题，本发明提供了一种互动视频多画面呈现方法，包括：

3、获取多路待合并视频，并将所述待合并视频解码为对应的待合并视频数据流；

4、按常规布局方式将所有所述待合并视频数据流合并为合成视频数据流，获取所述合成视频数据流的画面布局信息，并基于所述合成视频数据流和所述画面布局信息生成合成画面视频，并将所述合成画面视频推流至云服务器平台，以使得观看端从所述云服务器平台获取到所述合成画面视频后，可基于所述画面布局信息对所述合成视频数据流的画面显示布局进行调整；

5、其中，所述画面布局信息包括所述合成视频数据流的画面显示中每路视频画面的位置信息。

6、优选地，所述待合并视频均为位于同一互动频道内参与互动的视频。

7、优选地，所述互动视频为直播视频或网课视频。

8、优选地，基于所述合成视频数据流和所述画面布局信息生成合成画面视频包括：

9、将所述画面布局信息添加到所述合成视频数据流中，以生成具有画面布局信息的合成视频数据流，对具有画面布局信息的合成视频数据流进行编码，以生成合成画面视频。

10、优选地，观看端基于所述画面布局信息对所述合成视频数据流的画面显示布局进行调整包括：

11、从所述画面布局数据库选取一个画面布局方式作为待执行画面布局方式；

12、当所述待执行画面布局方式与所述常规布局方式相同时，不对所述合成视频数据流的画面显示布局进行调整；

13、当所述待执行画面布局方式与所述常规布局方式不相同时，基于所述画面布局信息将所述合成视频数据流的画面显示布局调整为所述待执行画面布局方式。

14、优选地，基于所述画面布局信息将所述合成视频数据流的画面显示布局调整为所述待执行画面布局方式包括：

15、基于所述画面布局信息中每路视频画面的位置信息，从所述合成视频数据流的每帧图像数据中读取每路视频画面，基于所述待执行画面布局方式对每帧图像数据中的每路视频画面重新排布，以使得重新排布后的图像数据形成的合成视频数据流以所述待执行画面布局方式进行显示。

16、优选地，所述画面布局数据库包括以不同视频画面作为主表现画面的多种画中画横向布局方式、以不同视频画面作为主表现画面的多种画中画纵向布局方式、视频画面以不同顺序排列的多种横向布局方式、以视频画面以不同顺序排列的多种纵向布局方式、不同视频画面的隐藏布局方式。

17、为了解决上述技术问题，本发明还提供了一种互动视频多画面呈现装置，包括视频获取模块和合成画面视频生成模块；

18、所述视频获取模块，用于获取多路待合并视频，并将所述待合并视频解码为对应的待合并视频数据流；

19、所述合成画面视频生成模块，用于按常规布局方式将所有所述待合并视频数据流合并为合成视频数据流，获取所述合成视频数据流的画面布局信息，并基于所述合成视频数据流和所述画面布局信息生成合成画面视频，并将所述合成画面视频推流至云服务器平台，以使得观看端从所述云服务器平台获取到所述合成画面视频后，可基于所述画面布局信息对所述合成视频数据流的画面显示布局进行调整；

20、其中，所述画面布局信息包括所述合成视频数据流的画面显示中每路视频画面的位置信息。

21、为了解决上述技术问题，本发明还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现所述的互动视频多画面呈现方法。

22、为了解决上述技术问题，本发明还提供了一种终端，包括：处理器以及存储器，所述存储器与所述处理器之间通信连接；

23、所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行如所述的互动视频多画面呈现方法。

24、与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果：

25、应用本发明实施例提供的互动视频多画面呈现方法，通过获取合成视频数据流的画面布局信息，并将画面布局信息设置到合成画面视频中，以使得观看端用户在获取合成画面视频后，可基于画面布局信息对合成视频数据流的画面显示布局进行调整，进而得到不同画面布局的互动视频。该互动视频多画面呈现方法在仅需要合成一条合成画面视频的基础上，为用户提供了多种画面呈现方式，减少合流转推的数量，大大降低服务器资源占用，节省成本。

26、本发明的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

技术特征：

1.一种互动视频多画面呈现方法，包括：

2.根据权利要求1所述的方法，其特征在于，所述待合并视频均为位于同一互动频道内参与互动的视频。

3.根据权利要求1所述的方法，其特征在于，所述互动视频为直播视频或网课视频。

4.根据权利要求1所述的方法，其特征在于，基于所述合成视频数据流和所述画面布局信息生成合成画面视频包括：

5.根据权利要求1所述的方法，其特征在于，观看端基于所述画面布局信息对所述合成视频数据流的画面显示布局进行调整包括：

6.根据权利要求5所述的方法，其特征在于，基于所述画面布局信息将所述合成视频数据流的画面显示布局调整为所述待执行画面布局方式包括：

7.根据权利要求5所述的方法，其特征在于，所述画面布局数据库包括以不同视频画面作为主表现画面的多种画中画横向布局方式、以不同视频画面作为主表现画面的多种画中画纵向布局方式、视频画面以不同顺序排列的多种横向布局方式、以视频画面以不同顺序排列的多种纵向布局方式、不同视频画面的隐藏布局方式。

8.一种互动视频多画面呈现装置，其特征在于，包括视频获取模块和合成画面视频生成模块；

9.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至7中任一项所述的互动视频多画面呈现方法。

10.一种终端，其特征在于，包括：处理器以及存储器，所述存储器与所述处理器之间通信连接；

技术总结
本发明公开了一种互动视频多画面呈现方法及装置、存储介质和终端，其中方法包括：获取多路待合并视频，并将待合并视频解码为对应的待合并视频数据流；按常规布局方式将所有待合并视频数据流合并为合成视频数据流，获取合成视频数据流的画面布局信息，并基于合成视频数据流和画面布局信息生成合成画面视频，并将合成画面视频推流至云服务器平台，以使得观看端从云服务器平台获取到合成画面视频后，可基于画面布局信息对合成视频数据流的画面显示布局进行调整；其中画面布局信息包括合成视频数据流的画面显示中每路视频画面的位置信息。本发明在仅需要合成一条合成画面视频的基础上，为用户提供了多种画面呈现方式，减少合流转推的数量，大大降低服务器资源占用，节省成本。

技术研发人员：唐高望
受保护的技术使用者：杭州米络星科技（集团）有限公司
技术研发日：
技术公布日：2024/1/13