直播间视频流合成控制方法、装置及终端设备与流程

本发明涉及网络直播技术领域，具体涉及一种直播间视频流合成控制方法、装置及终端设备。

背景技术：

随着互联网技术及智能移动终端设备的发展，各种互联网产品给人们的工作、生活带来了很多便利与娱乐，近年来，各类用于视频直播的直播平台层出不穷，视频直播给人们带来更实时的社交体验。目前的直播平台包括了用于移动端的直播平台和用于PC端的直播平台。

由于视频直播需求的多样性，用户需要同时直播多个移动端的内容或同时直播多个PC端的内容或同时直播移动端跟PC端的内容，例如用户开始在PC端上直播，然后想暂时转移直播场景至户外，利用移动端直播户外此时发生的情况，在现有技术中，往往需要主播用户在移动端重新建立一个直播间开启户外直播，然后原来直播间的观看用户需要重新进入新的直播间后才能看到主播进行的户外直播，由于户外直播是暂时性的，在户外直播停止后，主播重新回到PC端直播，而观看用户又得重新进入该主播的PC端的直播间，这种方式下主播用户跟观看用户的操作过程繁琐，无法给主播用户跟观看用户带来良好体验，降低直播平台口碑，造成用户流失。另外，例如主播用户想要邀请好友、观众一起直播，在现在技术下，只有好友或观众亦是主播用户才可以进行一起直播。

所以，如何在多个终端同时直播的多源直播模式下更好地对多个来源的视频流进行管控，如何在多源直播模式下实现主播跟观众更好的互动效果，并且如何对视频流的合成进行更好地控制以提升直播的质量跟内容是目前网络视频直播领域中亟需解决的问题。

技术实现要素：

本发明的首要目的在于提供一种直播间视频流合成控制方法及装置。

本发明的另一目的在于提供一种实行、实现上述直播间视频流合成控制方法的终端设备。

为实现该目的，本发明采用如下技术方案：

第一方面，本发明提供一种直播间视频流合成控制方法，包括如下步骤：

显示与第二视频流个数相对应的一个或多个视频控件；

响应作用于所述视频控件的至少一个的选定指令，接收被选定的视频控件相对应的第二视频流，并以指定布局将该第二视频流与本地采集的第一视频流合成为第三视频流；

将所述第三视频流上传到服务器，以使得所述服务器向直播间的每个用户推送所述第三视频流。

具体的，所述第一、第二、第三视频流均包括图像流和音频流，所述第三视频流包括第一视频流、第二视频流至少之一的图像流，还包括该两者至少之一的音频流。

进一步的，所述选定指令包括由主播用户选择至少一个视频控件的选定指令，和根据预设规则选择至少一个视频控件的选定指令。

更进一步的，所述选定指令还包括由主播用户选用预设的多个排版布局之一作为第三视频流的指定布局的选定指令。

具体的，所述排版布局包括第一、第二视频流的图像流在合成的第三视频流中的图像位置、图像大小、图像倾斜角度的排版布局。

进一步的，所述的方法还包括步骤：

响应作用于所述第三视频流在用户界面上的排版布局的编辑指令，改变第三视频流的图像排版布局效果。

更进一步的，所述的方法还包括步骤：

响应作用于第二视频流的音频流的操作指令，打开/关闭第二视频流的音频流或调整第二视频流的音频流的大小。

优选的，所述接收第二视频流的过程与采集本地的第一视频流的过程与合成第三视频流的过程与上传第三视频流的过程并行工作。

第二方面，本发明还提供一种直播间视频流合成控制装置，包括：

调用模块：用于显示与第二视频流个数相对应的一个或多个视频控件；

合成模块：用于响应作用于所述视频控件的至少一个的选定指令，接收被选定的视频控件相对应的第二视频流，并以指定布局将该第二视频流与本地采集的第一视频流合成为第三视频流；

上传模块：用于将所述第三视频流上传到服务器，以使得所述服务器向直播间的每个用户推送所述第三视频流。

相应的，本发明还提供一种执行、实现上述直播间视频流合成控制方法的终端设备，包括处理器、存储器，所述处理器用于调用执行以程序形式存储于所述存储器的上述直播间视频流合成控制方法任意一项所述方法的步骤。

与现有技术相比，本发明具备如下优点：

(1)本发明将主播终端配置为服务器终端，用以接收第二终端采集后直接发送至主播终端的第二视频流，再由主播终端将所有视频流合成推送至直播间的视频流，直播间的观众用户看到的视频流与主播终端上的视频流一致，保证了视频流的同时性；

(2)同时，利用长连接保持主播终端与第二终端的通信链路，对于多个来源的第二视频流，在主播终端上选定连接任意一个第二视频流后，接收被选定的第二视频流，并且选择连接任意一个第二视频流的过程可通过随机方式选择且展示在直播画面中，增强主播与观众用户的互动效果；

(3)再者，主播可调整合成的视频流的画面排版布局及音频效果，以更好地突出直播内容，营造更好的直播效果。

显然，上述有关本发明优点的描述是概括性的，更多的优点描述将体现在后续的实施例揭示中，以及，本领域技术人员也可以本发明所揭示的内容合理地发现本发明的其他诸多优点。

本发明附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本发明的实践了解到。

【附图说明】

图1为本发明直播间视频流合成控制方法的一实施例流程示意图；

图2为本发明主播终端开启多源直播模式后的直播界面示意图；

图3为本发明选定连接2个第二视频流后的第三视频流的排版布局示意图；

图4为本发明直播间视频流合成控制装置的一实施例示意图；

图5是实现本发明所述直播间视频流合成控制方法的系统示意图。

【具体实施方式】

下面结合附图和示例性实施例对本发明作进一步地描述，其中附图中相同的标号全部指的是相同的部件。此外，如果已知技术的详细描述对于示出本发明的特征是不必要的，则将其省略。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

本技术领域技术人员可以理解，这里所使用的“终端”、“终端设备”既包括无线信号接收器的设备，其仅具备无发射能力的无线信号接收器的设备，又包括接收和发射硬件的设备，其具有能够在双向通信链路上，执行双向通信的接收和发射硬件的设备。这种设备可以包括：蜂窝或其他通信设备，其具有单线路显示器或多线路显示器或没有多线路显示器的蜂窝或其他通信设备；PCS(Personal Communications Service，个人通信系统)，其可以组合语音、数据处理、传真和/或数据通信能力；PDA(Personal Digital Assistant，个人数字助理)，其可以包括射频接收器、寻呼机、互联网/内联网访问、网络浏览器、记事本、日历和/或GPS(Global Positioning System，全球定位系统)接收器；常规膝上型和/或掌上型计算机或其他设备，其具有和/或包括射频接收器的常规膝上型和/或掌上型计算机或其他设备。这里所使用的“终端”、“终端设备”可以是便携式、可运输、安装在交通工具(航空、海运和/或陆地)中的，或者适合于和/或配置为在本地运行，和/或以分布形式，运行在地球和/或空间的任何其他位置运行。这里所使用的“终端”、“终端设备”还可以是通信终端、上网终端、音乐/视频播放终端，例如可以是PDA、MID(Mobile Internet Device，移动互联网设备)和/或具有音乐/视频播放功能的移动电话，也可以是智能电视、机顶盒等设备。

本技术领域技术人员可以理解，这里所使用的远端网络设备，其包括但不限于计算机、网络主机、单个网络服务器、多个网络服务器集或多个服务器构成的云。在此，云由基于云计算(Cloud Computing)的大量计算机或网络服务器构成，其中，云计算是分布式计算的一种，由一群松散耦合的计算机集组成的一个超级虚拟计算机。本发明的实施例中，远端网络设备、终端设备与WNS服务器之间可通过任何通信方式实现通信，包括但不限于，基于3GPP、LTE、WIMAX的移动通信、基于TCP/IP、UDP协议的计算机网络通信以及基于蓝牙、红外传输标准的近距无线传输方式。

本技术领域技术人员可以理解，本发明所述的用户界面/操作界面泛指能够用于向智能终端发送控制指令的显示界面，例如，可以为Andro i d系统的设置页面中的一个选项(或按键，由所述应用程序添加其中，下同)，也可以是从桌面呼出的通知栏或者交互页面中的一个选项，还可以是所述应用程序的一个活动组件所构造的页面中的一个选项。虽然上面已经示出了本发明的一些示例性实施例，但是本领域的技术人员将理解，在不脱离本发明的原理或精神的情况下，可以对这些示例性实施例做出改变，本发明的范围由权利要求及其等同物限定。

本领域技术人员应当理解，本发明所称的“应用”、“应用程序”、“应用软件”以及类似表述的概念，是业内技术人员所公知的相同概念，是指由一系列计算机指令及相关数据资源有机构造的适于电子运行的计算机软件。除非特别指定，这种命名本身不受编程语言种类、级别，也不受其赖以运行的操作系统或平台所限制。理所当然地，此类概念也不受任何形式的终端所限制。

直播间：本发明所述直播间包括以下含义，①一种基于网络直播平台创建的一个虚拟空间(或虚拟房间)，直播间一般由主播客户端创建并连接有多个观看客户端，即直播间中包括了主播及多个观众，位于该虚拟空间内的观看客户端可以观看主播客户端的直播内容，同时主播客户端的用户与观看客户端的用户、观看客户端的用户与观看客户端的用户之间还可以进行语音、图片、文字或赠送电子赠品的互动；②一种以群组方式将用户聚合在一起的即时通讯平台，例如视频会议系统，用户通过登录客户端的方式进入群组，用户在群组内以群组成员的身份存在，同一个群组内包含有多个群组成员，用户可任意加入或退出群组，在群组内，可以进行文字、语音、视频等多种互动。

如图1所示是本发明直播间视频流合成控制方法的一实施例流程示意图，包括如下步骤：

本实施例中，为了便于说明，所述第一视频流为以主播身份开启直播的主播用户终端所采集的视频流，所述第二视频流为与主播终端连接的第二用户终端所采集的视频流。

步骤S100：显示与第二视频流个数相对应的一个或多个视频控件。

多源直播是指在一个直播画面中同时存在有多个来源的视频流的直播方式，该多个来源的视频流可以是主播用户利用多个拍摄设备采集的多个视频流或主播用户邀请其他用户一起直播时的多个用户终端采集的视频流；在本实施例中，主播用户开启多源直播模式，第二终端申请与主播终端连接以进行多源直播，此时的主播终端被配置为服务器终端，用于接收第二终端发送而来的第二视频流，在主播用户确认接收第二视频流前，第二终端与主播终端以长连接的形式保持双方的通信链路连接，在长连接保持期间，如果没有视频流数据的传输，需要第二终端每隔一段时间给主播终端发送一个心跳数据包以保持该长链接，在主播用户确认接收第二视频流后第二终端通过所述通信链路将第二视频流发送至主播终端。

本实施例中，与主播终端保持长连接的一个或多个第二终端(也即第二视频流)以视频控件的形式显示在主播终端的用户界面上，每一个视频控件对应一个第二视频流的选择入口，并且在所述视频控件中还包含用于区分多个第二视频流的特征信息，通过选择视频控件可以触发接收对应的第二视频流，优选的，所述特征信息为第二终端用户在直播平台上的用户名。

如图2所示是主播终端开启多源直播模式后的直播界面示意图，图2中示出4个第二终端申请与主播终端连接以进行多源直播，在直播界面的上方以4个视频控件显示与主播终端保持长连接的4个第二终端的第二视频流，并且在视频控件中添加了用于区分不同第二视频流的特征信息，即第二终端用户在直播平台上的用户名，如图2中的“虎牙第一妖男”、“老邢姑娘sds”、“小人鱼老司机”及“每天不一样…”。

步骤S200：响应作用于所述视频控件的至少一个的选定指令，接收被选定的视频控件相对应的第二视频流，并以指定布局将该第二视频流与本机采集的第一视频流合成为第三视频流。

在显示于主播终端用户界面上的视频控件，当发生作用于所述视频控件的至少一个的选定操作时，触发相应的选定指令，主播终端响应于所述选定指令开始接收被选定的视频控件相对应的第二视频流，并以指定布局将该第二视频流与本机采集的第一视频流合成为第三视频流。

所述选定指令的一种实施方式是，所述选定指令为由主播用户选择至少一个视频控件的选定指令，该方式下主播用户持有选择任何一个或多个第二终端用户所对应的视频控件的控制权，主播用户可以根据自己对第二终端用户的喜好选择一个或多个第二终端用户所对应的视频控件，以接收该视频控件对应的第二视频流；所述选定指令的另一种实施方式，为了增强主播与用户的活动，活跃直播间气氛，并且让更多用户参与其中，所述选定指定为根据预设规则选择至少一个视频控件的选定指令，优选的，所述预设规则为从连接的多个第二视频流对应的多个视频控件中以随机方式选定一个或多个视频控件，以接收该视频控件对应的第二视频流，随机选择的过程同时也表现在第三视频流中，在保持长连接的第二视频流的数量有一定限制时，该方式可以增强主播跟用户之间的互动效果。

进一步的，所述选定指令还包括由主播用户选用预设的多个排版布局之一作为第三视频流的指定布局的选定指令。在选定了连接的第二视频流所对应的视频控件后，需由主播用户选择第三视频流的排版布局，其中，主播终端预设了多个第三视频流的排版布局，包括连接1个、2个、3个第二视频流时的排版布局，并且所述排版布局包括第一、第二视频流的图像流在合成的第三视频流中的图像位置、图像大小、图像倾斜角度的排版布局，如图3所示是选定连接2个第二视频流(“虎牙第一妖男”和“老邢姑娘sds”)后的第三视频流的排版布局示意图。

进一步的，在根据所选定的排版布局作为第三视频流的指定布局显示合成的第三视频流后，主播用户还可以根据需要修改第三视频流的排版布局，主播终端响应作用于所述第三视频流在用户界面上的排版布局的编辑指令，改变第三视频流的图像排版布局效果，其中，针对第三视频流的排版布局的编辑包括针对第一、第二视频流的图像流在合成的第三视频流中的图像位置、图像大小、图像倾斜角度的排版布局，如图3所示，主播用户选择其中一个位于直播画面右上角的第二视频流，该第二视频流的画面以框线突出显示已被选定状态，主播用户可以通过拖动框线以修改该第二视频流的图形流的图像大小、通过点击该第二视频流画面下方从左往右数起的第二个按钮以修改该第二视频流的图形流的图像倾斜角度。

另外，本实施例还包括步骤：响应作用于第二视频流的音频流的操作指令，打开/关闭第二视频流的音频流或调整第二视频流的音频流的大小。主播用户还可以根据需要调整第二视频流的音频流，其中包括打开/关闭第二视频流的音频流和调整第二视频流的音频流的大小，一般地，在第二视频流的图像画面中设有该第二视频流的音频流的操作按钮，如图3所示的直播画面右上角的第二视频流的画面下方从左往右数起的第三个按钮，主播用户可以操作该按钮以打开/关闭第二视频流的音频流和调整第二视频流的音频流的大小。

步骤S300：将所述第三视频流上传到服务器，以使得所述服务器向直播间的每个用户推送所述第三视频流。

在合成第三视频流后，主播终端将第三视频流上传到直播平台的服务器，以使得所述服务器向直播间的每个用户推送所述第三视频流，在本实施例中，所述直播终端接收第二视频流的过程与采集本地的第一视频流的过程与合成第三视频流的过程与上传第三视频流的过程并行工作，并行工作是指同一时刻或同一时间间隔内完成两种或两种以上性质相同或不相同的工作，并行工作具有①时间重叠性：相邻处理过程在时间上错开，轮流重叠使用同一套硬件的各部分；②资源共享性：让多个用户按照一定的时间顺序轮流使用同一套资源，提高资源利用率；③资源重复：重复设置硬件资源，提高硬件可靠性和性能。具体的，对于本发明实施例而言，并行工作是指主播终端在接收第二直频流时，可以同步/同步采集第一视频流，并同时/同步将所采集的第一视频流和所接收到的第二视频流合并成第三视频流，在此期间，还包括对第三视频流的排版布局的修改，对第二视频流的音频流的操作，且同时/同步将第三视频流上传到服务器，保证了直播视频流的同时/同步性。

相应的，如图2所示是本发明直播间视频流合成控制装置的一实施例示意图，包括：

调用模块100：用于显示与第二视频流个数相对应的一个或多个视频控件。

在本实施例中，主播用户开启多源直播模式，第二终端申请与主播终端连接以进行多源直播，此时的主播终端被配置为服务器终端，用于接收第二终端发送而来的第二视频流，在主播用户确认接收第二视频流前，第二终端与主播终端以长连接的形式保持双方的通信链路连接，在长连接保持期间，如果没有视频流数据的传输，需要第二终端每隔一段时间给主播终端发送一个心跳数据包以保持该长链接，在主播用户确认接收第二视频流后第二终端通过所述通信链路将第二视频流发送至主播终端，此时调用模块100将与主播终端保持长连接的一个或多个第二终端(也即第二视频流)以视频控件的形式显示在主播终端的用户界面上，并且，在所述视频控件中还包含用于区分多个第二视频流的特征信息，优选的，所述特征信息为第二终端用户在直播平台上的用户名。

合成模块200：用于响应作用于所述视频控件的至少一个的选定指令，接收被选定的视频控件相对应的第二视频流，并以指定布局将该第二视频流与本地采集的第一视频流合成为第三视频流。

在调用模块100将视频控件显示于主播终端用户界面上后，当发生作用于所述视频控件的至少一个的选定操作时，触发相应的选定指令，合成模块200响应于所述选定指令开始接收被选定的视频控件相对应的第二视频流，并以指定布局将该第二视频流与本机采集的第一视频流合成为第三视频流。

上传模块300：用于将所述第三视频流上传到服务器，以使得所述服务器向直播间的每个用户推送所述第三视频流。

在合成模块200合成第三视频流的同时，上传模块300将第三视频流上传到直播平台的服务器，以使得所述服务器向直播间的每个用户推送所述第三视频流，在本实施例中，所述合成模块200接收第二视频流的过程与采集本地的第一视频流的过程与合成第三视频流的过程与上传模块300上传第三视频流的过程并行工作。并行工作是指合成模块200在接收第二直频流时，可以同步/同步采集第一视频流，并同时/同步将所采集的第一视频流和所接收到的第二视频流合并成第三视频流，在此期间，还包括对第三视频流的排版布局的修改，对第二视频流的音频流的操作，且上传模块300同时/同步将第三视频流上传到服务器，保证了直播视频流的同时/同步性。

另外，本发明还提供一种终端设备，包括存储器、处理器，所述存储器用于存储上述方法实现过程中产生的候选中间数据以及结果数据，所述处理器用于调用执行以程序形式存储于所述存储器的所述直播间视频流合成控制方法的任意一项步骤。

如图5所示是实现本发明所述直播间视频流合成控制方法的系统示意图，主播用户与第二终端用户通过身份验证后保持主播终端与第二终端的长连接，然后第二终端将第二视频流发送至主播终端，主播终端再同时将本地采集的视频流和接收到的第二视频流合成第三视频流后上传到直播平台的视频流服务器，再通过直播平台的视频流服务器将第三视频流推送给直播间的各个用户。

本发明将主播终端配置为服务器终端，用以接收第二终端采集后直接发送至主播终端的第二视频流，再由主播终端将所有视频流合成推送至直播间的视频流，直播间的观众用户看到的视频流与主播终端上的视频流一致，保证了视频流的同时性；同时，利用长连接保持主播终端与第二终端的通信链路，对于多个来源的第二视频流，在主播终端上选定连接任意一个第二视频流后，接收被选定的第二视频流，并且选择连接任意一个第二视频流的过程可通过随机方式选择且展示在直播画面中，增强主播与观众用户的互动效果；再者，主播可调整合成的视频流的画面排版布局及音频效果，以更好地突出直播内容，营造更好的直播效果。

虽然上面已经示出了本发明的一些示例性实施例，但是本领域的技术人员将理解，在不脱离本发明的原理或精神的情况下，可以对这些示例性实施例做出改变，本发明的范围由权利要求及其等同物限定。