一种直播方法、装置、电子设备及存储介质与流程

本申请涉及互联网领域，尤其涉及一种直播方法、装置、电子设备及存储介质。

背景技术

游戏直播是目前最受欢迎的直播形式之一。游戏直播中的观众既关心主播操作游戏时得到的实时游戏图像，又关心主播对游戏的操作图像或解说图像(通过摄像头采集，可以将摄像头采集的图像统称为主播图像)。为了满足观众的上述需求，目前的游戏直播技术中，主播客户端将游戏图像和摄像头采集的主播图像以画中画的形式显示在自身所在设备的屏幕上，并通过录屏的方式获取上述包括主播图像和游戏图像的图像发送给服务器，以使服务器分发给观众客户端显示。虽然目前的游戏直播技术满足了观众可以同时看到游戏图像和主播图像的需求，却在主播客户端产生了如下技术问题：以小画面显示在游戏图像上的主播图像对部分游戏图像造成遮挡，有时该遮挡部分为游戏操作区域，导致妨碍主播对游戏的操作。

如何解决上述主播客户端产生的技术问题，又同时满足观众的需求成为亟待解决的问题。

技术实现要素：

有鉴于此，本申请提供一种直播方法、装置、电子设备及存储介质。

具体地，本申请是通过如下技术方案实现的：

在本申请的第一方面，提供一种直播方法，所述方法包括步骤：

唤起摄像头服务，获取所述摄像头服务后台运行采集的第一图像；

获取本端设备当前屏幕显示的第二图像；

将所述第一图像和第二图像合成目标图像后，将所述目标图像发送给服务器，以使服务器将所述目标图像分发给指定的观众客户端展示。

在一些例子中，所述获取所述摄像头后台运行采集的第一图像，包括：

通过api接口设置surfacetexture对象为输出目标后，将摄像头捕获的图像帧发送给surfacetexture对象；

根据所述surfacetexture对象与图形程序接口中对应的纹理标识，获得第一图像。

在一些例子中，所述目标图像中第一图像和第二图像按画中画、左右分屏或上下分屏的方式合成。

在一些例子中，所述方法还包括步骤：响应用户触发的切换指令，在所在设备的屏幕上显示所述第一图像，其中，所述第一图像按照预设的显示参数显示。

在一些例子中，所述响应用户触发的切换指令，在所在设备的屏幕上显示所述第一图像，包括：

检测到用户触发的切换指令后，将后台运行的所述摄像头调为前台运行，使所在设备的屏幕上显示所述第一图像。

在一些例子中，所述第一图像的显示参数由用户的设置指令确定。

在一些例子中，所述第一图像的显示参数根据图像识别算法得到，其中，所述第一图像显示于第二图像中影响最小区域。

在一些例子中，所述将所述第一图像和第二图像合成目标图像，将所述目标图像发送给服务器，包括：

将所述第二图像按照预设的显示参数绘制到输入画布上；

将所述第一图像按照预设的显示参数进行矩阵变换，绘制到所述输入画布的指定位置；

将所述输入画布上的显示内容进行编码，并发送给服务器。

本申请的第二方面，提供一种电子设备，所述电子设备包括：通过内部总线连接的外部接口、存储器、处理器及显示器；

其中，所述存储器，用于存储直播控制逻辑对应的机器可读指令；

所述外部接口，用于与摄像头相连，并使摄像头与处理器相互通信；

所述处理器，用于唤起摄像头服务，获取所述摄像头服务后台运行采集的第一图像；获取本端设备当前屏幕显示的第二图像；将所述第一图像和第二图像合成目标图像后，将所述目标图像发送给服务器，以使服务器将所述目标图像分发给指定的观众客户端展示。

本申请的第三方面，提供一种电子设备，所述电子设备包括：通过内部总线连接的摄像头、存储器、处理器及显示器；

其中，所述存储器，用于存储直播控制逻辑对应的机器可读指令；

所述摄像头，用于采集第一图像；

所述处理器，用于唤起摄像头服务，获取所述摄像头服务后台运行采集的第一图像；获取本端设备当前屏幕显示的第二图像；将所述第一图像和第二图像合成目标图像后，将所述目标图像发送给服务器，以使服务器将所述目标图像分发给指定的观众客户端展示。

本申请的第四方面，提供一种直播装置，所述直播装置包括：

获取模块，用于唤起摄像头服务，获取所述摄像头服务后台运行采集的第一图像；获取本端设备当前屏幕显示的第二图像；

处理模块，用于将所述第一图像和第二图像合成目标图像后，将所述目标图像发送给服务器，以使服务器将所述目标图像分发给指定的观众客户端展示。

本申请的第四方面，提供一种存储介质，所述程序被处理器执行时实现如上述第一方面所述任意一项所述方法的步骤。

本申请通过主播客户端所在设备的屏幕上仅展示游戏图像(第二图像)，不显示摄像头采集的主播图像(第一图像)，使主播客户端不存在主播图像对游戏图像的遮挡问题；针对观众想要同时看到主播图像和游戏图像，主播客户端通过录屏的方式捕获所在设备屏幕上显示的游戏图像，并打开摄像头，使摄像头后台运行，达到摄像头采集的主播图像不显示在屏幕上，接着将所述主播图像和游戏图像合成目标图像后，将所述目标图像发送给服务器，服务器将所述目标图像分发给指定的观众客户端展示，使得观众客户端展示的图像既包括主播图像又包括游戏图像。通过上述方案，解决了主播客户端主播图像对游戏图像遮挡的问题，并同时满足观众客户端的用户同时看到游戏图像和主播图像的需求。

附图说明

图1a是本申请一示例性实施例示出的一种直播场景示意图；

图1b是本申请一示例性实施例示出的一种现有的游戏直播示意图；

图2是本申请一示例性实施例中一种直播方法的流程图；

图3是本申请一示例性实施例中一种主播客户端界面示意图；

图4是本申请一示例性实施例中的一种游戏直播示意图；

图5是本申请一示例性实施例中的一种电子设备的硬件架构图；

图6是本申请一示例性实施例中的另一种电子设备的硬件架构图；

图7是本申请一示例性实施例中的一种直播装置的逻辑框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。

在本申请使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本申请。在本申请和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本申请可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本申请范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

参照图1a，为申请实施例示出的直播场景示意图，第一观众客户端、第二观众客户端及主播客户端分别被安装在电子设备110、120及130上，主播客户端可以调用摄像头录制视频、拍摄照片、或/和通过屏幕捕捉等其他方式制作直播视频流，然后通过网络发送给服务器100。服务器100用于提供互联网直播的后台服务，例如保存各主播客户端与观众客户端的对应关系，进行直播视频流的分发，以及互动消息的分发等，当第一观众客户端及第二观众客户端与主播客户端在同一直播间内，主播客户端可以将想要展示的直播视频流分享给在同一直播间的第一观众客户端及第二观众客户端，以供第一观众客户端及第二观众客户端的用户观看。所述直播视频流包括音频数据及若干帧直播图像。

本申请实施例提出的“主播客户端”“观众客户端”可以指安装在电子设备上的软件，在某些情况下，所述直播客户端与观众客户端集成在一个软件上，当用户的身份为主播时，该客户端可以被称为主播客户端，当用户的身份是观众时，该客户端被称为观众客户端。

所述电子设备可以具有连网功能。例如移动终端(例如智能手机、智能平板及笔记本电脑等)及固定终端(台式电脑、服务器、智能电视及车载终端等)等。本申请不限制电子设备的类型。

游戏直播是目前最受欢迎的直播形式之一。游戏直播中的观众既关心主播操作游戏时得到的实时游戏图像，又关心主播对游戏的操作图像或解说图像(通过摄像头采集，可以将摄像头采集的图像统称为主播图像)。参照图1b，为本申请实施例示意性示出的一种现有技术中游戏直播的示意图，主播客户端140、摄像头服务143及游戏程序144被安装在电子设备145上，游戏程序144运行时制作的游戏图像141和摄像头服务143采集的主播图像142以画中画的形式显示在电子设备145的屏幕上，主播客户端140通过录屏的方式获取上述包括主播图像142和游戏图像141的图像发送给服务器150，以使服务器150分发给观众客户端160，观众客户端160被安装在电子设备161上，观众客户端160将所述包括主播图像142和游戏图像141的图像显示在电子设备161的屏幕上。虽然目前的游戏直播技术满足了观众可以同时看到游戏图像和主播图像的需求，却在主播客户端产生了如下技术问题：以小画面显示在游戏图像上的主播图像对部分游戏图像造成遮挡，有时该遮挡部分为游戏操作区域，导致妨碍主播对游戏的操作。

如何解决上述主播客户端产生的技术问题，又同时满足观众的需求成为亟待解决的问题。

本申请针对上述技术问题，提供一种直播方法、装置、电子设备及存储介质。参照图2，为本申请实施例示意性示出的一种直播方法的流程图，所述方法包括步骤：

s210：唤起摄像头服务；

所述摄像头服务可以为系统服务程序。

s220：获取所述摄像头服务后台运行采集的第一图像；

所述第一图像可以被称为主播图像。

s230：获取本端设备当前屏幕显示的第二图像；

若为游戏直播中，所述第二图像可以被称为游戏图像。

s240：将所述第一图像和第二图像合成目标图像后，将所述目标图像发送给服务器，以使服务器将所述目标图像分发给指定的观众客户端展示。

需要说明的是上述步骤s220及s230无需区分先后顺序，可以同时进行，也可以先执行s220，后执行s230，或者先执行s230，后执行s220。一些例子中，执行步骤s240时，可以是将相同时间戳的第一图像和第二图像合成目标图像，以减少延时。

在一些例子中，所述方法可以由主播客户端执行。在一些例子中，所述主播客户端被安装在电子设备上，所述电子设备可以配置有内置摄像头，也可以通过外部接口连接外置摄像头进行图像采集。当所述电子设备自身配置有内置摄像头时，也可用通过外部接口使用外置摄像头进行图像采集。具体使用哪个摄像头采集图像，根据用户的选择或默认选择确定，本申请实施例并不限制。

步骤s210所述的“唤起摄像头服务”可以是在主播客户端运行之后，由主播客户端执行，接着所述摄像头服务执行打开摄像头，使摄像头采集图像，当摄像头服务前台运行时，将所述采集的第一图像显示(渲染)在屏幕上，开启预览模式，此时，用户可以设置第一图像的显示参数，所述显示参数包括：显示尺寸、位置、分辨率和/或特效等，所述特效包括：贴图和/或美颜等。

当用户触发“静默拍摄”的指令后，执行步骤s220。参照图3，所述“静默拍摄”的指令，可以在用户触发界面310上的“静默拍摄”的控件320后被触发。摄像头服务从前台运行转为后台运行，摄像头捕获的第一图像不再显示在屏幕上，而是由摄像头服务发送给主播客户端。

使摄像头服务后台运行的方式很多，在一个具体的例子中，步骤s220可以是：主播客户端通过api接口(如：setcamerapreview)设置surfacetexture对象s1为输出目标，而不是将显示屏作为输出目标，以使得摄像头捕获的图像帧不在屏幕上展示；接着使摄像头捕获的图像帧发送给surfacetexture对象s1；根据所述surfacetexture对象s1与图形程序接口(opengles)中对应的纹理标识(texureid)t1，获得第一图像。

在一些例子中，所述步骤s230可以是：主播客户端通过录屏得到surfacetexure对象s2，根据所述s2与图形程序接口(opengles)中对应的纹理标识(texureid)t2，获得第二图像。

在一些例子中，所述步骤s240可以是：获取编码器的输入画布(inputsurface)，其中，绘制到inputsurface上的图像将会自动进入编码流程；将第二图像按预先设置(预设)的显示参数绘制到所述输入画布上；根据预先设置好的显示参数，将第一图像进行矩阵变换，绘制到所述输入画布的指定位置，对输入画布上的图像进行编码，将编码后的目标图像发送给服务器，以使服务器将所述目标图像分发给指定的观众客户端展示。

在一些例子中，所述根据预先设置的显示参数，所述目标图像中第一图像和第二图像可以按画中画、左右分屏或上下分屏的方式合成。例如：以第二图像为大画面，第一图像为小画面的画中画形式。

图4以游戏直播场景为例，示意示出一种直播方法的示意图。参照图4，主播客户端410、观众客户端440分别被安装在电子设备420及电子设备450上，服务器430通过网络分别与电子设备420及电子设备450建立连接，所述主播客户端410和观众客户端440在同一直播间内。电子设备420上还安装有游戏客户端(或游戏程序)411以及摄像头服务412，所述游戏客户端411运行后，游戏图像414被渲染在电子设备420的屏幕上，主播客户端420通过录屏的方式获取游戏图像(第二图像)；主播客户端420唤起摄像头服务412，使摄像头服务412后台运行，摄像头服务412从摄像头捕获主播图像(第一图像)，并不将所述主播图像显示在电子设备420的屏幕上，从图4可以看出，电子设备420的屏幕上显示游戏图像414，不显示主播图像415，使得主播客户端不存在主播图像对游戏图像的遮挡问题。当然可以理解，电子设备420的屏幕上还可以显示与直播相关的内容，例如：房间号信息、弹幕、控件和/或礼物信息等，此处不详细阐述。主播客户端410将录屏得到的游戏图像414和摄像头后台运行捕获的主播图像415按预设的显示参数合成目标图像416，并将一帧帧目标图像416经过编码后发送给服务器430，服务器430将一帧帧目标图像416发送给观众客户端440，观众客户端440接收到所述一帧帧目标图像416后，渲染(显示)在电子设备450的屏幕上，由图4可见，由于目标图像450包括主播图像415和游戏图像414，所以电子设备450的屏幕上同时展示有主播图像415和游戏图像414，满足观众客户端用户同时观看游戏图像和主播图像的需求。需要说明的是，本申请所述直播方法不仅限制于游戏直播场景，所述直播方法可以适用于任意直播场景，在其他直播场景中，所述游戏程序可以是其他任意应用程序，当然，也可能所述第二图像并非由应用程序制作，而是任意显示在电子设备上的图像。

本申请实施例提出的方法，不仅满足观众客户端同时观看游戏图像和主播图像的需求，还避免了现有技术中主播客户端的主播图像对游戏图像的遮挡问题，减少了主播客户端的用户在进行游戏操作时的干扰因素。更重要的是，通过本申请实施例提出的方法，解决了目前极少有游戏主播通过移动终端进行开播的问题。我们知道，由于移动终端的便携性以及其硬件性能的迅速发展，使得移动端游戏(例如手游)的用户量渐渐赶超传统的固定终端(pc端)游戏。游戏主播为了不影响对游戏的操作的同时又满足观众的需求，在进行移动端游戏(例如手游)直播时，将移动终端上的游戏图像发送给固定终端，固定终端采集主播图像，将主播图像和游戏图像合成后发送给服务器。可见传统技术需要两台电子设备配合工作才能完成直播，并且使得游戏直播失去移动性。相比于传统技术，本申请仅需一台电子设备就可以既不干扰主播操作，又满足观众需求进行直播，降低了所需电子设备的数量和操作的复杂程度，大大增加主播使用移动终端开播的意愿。

在一些例子中，所述直播方法还可以包括步骤：响应用户触发的切换指令，在所在设备的屏幕上显示所述第一图像。具体可以通过如下的技术手段得到：

主播客户端检测到用户触发的切换指令后，将原本后台运行的摄像头服务调为前台运行，在屏幕上显示第一图像时，将原本屏幕上要显示的图像(原第二图像)和摄像头采集的第一图像按照预先设置好的显示参数绘制到画布上，将所述画布上的图像渲染到屏幕上。以游戏直播为例，若显示游戏图像和主播图像以画中画形式显示，游戏图像为大画面，主播图像为小画面，则可以是将游戏图像(第二图像)按照预设的显示参数绘制到画布t1上，再将摄像头服务采集的主播图像(第一图像)按照预设的显示参数进行矩形变换后，绘制到所述画布t1的指定位置上，最后将所述画布t1上的图像渲染到屏幕显示。在本实施例中，发送给服务器的目标图像，可以由摄像头服务前台运行采集的第一图像和录屏得到的第二图像合成，也可以是录屏得到的第二图像。

在一些例子中，所述响应用户触发的切换指令，在所在设备的屏幕上显示所述第一图像时，所述第一图像的显示参数可以在如下阶段由用户设置：1、上述实施例所述的预览阶段；2、用户触发切换指令时/后。若在预览阶段，当用户触发切换指令后，按预设的显示参数，显示第一图像。若在用户触发切换指令时/后，弹出设置窗口，以供用户设置显示参数。

在另外一些例子中，所述响应用户触发的切换指令，在所在设备的屏幕上显示所述第一图像时，所述第一图像的显示参数可以根据图像识别算法得到。具体可以是：根据图像识别算法得到第二图像中的“影响最小区域”后，使第一图像的尺寸小于所述影响最小区域，并将所述第一图像的位置设置为所述影响最小区域，使得显示的图像对第二图像(如游戏图像)的影响最低。在一些例子中，所述“影响最小区域”是通过图像识别算法得到的整个图像中，对第二图像影响最小的区域，例如可以是游戏图像中的地图显示区域或对话框区域等。可以理解，针对不同的游戏或软件，会预先设置不同影响权重，图像识别时，根据影响权重，确定各区域的影响值。

在实际应用中，第二图像的显示内容多种多样，针对不同的显示内容，主播客户端上第一图像的显示参数可以采用不同的策略。例如，某些触控点击类游戏中，游戏图像中每个区域均需要用户操作，并未有暂时对游戏影响较小的区域，而某些策略或竞技类游戏中，游戏图像中某些区域(地图显示区域、消息显示区域或对话区域)暂时性被遮挡，不会对游戏操作或结果产生较大的影响。针对上述情况，在一些例子中，针对特定的第二图像，响应用户触发的切换指令，在所在设备的屏幕上显示所述第一图像时，所述第一图像的显示参数根据图像识别算法得到。具体的例子中，所述响应用户触发的切换指令，根据图像识别算法在所在设备的屏幕上显示所述第一图像可以是：检测到用户触发的切换指令后，判断当前第二图像是否属于预设的第二图像类型，若是，则执行根据图像识别算法在所在设备的屏幕上显示所述第一图像；若不是，根据用户预先设置的显示参数或默认的显示参数。

可以理解，一些例子中，上述响应用户触发的切换指令，在主播客户端设备的屏幕上显示的第一图像，可以根据用户的指令随意被拖动。

与前述直播方法的实施例相对应，本申请还提供了直播装置的实施例。

装置实施例可以通过软件实现，也可以通过硬件或者软硬件结合的方式实现。以软件实现为例，作为一个逻辑意义上的装置，是通过其所在终端设备的处理器将存储器中对应的计算机程序指令读取到内存中运行形成的。从硬件层面而言，参照图5，为本申请直播装置所在电子设备的一种硬件结构图，所述电子设备包括：通过内部总线510连接的外部接口520、存储器530、处理器540及显示器550；

其中，所述存储器530，用于存储直播控制逻辑对应的机器可读指令；

所述外部接口520，用于与摄像头560相连，并使摄像头560与处理器540相互通信；

所述处理器540，用于唤起摄像头服务，获取所述摄像头服务后台运行采集的第一图像；获取本端设备当前屏幕显示的第二图像；将所述第一图像和第二图像合成目标图像后，将所述目标图像发送给服务器，以使服务器将所述目标图像分发给指定的观众客户端展示。

需要说明的是，除了图5所示的处理器、内存、外部接口、显示器以及存储器之外，实施例中装置所在的终端设备(电子设备)通常根据该终端设备的实际功能，还可以包括其他硬件，对此不再赘述。

参照图6，为本申请直播装置所在电子设备的另一种硬件结构图，所述电子设备包括：通过内部总线610连接的摄像头660、存储器630、处理器640及显示器650；

其中，所述存储器630，用于存储直播控制逻辑对应的机器可读指令；

所述摄像头660，用于采集第一图像；

所述处理器640，用于唤起摄像头服务，获取所述摄像头服务后台运行采集的第一图像；获取本端设备当前显示器650显示的第二图像；将所述第一图像和第二图像合成目标图像后，将所述目标图像发送给服务器，以使服务器将所述目标图像分发给指定的观众客户端展示。

需要说明的是，除了图6所示的处理器、内存、摄像头、显示器以及存储器之外，实施例中装置所在的终端设备(电子设备)通常根据该终端设备的实际功能，还可以包括其他硬件，对此不再赘述。

请参考图7，一种直播装置700，包括：

获取模块710，用于唤起摄像头服务，获取所述摄像头服务后台运行采集的第一图像；获取本端设备当前屏幕显示的第二图像；

处理模块720：用于将所述第一图像和第二图像合成目标图像后，将所述目标图像发送给服务器，以使服务器将所述目标图像分发给指定的观众客户端展示。

在一些例子中，所述获取模块具体用于：

通过api接口设置surfacetexure对象为输出目标后，将摄像头捕获的图像帧发送给surfacetexure对象；

根据所述surfacetexure对象与图形程序接口中对应的纹理标识，获得第一图像。

在一些例子中，所述目标图像中第一图像和第二图像按画中画、左右分屏或上下分屏的方式合成。

在一些例子中，所述装置还包括切换模块，所述切换模块，用于响应用户触发的切换指令，在所在设备的屏幕上显示所述第一图像，其中，所述第一图像按照预设的显示参数显示。

在一些例子中，所述切换模块具体用于检测到用户触发的切换指令后，将后台运行的所述摄像头调为前台运行，使所在设备的屏幕上显示所述第一图像。

在一些例子中，所述第一图像的显示参数由用户的设置指令确定。

在一些例子中，所述第一图像的显示参数根据图像识别算法得到，其中，所述第一图像显示于第二图像中影响最小区域。

在一些例子中，所述将所述第一图像和第二图像合成目标图像，将所述目标图像发送给服务器，所述处理模块具体用于：

将所述第二图像按照预设的显示参数绘制到输入画布上；

将所述第一图像按照预设的显示参数进行矩阵变换，绘制到所述输入画布的指定位置；

将所述输入画布上的显示内容进行编码，并发送给服务器。

本申请实施例可采用在一个或多个其中包含有程序代码的存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。计算机可用存储介质包括永久性和非永久性、可移动和非可移动媒体，可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括但不限于：相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。

上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本申请方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述仅为本申请的较佳实施例而已，并不用以限制本申请，凡在本申请的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本申请保护的范围之内。