直播编码切换方法、装置及设备与流程

本公开涉及直播技术领域，尤其涉及直播编码切换方法、装置及设备。

背景技术：

目前随着移动互联网的发展，直播软件越来越受欢迎，越来越多的主播利用直播平台向观众播放各种内容。在移动直播中，主播的主播客户端(简称主播端)可以通过直播软件向观众进行直播。

其中，在直播应用程序工作的过程中，主播方的主播客户端通常会使用软编码或硬编码方式对视频数据进行编码后发送出去。软编码，是使用CPU(Central Processing Unit，中央处理器)进行编码，实现方式简单，参数调整方便，升级容易，但CPU负载重，性能比硬编码低，低码率下质量通常比硬编码要好；硬编码，是使用GPU(Graphics Processing Unit，图形处理器)进行编码，性能比软编码高，低码率下质量通常低于软编码。

相关技术中，主播客户端在整个直播过程中一般全程使用软编码或者硬编码方式进行编码直播。由于在终端设备的应用中，CPU以及GPU都是共享资源。假设一个只支持软编码的应用在执行的时候，遇到其他应用抢占CPU资源，就会导致视频直播卡顿，播放效果差；而对于只使用硬编码的应用则会由于一般终端设备都没有对GPU进行较好的散热设计，最终导致温度过高，影响整个应用的正常运行。

技术实现要素：

为克服相关技术中存在的问题，本公开提供了直播编码切换方法、装置及设备。

根据本公开实施例的第一方面，提供一种直播编码切换方法，包括：

主播客户端在向直播服务器发送编码后的直播视频的过程中，监测中央处理器CPU利用率或图形处理器GPU利用率；

响应于监测到所述CPU利用率和/或所述GPU利用率超过设定阈值，切换直播视频的编码方式。

可选的，所述响应于监测到所述CPU利用率超过设定阈值，切换直播视频的编码方式，包括：

响应于监测到所述CPU利用率超过第一设定阈值，将直播视频的编码方式从软编码切换为硬编码；

所述响应于监测到所述GPU利用率超过设定阈值，切换直播视频的编码方式，包括：

响应于监测到所述GPU利用率超过第二设定阈值，将直播视频的编码方式从硬编码切换为软编码；

其中，所述硬编码为使用GPU进行编码；所述软编码为使用CPU进行编码。

可选的，所述响应于监测到所述CPU利用率和所述GPU利用率超过设定阈值，切换直播视频的编码方式，包括：

响应于监测到所述CPU利用率超过第一设定阈值和所述GPU利用率超过第二设定阈值，

如果当前直播视频的编码方式为硬编码，保持当前编码方式；

如果当前直播视频的编码方式为软编码，将直播视频的编码方式从软编码切换为硬编码；

其中，所述硬编码为使用GPU进行编码；所述软编码为使用CPU进行编码。

可选的，所述将直播视频的编码方式从软编码切换为硬编码，包括：

将所述软编码和硬编码并行运行设定时间后，再将直播视频的编码方式从软编码切换为硬编码；或，

所述将直播视频的编码方式从硬编码切换为软编码，包括：

将所述软编码和硬编码并行运行设定时间后，再将直播视频的编码方式从硬编码切换为软编码。

根据本公开实施例的第二方面，提供一种直播编码切换装置，包括：

监测模块，用于主播客户端在向直播服务器发送编码后的直播视频的过程中，监测中央处理器CPU利用率或图形处理器GPU利用率；

切换处理模块，用于响应于所述监测模块监测到所述CPU利用率和/或所述GPU利用率超过设定阈值，切换直播视频的编码方式。

可选的，所述切换处理模块包括：

第一切换子模块，用于响应于所述监测模块监测到所述CPU利用率超过第一设定阈值，将直播视频的编码方式从软编码切换为硬编码；或，

第二切换子模块，用于响应于所述监测模块监测到所述GPU利用率超过第二设定阈值，将直播视频的编码方式从硬编码切换为软编码；

其中，所述硬编码为使用GPU进行编码；所述软编码为使用CPU进行编码。

可选的，所述切换处理模块包括：

第三切换子模块，用于响应于所述监测模块监测到所述CPU利用率超过第一设定阈值和所述GPU利用率超过第二设定阈值，如果当前直播视频的编码方式为硬编码，保持当前编码方式；如果当前直播视频的编码方式为软编码，将直播视频的编码方式从软编码切换为硬编码；其中，所述硬编码为使用GPU进行编码；所述软编码为使用CPU进行编码。

可选的，所述第一切换子模块或所述第三切换子模块将所述软编码和硬编码并行运行设定时间后，再将直播视频的编码方式从软编码切换为硬编码；或，

所述第二切换子模块将所述软编码和硬编码并行运行设定时间后，再将直播视频的编码方式从硬编码切换为软编码。

根据本公开实施例的第三方面，提供一种直播终端设备，包括：

处理器和用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为：

在向直播服务器发送编码后的直播视频的过程中，监测中央处理器CPU利用率或图形处理器GPU利用率；

响应于监测到所述CPU利用率和/或所述GPU利用率超过设定阈值，切换直播视频的编码方式。

本公开的实施例提供的技术方案可以包括以下有益效果：

本公开主播客户端在向直播服务器发送编码后的直播视频的过程中，监测中央处理器CPU利用率或图形处理器GPU利用率，如果发现所述CPU利用率和/或所述GPU利用率超过设定阈值，则切换直播视频的编码方式，这样可以在CPU负载过重或GPU负载过重的情况下避免继续再使用CPU或GPU，而使用另外一种编码方式，从而保持直播的流畅度和确保直播的终端设备不会过热运行，达到最优化的直播效果。

本公开可以在所述CPU利用率超过第一设定阈值时将直播视频的编码方式从软编码切换为硬编码；或，在所述GPU利用率超过第二设定阈值时将直播视频的编码方式从硬编码切换为软编码，从而保持最优化直播效果。

本公开考虑到CPU相对而言是更容易被抢占资源，可以在所述CPU利用率和所述GPU利用率都超过设定阈值时，优选选择使用GPU对应的硬编码。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。

图1是本公开根据一示例性实施例示出的一种直播编码切换方法的流程图。

图2是本公开根据一示例性实施例示出的一种直播编码切换方法的另一流程图。

图3是本公开根据一示例性实施例示出的一种直播编码切换装置的框图。

图4是本公开根据一示例性实施例示出的一种直播编码切换装置的另一框图。

图5是本公开根据一示例性实施例示出的一种直播终端设备的一结构框图。

图6是本公开根据一示例性实施例示出的一种设备的一结构框图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”。

本公开提供了一种直播编码切换方法，可以达到最优化的直播效果。

图1是本公开根据一示例性实施例示出的一种直播编码切换方法的流程图。

如图1所示，该方法可以应用于主播客户端中，其中所述主播客户端可以位于终端设备中，该方法包括以下步骤：

在步骤101中，主播客户端在向直播服务器发送编码后的直播视频的过程中，监测中央处理器CPU利用率或图形处理器GPU利用率。

其中，所述CPU利用率或所述GPU利用率可以从终端设备的系统运行统计值中获取。

一般主播方向观众进行视频直播的过程包括：主播方的主播客户端，通过设定编码方式例如软编码或硬编码方式对录制的视频数据进行编码，然后将编码后的直播视频发送给直播服务器，由直播服务器再下发给观众客户端观看。其中，所述硬编码为使用GPU进行编码；所述软编码为使用CPU进行编码。

在步骤102中，响应于监测到所述CPU利用率和/或所述GPU利用率超过设定阈值，切换直播视频的编码方式。

由该实施例可见，本公开主播客户端在向直播服务器发送编码后的直播视频的过程中，监测中央处理器CPU利用率或图形处理器GPU利用率，如果发现所述CPU利用率和/或所述GPU利用率超过设定阈值，则切换直播视频的编码方式，这样可以在CPU负载过重或GPU负载过重的情况下避免继续再使用CPU或GPU，而使用另外一种编码方式，从而保持直播的流畅度和确保直播的终端设备不会过热运行，达到最优化的直播效果。

图2是本公开根据一示例性实施例示出的一种直播编码切换方法的另一流程图。

如图2所示，该方法可以应用于主播客户端中，包括以下步骤：

在步骤201中，主播客户端在向直播服务器发送编码后的直播视频的过程中，监测中央处理器CPU利用率或图形处理器GPU利用率。

本公开中，在主播客户端的直播应用程序中设置对CPU以及GPU进行实时监测的监测模块，用于主播客户端在向直播服务器发送编码后的直播视频的过程中，实时监控当前直播终端设备的CPU以及GPU的使用状况，包括CPU利用率或GPU利用率等，还可以包括GPU帧率等，用于支持对编码方式的动态切换。其中，所述CPU利用率或所述GPU利用率可以从终端设备的系统运行统计值中直接获取。因为CPU利用率和GPU利用率都是系统的运行统计值，本公开可以直接获取和利用这些数值作为参考。一般而言，当系统的运算量大的时候CPU利用率就会较高，而UI(User Interface，用户界面)绘制较多的时候，则GPU利用率就会变高。

在步骤202中，响应于监测到所述CPU利用率超过第一设定阈值，将直播视频的编码方式从软编码切换为硬编码。

在对直播视频使用软编码的时候，如果检测到当前终端设备的CPU利用率超过第一设定阈值例如超过70％的时候，触发切换操作，将直播视频的编码方式从软编码切换为硬编码，从而降低对CPU的使用。其中，所述硬编码为使用GPU进行编码；所述软编码为使用CPU进行编码。另外，在切换的过程中可以同时对CPU和GPU利用率进行监测，用于验证切换效果并调整切换的触发时机。

需说明的是，所述第一设定阈值初始的时候可以是经验值，在具体实施过程中可以进行动态的自适应调整。

在步骤203中，响应于监测到所述GPU利用率超过第二设定阈值，将直播视频的编码方式从硬编码切换为软编码。

在对直播视频使用硬编码的时候，如果检测到当前终端设备的GPU利用率超过第二设定阈值例如超过70％的时候，触发切换操作，将直播视频的编码方式从硬编码切换为软编码，从而降低对GPU的使用。另外，在切换的过程中可以同时对CPU和GPU利用率进行监测，用于验证切换效果并调整切换的触发时机。

需说明的是，所述第二设定阈值初始的时候可以是经验值，在具体实施过程中可以进行动态的自适应调整。

在步骤204中，响应于监测到所述CPU利用率超过第一设定阈值和所述GPU利用率超过第二设定阈值，如果当前直播视频的编码方式为硬编码，保持当前编码方式；如果当前直播视频的编码方式为软编码，将直播视频的编码方式从软编码切换为硬编码。

本公开中，如果监测到GPU利用率以及CPU利用率都超过各自设定阈值的时候，考虑到CPU相对GPU而言是更容易被抢占，资源更紧张，而硬编码为使用GPU进行编码，软编码为使用CPU进行编码，因此优先选择GPU，即使用硬编码对直播视频进行编码，直到根据GPU利用率以及CPU利用率的变化再次做出决策。

需说明的是，上述步骤202-204没有必然的顺序关系。

还需说明的是，上述步骤中，可以将所述软编码和硬编码并行运行设定时间后，再将直播视频的编码方式从软编码切换为硬编码；或，将所述软编码和硬编码并行运行设定时间后，再将直播视频的编码方式从硬编码切换为软编码。也就是说，切换过程中为了保证流畅，可以设置一段并行运行的时间，从而做到数据同步，这个时候还是显示之前那种编码结果，直到切换完成。

从该实施例可以发现，本公开的直播应用程序通过根据CPU利用率以及GPU利用率的变化，动态切换两种编码方式，可以有效保证直播的流畅度，从而达到最优化直播效果的目的，同时也确保终端设备不会过热运行。

与前述应用功能实现方法实施例相对应，本公开还提供了一种直播编码切换装置及相应的实施例。

图3是本公开根据一示例性实施例示出的一种直播编码切换装置的框图。

该装置可以是位于主播客户端中。参照图3，在一种直播编码切换装置中可以包括：监测模块31、切换处理模块32。

监测模块31，用于主播客户端在向直播服务器发送编码后的直播视频的过程中，监测中央处理器CPU利用率或图形处理器GPU利用率。

其中，所述CPU利用率或所述GPU利用率可以从终端设备的系统运行统计值中获取。

切换处理模块32，用于响应于所述监测模块32监测到所述CPU利用率和/或所述GPU利用率超过设定阈值，切换直播视频的编码方式。

由该实施例可见，本公开主播客户端在向直播服务器发送编码后的直播视频的过程中，监测中央处理器CPU利用率或图形处理器GPU利用率，如果发现所述CPU利用率或所述GPU利用率超过设定阈值，则切换直播视频的编码方式，这样可以在CPU负载过重或GPU负载过重的情况下避免继续再使用CPU或GPU，而使用另外一种编码方式，从而保持直播的流畅度和确保直播的终端设备不会过热运行，达到最优化的直播效果。

图4是本公开根据一示例性实施例示出的一种直播编码切换装置的另一框图。

参照图4，在一种直播编码切换装置中可以包括：监测模块31、切换处理模块32。

监测模块31、切换处理模块32的功能可以参见图3描述。

其中，所述切换处理模块32可以包括：第一切换子模块321或第二切换子模块322。

第一切换子模块321，用于响应于所述监测模块31监测到所述CPU利用率超过第一设定阈值，将直播视频的编码方式从软编码切换为硬编码。

第二切换子模块322，用于响应于所述监测模块31监测到所述GPU利用率超过第二设定阈值，将直播视频的编码方式从硬编码切换为软编码。

其中，所述硬编码为使用GPU进行编码；所述软编码为使用CPU进行编码。

所述切换处理模块32还可以包括：第三切换子模块333。

第三切换子模块333，用于响应于所述监测模块31监测到所述CPU利用率超过第一设定阈值和所述GPU利用率超过第二设定阈值，如果当前直播视频的编码方式为硬编码，保持当前编码方式；如果当前直播视频的编码方式为软编码，将直播视频的编码方式从软编码切换为硬编码；其中，所述硬编码为使用GPU进行编码；所述软编码为使用CPU进行编码。

其中，所述第一切换子模块321或所述第三切换子模块323将所述软编码和硬编码并行运行设定时间后，再将直播视频的编码方式从软编码切换为硬编码；或，所述第二切换子模块322将所述软编码和硬编码并行运行设定时间后，再将直播视频的编码方式从硬编码切换为软编码。

从该实施例可以发现，本公开的直播编码切换装置根据CPU利用率以及GPU利用率的变化，动态切换两种编码方式，可以有效保证直播的流畅度，从而达到最优化直播效果的目的，同时也确保终端设备不会过热运行。

关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理模块，即可以位于一个地方，或者也可以分布到多个网络模块上。可以根据实际的需要选择其中的部分或者全部模块来实现本公开方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

图5是本公开根据一示例性实施例示出的一种直播终端设备的一结构框图。

参照图5，在直播终端设备中可以包括：处理器501和用于存储处理器501可执行指令的存储器502；

其中，处理器501被配置为：

在向直播服务器发送编码后的直播视频的过程中，监测中央处理器CPU利用率或图形处理器GPU利用率；

响应于监测到所述CPU利用率和/或所述GPU利用率超过设定阈值，切换直播视频的编码方式。

还需说明的是，存储器502存储的其他程序，具体参见前面方法流程中的描述，此处不再赘述，处理器501还用于执行存储器502存储的其他程序。

图6是本公开根据一示例性实施例示出的一种设备的一结构框图。

参照图6，例如，设备600可以是具有路由功能的移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。

设备600包括以下一个或多个组件：处理组件602，存储器604，电源组件606，多媒体组件608，音频组件610，输入/输出(I/O)的接口612，传感器组件614，以及通信组件616。

处理组件602通常控制设备600的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件602可以包括一个或多个处理器620来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件602可以包括一个或多个模块，便于处理组件602和其他组件之间的交互。例如，处理组件602可以包括多媒体模块，以方便多媒体组件608和处理组件602之间的交互。

存储器604被配置为存储各种类型的数据以支持在设备600的操作。这些数据的示例包括用于在设备600上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器604可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(SRAM)，电可擦除可编程只读存储器(EEPROM)，可擦除可编程只读存储器(EPROM)，可编程只读存储器(PROM)，只读存储器(ROM)，磁存储器，快闪存储器，磁盘或光盘。

电源组件606为设备600的各种组件提供电力。电源组件606可以包括电源管理系统，一个或多个电源，及其他与为设备600生成、管理和分配电力相关联的组件。

多媒体组件608包括在设备600和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(LCD)和触摸面板(TP)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件608包括一个前置摄像头和/或后置摄像头。当设备600处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件610被配置为输出和/或输入音频信号。例如，音频组件610包括一个麦克风(MIC)，当设备600处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器604或经由通信组件616发送。在一些实施例中，音频组件610还包括一个扬声器，用于输出音频信号。

I/O接口612为处理组件602和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件614包括一个或多个传感器，用于为设备600提供各个方面的状态评估。例如，传感器组件614可以检测到设备600的打开/关闭状态，组件的相对定位，例如组件为设备600的显示器和小键盘，传感器组件614还可以检测设备600或设备600一个组件的位置改变，用户与设备600接触的存在或不存在，设备600方位或加速/减速和设备600的温度变化。传感器组件614可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件614还可以包括光传感器，如CMOS或CCD图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件614还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。

通信组件616被配置为便于设备600和其他设备之间有线或无线方式的通信。设备600可以接入基于通信标准的无线网络，如WiFi，2G或3G，或它们的组合。在一个示例性实施例中，通信组件616经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件616还包括近场通信(NFC)模块，以促进短程通信。例如，在NFC模块可基于射频识别(RFID)技术，红外数据协会(IrDA)技术，超宽带(UWB)技术，蓝牙(BT)技术和其他技术来实现。

在示例性实施例中，设备600可以被一个或多个应用专用集成电路(ASIC)、数字信号处理器(DSP)、数字信号处理设备(DSPD)、可编程逻辑器件(PLD)、现场可编程门阵列(FPGA)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。

在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器604，上述指令可由设备600的处理器620执行以完成上述方法。例如，非临时性计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

一种非临时性计算机可读存储介质，当存储介质中的指令由设备的处理器执行时，使得设备能够执行一种直播编码切换方法，方法包括：

主播客户端在向直播服务器发送编码后的直播视频的过程中，监测中央处理器CPU利用率或图形处理器GPU利用率；

响应于监测到所述CPU利用率和/或所述GPU利用率超过设定阈值，切换直播视频的编码方式。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。