终端视频通话显示控制方法、装置、终端及存储介质与流程

本发明涉及通信领域，尤其涉及一种终端视频通话显示控制方法、装置、终端及存储介质。

背景技术：

随着科技的发展，手机等智能终端作为通讯工具不仅可以满足人们的语音通话需求，还可以支持视频通话，目前4g网络的覆盖越来越广，视频通话的使用也会越来越频繁，视频通话中用户可以同时看到本地视频通话图像和对端发送过来的远端视频通话图像，且本地视频通话图像和远端视频通话图像同时在一个屏幕上显示，通常是将其中一个显示为小窗口，另一个显示为大窗口，两个窗口之间可以进行切换，这种显示方式比较单一，且一般情况下用户既关心远端视频通话图像，也关心远端视频通话图像，无论哪一个视频图像显示为小窗口也会影响用户的体验。

技术实现要素：

本发明实施例提供一种终端视频通话显示控制方法、装置、终端及存储介质，主要解决的技术问题是现有智能终端进行视频通话时视频通话图像只能在一个显示屏上进行显示，影响用户体验的问题。

为解决上述技术问题，本发明实施例提供一种终端视频通话显示控制方法，所述终端具有第一显示屏和第二显示屏，所述终端视频通话显示控制方法包括：

在视频通过话过程中，获取终端本地视频通话图像将其在所述第一显示屏进行显示，并获取所述视频通话的对端发送的远端视频通话图像将其在所述第二显示屏进行显示。

本发明实施例还提供一种终端视频通话显示控制装置，所述终端具有第一显示屏和第二显示屏，所述终端视频通话显示控制装置包括：

显示控制模块，用于在视频通过话过程中，获取终端本地视频通话图像以及所述视频通话的对端发送的远端视频通话图像，将所述本地视频通话图像在所述第一显示屏进行显示，以及用于将所述远端视频通话图像在所述第二显示屏进行显示。

本发明实施例还提供一种终端，包括处理器、存储器、通信总线、第一显示屏以及第二显示屏；

所述通信总线用于实现处理器和存储器之间的连接通信；

所述处理器用于执行存储器中存储的一个或者多个程序，以实现如上所述的终端视频通话显示控制方法的步骤。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上所述的终端视频通话显示控制方法的步骤。

本发明的有益效果是：

根据本发明实施例提供的终端视频通话显示控制方法、装置、终端及存储介质，终端具有第一显示屏和第二显示屏，在视频通过话过程中，获取终端本地视频通话图像将其在终端的第一显示屏进行显示，并获取视频通话的对端发送的远端视频通话图像将其在终端的第二显示屏进行显示。本发明将视频通过话过程中获取的本地视频通话图像和远端视频通话图像分别在第一显示屏和第二显示屏进行显示，丰富了视频通话图像的显示方式，也使得本地视频通话图像和远端视频通话图像在不同的显示屏中都采用大窗口显示的方式成为可能，进而更便于用户查看视频通话图像，可提升用户体验的满意度。

本发明其他特征和相应的有益效果在说明书的后面部分进行阐述说明，且应当理解，至少部分有益效果从本发明说明书中的记载变的显而易见。

附图说明

图1为本发明实施例一的第一种双屏终端状态示意图一；

图2为本发明实施例一的第一种双屏终端状态示意图二；

图3为本发明实施例一的第一种双屏终端状态示意图三；

图4为本发明实施例一的第二种双屏终端正面示意图；

图5为本发明实施例一的第二种双屏终端背面示意图；

图6为本发明实施例二的终端视频通话显示控制装置结构示意图；

图7为本发明实施例三的终端结构示意图；

图8为本发明实施例三的视频通话显示控制流程示意图；

图9为本发明实施例三的图像显示的架构示意图；

图10为本发明实施例三的视频通话处理流程示意图；

图11为本发明实施例三的视频通话显示示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面通过具体实施方式结合附图对本发明实施例作进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例一：

为了解决现有智能终端进行视频通话时视频通话图像只能在一个显示屏上进行显示的问题，本实施例基于具有两个以上显示屏的智能终端提供一种新的视频通话显示控制方式，在视频通过话过程中，获取终端本地视频通话图像将其在终端的第一显示屏进行显示，并获取视频通话的对端发送的远端视频通话图像将其在终端的第二显示屏进行显示，将视频通过话过程中获取的本地视频通话图像和远端视频通话图像分别在第一显示屏和第二显示屏进行显示，丰富了视频通话图像的显示方式，也使得本地视频通话图像和远端视频通话图像在不同的显示屏中都采用大窗口显示的方式成为可能，可进一步提升用户体验的满意度。为了便于理解本发明的技术方案，下面结合一些具体示例对本发明做进一步说明。

本实施例中的终端是指具有两个以上显示屏的终端，包括各种双屏终端，甚至三屏及以上的终端。由于本实施例将本地视频通话图像和远端视频通话图像分别在第一显示屏和第二显示屏，也即涉及到终端的两个显示屏即可，因此下面仅以双屏终端进行示例说明。应当理解的是，对于三屏及以上的终端的实现方式可在双屏终端的实现方式的基础上以此类推。

本实施例中的双屏终端可以是各种形式的双屏智能终端。例如参见图1-3所示的一种双屏终端，在图1所示状态下，双屏终端1的两个显示屏处于折叠状态，位于终端正面的主显示屏11面对用户。在图2所示状态下，双屏终端1的两个显示屏处于打开过程中的状态，主显示屏11和附显示屏12可相对转动实现开启，最终的开启状态可参见图3所示，此时主显示屏11和附显示屏12处于同一个平面或基本处于同一个平面。对于图1-2所示的双屏终端，主显示屏11可以作为第一显示屏，附显示屏12可以作为第二显示屏；当然，根据实际需要，也可以灵活的设置主显示屏11为第二显示屏，附显示屏12为第一显示屏。针对图1-3所示的双屏智能终端，在视频通话过程中，可将视频通过话过程中获取的本地视频通话图像和远端视频通话图像分别在主显示屏11和附显示屏12上进行显示，也可将本地视频通话图像在附显示屏12上显示，远端视频通话图像分在主显示屏1上显示。且根据需要可以设置在图1-3所示的任意一个状态或多个状态显示，例如在图3所示的状态显示，此时两个视频显示图像位于同一平面显示最便于用户灵活查看。当然也可以设置在图1-3所示的状态都进行显示等。

又例如参见图4-5所示的一种双屏终端2，该双屏终端2具有处于终端正面的主显示屏21，以及处于终端背面的附显示屏22，两个显示屏的位置是固定的。此时，主显示屏21仍可以作为第一显示屏，附显示屏22作为第二显示屏，也可以灵活的设置主显示屏21为第二显示屏，附显示屏22为第一显示屏。在视频通话过程中，可将视频通过话过程中获取的远端视频通话图像和本地视频通话图像分别在主显示屏21和附显示屏22上进行显示，此时用户查看画面时需要在前后两个显示屏之间来回切换。当然，也可以通过设置一个切换控制模块，通过该切换控制模块直接将第一显示屏和第二显示屏上显示的视频通话图像进行相互切换。例如当前第一显示屏上显示的是本端视频通话图像，第二显示屏上显示的远端视频通话图像，通过该切换控制模块可以直接切换为第一显示屏上显示远端视频通话图像，第二显示屏上显示本端视频通话图像，这样就不需要用户来回翻转终端以切换不同的显示屏正对用户。

本实施例中，终端的第一显示屏和第二显示屏可以各自对应一个任务栈，也即第一显示屏和第二显示屏上显示的内容可由相互独立的两个任务栈进行控制。因此，在本实施例中，在获取终端本地视频通话图像和获取所述远端视频通话图像之前，还包括以下设置视频通路的过程：

在终端内创建在第一任务栈内运行的第一显示控制任务和在第二任务栈内运行的第二显示控制任务，第一显示控制任务设置终端本地视频通话图像的第一视频通路指向第一显示屏，第二显示控制任务设置远端视频通话图像的第二视频通路指向第二显示屏，且第一任务栈和第二任务栈能并行运行。应当理解的是，本实施例中设置视频通路的具体实现方式可以基于终端具体运行的系统灵活选定。

基于上述设置，获取终端本地视频通话图像将其在终端的第一显示屏进行显示包括：

第一显示控制任务获取终端的图像采集模块采集的本地视频通话图像，将获取的本地视频通话图像通过第一视频通路在第一显示屏上进行显示。

获取视频通话的对端发送的远端视频通话图像将其在第二显示屏进行显示包括：

第二显示控制任务通过终端的通信接口获取视频通话的对端发送的远端视频通话图像，将远端视频通话图像通过第二视频通路在第二显示屏上进行显示。

在一些示例中，双屏终端的两个显示屏之间具有多种工作模式，例如包括但不限于aa模式(两个屏幕显示相同内容)，ab模式(两个屏幕相互独立工作，例如通过上述相互独立的任务栈实现，可显示不同内容，也可显示相同的内容)，ax模式(当前只有一个显示屏开启可用，例如主显示屏开启，附显示屏关闭；或附显示屏关闭，主显示屏开启)，大a模式(两个显示屏合为一个大屏使用，例如图3所示的状态就可以启动该模式)。在上述模式中，aa模式、ab模式、大a模式实现的前提都是终端的两个显示屏当前都需要处于开启状态。而本实施例则要求终端处于ab模式，即独立工作模式。因此，在本实施例中，在上述在终端内创建在第一任务栈内运行的第一显示控制任务和在第二任务栈内运行的第二显示控制任务之前还可先包括以下步骤：

判断终端的第一显示屏和第二显示屏当前是否处于同时开启状态，如是，将第一显示屏和第二显示屏设置为独立工作模式后，再在终端内创建在第一任务栈内运行的第一显示控制任务和在第二任务栈内运行的第二显示控制任务；否则，则可采用在一个显示屏上进行显示的方式。

本实施例中，为了便于用户查看，将获取的本地视频通话图像和远端视频通话图像分别在第一显示屏和第二显示屏进行显示时采用大窗口或全屏显示的方式进行显示。

本实施例提供的基于两个显示屏以上的终端，在视频通话过程中可将获取的本地视频通话图像和远端视频通话图像分别在第一显示屏和第二显示屏进行显示，既能丰富视频通话图像的显示方式，提升视频通话的趣味度；又使得本地视频通话图像和远端视频通话图像在不同的显示屏中显示更为清楚直观，进一步提升了用户体验的满意度。

实施例二：

本实施例提供了一种终端视频通话显示控制装置，该终端视频通话显示控制装置设置于终端内，且该终端至少具有第一显示屏和第二显示屏。本实施例中终端具有的显示屏的具体数量以及各显示屏之间的具体分布参见实施例一所示，在此不再赘述。

参见图6所示，本实施例中的终端视频通话显示控制装置包括显示控制模块61，用于在视频通过话过程中，获取终端本地视频通话图像以及所述视频通话的对端发送的远端视频通话图像，将本地视频通话图像在所述第一显示屏进行显示，以及用于将远端视频通话图像在所述第二显示屏进行显示。图像的具体获取方式以及显示方式参见实施例一所示，在此不再赘述。

参见图6所示，本实施例中的显示控制模块61包括任务管理单元611，用于在获取终端本地视频通话图像以及所述视频通话的对端发送的远端视频通话图像之前，在终端内创建在第一任务栈内运行的第一显示控制任务和在第二任务栈内运行的第二显示控制任务，第一显示控制任务设置终端本地视频通话图像的第一视频通路指向所述第一显示屏，第二显示控制任务设置远端视频通话图像的第二视频通路指向所述第二显示屏，第一任务栈和第二任务栈并行运行；这样就可通过相互独立且并行运行的两个任务栈实现对两个显示屏所要显示内容的分别控制。

参见图6所示，本实施例中的显示控制模块61还包括屏幕管理单元612，用于在任务管理单元611在终端内创建在第一任务栈内运行的第一显示控制任务和在第二任务栈内运行的第二显示控制任务之前，判断第一显示屏和第二显示屏当前是否处于同时开启状态，如是，将第一显示屏和第二显示屏设置为独立工作模式，然后任务管理单元611再在终端内创建在第一任务栈内运行的第一显示控制任务和在第二任务栈内运行的第二显示控制任务；否则，显示控制模块61则可采用在一个显示屏上进行显示的方式。

本实施例中，为了便于用户查看，第一显示控制任务和第二显示控制任务将获取的本地视频通话图像和远端视频通话图像分别在第一显示屏和第二显示屏进行显示时采用大窗口或全屏显示的方式进行显示。

本实施例提供的终端视频通话显示控制装置，可在终端进行视频通话过程中，将获取的本地视频通话图像和远端视频通话图像分别在第一显示屏和第二显示屏进行显示，既能视频通话的趣味度，丰富显示方式，又使得本地视频通话图像和远端视频通话图像在不同的显示屏中显示更为清楚直观，提升用户体验的满意度。

实施例三：

本实施例还提供了一种终端，该终端可以是各种具有至少两个显示屏的智能终端，包括但不限于手机、阅读器、ipad、pc等。参见图7所示，本实施例中的终端包括处理器701、存储器702及通信总线703；

通信总线703用于实现处理器701和存储器702之间的连接通信；

处理器701用于执行存储器702中存储的一个或者多个程序，以至少实现上述实施例一所示的终端视频通话显示控制方法的步骤。

本实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，存储的一个或者多个程序可被一个或者多个处理器执行，以至少实现如上所述的实施例一所示的终端视频通话显示控制方法的步骤。应当理解的是，本实施例中的计算机可读存储介质适用于各种终端或服务器。为了便于理解本发明，本实施例结合图1-3所示的双屏终端，且以该双屏终端运行安卓系统的终端为示例，对本发明的视频通话显示控制过程进行进一步示例说明。参见图8所示，包括：

s801：检测到视频通话，该视频通话可能是本终端自身发起的，也可能是其他终端向本终端发起的。

s802：判断终端主显示屏和附显示屏当前是否同时处于可用状态，也即判断二者当前是否处于同时开启状态，如是，转至s803；否则，转至s804。

s803：设置终端的工作模式为ab模式，也即独立工作模式。

s804：创建第一显示显示控制任务dialer和第一显示显示控制任务dialerex执行后续的显示控制过程。dialer和dialerex分别放在不同的且能并行运行的两个任务栈中运行。

s805：设置终端的工作模式为ax模式，进入到后续的在同一个显示屏上显示的控制过程。

本实施例中终端运行的安卓系统，dialer和dialerex可分别放到fullscreen栈和dock栈运行，fullscreen栈中的任务的ui数据显示在主显示屏上，dock栈中的任务的ui数据显示在附显示屏上，所以两个任务其中一个任务负责本地图像显示，另外一个任务负责远端图像显示。

为了便于理解，下面简单介绍一下安卓终端的图像显示的架构，如图9所示

camera采集的数据，video的数据，software/hardware拿到的视频数据通过surfacetexture交给textureview作为viewheirachy中的一个硬件加速层来显示。负责显示的ui应用进程(即dialer和dialerex)通过设置视频通路，将图像流发送给surfacetexture处理，surfacetexture作用是将图像流转为gl外部纹理。surfacetexture管理着一个bufferqueue的consumer和producer两端。producer端用于内容流的源输出数据，consumer端用于拿graphicbuffer数据并生成纹理。

基于图9所示的图像显示架构，下面对终端为视频通话的主叫终端为示例，结合图10所示的处理流程示意图进行进一步说明。

本发明中主附显示屏可用的场景下，视频主/被叫实现流程如图3：

终端是主叫的话，dialer任务通过callmanager、imsphone、modem向网络发起视频通话请求。如果是被叫，来电请求来自于网路侧，首先到达modem，然后通过imsphone，callmanager,最后通知给dialer任务。

dialer任务启动并运行在fullscreen栈中，dialer任务启动camera预览，利用textureview、surfacetexture、surface架构通过设置指向主显示屏的视频通路，在主显示屏上显示预览图像，如图9所示bufferqueueproducer会拿到camera采集的yuv格式的帧数据，bufferqueueconsumer端用于拿buffer数据后并生成纹理，最后交给textureview作为viewheirachy中的一个硬件加速层来显示，此时预览图像显示在主显示屏上。

通话接通后，camera数据通过vtlib库对yuv格式数据进行编码为h264格式后传输给modemprocessor即基带处理器，视频数据和audiodsp传过来的语音数据进行复用封装后经lte协议栈进行协议封装通过射频向空口发送。

同时终端的dialerex任务运行在dock栈中，dock栈的ui进程会将数据显示在附显示屏上，dialerex可以通过textureview、surfacetexture、surface架构设置指向附显示屏的视频通路，在附显示屏上显示视频图像,视频数据来源是射频模块会从空口接收到通讯数据，数据经lte协议栈处理后，对数据进行解复用，音频数据通过audiodsp处理后交给音频输入设备如听筒、外放等,视频数据利用vtlib库解码后判断是否处于ab模式，如果是，视频图像则经surfacetexture生成纹理，最后交给textureview作为viewheirachy中的一个硬件加速层来显示在附显示屏上。

通过上述显示控制方法，在一种简单的应用示例中，终端m用户和终端n进行视频通话,终端m的是双屏手机，终端n是单屏手机，终端m和终端n进行视频通话，终端m可以将本地和远端的视频图像分别显示到主显示屏和附显示屏上，可以同时关注远端的图像和本地的图像(同时也是传给远端的图像)，如图11所示。而终端n只能将本地和远端的图像同时显示在一个屏上。如果终端n也是双屏手机，则终端n也可以将本地和远端的视频图像分别显示到主显示屏和附显示屏上，可以同时关注远端的图像和本地的图像(同时也是传给远端的图像)。

应当理解的是，本实施例中的视频通话显示控制方法适用于各种视频通话，例如目前很多应用软件(包括但不限于微信，qq，钉钉)目前都支持视频通话，只不过视频通话图像的显示方式或图像的格式，传输的网络等有所不同，只需进行相适应的调整即可。因此，本发明提供的视频通话控制方法不仅能实现将本地和远端的视频图像分别显示到终端的主显示屏和附显示屏上，提升用户体验，其实用性和适用性也很好，能应用于各种视频通话中。

显然，本领域的技术人员应该明白，上述本发明实施例的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在计算机存储介质(rom/ram、磁碟、光盘)中由计算装置来执行，并且在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。所以，本发明不限制于任何特定的硬件和软件结合。

以上内容是结合具体的实施方式对本发明实施例所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。