一种视频通话处理方法及装置与流程

本发明涉及多媒体通信领域，尤其涉及一种视频通话处理方法及装置。

背景技术：

目前，随着网络宽带的不断提升和智能手机的普及，基于智能手机的视频通话逐渐成为人们沟通交流的主要通信方式，因此提高用户的视频通话的画面体验是很有必要的。

现有技术中，视频通话中画面处理方法，主要有以下两种方式：(1)通话前检测手机所处的角度，并将摄像头角度调整到对应的角度，通话过程中不能进行调整。(2)通话过程中通过消息将本地的手机角度发送到接收方，接收方根据收到的信息对图像进行旋转显示，但是，现有技术中第一种方式在通话过程中不能再进行角度调整，无法主动调整，第二种方式，需要将手机的角度通过消息发送到接收方，可能存在消息延迟、不同步，与当前正在解码的图像角度不匹配，造成图像变形，并且计算量较大。

技术实现要素：

本发明实施例提供一种视频通话处理方法及装置，以解决现有技术中在通话过程中不能调整画面角度，或者在通话过程中调整不准确并且计算量较大的问题。

本发明实施例提供的具体技术方案如下：

一种视频通话处理方法，包括：

在视频通话过程中，获取当前发送端的角度信息；

根据所述角度信息和预设的图像采集角度，旋转当前采集到的图像；

显示旋转后的图像，并将旋转后的图像发送给接收端，以使所述接收端显示旋转后的图像。

可选的，根据所述角度信息和预设的图像采集角度，旋转当前采集到的图像，具体包括：判断所述角度信息和预设的图像采集角度是否相同，若不相同，确定所述角度信息和预设的图像采集角度的差值，并基于图形处理器gpu，根据所述差值，旋转当前采集到的图像。

可选的，显示旋转后的图像，具体包括：

确定显示窗口的宽高比例和旋转后的图像的宽高比例；

判断显示窗口的宽高比例和旋转后的图像的宽高比例是否均不大于或均不小于预设阈值，若是，则在所述显示窗口上全屏显示旋转后的图像，否则，则按照所述旋转后的图像的宽高比例，将全部旋转后的图像显示在所述显示窗口上的预设位置。

可选的，将旋转后的图像发送给接收端，具体包括：根据预设编码算法，对旋转后的图像进行编码，并将编码后的图像发送给接收端。

可选的，所述接收端显示旋转后的图像时，是接收端根据显示窗口的宽高比例和旋转后的图像的宽高比例，进行显示的。

一种视频通话处理装置，包括：

获取模块，用于在视频通话过程中，获取当前发送端的角度信息；

旋转模块，用于根据所述角度信息和预设的图像采集角度，旋转当前采集到的图像；

显示模块，用于显示旋转后的图像；

发送模块，用于将旋转后的图像发送给接收端，以使所述接收端显示旋转后的图像。

可选的，根据所述角度信息和预设的图像采集角度，旋转当前采集到的图像时，旋转模块具体用于：判断所述角度信息和预设的图像采集角度是否相同，若不相同，确定所述角度信息和预设的图像采集角度的差值，并基于图形处理器gpu，根据所述差值，旋转当前采集到的图像。

可选的，显示旋转后的图像时，显示模块具体用于：

确定显示窗口的宽高比例和旋转后的图像的宽高比例；

判断显示窗口的宽高比例和旋转后的图像的宽高比例是否均不大于或均不小于预设阈值，若是，则在所述显示窗口上全屏显示旋转后的图像，否则，则按照所述旋转后的图像的宽高比例，将全部旋转后的图像显示在所述显示窗口上的预设位置。

一种电子设备，包括：

至少一个存储器，用于存储计算机程序；

至少一个处理器，用于执行存储器中存储的计算机程序时实现上述任一种视频通话处理方法的步骤。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种视频通话处理方法的步骤。

本发明实施例中，在视频通话过程中，获取当前发送端的角度信息；根据所述角度信息和预设的图像采集角度，旋转当前采集到的图像；显示旋转后的图像，并将旋转后的图像发送给接收端，以使所述接收端显示旋转后的图像，这样，根据接收端角度信息的变化，旋转图像，将旋转后的图像在本地显示，并发送到接收端，从而可以保证本地显示的视频画面和接收端显示的视频画面均是正立的正常画面，达到视频通话过程中自由转屏的目的，并且是通过接收端的gpu进行图像旋转，处理效率较快，也可以保证实时同步性，提高准确性。

附图说明

图1为本发明实施例中一种视频通话处理方法的流程图；

图2为本发明实施例中另一种视频通话处理方法流程图；

图3为本发明实施例中另一种视频通话处理方法流程图；

图4为本发明实施例中视频通话装置结构示意图；

图5为本发明实施例中电子设备结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，并不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，用户经常有视频通话的需求，也是一种目前较为常用的通信方式。由于智能手机的便携性，用户在使用智能手机进行视频通话时，可能使用任何角度，可能会不断改变智能手机的角度，因此，提高视频画面体验是很有必要的。

现有技术中的方案，视频通话过程中无法进行角度调整，或者，即使可以在通话过程中进行角度调整，但是在通话过程中通过消息将本地的手机角度发送到接收方，接收方再根据收到的信息对图像进行旋转显示，这种方式，容易因为消息不同步导致图像变形，调整不准确，并且基于中央处理器(centralprocessingunit，cpu)进行图像旋转计算量较大，降低效率。

因此，本发明实施例中，在视频通话过程中，实时检测自身的角度信息，并对当前采集到的图像进行旋转，并将旋转后的图像发送给接收端，使得本地和接收端都可以在视频通话的当前窗口中显示旋转后的图像，这样，根据发送端角度的改变，不断旋转图像，可以保证用户在任何角度上看到的本地画面及发出的视频画面均为正立状态，更加准确，提升了用户视频通话的画面体验。

当然，本发明实施例中并不仅限于智能手机，还可以应用于其它任何智能设备的视频通话场景，本发明实施例中仅以智能手机为例进行说明。

参阅图1所示，本发明实施例中，视频通话处理方法的具体流程如下：

步骤100：在视频通话过程中，获取当前发送端的角度信息。

具体地，可以通过方向传感器，实时检测发送端的角度信息。

本发明实施例中，主要针对视频通话双方的视频画面显示控制，视频通话的双方既可以是接收方也可以是发送方，是相对而言，例如视频通话的双方包括第一终端和第二终端，第一终端可以把当前采集到的图像发送给第二终端，这时第一终端为发送端，第二终端为接收端，同时第一终端也可以接收第二终端采集到的图像，这时第一终端为接收端，第二终端为发送端。

其中，发送端和接收端均可以为智能终端，例如智能手机。

进一步地，在执行步骤100之前，本发明实施例中可以根据视频通话指令，建立视频通话，并通过图像采集装置，基于预设的图像采集角度，开始采集视频的图像。

其中，图像采集装置，例如为摄像头，本发明实施例中并不进行限制。

也就是说，本发明实施例中，一直基于预设的图像采集角度，通过摄像头进行图像采集，在视频通话建立后，通过方向传感器实时检测其角度信息。

步骤110：根据角度信息和预设的图像采集角度，旋转当前采集到的图像。

执行步骤110时，具体包括：

1)判断角度信息和预设的图像采集角度是否相同。

进一步地，本发明实施例中，获取到当前发送端的角度信息后，为提高效率和准确性，不需要每次发送端的角度改变，都旋转图像，具体地提供了一种可能的实施方式，根据预设的角度区间，将当前发送端的角度信息归化为预设的角度值，根据归化后的角度信息，判断归化后的角度信息和预设的图像采集角度是否相同。

例如，预设的角度值分别为0度、90度、180度和270度，例如将角度区间(45，90)归化到90度，(0，45)归化到0度，则若确定当前接收端的角度为30度，则认为是0度。

这样，可以使得不会因为发送端较小的角度改变，而去旋转图像，可以允许一定的误差，不会影响用户的视频画面的体验，也减少了计算量。

2)若不相同，确定角度信息和预设的图像采集角度的差值。

本发明实施例中，摄像头的图像采集角度是一直不变的，例如为0度，为竖屏正立的，若这时用户改变了发送端角度，例如变为横屏正立，这时可以确定发送端的角度为90度，但仍是基于0度角度采集图像，这时采集的图像角度和发送端的角度是不匹配的，因此，需要确定发送端的角度变化值，从而调整采集到的图像的方向和角度。

3)基于图形处理器(graphicsprocessingunit，gpu)，根据该差值，旋转当前采集到的图像。

这样，采集gpu旋转图像，同样将图像旋转发送端改变的角度值，可以使得图像处于正立状态，并且基于gpu旋转图像，处理效率更快。

进一步地，若确定不相同，即确定发送端的角度发生变化，本发明实施例中还包括暂停视频编码，并根据差值，重新配置编码器，以使编码传输旋转后的图像。

步骤120：显示旋转后的图像，并将旋转后的图像发送给接收端，以使接收端显示旋转后的图像。

执行步骤120时，具体包括：

1)显示旋转后的图像，具体包括：

确定显示窗口的宽高比例和旋转后的图像的宽高比例；判断显示窗口的宽高比例和旋转后的图像的宽高比例是否均不大于或均不小于预设阈值，若是，则在显示窗口上全屏显示旋转后的图像，否则，则按照旋转后的图像的宽高比例，将全部旋转后的图像显示在显示窗口上的预设位置。

其中，预设阈值，例如为1，本发明实施例中并不进行限制，可以根据实际情况和需求进行设置。

本发明实施例中，在显示图像时，对比显示窗口的宽高比例和图像的宽高比例，从而确定显示方式，若两者均不大于或均不小于1，则说明图像的宽高关系和显示窗口的宽高关系相同，这时可以全屏显示，不会影响旋转后的图像的显示效果，若两者中其中一个小于1，另一个大于1，则说明两者的宽高关系相反，若在显示窗口上全屏显示，会造成图像被裁剪过多，显示不完全，因此，这时可以按照旋转后的图像的宽高比例，在显示窗口的预设位置，例如正中间的位置，显示该旋转后的图像，这样，不会对图像进行拉伸，保证宽高比例不变，不会造成图像变形，不影响显示效果，并且也可以保证图像的完整显示。

2)将旋转后的图像发送给接收端，以使接收端显示旋转后的图像。

具体包括：根据预设编码算法，对旋转后的图像进行编码，并将编码后的图像发送给接收端。

其中，预设的编码算法，例如为h264编码算法，本发明实施例中并不进行限制。

本发明实施例中，接收端在显示旋转后的图像时，是接收端根据显示窗口的宽高比例和旋转后的图像的宽高比例，进行显示的。即同样地接收端也对比显示窗口的宽高比例和旋转后的图像的宽高比例，确定显示方式，具体和发送端显示方式确定方法相同。

这样，本发明实施例中，在视频通话过程中，实时检测当前发送端的角度信息，并根据角度信息和预设的图像采集角度，旋转当前采集到的图像；显示旋转后的图像，并将旋转后的图像发送给接收端，以使接收端显示旋转后的图像，这样，根据接收端角度信息的变化，旋转图像，将旋转后的图像在本地显示，并通过编码器编码后发送到接收端，从而可以保证本地显示的视频画面和接收端显示的视频画面均是正立的正常画面，满足用户不同的手机握持方式，扩展用户的通话视野，达到视频通话过程中自由转屏的目的，并且是通过接收端的gpu进行图像旋转，处理效率较快，不耗费过多的cpu资源，也可以保证实时同步性，提高旋转图像的准确性。

下面采用具体的应用场景进行具体说明，以发送端和接收端，即视频通话的双方均为手机为例，基于上述实施例，具体参阅图2所示，为本发明实施例中另一种视频通话处理方法流程图，具体包括，可以分为两部分介绍：

第一部分：发送端。

步骤200：监测手机角度。

步骤201：确定是否需要重新配置编码器。

具体地，判断手机角度是否发生变化，来是否需要重新配置编码器的宽高信息。

步骤202：获取当前采集到的图像。

步骤203：基于gpu旋转当前采集到的图像。

这样，确定手机角度发生变化后，可以根据角度差值，旋转图像，可以使得当前采集到的图像处于正立状态。

步骤204：对旋转后的图像进行本地显示并编码传输。

其中，在本地显示时，发送端对比显示窗口宽高比例和旋转后的图像的宽高比例，确定显示方式。

并且基于重新配置以后的编码器进行编码，并传输给接收端。

第二部分：接收端。

步骤205：接收传输的旋转后的图像。

步骤206：对比显示窗口宽高比例和旋转后的图像的宽高比例。

步骤207：确定是否改变显示方式。

即可以确定是在显示窗口上全屏显示，还是将全部图像显示在显示窗口的正中央，这样，接收端无需改变手机握持方式，也可以显示正立的正常图像，例如，在视频通话时，发送端和接收端均是竖屏正立握持手机，并进行图像采集，之后发送端改变了手机角度，变为横屏，这时经过图像旋转后，发送端显示的图像仍可以是正立的图像，发送给接收端，接收端也可以显示正立的图像。

基于上述实施例，下面采用另一具体应用场景进行说明，具体参阅图3所示，为本发明实施例中另一种视频通话处理方法流程图，具体包括，可以分为两部分介绍：

第一部分：发送端。

步骤300：建立视频通话。

步骤301：采用预设的图像采集角度采集图像。

即在建立视频通话后，使用系统默认的预设的图像采集角度打开摄像头，并开始采集图像。

步骤302：获取当前发送端的角度信息。

步骤303：判断发送端的角度信息是否发生变化，若是，则分别执行步骤305和步骤306，否则，则执行步骤304。

步骤304：使用gpu采用原角度值旋转图像。

即未发生变化时，基于之前的角度差值，来旋转图像。

步骤305：重新配置编码器。

本发明实施例中，当检测到角度发生变化时，可以暂停视频编码，并根据角度信息，对编码器的宽高信息进行重新配置。

步骤306：改变图像旋转的角度值，使用gpu采用新的角度值旋转图像。

这样，可以保证发送编码器和本地渲染器的图像均为正立的图像。

步骤307：对旋转后的图像进行本地显示并编码传输。

第二部分：接收端。

步骤308：接收传输的旋转后的图像。

具体地，接收端基于相应的算法，进行解码，解码出旋转后的图像。

步骤309：对比显示窗口宽高比例和旋转后的图像的宽高比例。

步骤310：确定是否改变显示方式。

基于上述实施例，参阅图4所示，本发明实施例中，视频通话处理装置具体包括：

获取模块40，用于在视频通话过程中，获取当前发送端的角度信息；

旋转模块41，用于根据所述角度信息和预设的图像采集角度，旋转当前采集到的图像；

显示模块42，用于显示旋转后的图像；

发送模块43，用于将旋转后的图像发送给接收端，以使所述接收端显示旋转后的图像。

可选的，根据所述角度信息和预设的图像采集角度，旋转当前采集到的图像时，旋转模块41具体用于：判断所述角度信息和预设的图像采集角度是否相同，若不相同，确定所述角度信息和预设的图像采集角度的差值，并基于图形处理器gpu，根据所述差值，旋转当前采集到的图像。

可选的，显示旋转后的图像时，显示模块42具体用于：

确定显示窗口的宽高比例和旋转后的图像的宽高比例；

判断显示窗口的宽高比例和旋转后的图像的宽高比例是否均不大于或均不小于预设阈值，若是，则在所述显示窗口上全屏显示旋转后的图像，否则，则按照所述旋转后的图像的宽高比例，将全部旋转后的图像显示在所述显示窗口上的预设位置。

可选的，将旋转后的图像发送给接收端时，发送模块43具体用于：

根据预设编码算法，对旋转后的图像进行编码，并将编码后的图像发送给接收端。

参阅图5所示，本发明实施例中，一种电子设备结构示意图。

本发明实施例提供了一种电子设备，该电子设备可以包括处理器510(centerprocessingunit，cpu)、存储器520、输入设备530和输出设备540等，输入设备530可以包括键盘、鼠标、触摸屏等，输出设备540可以包括显示设备，如液晶显示器(liquidcrystaldisplay，lcd)、阴极射线管(cathoderaytube，crt)等。

存储器520可以包括只读存储器(rom)和随机存取存储器(ram)，并向处理器510提供存储器520中存储的程序指令和数据。在本发明实施例中，存储器520可以用于存储上述视频通话处理方法的程序。

处理器510通过调用存储器520存储的程序指令，处理器510用于按照获得的程序指令执行：

在视频通话过程中，获取当前发送端的角度信息；

根据所述角度信息和预设的图像采集角度，旋转当前采集到的图像；

显示旋转后的图像，并将旋转后的图像发送给接收端，以使所述接收端显示旋转后的图像。

可选的，根据所述角度信息和预设的图像采集角度，旋转当前采集到的图像时，处理器510具体用于：判断所述角度信息和预设的图像采集角度是否相同，若不相同，确定所述角度信息和预设的图像采集角度的差值，并基于图形处理器gpu，根据所述差值，旋转当前采集到的图像。

可选的，显示旋转后的图像时，处理器510具体用于：

确定显示窗口的宽高比例和旋转后的图像的宽高比例；

判断显示窗口的宽高比例和旋转后的图像的宽高比例是否均不大于或均不小于预设阈值，若是，则在所述显示窗口上全屏显示旋转后的图像，否则，则按照所述旋转后的图像的宽高比例，将全部旋转后的图像显示在所述显示窗口上的预设位置。

可选的，将旋转后的图像发送给接收端时，处理器510具体用于：

根据预设编码算法，对旋转后的图像进行编码，并将编码后的图像发送给接收端。

可选的，所述接收端显示旋转后的图像时，是接收端根据显示窗口的宽高比例和旋转后的图像的宽高比例，进行显示的。

基于上述实施例，本发明实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意方法实施例中的视频通话处理方法。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。这样，倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。