一种通信方法、装置及系统与流程

本技术实施例涉及通信，尤其涉及一种通信方法、装置及系统。

背景技术：

1、现有双方通话、多方会议(例如多方视频会议)等场景中，交流效率仍有待提高；如果通话参与方可以通过虚拟化的白板与对方进行互动，就像面对面交流那样，各通话参与方可以对同一块白板进行书写、绘画等操作，如此增加除语音和视频之外的沟通手段，可以更加便捷、有效地进行沟通。

2、如何在现有通话功能基础上叠加白板互动功能，是需要解决的技术问题。

技术实现思路

1、本技术实施例提供一种通信方法、装置及系统，能够在现有通话功能基础上增加白板互动功能。

2、为达到上述目的，本技术实施例采用如下技术方案：

3、第一方面，本技术实施例提供一种通信方法，该方法由通话终端执行，该方法包括：建立通话终端与媒体服务器之间的视频通话媒体传输通道，且通过所述视频通话媒体传输通道传输所述通话终端与对端通话终端之间的通话视频流，以实现通话终端与对端通话终端之间的视频通话业务，所述通话视频流包含所述通话终端或所述对端通话终端拍摄的视频内容；然后基于第一白板媒体数据在通话界面呈现第一白板画面，所述第一白板画面为空白画面；并检测第一用户在所述第一白板画面上的第一触碰操作，生成第一触碰痕迹数据，所述第一触碰痕迹数据用于描述所述第一触碰操作所产生的第一触碰痕迹；以及向所述媒体服务器发送所述第一触碰痕迹数据；再通过所述视频通话媒体传输通道从所述媒体服务器接收第二白板媒体数据，且基于所述第二白板媒体数据在所述通话界面呈现第二白板画面，所述第二白板画面包含所述第一触碰痕迹和第二触碰痕迹，所述第二触碰痕迹为第二用户在所述对端通话终端的通话界面呈现的与所述第一白板画面相应的白板画面上进行第二触碰操作而产生的触碰痕迹。

4、通过本技术实施例提供的技术方案，通话终端可以基于现有的视频通话媒体传输通道发送该通话终端的白板媒体数据(例如上述的第二白板媒体数据)，无需花费额外的时间建立专用于传输白板媒体数据的传输通道，并且无需占用终端(包括通话终端和对端通话终端)额外的端口资源，如此，能够节省通话过程中进行白板互动时占用的时间和终端的端口资源。

5、进一步的，与现有的通信方法相比，本技术实施例提供的技术方案中，无需在用户通话终端和客服通话终端上安装白板app，如此，也无需操作人员进行复杂的相关操作，不要求操作人员具有较高的操作技能。

6、一种可能的实现方式中，本技术实施例不限定第一用户在第一白板画面上的第一触碰操作的形式，例如，该触碰操作可以是在第一白板画面上的点触操作，也可以是在第一白板画面上划写操作，例如书写、绘画等等，第一用户在第一白板画面上进行触碰操作之后，可以形成与触碰操作的具体行为对应的触碰痕迹，例如触碰操作是画了一个圆圈，则触碰痕迹是一个圆圈轨迹。上述的第一触碰痕迹数据包括但不限于可以指示上述触碰痕迹的时间戳、颜色、形状、位置(例如触碰痕迹上的各个点的坐标等位置参数)等。例如，某一白板画面中的触碰痕迹为红色的圆圈，第一触碰痕迹数据包括指示白板画面的数据(例如白板画面的时间戳或标识信息)、指示触碰痕迹的颜色为红色的数据、指示触碰痕迹的形状为圆圈的数据、以及指示触碰痕迹的圆心坐标和半径的数据。

7、一种可能的实现方式中，所述第一白板媒体数据包含第一视频帧对应的数据，所述第一视频帧为通过所述视频通话媒体传输通道从媒体服务器接收的且用于呈现空白画面。上述基于第一白板媒体数据在通话界面呈现第一白板画面，包括：解码所述第一视频帧对应的数据以在通话界面呈现第一白板画面。

8、或者，一种可能的实现方式中，第一白板媒体数据包含白板图像对应的数据，所述白板图像为所述通话终端本地存储的且用于呈现所述空白画面，所述基于第一白板媒体数据呈现第一白板画面，包括：解码所述白板图像对应的数据以在所述通话界面呈现所述第一白板画面。

9、一种可能的实现方式中，所述第二白板媒体数据包含第二视频帧对应的数据，所述第二视频帧用于呈现嵌入了所述第一触碰痕迹和所述第二触碰痕迹的第二白板画面。所述基于所述第二白板媒体数据在通话界面呈现第二白板画面，包括：解码所述第二视频帧对应的数据以在所述通话界面呈现所述第二白板画面。

10、或者，一种可能的实现方式中，所述第二白板媒体数据为第二触碰痕迹数据，所述第二触碰痕迹数据用于描述所述第二触碰痕迹；所述基于所述第二白板媒体数据在所述通话界面呈现第二白板画面，包括：基于所述第一触碰痕迹数据和所述第二触碰痕迹数据，在所述通话界面上叠加呈现所述第一触碰痕迹和所述第二触碰痕迹，形成所述第二白板画面。

11、本技术实施例中，这样，通话终端对应的第一用户可以看到第一用户以及第二用户在第一白板画面中的触碰痕迹，使得第一用户和第二用户可以基于白板进行有效地互动。

12、一种可能的实现方式中，本技术实施例提供的通信方法还包括：从所述媒体服务器接收传输通道指示信息，所述传输通道指示信息指示所述通话终端通过所述视频通话媒体传输通道接收所述第二白板媒体数据，如此，可以通过该视频通话媒体传输通道传输白板媒体数据(例如第二白板媒体数据)。

13、本技术实施例中，可以通过显式指示的方法(即发送传输通道指示信息)指示通过视频通话媒体传输通道传输白板媒体数据，在有些情况下，媒体服务器也可以通过隐式指示的方法指示通过视频通话媒体传输通道传输白板媒体数据。

14、一种可能的实现方式中，本技术实施例提供的通信方法还包括：停止通过所述视频通话媒体传输通道传输通话视频流。

15、一种可能的实现方式中，本技术实施例提供的通信方法还包括：向所述媒体服务器发送白板互动申请，所述白板互动申请中包括所述对端通话终端的标识，所述标识用于申请与所述对端通话终端进行白板互动，以在所述通话终端上呈现所述第二白板画面。可以理解的是，与通话终端通话的对端通话终端可能包括多个，通话终端与多个对端通话终端通话的过程中，可以申请与某一个对端通话终端进行白板互动。

16、一种可能的实现方式中，本技术实施例提供的通信方法还包括：确认所述通话终端具备白板互动所需的资源。

17、本技术实施例中，在通话终端在白板画面上进行第一触碰操作之前，媒体服务器与通话终端交互以确认通话终端具备白板互动所需的资源。通话终端发出白板互动申请之后，通话终端本身的状态可能会发生变化，例如通话终端当前网络信号可能较差，或者处于2g/3g网络，其带宽不足以支持该通话终端在第一白板画面上进行第一触碰操作，或者视频通话媒体传输通道不可用，或者通话终端对应的用户不方便实施触碰操作等等，在这些情况下，通话终端不具备白板互动所需的资源。

18、一种可能的实现方式中，所述确认所述通话终端具备白板互动所需的资源，包括：从所述媒体服务器接收sip消息，所述sip消息中包括触碰操作确认标识，所述触碰操作确认标识用于确认所述通话终端是否具备白板互动所需的资源；并且向所述媒体服务器发送所述sip消息的响应消息，所述响应消息中包括触碰操作应答标识，所述触碰操作应答标识用于指示所述通话终端具备白板互动所需的资源。

19、上述sip消息中的触碰操作确认标识可以携带在sip消息的头域中，或者，在sip消息中包括媒体服务器的sdp信息的情况下，上述触碰操作确认标识也可以携带在媒体服务器的sdp信息中。

20、第二方面，本技术实施例提供一种通信方法，该方法由媒体服务器执行，该方法包括：建立第一视频通话媒体传输通道和第二视频通话媒体传输通道，所述第一视频通话媒体传输通道为通话终端与所述媒体服务器之间的视频通话媒体传输通道，所述第二视频通话媒体传输通道为所述媒体服务器与对端通话终端之间的视频通话媒体传输通道；且通过所述第一视频通话媒体传输通道和所述第二视频通话媒体传输通道传输所述通话终端与所述对端通话终端之间的通话视频流，所述通话视频流包含所述通话终端或所述对端通话终端拍摄的视频内容；然后从所述通话终端接收白板互动申请，所述白板互动申请中包括所述对端通话终端的标识，所述标识用于申请与所述对端通话终端进行白板互动，以在所述通话终端的通话界面和所述对端通话终端的通话界面呈现包括所述通话终端和/或所述对端通话终端的触碰痕迹的白板画面；以及从所述通话终端接收第一触碰痕迹数据，所述第一触碰痕迹数据是第一用户在所述通话终端呈现的第一白板画面上进行第一触碰操作而生成的触碰痕迹数据，所述第一触碰痕迹数据是第一用户在所述通话终端的通话界面呈现的第一白板画面上进行第一触碰操作而生成的数据，所述第一白板画面为空白画面，所述第一白板画面是基于所述第一白板媒体数据呈现的白板画面，所述第一触碰痕迹数据用于描述所述第一触碰操作所产生的第一触碰痕迹；并且从所述对端通话终端接收第二触碰痕迹数据，所述第二触碰痕迹数据是第二用户在所述对端通话终端的通话界面呈现的与所述第一白板画面相应的白板画面上进行第二触碰操作而生成的数据，所述第二触碰痕迹数据用于描述所述第二触碰操作所产生的第二触碰痕迹；再通过所述第一视频通话媒体传输通道向所述通话终端发送第二白板媒体数据，以在所述通话终端的通话界面呈现第二白板画面，所述第二白板画面包含所述第一触碰痕迹数据对应的触碰痕迹和所述第二触碰痕迹数据对应的触碰痕迹；并通过所述第二视频通话媒体传输通道向所述对端通话终端发送第三白板媒体数据，以在所述对端通话终端的通话界面呈现所述第二白板画面。

21、通过本技术实施例提供的技术方案，媒体服务器可以基于现有的视频通话媒体传输通道插传输白板媒体数据(例如上述的第二白板媒体数据和第三白板媒体数据)，无需花费额外的时间建立专用于传输白板媒体数据的传输通道，并且无需占用终端(包括通话终端和对端通话终端)额外的端口资源，如此，能够节省通话过程中进行白板互动时占用的端口资源。

22、进一步的，与现有的通信方法相比，本技术实施例提供的技术方案中，无需在用户通话终端和客服通话终端上安装白板app，如此，也无需操作人员进行复杂的相关操作，不要求操作人员具有较高的操作技能。

23、一种可能的实现方式中，所述第一白板媒体数据包含第一视频帧对应的数据，所述第一视频帧为通过所述第一视频通话媒体传输通道从所述媒体服务器接收的且用于呈现所述空白画面。

24、或者，一种可能的实现方式中，所述第一白板媒体数据包含白板图像对应的数据，所述白板图像为所述通话终端本地存储的且用于呈现所述空白画面。

25、一种可能的实现方式中，所述第二白板媒体数据与所述第三白板媒体数据相同，所述第二白板媒体数据或所述第三白板媒体数据包含第二视频帧对应的数据，所述第二视频帧用于呈现嵌入了所述第一触碰痕迹和所述第二触碰痕迹的第二白板画面。

26、一种可能的实现方式中，所述第二白板媒体数据与所述第三白板媒体数据不同，所述第二白板媒体数据为所述第二触碰痕迹数据，所述第三白板媒体数据为所述第一触碰痕迹数据。

27、一种可能的实现方式中，本技术实施例提供的通信方法还包括：向所述通话终端发送第一传输通道指示信息，所述第一传输通道指示信息指示所述通话终端通过所述第一视频通话媒体通道接收所述第二白板媒体数据。

28、一种可能的实现方式中，本技术实施例提供的通信方法还包括：向所述对端通话终端发送第二传输通道指示信息，所述第二传输通道指示信息指示所述对端通话终端通过所述第二视频通话媒体通道接收所述第三白板媒体数据。

29、一种可能的实现方式中，本技术实施例提供的通信方法还包括：停止通过所述第一视频通话媒体传输通道传输所述通话视频流；

30、一种可能的实现方式中，本技术实施例提供的通信方法还包括：停止通过所述第二视频通话媒体传输通道传输所述通话视频流。

31、一种可能的实现方式中，本技术实施例提供的通信方法还包括：确认所述通话终端具备白板互动所需的资源。

32、一种可能的实现方式中，本技术实施例提供的通信方法还包括：确认所述对端通话终端具备在与所述第一白板画面相应的白板画面上进行第二触碰操作所需的资源。

33、一种可能的实现方式中，所述确认所述通话终端具备白板互动所需的资源，包括：向所述通话终端发送sip消息，所述sip消息中包括触碰操作确认标识，所述触碰操作确认标识用于确认所述通话终端是否具备白板互动所需的资源；并从所述通话终端接收所述sip消息的响应消息，所述响应消息中包括触碰操作应答标识，所述触碰操作应答标识用于指示所述通话终端具备白板互动所需的资源。

34、一种可能的实现方式中，本技术实施例提供的通信方法还包括：向所述对端通话终端发送白板互动请求，所述白板互动请求用于请求所述对端通话终端与所述通话终端进行白板互动；并从所述对端通话终端接收所述白板互动请求的响应消息，所述响应消息用于指示所述第二用户同意与所述第一用户进行白板互动。

35、第二方面的相关内容和技术效果可以参考第一方面及其可能的实现方式中任意之一所述的内容和技术效果。

36、第三方面，本技术实施例提供一种通话终端，包括：处理模块、生成模块、发送模块以及接收模块。其中，所述处理模块，用于建立通话终端与媒体服务器之间的视频通话媒体传输通道，且通过所述视频通话媒体传输通道传输所述通话终端与对端通话终端之间的通话视频流，以实现所述通话终端与所述对端通话终端之间的视频通话业务；并且基于第一白板媒体数据在通话界面呈现第一白板画面，所述第一白板画面为空白画面；所述生成模块，用于检测第一用户在所述第一白板画面上的第一触碰操作，生成第一触碰痕迹数据，所述第一触碰痕迹数据用于描述所述第一触碰操作所产生的第一触碰痕迹；所述发送模块，用于向所述媒体服务器发送所述第一触碰痕迹数据；所述接收模块，用于通过所述视频通话媒体传输通道从所述媒体服务器接收第二白板媒体数据；所述处理模块，还用于基于所述第二白板媒体数据在所述通话界面呈现第二白板画面，所述第二白板画面包含所述第一触碰痕迹和第二触碰痕迹，所述第二触碰痕迹为第二用户在所述对端通话终端的通话界面呈现的与所述第一白板画面相应的白板画面上进行第二触碰操作而产生的触碰痕迹。

37、一种可能的实现方式中，所述第一白板媒体数据包含第一视频帧对应的数据，所述第一视频帧为通过所述视频通话媒体传输通道从所述媒体服务器接收的且用于呈现所述空白画面；所述处理模块，具体用于解码所述第一视频帧对应的数据以在所述通话界面呈现所述第一白板画面。

38、或者，一种可能的实现方式中，所述第一白板媒体数据包含白板图像对应的数据，所述白板图像为所述通话终端本地存储的且用于呈现所述空白画面；所述处理模块，具体用于解码所述白板图像对应的数据以在所述通话界面呈现所述第一白板画面。

39、一种可能的实现方式中，所述第二白板媒体数据包含第二视频帧对应的数据，所述第二视频帧用于呈现嵌入了所述第一触碰痕迹和所述第二触碰痕迹的第二白板画面；所述处理模块，具体用于解码所述第二视频帧对应的数据以在所述通话界面呈现所述第二白板画面。

40、或者，一种可能的实现方式中，所述第二白板媒体数据为第二触碰痕迹数据，所述第二触碰痕迹数据用于描述所述第二触碰痕迹；所述处理模块，具体用于所基于所述第一触碰痕迹数据和所述第二触碰痕迹数据，在所述通话界面上叠加呈现所述第一触碰痕迹和所述第二触碰痕迹，形成所述第二白板画面。

41、一种可能的实现方式中，所述接收模块，还用于从所述媒体服务器接收传输通道指示信息，所述传输通道指示信息指示所述通话终端通过所述视频通话媒体传输通道接收所述第二白板媒体数据。

42、一种可能的实现方式中，所述处理模块，还用于控制所述通话终端停止通过所述视频通话媒体传输通道传输通话视频流。

43、一种可能的实现方式中，所述发送模块，还用于向所述媒体服务器发送白板互动申请，所述白板互动申请中包括所述对端通话终端的标识，所述标识用于申请与所述对端通话终端进行白板互动，以在所述通话终端上呈现所述第二白板画面。

44、一种可能的实现方式中，所述接收模块，还用于从所述媒体服务器接收会话发起协议sip消息，所述sip消息中包括触碰操作确认标识，所述触碰操作确认标识用于确认所述通话终端是否具备白板互动所需的资源；所述发送模块，还用于向所述媒体服务器发送所述sip消息的响应消息，所述响应消息中包括触碰操作应答标识，所述触碰操作应答标识用于指示所述通话终端具备白板互动所需的资源。

45、第四方面，本技术实施例提供一种媒体服务器，包括：处理模块、接收模块以及发送模块。其中，所述处理模块，用于建立第一视频通话媒体传输通道和第二视频通话媒体传输通道，所述第一视频通话媒体传输通道为通话终端与所述媒体服务器之间的视频通话媒体传输通道，所述第二视频通话媒体传输通道为所述媒体服务器与对端通话终端之间的视频通话媒体传输通道；且通过所述第一视频通话媒体传输通道和所述第二视频通话媒体传输通道传输所述通话终端与所述对端通话终端之间的通话视频流，以实现所述通话终端与所述对端通话终端之间的视频通话业务；所述接收模块，用于从所述通话终端接收第一触碰痕迹数据，所述第一触碰痕迹数据是第一用户在所述通话终端的通话界面呈现的第一白板画面上进行第一触碰操作而生成的数据，所述第一白板画面为空白画面，所述第一白板画面是基于所述第一白板媒体数据呈现的白板画面，所述第一触碰痕迹数据用于描述所述第一触碰操作所产生的第一触碰痕迹；并且从所述对端通话终端接收第二触碰痕迹数据，所述第二触碰痕迹数据是第二用户在所述对端通话终端的通话界面呈现的与所述第一白板画面相应的白板画面上进行第二触碰操作而生成的数据，所述第二触碰痕迹数据用于描述所述第二触碰操作所产生的第二触碰痕迹；所述发送模块，用于通过所述第一视频通话媒体传输通道向所述通话终端发送第二白板媒体数据，以在所述通话终端的通话界面呈现第二白板画面，所述第二白板画面包含所述第一触碰痕迹和所述第二触碰痕迹；并且通过所述第二视频通话媒体传输通道向所述对端通话终端发送第三白板媒体数据，以在所述对端通话终端的通话界面呈现所述第二白板画面。

46、一种可能的实现方式中，所述第一白板媒体数据包含第一视频帧对应的数据，所述第一视频帧为通过所述第一视频通话媒体传输通道从所述媒体服务器接收的且用于呈现所述空白画面。

47、或者，一种可能的实现方式中，所述第一白板媒体数据包含白板图像对应的数据，所述白板图像为所述通话终端本地存储的且用于呈现所述空白画面。

48、一种可能的实现方式中，所述第二白板媒体数据与所述第三白板媒体数据相同，所述第二白板媒体数据或所述第三白板媒体数据包含第二视频帧对应的数据，所述第二视频帧用于呈现嵌入了所述第一触碰痕迹和所述第二触碰痕迹的第二白板画面。

49、一种可能的实现方式中，所述第二白板媒体数据与所述第三白板媒体数据不同，所述第二白板媒体数据为所述第二触碰痕迹数据，所述第三白板媒体数据为所述第一触碰痕迹数据。

50、一种可能的实现方式中，所述发送模块，还用于向所述通话终端发送第一传输通道指示信息，所述第一传输通道指示信息指示所述通话终端通过所述第一视频通话媒体通道接收所述第二白板媒体数据；并且向所述对端通话终端发送第二传输通道指示信息，所述第二传输通道指示信息指示所述对端通话终端通过所述第二视频通话媒体通道接收所述第三白板媒体数据。

51、一种可能的实现方式中，所述处理模块，还用于控制所述媒体服务器停止通过所述第一视频通话媒体传输通道传输所述通话视频流；并且控制所述媒体服务器停止通过所述第二视频通话媒体传输通道传输所述通话视频流。

52、一种可能的实现方式中，所述发送模块，还用于向所述通话终端发送会话发起协议sip消息，所述sip消息中包括触碰操作确认标识，所述触碰操作确认标识用于确认所述通话终端是否具备白板互动所需的资源；所述接收模块，还用于从所述通话终端接收所述sip消息的响应消息，所述响应消息中包括触碰操作应答标识，所述触碰操作应答标识用于指示所述通话终端具备白板互动所需的资源。

53、一种可能的实现方式中，所述接收模块，还用于从所述通话终端接收白板互动申请，所述白板互动申请中包括所述对端通话终端的标识，所述标识用于申请与所述对端通话终端进行白板互动，以在所述通话终端的通话界面和所述对端通话终端的通话界面呈现包括所述通话终端和/或所述对端通话终端的触碰痕迹的白板画面；所述发送模块，还用于向所述对端通话终端发送白板互动请求，所述白板互动请求用于请求所述对端通话终端与所述通话终端进行白板互动；所述接收模块，还用于从所述对端通话终端接收所述白板互动请求的响应消息，所述响应消息用于指示所述第二用户同意与所述第一用户进行白板互动。

54、第五方面，本技术实施例提供一种通话终端，包括存储器和与存储器连接的至少一个处理器，存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，当计算机指令被至少一个处理器执行时，使得通话终端执行第一方面及其可能的实现方式中任意之一所述的方法。

55、第六方面，本技术实施例提供一种媒体服务器，包括存储器和与存储器连接的至少一个处理器，存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，当计算机指令被至少一个处理器执行时，使得媒体服务器执行第二方面及其可能的实现方式中任意之一所述的方法。

56、第七方面，本技术实施例提供一种计算机可读存储介质，包括计算机指令，当计算机指令在通话终端上运行时，使得通话终端执行第一方面及其可能的实现方式中任意之一所述的方法。

57、第八方面，本技术实施例提供一种计算机可读存储介质，包括计算机指令，当计算机指令在媒体服务器上运行时，使得媒体服务器执行第二方面及其可能的实现方式中任意之一所述的方法。

58、第九方面，本技术实施例提供一种计算机程序产品，当计算机程序产品在计算机上运行时，执行第一方面及其可能的实现方式中任意之一所述方法。

59、第十方面，本技术实施例提供一种计算机程序产品，当计算机程序产品在计算机上运行时，执行第二方面及其可能的实现方式中任意之一所述方法。

60、第十一方面，本技术实施例提供一种芯片，包括存储器和处理器。存储器用于存储计算机指令。处理器用于从存储器中调用并运行该计算机指令，以使得通话终端执行第一方面及其可能的实现方式中任意之一所述的方法。

61、第十二方面，本技术实施例提供一种芯片，包括存储器和处理器。存储器用于存储计算机指令。处理器用于从存储器中调用并运行该计算机指令，以使得媒体服务器执行第二方面及其可能的实现方式中任意之一所述的方法。

62、第十三方面，本技术实施例提供一种通信系统，包括通话终端和媒体服务器。其中，通话终端执行第一方面及其可能的实现方式中任意之一所述的方法，媒体服务器执行第二方面及其可能的实现方式中任意之一所述的方法。

63、可以理解的是，上述第三方面至第十三方面技术方案及对应的可能的实施方式所取得的有益效果可以参见上述对第一方面至第二方面及其对应的可能的实施方式的技术效果，此处不再赘述。