可视通话的数据处理方法、终端和系统的制作方法
【专利摘要】本发明公开了一种可视通话的数据处理方法、终端和系统，方法包括：建立终端与至少一个其他终端之间的音视频数据通信通道和共享数据通信通道，在所述终端的显示屏上初始化视频层和图形层，该终端的显示屏上图形层透明且覆盖在视频层上方；通过该终端的视频层显示经音视频数据通信通道传输的音视频数据；采集经该终端的图形层输入的第一操作数据流，经共享数据通信通道将第一操作数据流发送到其他终端；以及经共享数据通信通道接收其他终端发送的第二操作数据流；在该终端的图形层上响应第一操作数据流和第二操作数据流，以在该终端的图形层上输出与各操作数据流对应的操作对象。本发明提高了可视通话数据交互的灵活性以及终端显示屏的空间利用率。
【专利说明】可视通话的数据处理方法、终端和系统
【技术领域】
[0001]本发明实施例涉及通信技术，特别是涉及一种可视通话的数据处理方法、终端和系统。
【背景技术】
[0002]可视通话业务是集图像和语音通信于一体的多媒体通信业务，可以实现人与人之间的面对面实时沟通。
[0003]但是，现有可视通话业务中通话方之间大多只有视频与语音交互，其它辅助交互方法较少；且现有可视通话业务中通话方交互通常都只能一方控制，其它通话方无法对显示窗口中的图像进行修改以反馈他们的意见与想法。这使得可视通话数据交互的方式较为单一，在一定程度上限制了可视通话的推广应用。
【发明内容】
[0004]本发明实施例提供一种可视通话的数据处理方法、终端和系统，用于提高可视通话数据交互的灵活性，提高终端显示屏的空间利用率。
[0005]本发明实施例一方面提供了一种可视通话的数据处理方法，包括:
[0006]建立终端与至少一个其他终端音视频数据通信通道和共享数据通信通道，并在所述终端的显示屏上初始化视频层和图形层，所述终端的显示屏上图形层透明且覆盖在视频层上方；
[0007]通过所述终端的所述视频层显示经所述音视频数据通信通道传输的音视频数据；
[0008]采集经所述终端的图形层输入的第一操作数据流，经所述共享数据通信通道将所述第一操作数据流发送到所述其他终端；以及经所述共享数据通信通道接收所述其他终端发送的第二操作数据流；
[0009]在所述终端的图形层上响应所述第一操作数据流和所述第二操作数据流，以在所述终端的图形层上输出与所述第一操作数据流和所述第二操作数据流对应的操作对象。
[0010]本发明实施例的另一方面提供了一种终端，包括:
[0011]初始化处理模块，用于与至少一个其他终端建立音视频数据通信通道和共享数据通信通道，并在所述终端的显示屏上初始化视频层和图形层，所述终端的显示屏上图形层透明且覆盖在视频层上方；
[0012]视频层处理模块，用于通过所述终端的所述视频层显示经所述音视频数据通信通道传输的音视频数据；
[0013]操作数据流获取模块，用于采集经所述终端的图形层输入的第一操作数据流，经所述共享数据通信通道将所述第一操作数据流发送到所述其他终端；以及经所述共享数据通信通道接收所述其他终端发送的第二操作数据流；
[0014]图形层处理模块，用于在所述终端的图形层上响应所述第一操作数据流和所述第二操作数据流，以在所述终端的图形层上输出与所述第一操作数据流和所述第二操作数据流对应的操作对象。
[0015]本发明实施例的又一方面提供了一种可视通话系统，包括:建立可视通话连接的多个上述终端。
[0016]本发明实施例提供的可视通话的数据处理方法、终端和系统，通过在建立可视通话连接的每个终端的显示屏上，增设透明且覆盖在视频层上的图形层，任一终端可采集经自身显示屏的图形层本地采集的第一操作数据流，并经共享数据通信通道发送给其他终端以在其他终端显示屏的图形层上显示，且任一终端可接收其他终端发送的第二操作数据流，并在该终端本地图形层上输出相应的操作对象。由此使得不同终端的共享操作数据流可在该终端本地图形层上进行融合显示，有利于改善用户体验，实现可视通话对共享数据的多方操控，提高了视频通信数据交互的灵活性；此外，每个终端的视频数据和共享数据在物理上可共用显示屏的相同区域进行显示，提高了终端显示屏的空间利用率。
【专利附图】
【附图说明】
[0017]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0018]图1为本发明实施例提供的可视通话的数据处理方法的流程示意图；
[0019]图2为本发明实施例提供的可视通话应用场景示例；
[0020]图3为本发明实施例提供的终端的结构示意图；
[0021]图4为本发明实施例提供的可视通话系统的结构示意图。
【具体实施方式】
[0022]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0023]图1为本发明实施例提供的可视通话的数据处理方法的流程示意图。本实施例是从建立可视通话连接的多个终端中的任一终端的角度，对本发明实施例的技术方案进行详细描述。如图1所示的方法包括:
[0024]11:建立终端与至少一个其他终端音视频数据通信通道和共享数据通信通道，并在所述终端的显示屏上初始化视频层和图形层，所述终端的显示屏上图形层透明且覆盖在视频层上方。
[0025]可视通话连接的多个终端之间逻辑上可建立两类通信通道:视频数据通信通道和共享数据通信通道。视频数据通信通道用于传输视频数据，共享数据通信通道用于传输共享数据。
[0026]在建立可视通话连接的多个终端中，每个终端的显示屏上均初始化两类图层:视频层和图形层。视频层用于显示经视频数据通信通道传输的视频数据，图形层用于显示经共享数据通信通道传输的共享数据。图形层是一透明图形，并且图形层覆盖在视频层的上方，这样共享数据和视频数据在物理上可共用显示屏的相同区域进行图像显示。
[0027]12:通过所述终端的所述视频层显示经所述音视频数据通信通道传输的音视频数据。
[0028]任一终端经所述视频数据通信通道接收到的其他终端发送的音视频数据，通过该终端的视频层进行显示。该终端采集到的音视频数据，经所述视频数据通信通道向各其他终端发送。此外，该终端采集到的音视频数据也可通过视频层进行显示，例如在显示屏的左下角显示缩小图的方式显示等。
[0029]13:采集经所述终端的图形层输入的第一操作数据流，经所述共享数据通信通道将所述第一操作数据流发送到所述其他终端；以及经所述共享数据通信通道接收所述其他终端发送的第二操作数据流。
[0030]第一操作数据流包括:经所述终端本地图形层捕获并用于显示的操作数据流。第二操作数据流包括:该终端接收到的、经其他终端的图形层捕获的并发送给该终端的操作数据流。操作数据流可为但不限于:操作轨迹序列、语音序列、图像序列等。
[0031]14:在所述终端的图形层上响应所述第一操作数据流和所述第二操作数据流，以在所述终端的图形层上输出与所述第一操作数据流和所述第二操作数据流对应的操作对象。
[0032]所述终端在其本地图形层上，对本地采集的第一操作数据流以及接收到的其他终端的第二操作数据流均进行响应，这样，在该终端本地图形层上即可显示出与第一操作数据流和第二操作数据流对应的操作对象。任一操作数据流可为经触摸屏、鼠标、遥控器、键盘、麦克风、摄像头或其他设备采集到的轨迹类事件或语义类事件等。与任一数据流对应的操作对象可包括但不限于:图像、图形、音效或动画中的一种或多种。
[0033]本实施例提供的方法通过在建立可视通话连接的每个终端的显示屏上，增设透明且覆盖在视频层上的图形层，任一终端可采集经自身显示屏的图形层本地采集的第一操作数据流，并经共享数据通信通道发送给其他终端以在其他终端显示屏的图形层上显示，且任一终端可接收其他终端发送的第二操作数据流，并在该终端本地图形层上输出相应的操作对象。由此使得不同终端的共享操作数据流可在该终端本地图形层上进行融合显示，有利于改善用户体验，实现可视通话对共享数据的多方操控，提高了视频通信数据交互的灵活性；此外，每个终端的视频数据和共享数据在物理上可共用显示屏的相同区域进行显示，提高了终端显示屏的空间利用率。
[0034]上述技术方案中，终端在其本地图形层上，对第一操作数据流和第二操作数据流仅进行响应的具体方式不受限制。
[0035]例如:可根据所述终端的图形层的分辨率属性，对所述第一操作数据流和所述第二操作数据流对应的操作对象进行自适应调整，并在所述终端的图形层上输出自适应调整后的操作对象。该情形下，与第一操作数据流和第二操作数据流对应的操作对象可包括:图像、图形或动画中的一种或多种。可选的，根据分辨率属性可采用通用的图像缩放算法对相应操作对象进行自适应调整，图像缩放算法可包括但不限于:最近邻插值或双线性插值等算法。
[0036]又例如:可根据所述终端捕获到第一操作数据流的时间、以及该终端接收到第二操作数据流的时间的先后顺序，组合第一操作数据流和第二操作数据流，在该终端的所述图形层上响应组合后的操作数据流，以在该终端本地图形层上输出与组合后的操作数据流对应的操作对象。该情形下，任一操作数据流对应的操作对象可包括但不限于:图像、图形、音效或动画中的一种或多种。根据操作数据流的类型不同，该终端本地的图形层上可采用相应的响应方式进行处理。
[0037]可选的，第一操作数据流可包括:经所述终端的图形层捕获的第一操作轨迹序列；所述第二操作数据流包括:所述终端接收到的、经所述其他终端的图形层捕获的并发送给所述终端的第二操作轨迹序列。所述终端根据所述终端捕获到所述第一操作轨迹序列的时间、以及所述终端接收到所述第二操作轨迹序列的时间先后顺序，组合所述第一操作轨迹序列和所述第二操作轨迹序列，并在所述图形层上输出与所述组合后的操作轨迹序列对应的操作对象。操作轨迹序列可为但不限于触摸屏操作轨迹序列、鼠标操作轨迹序列、遥控器操作轨迹序列、键盘操作轨迹序列等。与任一操作轨迹序列对应的操作对象可包括但不限于:图像、图形、音效或动画中的一种或多种。应用示例如图2所示:当在左终端本地的图形层上输入如图2所示的实线表示的图形21，在右终端的图形层的相应位置上也即时显示相应图形；而当右终端22的图形层上输入如图2所示的虚线表示的图形22，在左终端的图形层的相应位置上也即时显示相应图形；两部分图形组合一个心型图形。整体达到的视觉效果相当于在任一终端上输入，在各终端的相应位置上显示，可视通话的各终端均可参与到共享数据的操控，并且在物理上视频数据和共享数据共用相同的显示屏区域进行数据显示，可满足某些特定场景，例如显示屏尺寸较小或要求全屏显示等场景下进行视频通信的辅助交互。
[0038]可选的，第一操作数据流可包括:经任一终端的图形层捕获的第一语音序列；第二操作数据流可包括:该终端接收到的、经所述其他终端的图形层捕获的并发送给该终端的第二语音序列。该终端根据其捕获到所述第一语音序列的时间、以及该终端接收到所述第二语音序列的时间先后顺序，组合所述第一语音序列和所述第二语音序列，在预先建立的数据库中确定与组合后的语音序列对应的操作对象，并在所述任一终端的述图形层上输出确定的操作对象。终端本地存储有预先建立的数据库，该数据库存储有语音序列和操作对象之间的映射关系，也可称为语音识别样本库。在该终端获取组合后的语音序列后，可在该数据库中查询与组合后的语音序列对应的操作对象，并在该终端本地的图形层上输出确定的操作对象。与任一语音序列对应的操作对象可包括但不限于:图像、图形、音效或动画中的一种或多种。应用示例例如:当语音序列为“Love”时，在该终端的图形层上可显示心形图形等。
[0039]可选的，第一操作数据流包括:经所述终端的图形层捕获的第一图像序列；所述第二操作数据流包括:所述终端接收到的、经所述其他终端的图形层捕获的并发送给所述终端的第二图像序列。终端根据所述终端捕获到所述第一图像序列的时间、以及所述终端接收到所述第二图像序列的时间先后顺序，组合所述第一图像序列和所述第二图像序列，在预先建立的数据库中确定与组合后的图像序列对应的操作对象，并在所述终端的图形层上输出确定的操作对象。终端本地存储有预先建立的数据库，该数据库存储有图像序列和操作对象之间的映射关系，也可称为图像识别样本库。在该终端获取组合后的图像序列后，可在该数据库中查询与组合后的图像序列对应的操作对象，并在该终端本地的图形层上输出确定的操作对象。与任一图像序列对应的操作对象可包括但不限于:图像、图形、音效或动画中的一种或多种。应用示例例如:在任一终端获取的图像序列包括用户用手比划出的心形图像时，在该终端的图形层上显示心形自定义图形，且各其他终端的图形层上也分别显示心形自定义图形。应用示例再例如:在任一终端获取的图像序列包括射箭的姿势的图像时，在该终端的图形层上显示兔斯基射箭的自定义图形，且在各其他终端的图形层上也分别显示兔斯基射箭的自定义图形，兔斯基射箭的自定义图形可为包括多帧的动画图形文件等。应用示例又例如:在任一终端获取的图像序列包括用户发怒的表情图像时，在该终端的图形层上显示大火焰自定义图像，且在各其他终端的图形层上也分别显示大火焰自定义图像等。
[0040]进一步可选的，可预先确定自定义图像在各终端图形层中的显示位置，例如在图形层左下角的预设大小的区域显示自定义图像，由此达到在各终端显示屏相同位置同步显示相同自定义图像的显示效果，有利于进一步改善用户体验。
[0041]进一步可选的，可将上述语音识别、图像识别等操作设置为不同的模式，当任一终端切换到相应模式，则进行相应的识别和自定义图形显示处理，由此提高了视频通信过程中辅助交互方式切换的灵活性。
[0042]需要说明的是:对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域普通技术人员可以知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
[0043]在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0044]本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括:只读存储器(Read-Only Memory,简称 ROM)、随机存取存储器(Random Access Memory,简称 RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
[0045]图3为本发明实施例提供的终端的结构示意图。如图3所示的终端用于实现如图1所示的实施例相应记载的方法，具体包括:初始化处理模块31、视频层处理模块32、操作数据流获取模块33和图形层处理模块34。
[0046]初始化处理模块31可与至少一个其他终端建立音视频数据通信通道和共享数据通信通道，并在所述终端的显示屏上初始化视频层和图形层，所述终端的显示屏上图形层透明且覆盖在视频层上方。
[0047]视频层处理模块32可用于通过所述终端的所述视频层显示经所述音视频数据通信通道传输的音视频数据。
[0048]操作数据流获取模块33可用于采集经所述终端的图形层输入的第一操作数据流，经所述共享数据通信通道将所述第一操作数据流发送到所述其他终端；以及经所述共享数据通信通道接收所述其他终端发送的第二操作数据流。
[0049]图形层处理模块34可用于在所述终端的图形层上响应所述第一操作数据流和所述第二操作数据流，以在所述终端的图形层上输出与所述第一操作数据流和所述第二操作数据流对应的操作对象。
[0050]可选的，图形层处理模块34具体可用于根据所述终端的图形层的分辨率属性，对所述第一操作数据流和所述第二操作数据流对应的操作对象进行自适应调整，并在所述终端的图形层上输出自适应调整后的操作对象。与所述第一操作数据流和所述第二操作数据流对应的操作对象包括但不限于:图像、图形或动画中的一种或多种。
[0051]可选的，第一操作数据流包括:经该终端的图形层捕获并用于显示的操作数据流；第二操作数据流包括:该终端接收到的、经其他终端的图形层捕获的并发送给该终端的操作数据流。图形层处理模块34具体可用于根据该终端捕获到第一操作数据流的时间、以及该终端接收到第二操作数据流的时间的先后顺序，组合第一操作数据流和第二操作数据流，在该终端的图形层上响应组合后的操作数据流，以在该终端本地图形层上输出与组合后的操作数据流对应的操作对象。与任一操作数据流，如第一操作数据流或第二操作数据流或组合后的操作数据流对应的操作对象，可包括但不限于图像、图形、音效或动画中的一种或多种。
[0052]进一步，可选的，第一操作数据流包括:经该终端的图形层捕获的第一操作轨迹序列；第二操作数据流包括:该终端接收到的、经其他终端的图形层捕获的并发送给该终端的第二操作轨迹序列。该情形下，图形层处理模块34具体可用于根据该终端捕获到第一操作轨迹序列的时间、以及该终端接收到第二操作轨迹序列的时间先后顺序，组合第一操作轨迹序列和第二操作轨迹序列，并在该终端本地的图形层上输出与组合后的操作轨迹序列对应的操作对象。与任一操作轨迹序列，如第一操作轨迹序列或第二操作轨迹序列或组合后的操作轨迹序列对应的操作对象，可包括但不限于图像、图形、音效或动画中的一种或多种。
[0053]可选的，第一操作数据流包括:经该终端的图形层捕获的第一语音序列；第二操作数据流包括:该终端接收到的、经其他终端的图形层捕获的并发送给该终端的第二语音序列。该情形下，图形层处理模块34具体可用于根据该终端捕获到第一语音序列的时间、以及该终端接收到第二语音序列的时间先后顺序，组合第一语音序列和第二语音序列，在预先建立的数据库中确定与组合后的语音序列对应的操作对象，并在该终端的本地图形层上输出确定的操作对象。与任一语音序列，如第一语音序列或第二语音序列或组合后的语音序列对应的操作对象，可包括但不限于图像、图形、音效或动画中的一种或多种。
[0054]可选的，第一操作数据流包括:经该终端的图形层捕获的第一图像序列；第二操作数据流包括:该终端接收到的、经其他终端的图形层捕获的并发送给该终端的第二图像序列。该情形下，图形层处理模块34具体可用于根据该终端捕获到第一图像序列的时间、以及该终端接收到第二图像序列的时间先后顺序，组合第一图像序列和第二图像序列，在预先建立的数据库中确定与组合后的图像序列对应的操作对象，并在该终端的本地图形层上输出确定的操作对象。与任一图像序列，如第一图像序列或第二图像序列或组合后的图像序列对应的操作对象，可包括但不限于图像、图形、音效或动画中的一种或多种。
[0055]本实施例提供的终端在显示屏上增设透明且覆盖在视频层上的图形层，可采集经自身显示屏的图形层本地采集的第一操作数据流，并经共享数据通信通道发送给其他终端以在其他终端显示屏的图形层上显示，且该终端可接收其他终端发送的第二操作数据流，并在该终端本地图形层上输出相应的操作对象。由此使得不同终端的共享操作数据流可在该终端本地图形层上进行融合显示，有利于改善用户体验，实现可视通话对共享数据的多方操控，提高了视频通信数据交互的灵活性；此外，每个终端的视频数据和共享数据在物理上可共用显示屏的相同区域进行显示，提高了终端显示屏的空间利用率。有关本实施例提供的终端的工作机理，可参见上述方法实施例的相应记载，在此不再赘述。终端的设备实体可例如:智能手机、电视、PC、Pad等。
[0056]图4为本发明实施例提供的可视通话系统的结构示意图。如图4所示的可视通话系统包括多个终端，任一终端的结构可参见图3以及上述终端实施例的相应记载，任一终端以及终端之间的交互方法以及可实现的技术效果，可参见图1-2以及上述方法实施例的相应记载，在此不再赘述。
[0057]可以理解，本发明所揭露的系统，装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的模块或装置相互之间的连接，可以是通过一些物理或逻辑接口连接，连接形式可以是电性，机械或其它形式。
[0058]以上所描述的装置实施例仅仅是示意性的，其中作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到至少两个网络单元上。可以根据实际的需要选择至少两个网络单元其中的部分或者全部模块，来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0059]最后应说明的是:以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
【权利要求】
1.一种可视通话的数据处理方法，其特征在于，包括: 建立终端与至少一个其他终端音视频数据通信通道和共享数据通信通道，并在所述终端的显示屏上初始化视频层和图形层，所述终端的显示屏上图形层透明且覆盖在视频层上方； 通过所述终端的所述视频层显示经所述音视频数据通信通道传输的音视频数据； 采集经所述终端的图形层输入的第一操作数据流，经所述共享数据通信通道将所述第一操作数据流发送到所述其他终端；以及经所述共享数据通信通道接收所述其他终端发送的第二操作数据流； 在所述终端的图形层上响应所述第一操作数据流和所述第二操作数据流，以在所述终端的图形层上输出与所述第一操作数据流和所述第二操作数据流对应的操作对象。
2.根据权利要求1所述的方法，其特征在于，在所述终端的所述图形层上响应所述第一操作数据流和所述第二操作数据流，以在所述终端的图形层上输出与所述第一操作数据流和所述第二操作数据流对应的操作对象，包括: 根据所述终端的图形层的分辨率属性，对所述第一操作数据流和所述第二操作数据流对应的操作对象进行自适应调整，并在所述终端的图形层上输出自适应调整后的操作对象。
3.根据权利要求2所述的方法，其特征在于，与所述第一操作数据流和所述第二操作数据流对应的操作对象包括:图像、图形或动画中的任意一种或多种。
4.根据权利要求1所述的方法，其特征在于， 所述第一操作数据流包括:`经所述终端的图形层捕获并用于显示的操作数据流； 所述第二操作数据流包括:所述终端接收到的、经所述其他终端的图形层捕获的并发送给所述终端的操作数据流； 在所述终端的所述图形层上响应所述第一操作数据流和所述第二操作数据流，以在所述终端的所述图形层上输出与所述第一操作数据流和所述第二操作数据流对应的操作对象，包括:根据所述终端捕获到所述第一操作数据流的时间、以及所述终端接收到所述第二操作数据流的时间的先后顺序，组合所述第一操作数据流和所述第二操作数据流，在所述终端的所述图形层上响应组合后的操作数据流，以在所述图形层上输出与所述组合后的操作数据流对应的操作对象。
5.根据权利要求4所述的方法，其特征在于， 所述第一操作数据流包括:经所述终端的图形层捕获的第一操作轨迹序列； 所述第二操作数据流包括:所述终端接收到的、经所述其他终端的图形层捕获的并发送给所述任一终端的第二操作轨迹序列； 根据所述终端捕获到所述第一操作数据流的时间、以及所述终端接收到所述第二操作数据流的时间的先后顺序，组合所述第一操作数据流和所述第二操作数据流，在所述终端的所述图形层上响应组合后的操作数据流，以在所述图形层上输出与所述组合后的操作数据流对应的操作对象，包括:根据所述终端捕获到所述第一操作轨迹序列的时间、以及所述终端接收到所述第二操作轨迹序列的时间先后顺序，组合所述第一操作轨迹序列和所述第二操作轨迹序列，并在所述图形层上输出与所述组合后的操作轨迹序列对应的操作对象。
6.根据权利要求4所述的方法，其特征在于，所述第一操作数据流包括:经所述终端的图形层捕获的第一语音序列； 所述第二操作数据流包括:所述终端接收到的、经所述其他终端的图形层捕获的并发送给所述任一终端的第二语音序列； 根据所述终端捕获到所述第一操作数据流的时间、以及所述终端接收到所述第二操作数据流的时间的先后顺序，组合所述第一操作数据流和所述第二操作数据流，在所述终端的所述图形层上响应组合后的操作数据流，以在所述图形层上输出与所述组合后的操作数据流对应的操作对象，包括:根据所述终端捕获到所述第一语音序列的时间、以及所述终端接收到所述第二语音序列的时间先后顺序，组合所述第一语音序列和所述第二语音序列，在预先建立的数据库中确定与组合后的语音序列对应的操作对象，并在所述终端的述图形层上输出确定的操作对象。
7.根据权利要求4所述的方法，其特征在于， 所述第一操作数据流包括:经所述终端的图形层捕获的第一图像序列； 所述第二操作数据流包括:所述终端接收到的、经所述其他终端的图形层捕获的并发送给所述终端的第二图像序列； 根据所述终端捕获到所述第一操作数据流的时间、以及所述终端接收到所述第二操作数据流的时间的先后顺序，组合所述第一操作数据流和所述第二操作数据流，在所述终端的所述图形层上响应组合后的操作数据流，以在所述图形层上输出与所述组合后的操作数据流对应的操作对象，包括:根据所述终端捕获到所述第一图像序列的时间、以及所述终端接收到所述第二图像序列的时间先后顺序，组合所述第一图像序列和所述第二图像序列，在预先建立的数据库中确定与组合后的图像序列对应的操作对象，并在所述终端的图形层上输出确定的操作对象。
8.根据权利要求4-7任一所述的方法，其特征在于，与所述组合后的操作数据流对应的操作对象包括:图像、图形、音效或动画中的一种或多种。
9.一种终端，其特征在于，包括: 初始化处理模块，用于与至少一个其他终端建立音视频数据通信通道和共享数据通信通道，并在所述终端的显示屏上初始化视频层和图形层，所述终端的显示屏上图形层透明且覆盖在视频层上方； 视频层处理模块，用于通过所述终端的所述视频层显示经所述音视频数据通信通道传输的音视频数据； 操作数据流获取模块，用于采集经所述终端的图形层输入的第一操作数据流，经所述共享数据通信通道将所述第一操作数据流发送到所述其他终端；以及经所述共享数据通信通道接收所述其他终端发送的第二操作数据流； 图形层处理模块，用于在所述终端的图形层上响应所述第一操作数据流和所述第二操作数据流，以在所述终端的图形层上输出与所述第一操作数据流和所述第二操作数据流对应的操作对象。
10.根据权利要求9所述的终端，其特征在于， 所述图形层处理模块，具体用于根据所述终端的图形层的分辨率属性，对所述第一操作数据流和所述第二操作数据流对应的操作对象进行自适应调整，并在所述终端的图形层上输出自适应调整后的操作对象。
11.根据权利要求10所述的终端，其特征在于，与所述第一操作数据流和所述第二操作数据流对应的操作对象包括:图像、图形或动画中的一种或多种。
12.根据权利要求9所述的终端，其特征在于， 所述第一操作数据流包括:经所述终端的图形层捕获并用于显示的操作数据流；所述第二操作数据流包括:所述终端接收到的、经所述其他终端的图形层捕获的并发送给所述终端的操作数据流； 所述图形层处理模块，具体用于根据所述终端捕获到所述第一操作数据流的时间、以及所述终端接收到所述第二操作数据流的时间的先后顺序，组合所述第一操作数据流和所述第二操作数据流，在所述终端的所述图形层上响应组合后的操作数据流，以在所述图形层上输出与所述组合后的操作数据流对应的操作对象。
13.根据权利要求12所述的终端，其特征在于， 所述第一操作数据流包括:经所述终端的图形层捕获的第一操作轨迹序列； 所述第二操作数据流包括:所述终端接收到的、经所述其他终端的图形层捕获的并发送给所述终端的第二操作轨迹序列； 所述图形层处理模块，具体用于根据所述终端捕获到所述第一操作轨迹序列的时间、以及所述终端接收到所述第二操作轨迹序列的时间先后顺序，组合所述第一操作轨迹序列和所述第二操作轨迹序列，并在所述图形层上输出与所述组合后的操作轨迹序列对应的操作对象。
14.根据权利要求12所述的终端，其特征在于， 所述第一操作数据流包括:`经所述终端的图形层捕获的第一语音序列； 所述第二操作数据流包括:所述终端接收到的、经所述其他终端的图形层捕获的并发送给所述终端的第二语音序列； 所述图形层处理模块，具体用于根据所述终端捕获到所述第一语音序列的时间、以及所述终端接收到所述第二语音序列的时间先后顺序，组合所述第一语音序列和所述第二语音序列，在预先建立的数据库中确定与组合后的语音序列对应的操作对象，并在所述终端的图形层上输出确定的操作对象。
15.根据权利要求12所述的终端，其特征在于， 所述第一操作数据流包括:经所述终端的图形层捕获的第一图像序列； 所述第二操作数据流包括:所述终端接收到的、经所述其他终端的图形层捕获的并发送给所述任一终端的第二图像序列； 所述图形层处理模块，具体用于根据所述终端捕获到所述第一图像序列的时间、以及所述终端接收到所述第二图像序列的时间先后顺序，组合所述第一图像序列和所述第二图像序列，在预先建立的数据库中确定与组合后的图像序列对应的操作对象，并在所述终端的图形层上输出确定的操作对象。
16.根据权利要求12-15任一所述的终端，其特征在于，与所述组合后的操作数据流对应的操作对象包括:图像、图形、音效或动画中的一种或多种。
17.一种可视通话系统，其特征在于，包括:建立可视通话连接的多个终端，任一终端为如权利要求9-16任一所述的终端。
【文档编号】H04N7/15GK103517029SQ201210213250
【公开日】2014年1月15日 申请日期:2012年6月26日 优先权日:2012年6月26日
【发明者】亢治, 张凯 申请人:华为技术有限公司