为Web实时通信(WebRTC)交互流提供智能管理的方法和系统的制作方法
【专利说明】为Web实时通信(WebRTC)交互流提供智能管理的方法和系统
技术领域
[0001]本公开的技术概括而言涉及Web实时通信(Web Real-Time Communicat1ns,WebRTC)交互流。
【背景技术】
[0002]Web实时通信(WebRTC)是正在进行的开发用于将实时通信功能集成到诸如web浏览器之类的web客户端中以使能与其他web客户端的直接交互的努力。这个实时通信功能可由web开发者经由诸如超文本标记语言的版本5 (HTML5)提供的那些之类的标准标记标签和诸如JavaScript API之类的客户端侧脚本处理应用编程接口(API)来访问。关于WebRTC 的更多信息可在 Alan B.Johnston 和 Daniel C.Burnett 所著的“WebRTC: APIs andRTCffEB Protocols of the HTML5Real_Time Web，，第 2 版(2013Digital Codex LLC)中找至IJ，这里通过引用将该文献全部并入。
[0003]WebRTC提供了内置的能力用于在点对点交互式会话和多方交互式会话中建立实时视频、音频和/或数据流。WebRTC标准当前正由万维网联盟(W3C)和互联网工程任务组(IETF)联合开发。关于WebRTC标准的当前状态的信息可在例如http://www.w3c.0rg和http://www.1etf.0rg 找至丨J0
[0004]为了建立WebRTC交互流(例如，实时视频、音频和/或数据交换)，两个WebRTC客户端从web应用服务器取回使能了 WebRTC的web应用，例如HTML5/JavaScript web应用。通过这些web应用，两个WebRTC客户端随后参与用于发起对等连接的对话，WebRTC交互流将通过该对等连接。这个发起对话可包括用于传达定义WebRTC交互流的特性的参数并就这些参数达成协议的媒体协商。一旦发起对话完成，WebRTC客户端随后就可以与彼此建立直接对等连接，并且可以开始传输实时通信的媒体和/或数据封包的交换。WebRTC客户端之间的对等连接通常使用安全实时传输协议(Secure Real-time Transport Protocol,SRTP)来传输实时媒体流，并且可利用各种其他协议来进行实时数据交换。虽然WebRTC客户端之间的直接对等连接是典型的，但可以使用其他拓扑，例如包括共同的媒体服务器的那些拓扑，其中每个WebRTC客户端直接连接到该媒体服务器。
[0005]提供WebRTC功能的典型WebRTC客户端(例如，使能了 WebRTC的web浏览器)已演进为主要支持文本和数据驱动的交互。这样，现有的WebRTC客户端的响应于诸如拖放输入之类的用户输入手势的行为在WebRTC交互流的情境中可能没有被明确地定义。在多个用户参与WebRTC交互式会话和/或WebRTC客户端的多个实例同时活动时尤其如此。
【发明内容】
[0006]详细描述中公开的实施例提供了对于Web实时通信(WebRTC)交互流的智能管理。也公开了有关方法、系统和计算机可读介质。在此，在一个实施例中，提供了一种用于智能地管理WebRTC交互流的系统。该系统包括至少一个通信接口，和与该至少一个通信接口相关联的计算设备。计算设备包括WebRTC客户端，该WebRTC客户端被配置为接收针对与一个或多个WebRTC用户相对应的一个或多个视觉表示的用户输入手势。WebRTC客户端还被配置为基于WebRTC客户端的当前状态来为WebRTC客户端确定情境。WebRTC客户端还被配置为获得与一个或多个WebRTC用户相关联的一个或多个身份属性。WebRTC客户端还被配置为基于情境、用户输入手势和一个或多个身份属性来提供包括该一个或多个WebRTC用户的一个或多个WebRTC交互流。
[0007]在另一实施例中，提供了一种用于智能地管理WebRTC交互流的方法。该方法包括由在计算设备上执行的WebRTC客户端接收针对与一个或多个WebRTC用户相对应的一个或多个视觉表示的用户输入手势。该方法还包括由WebRTC客户端基于WebRTC客户端的当前状态来为WebRTC客户端确定情境。该方法还包括获得与一个或多个WebRTC用户相关联的一个或多个身份属性。该方法还包括基于情境、用户输入手势和一个或多个身份属性来提供包括一个或多个WebRTC用户的一个或多个WebRTC交互流。
[0008]在另一实施例中，提供了一种非暂态计算机可读介质，其上存储有计算机可执行指令来使得处理器实现一种用于智能地管理WebRTC交互流的方法。由计算机可执行指令实现的该方法包括接收针对与一个或多个WebRTC用户相对应的一个或多个视觉表示的用户输入手势。由计算机可执行指令实现的该方法还包括基于WebRTC客户端的当前状态来为WebRTC客户端确定情境。由计算机可执行指令实现的该方法还包括获得与一个或多个WebRTC用户相关联的一个或多个身份属性。由计算机可执行指令实现的该方法还包括基于情境、用户输入手势和一个或多个身份属性来提供包括一个或多个WebRTC用户的一个或多个WebRTC交互流。
【附图说明】
[0009]结合在本说明书中并形成本说明书的一部分的附图图示了本公开的若干个方面，并且与描述一起帮助说明本公开的原理。
[0010]图1是示出包括用于智能地管理WebRTC交互流的Web实时通信(WebRTC)客户端的示范性交互式通信系统的概念图；
[0011]图2是示出图1的WebRTC客户端对WebRTC交互流的智能管理的示范性操作的流程图；
[0012]图3A和3B是示出利用拖放用户输入手势将图1的WebRTC客户端的第一实例中的WebRTC交互式会话的参与者添加到WebRTC客户端的第二实例中的现有WebRTC交互式会话中的图；
[0013]图4是示出利用拖放用户输入手势将图1的WebRTC客户端的第一实例中的WebRTC交互式会话的参与者添加到WebRTC客户端的第二实例中的现有WebRTC交互式会话中的示范性操作的流程图；
[0014]图5A和5B是示出利用拖放用户输入手势将图1的WebRTC客户端的第一实例中的WebRTC交互式会话的参与者添加到WebRTC客户端的第二实例中的新WebRTC交互式会话中的图；
[0015]图6是示出利用拖放用户输入手势将图1的WebRTC客户端的第一实例中的WebRTC交互式会话的参与者添加到WebRTC客户端的第二实例中的新WebRTC交互式会话中的示范性操作的流程图；
[0016]图7A和7B是示出用户的利用与未参与活动WebRTC交换的应用相关联的视觉表示将该用户添加到图1的WebRTC客户端的实例中的WebRTC交互式会话中的图；
[0017]图8是示出利用用户的与未参与活动WebRTC交换的应用相关联的视觉表示将该用户添加到图1的WebRTC客户端的实例中的WebRTC交互式会话中的示范性操作的流程图；
[0018]图9A和9B是示出利用与未参与活动WebRTC交换的应用相关联的用户的视觉表示将该用户添加到图1的WebRTC客户端的实例中的新WebRTC交互式会话中的图；
[0019]图10是示出利用与未参与活动WebRTC交换的应用相关联的用户的视觉表示将该用户添加到图1的WebRTC客户端的实例中的新WebRTC交互式会话中的示范性操作的流程图；并且
[0020]图11是可包括图1的WebRTC客户端的示范性的基于处理器的系统的框图。
【具体实施方式】
[0021]现在参考附图，描述本公开的若干个示范性实施例。“示范性”一词在本文中用来指“充当示例、实例或例示”。本文描述为“示范性”的任何实施例不一定要被解释为与其他实施例相比更优选或有利。
[0022]详细描述中公开的实施例提供了对于Web实时通信(WebRTC)交互流的智能管理。也公开了有关方法、系统和计算机可读介质。在此，在一个实施例中，提供了一种用于智能地管理WebRTC交互流的系统。该系统包括至少一个通信接口，和与该至少一个通信接口相关联的计算设备。计算设备包括WebRTC客户端，该WebRTC客户端被配置为接收针对与一个或多个WebRTC用户相对应的一个或多个视觉表示的用户输入手势。WebRTC客户端还被配置为基于WebRTC客户端的当前状态为WebRTC客户端确定情境。WebRTC客户端还被配置为与一个或多个WebRTC用户相关联的一个或多个身份属性。WebRTC客户端还被配置为基于情境、用户输入手势和一个或多个身份属性来提供包括该一个或多个WebRTC用户的一个或多个WebRTC交互流。
[0023]图1示出了包括用于如本文公开那样智能地管理WebRTC交互流的示范性WebRTC交互式系统10。具体地，示范性WebRTC交互式系统10包括用于建立WebRTC交互流和提供对WebRTC交互流的智能管理的WebRTC客户端12。当在本文中使用时，"WebRTC交互式会话”指的是用于建立对等连接或其他连接拓扑并且在两个或更多个端点之间开始WebRTC交互流的操作。本文公开的“WebRTC交互流”指的是根据WebRTC标准和协议在两个或更多个端点之间传递的交互式媒体流和/或交互式数据流。作为非限制性示例，构成WebRTC交互流的交互式媒体流可包括实时音频流和/或实时视频流，或者其他实时的媒体或数据流。构成WebRTC交互流的数据和/或媒体在本文中可统称为“内容”。
[0024]在论述WebRTC客户端12的细节之前，首先描述图1的WebRTC交互式系统10中的WebRTC交互流的建立。在图1中，第一计算设备14执行第一 WebRTC客户端12，并且第二计算设备16执行第二 WebRTC客户端18。要理解，计算设备14和16可以都位于同一公共或私有网络内，或者可位于分开的、在通信上耦合的公共或私有网络内。图1的WebRTC交互式系统10的一些实施例可规定计算设备14和16中的每一个可以是具有网络通信能力的任何计算设备，例如智能电话、平板计算机、专用web设备、媒体服务器、桌面型或服务器计算机或者特制的通信设备，以上这些是非限制性示例。计算设备14和16分别包括通信接口 20和22，用于将计算设备14和16连接到一个或多个公共和/或私有网络。在一些实施例中，计算设备14和16的元件可分布在多于一个计算设备14和16上。
[0025]WebRTC客户端12和18在此示例中可以各自是web浏览器应用和/或专用的通信应用，上述这些是非限制性示例。WebRTC客户端12包括脚本处理引擎24和WebRTC功能提供者26。类似地，WebRTC客户端18包括脚本处理引擎28和WebRTC功能提供者30。脚本处理引擎24和28使得以诸如JavaScript之类的脚本处理语言编写的客户端侧应用能够分别在WebRTC客户端12和18内执行。脚本处理引擎24和28还提供应用编程接口(API)以促进与WebRTC客户端12和/或18内的其他功能提供者、与计算设备14和/或16和/或与其他web客户端、用户设备或web服务器的通信。WebRTC客户端12的WebRTC功能提供者26和WebRTC客户端18的WebRTC功能提供者30实现经由WebRTC使能实时交互流所必要的协议、编解码器和API。脚本处理引擎2