集成音频和视频会议能力的制作方法
【专利摘要】一种集成音频和视频会议能力。提供用于向单纯音频通信会话添加视频的系统、方法和计算机可读存储介质。在第一装置与第二装置之间的通信会话中，第一装置接收来自用户的通信会话的音频部分。第一装置然后通过无线连接接收来自第三装置的通信会话的视频部分。第一装置使通信会话的音频部分与通信会话的视频部分同步化，以产生通信会话的同步化的音频和视频部分。然后，第一装置将通信会话的同步化的音频和视频部分发送到第二装置。
【专利说明】集成音频和视频会议能力
【技术领域】
[0001]本公开涉及视频会议，特别是涉及集成音频和视频会议能力。
【背景技术】
[0002]大多数的视频会议系统是“一体化”装置。这些系统常常需要诸如麦克风、扬声器、监视器和照相机的各种部件之间的有线连接。在某些情况下，诸如无线HDMI和无线USB的近年的无线技术允许这些部件中的一些被无线连接。但是，这些无线连接一般固定于无线连接的部件之间，并因此限制可动性。并且，由于诸如计算机和电话的大多数的装置一般不具有内置的无线HDMI或无线USB能力，因此它们需要硬件“软件狗”或适配器以提供与其它部件的无线连接性。对于用户来说，这使事情大大复杂化。
[0003]并且，当前的视频会议系统没有利用诸如WIFI Direct的其它的新型强大的无线技术以集成不同的装置或部件。并且，当前的方案无法使用无线能力以提供更大的可动性，同时允许装置在会议中无缝地集成其它的装置并自动地扩展在会议中利用的会议能力。例如，当前的方案在单纯音频会议装置进入具有无线能力的视频会议装置附近时不允许单纯音频会议装置自动地向音频会议添加视频会议。在当前的方案中，如果用户通过移动电话处于单纯音频呼叫上并且用户希望添加超出移动电话能力的高质量视频，那么用户必须在另一装置上手动迁移或重新建立整个呼叫。
【发明内容】
[0004]在以下的说明书中阐述并且部分地从说明书理解或者可通过这里公开的原理的实际掌握本公开的附加的特征和优点。可通过特别地在所附的权利要求中指出的仪器和组合实现和获得本公开的特征和优点。公开的这些和其它特征从以下的描述和所附的权利要求将变得更加明显，或者可通过这里阐述的原理的实际被掌握。
[0005]这里阐述的方法可被用于无线集成会议系统中的不同的装置和部件。通过使用强大的无线能力，这些方法在会议中向用户提供很大的可动性，并且允许会议装置在会议中无缝地集成其它的装置并自动扩展在会议中利用的会议能力。例如，通过单纯音频电话参与单纯音频会议的用户可通过与具有视频能力的附近装置无线连接自动向会议添加高质量视频。如果用户希望移动到不同的位置，她可自动地向具有视频能力的另外的附近装置无线传送会议的视频部分。另一方面，如果用户不希望移动到不同的位置而只希望向具有更好的视频能力的不同的装置传送会议的视频部分，那么她可在不传送或重新建立整个电话的情况下通过无线连接自动完成这一点。
[0006]公开用于集成音频和视频会议能力的系统、方法和非暂时性计算机可读存储介质。在第一装置与第二装置之间的通信会话中，第一装置接收来自用户的通信会话的音频部分。第一装置然后通过无线连接接收来自第三装置的通信会话的视频部分。第一装置可建立通信会话作为单纯音频通信会话并随后向第三装置发送消息以初始化视频输入和输出以建立用于通信会话的视频能力。通信会话的视频部分可包含由诸如内部照相机或外部照相机的与第三装置相关的照相机捕获的压缩视频帧。第三装置可以是具有无线能力的任何装置。例如，第三装置可以是向第一装置传送从照相机装置捕获的视频帧的无线会议网关。第三装置还可包含视频编码器/解码器、照相机、无线接口和/或视频输出。例如，无线连接可以是装置之间的直接无线连接。例如，直接无线连接可基于802.11标准。这里，装置可通过使用诸如WIFI Direct的无线标准直接相互连接。并且，装置可完成无线配对以允许装置无缝地相互通信。
[0007]然后，第一装置使通信会话的音频部分与通信会话的视频部分同步化，以产生通信会话的同步化的音频和视频部分。为了使通信会话的音频和视频部分同步化，第一装置可通过来自通信会话的音频部分的音频设定通信会话的视频部分上的唇音同步化属性。然后，第一装置向第二装置发送通信会话的同步化的音频和视频部分。如果第一装置从第二装置接收与通信会话相关的视频和/或音频帧，那么第一装置可检查视频帧上的唇音同步化属性，并且，在至少部分地基于唇音同步化属性的时间，向第三装置发送视频帧以将其解码并在第三装置上显示。因此，第三装置可显示从第二装置接收的视频帧，同时第一装置输出从第二装置接收的相应的音频帧。
[0008]可通过周期性地同步化多个装置之间的时钟实现唇音同步化。通过使用公知的算法，一个装置可用作主机，其它的装置可用作从属机，这里，主机和从属机交换网络消息以使它们的时钟同步化。因此，例如，第一装置和第三装置可针对唇音同步化周期性地使它们的时钟同步化。通过使用公知的算法，第一装置或第三装置可用作主机装置，而其它的装置可用作从属装置。然后，为了基于唇音同步化属性执行唇音同步化，主机装置(例如，第一装置)和从属装置(例如，第三装置)可交换网络消息以使它们的时钟同步化。
[0009]除了第三装置以外，第一装置还可从其它装置接收通信会话的附加部分。例如，如果第一装置的用户希望移动到超出第三装置的无线范围的位置，或者，如果用户只希望在不同的显示装置上显示通信会话的视频，那么用户可通过无线连接第一装置与具有无线能力的第四装置完成这一点。这里，第一装置可从第四装置接收通信会话的第二部分，使通信会话的第二视频部分与通信会话的相应的音频部分同步化，并且将通信会话的同步化的音频和视频部分发送给第二装置。第一装置可在第一装置检测到第三和/或第四装置处于系统的无线范围内时与第三和/或第四装置无线连接。例如，第一装置还可与其它的无线装置连接以在用户移动到不同的位置时接收视频部分或者提示第一装置建立连接。
【专利附图】
【附图说明】
[0010]图1示出示例性系统实施例；
[0011]图2示出用于无线集成音频和视频会议能力的示例性系统；
[0012]图3示出被连接以形成单个视频会议端点的多个无线装置的例子；
[0013]图4示出用于向桌面电话添加多方视频会议的示例性机制；
[0014]图5示出用于向音频会议添加视频的示例性无线会议盒；
[0015]图6示出示例性方法实施例。
【具体实施方式】
[0016]以下详细描述公开的各种实施例。虽然描述特定的实现，但应理解，这样做仅是出于解释的目的。在不背离公开的精神和范围的情况下，可使用其它的部件和构成。
[0017]本公开针对无线集成音频和视频会议能力。公开集成音频和视频会议能力的系统、方法和计算机可读介质。这里公开可用于实施这些概念的图1中的基本通用系统或计算装置的简要引导性描述。然后提供无线集成音频和视频会议能力的更详细的描述和变更。当阐述各种实施例时，应在这里描述这些变更。本发明现在转到图1。
[0018]参照图1，示例性系统包括通用计算装置100，该计算装置100包含处理单元(CPU或处理器)120和将包含诸如只读存储器(ROM) 140和随机存取存储器(RAM) 150的系统存储器130的各种系统部件耦合到处理器120的系统总线110。计算装置100可包含直接连接、接近处理器120或者一体化为其一部分的高速存储器的高速缓存122。计算装置100将数据从存储器130和/或存储装置160复制到高速缓存122，以供处理器120的迅速访问。以这种方式，高速缓存提供性能提升，这避免处理器120由于等待数据而延迟。这些和其它模块可控制或者被配置为控制处理器120以执行各种行动。其它的系统存储器130也可能是可用的。存储器130可包含具有不同的性能特性的多种不同类型的存储器。可以理解，公开可在具有多于一个处理器120的计算装置100上或者在连接在一起以提供更大的处理能力的一组或一群计算装置上操作。处理器120可包含被配置为控制处理器120以及将软件指令加入到实际的处理器设计中的特定用途处理器的任何通用的处理器和硬件模块或软件模块，诸如模块1162、部件2164和模块3166。处理器120可基本上是包含多个芯或处理器、总线、存储器控制器、高速缓存等的完全自含的计算系统。多芯处理器可以是对称的或不对称的。
[0019]系统总线110可以是包含存储器总线或存储器控制器、外设总线和使用各种总线结构中的任一种的本地总线的几种类型的总线结构中的任一种。存储于R0M140等中的基本输入/输出(BIOS)可诸如在启动时提供帮助在计算装置100内的要素之间传送信息的基本例程。计算装置100还可包含诸如硬盘驱动器、磁盘驱动器、光盘驱动器或带驱动器等的存储装置160。存储装置160可包含用于控制处理器120的软件模块162、164、166。设想其它的硬件或软件模块。存储装置160通过驱动器接口与系统总线110连接。驱动器和相关的计算机可读存储介质提供计算机可读指令、数据结构、程序模块和用于计算装置100的其它数据的非易失性存储。在一个方面中，执行特定功能的硬件模块包含与诸如处理器120、总线110和显示器170等的必要的硬件部件关联地存储于有形计算机可读存储介质中以实施功能的软件部件。在另一方面中，系统可使用处理器和计算机可读存储介质，以存储当被处理器执行时使得处理器执行方法或其它特定行动的指令。根据装置的类型，诸如计算装置100是小型、手持计算装置、桌面计算机还是计算机服务器，设想基本部件和相应的变更。
[0020]虽然这里描述的示例性实施例使用硬盘160，但是，在示例性操作环境中，也可使用可存储可通过计算机访问的数据的其它类型的计算机可读介质，诸如磁盒、快擦写存储卡、数字万用盘、编码磁带、随机存取存储器(RAM) 150、只读存储器(ROM) 140和包含位流的电缆或无线信号等。有形计算机可读存储介质明确排除诸如能量、载波信号、电磁波和信号本身的介质。
[0021]为了实现与计算装置100的用户交互作用，输入装置190代表任意数量的输入机构，诸如用于语音的麦克风、用于手势或图形输入的触摸敏感屏、键盘、鼠标、移动输入和语音等。输出装置170也可以是本领域技术人员已知的大量的输出机构中的一个或多个。在一些情况下，多模式系统使得用户能够提供多种类型的输入以与计算装置100通信。通信接口 180—般掌控和管理用户输入和系统输出。对于任何特定的硬件配置上的操作没有限制，因此，可很容易地通过改进的硬件或开发的固件配置替代这里的基本特征。
[0022]为了简化解释，解释性的系统实施例被示为包括各单个功能块，包含标为“处理器”或处理器120的功能块。可通过使用共享或专用的硬件提供这些块所代表的功能，这些硬件包含但不限于能够执行软件和硬件的硬件，诸如专门构建以作为在通用处理器上执行的软件的等同物操作的处理器120。例如，在图1中代表的一个或多个处理器的功能可由单个共享处理器或多个处理器提供。(术语“处理器”的使用不应被解释为排他性地指的是能够执行软件的硬件)。解释性的实施例可包含微处理器和/或数字信号处理器(DSP)硬件、用于存储执行以下描述的操作的软件的只读存储器(ROM) 140和用于存储结果的随机存取存储器(RAM) 150。也可提供超大规模集成(VLSI)硬件实施例以及与通用DSP电路组合的定制VLSI电路。
[0023]各种实施例的逻辑操作实现为:(I)在通用计算机内的可编程电路上运行的一系列的计算机实现的步骤、操作或过程；(2)在特定用途可编程电路上运行的一系列的计算机实现的步骤、操作或过程；(3)可编程电路内的互连机器模块或程序引擎。图1所示的计算装置100可实现陈述的方法的全部或一部分，可以是陈述的系统的一部分，并且/或者可根据陈述的有形计算机可读存储介质中的指令操作。这些逻辑操作可实现为模块，这些模块被配置为根据模块的编程控制处理器120以执行特定的功能。例如，图1示出三个模块Modll62、Mod2164和Mod3166，这些模块是被配置为控制处理器120的模块。这些模块可存储于存储装置160上并在运行时间被加载到RAM150或存储器130中，或者可存储于其它的计算机可读存储器位置中。
[0024]已公开计算系统的一些部件，公开现在转到图2，该图2示出用于无线集成音频和视频会议能力的示例性系统200。这里，用户202可通过使用电话204A开始与用户206的音频呼叫。在一些实施例中，用户202可另外通过使用诸如便携式电脑、便携式媒体播放器、IP电视、会议系统、平板计算机、媒体装置、电子阅读器等的具有联网能力的任何其它装置开始与用户206的音频呼叫。在图2中，电话204A通过网络212与由远程用户206使用的媒体装置208连接。网络212可包含诸如因特网的公共网络，但也可包含诸如内联网、家庭网络、虚拟私人网络(VPN)、单独实体之间的共享协作网络等的私人或准私人网络。事实上，在这里阐述的原理适用于许多类型的网络，诸如局域网络(LAN)、虚拟LAN (VLAN)、公司网络、广域网络和几乎任何其它形式的网络。媒体装置208可以是具有联网能力的任何装置，诸如便携式电脑、便携式媒体播放器、IP电视、会议系统、平板计算机、媒体装置和电子阅读器等。
[0025]如果用户202决定向呼叫添加视频，那么她可通过显示装置204B和无线会议网关204C这样做，而不必转移或重新建立整个呼叫。这里，用户202可使用显示装置204B，以显示由远程用户206从媒体装置208作为呼叫的视频部分发送的视频帧。用户202还可使用无线会议网关204C以捕获视频帧并将视频帧作为呼叫的视频部分发送给远程用户206。用户202可在建立呼叫之前或在呼叫中的任意点上向呼叫添加视频。一旦用户202向呼叫添加视频，她就可随后改变哪些装置在呼叫中的任意点上捕获、显示和管理呼叫的视频部分。[0026]为了向呼叫添加视频，电话204A可在呼叫之前或者呼叫中与提供视频会议能力的无线会议网关204C无线连接。电话204A和无线会议网关204C可相互直接无线连接。这里，显示装置204B和/或无线会议网关204C不必与网络212连接，原因是它们可例如在WiFi上直接与电话204A通信。电话204A和无线会议网关204C当处于无线范围中时可自动地相互直接无线连接。例如，电话204A和无线会议网关204C可通过基于诸如WIFIDirect的802.11标准的无线连接自动建立直接无线连接。并且，电话204A和无线会议网关204C可基于预先配置的设定和/或来自用户202的输入自动连接。并且，当电话204A检测到无线会议网关204C处于无线范围中时，电话204A可向用户202呈现诸如音频提示的提示，该提示请求允许与无线会议网关204C连接。响应提示，当用户准许电话204A与无线会议网关204C连接时，电话204A可然后与无线会议网关204C连接。作为替代方案，电话204A当检测到无线会议网关204C处于无线范围中时可自动地与无线会议网关204C连接，而不向用户202呈现提示。在一个实施例中，电话204A和无线会议网关204C建立应用级WIFI Direct连接，并且在标准IP连接上直接通信。电话204A和无线会议网关204C可通过使用标准WIFI协议“看到”彼此。并且，电话204A和无线会议网关204C可包含WIFIDirect服务应用，它们可使用该WIFI Direct服务应用以交换信息，诸如关于安全、视频数据编解码、帧率、分辨率、硬件能力、软件能力等的信息。
[0027]无线会议网关204C可向电话204A发送由无线会议网关204C上的照相机捕获的视频帧，该电话204A可然后作为呼叫的视频部分的一部分传送到媒体装置208。在一些实施例中，无线会议网关204C可具有内置的照相机，该照相机捕获发送到电话204A的视频帧。在其它的实施例中，照相机是与无线会议网关204C分开的装置。这里，无线会议网关204C从照相机接收视频帧，并且将视频帧中转给电话204A。无线会议网关204C可压缩和编码视频帧，并将视频帧发送到电话204A，以供传送到远程用户206。电话204A可然后向视频帧附加网络标题，用来自用户202的音频设定唇音同步化属性，并且将视频帧发送到远程用户206。
[0028]无线会议网关204C还接收由电话204A发送并源自由远程用户206使用的媒体装置208的视频帧，并且，将视频帧转送到显示器204B以供显示。电话204A可使视频帧与来自音频帧的音频同步化，并且，在适当的时间将视频帧发送给无线会议网关204C以将其解码和在显示器204B上显示。无线会议网关204C包含视频解码器/编码器和视频输出，以允许来自远程用户206的视频帧被输出到显示器。
[0029]图3示出被连接以形成单个视频会议端点300的多个无线装置的例子。单个视频会议端点300包含移动电话302、无线会议盒304和显示器306。移动电话302和无线会议盒304在基于诸如WIFI Direct的802.11标准的直接无线连接上通信。并且，无线会议盒304和显示器306可通过使用诸如HDM1、VGA、DV1、S-Video、无线HDM1、WIFI等的适于传送视频数据的任何机构和/或接口通信。
[0030]在图3中，移动电话302从会议呼叫中的远程方接收音频和视频媒体，通过移动电话302上的扬声器输出音频，并且将视频帧中转给无线会议盒304。移动电话302检查视频帧上的唇音同步化属性以确定什么时候向无线会议盒304发送视频帧，因此，视频帧可被及时解码并在显示器306上被显示。特别地，移动电话302通过诸如因特网、无线网络、企业网络、LAN、WAN等的网络从远程方接收音频和视频媒体。移动电话302可然后在诸如WIFI Direct的直接无线连接上将视频帧发送到无线会议盒304。无线会议盒304从移动电话302接收视频帧，将视频帧解码，并且将解码的视频帧传送到显示器306以供在显示器306上呈现。
[0031]无线会议盒304包含用于捕获视频的照相机，该视频要被传送到会议呼叫中的远程方。并且，无线会议盒304将来自照相机的压缩的视频帧发送到移动电话302。无线会议盒304可根据诸如H.264的适当的视频压缩标准将视频帧编码。移动电话302从无线会议盒304接收视频帧，使视频帧与来自用户的音频同步化，并将同步化的视频和音频媒体发送到会议呼叫中的远程方。在一个实施例中，移动电话302从无线会议盒304接收视频帧，附加网络标题，用来自用户的音频设定唇音同步化属性，并将视频帧发送到会议呼叫中的远程方。
[0032]虽然图3中的视频会议端点300包含移动电话302、无线会议盒304和显示器306，但本领域技术人员可以理解，视频会议端点300可包含其它的装置。例如，视频会议端点300可包含附加的无线会议盒和/或显示器，以允许用户在必要时基于用户的位置和/或视频要求将视频从会议呼叫传送到其它的装置。
[0033]图4示出用于向桌面电话添加多方视频会议的示例性机制。桌面电话402可与无线会议盒404连接以向音频呼叫添加视频，而不传送或重新建立整个呼叫。桌面电话402从远程方接收视频并将视频发送到无线会议盒404。例如，桌面电话402还可从多方视频会议中的网络网关接收一个或多个包流(例如，视频流和/或音频流)。无线会议盒404与显示器406连接，以显示来自远程方的视频。显示器406可通过各方分割视频的呈现，使得在显示器的不同部分上显示来自远程方的视频。在一些实施例中，无线会议盒404与多个显示器连接，并且，在不同的显示器上显示来自各远程方的视频。无线会议盒404还包含用于捕获视频的照相机。无线会议盒404向桌面电话402发送捕获的视频，因此，桌面电话402可然后向远程方发送捕获的视频作为视频会议的一部分。桌面电话402、无线会议盒404和显示器406 —起形成用于多方视频会议的单个视频会议端点400。
[0034]在向桌面电话402发送捕获的视频之前，无线会议盒404可根据诸如H.264的适当的视频压缩标准将视频编码。桌面电话402可使来自无线会议盒404的视频与从用户接收的音频同步化，并将同步化的媒体发送到远程方。在一个实施例中，桌面电话402从无线会议盒404接收压缩的视频，添加网络标题，用来自用户的音频设定唇音同步化属性，并将视频发送到会议呼叫中的远程方。当从远程方接收视频时，桌面电话402可检查唇音同步化属性以确定什么时候向无线会议盒404发送视频以供在显示器406上呈现以及什么时候输出从远程方接收的相应的音频。
[0035]桌面电话402和无线会议盒404直接通过无线连接。无线连接可以是基于诸如WIFI Direct的802.11标准的直接无线连接。并且，桌面电话402和无线会议盒404可通过使用标准WIFI协议“看到”彼此。这允许桌面电话402和无线会议盒404在两个装置处于无线范围中时自动相互连接，这使得桌面电话402能够无缝地向音频会议添加视频。另夕卜，桌面电话402和无线会议盒404可包含用于交换诸如关于安全、视频数据编解码、帧率、分辨率、能力等的信息的信息的WIFI Direct服务应用。这有利于桌面电话402与无线会议盒404之间的无缝连接以及视频在视频会议中的集成。
[0036]在一个实施例中，当桌面电话402检测到无线会议盒404时，它询问桌面电话402的用户是否愿意为了向音频会议添加视频与无线会议盒404连接。如果用户接受，那么桌面电话402和无线会议盒404建立应用级WIFI Direct连接。桌面电话402和无线会议盒404可在标准IP连接上直接通信。桌面电话402然后向远程方通知由无线会议盒404和显示器406提供的新的视频能力。如果远程方响应它们自身的视频能力，那么桌面电话402可通过向无线会议盒404发送消息以初始化视频入/出初始化视频。无线会议盒404可然后将来自照相机的压缩视频帧发送到桌面电话402。桌面电话402接收压缩的视频帧，附加网络标题，用来自用户的音频设定唇音同步化属性，并且将视频帧发送到远程方。并且，当桌面电话402从远程方接收视频帧时，它检查唇音同步化属性，并且，在适当的时间，向无线会议盒404发送视频帧以将其解码并在显示器406上显示。当在显示器406上显示视频帧时，桌面电话402可输出相应的音频，使得以同步化的方式呈现视频帧和相应的音频。
[0037]图5示出用于向音频会议添加视频的示例性的无线会议盒500。无线会议盒500可与电话或任何其它能够支持音频IP上音频呼叫(例如，VoLTE、VoIP、无线LAN等)的装置连接，以向电话添加视频会议能力并且/或者向无线会议盒500传送视频会议功能。无线会议盒500包含用于与其它装置无线通信的无线网络接口卡504。无线会议盒500可使用无线网络接口卡504以直接在无线上与电话或任何其它音频会议装置连接。直接无线连接可基于诸如WIFI Direct的802.11标准。并且，无线会议盒500可通过使用标准WIFI协议检测其它无线装置并且/或者被其检测。无线会议盒500还可包含WIFI Direct服务应用以无线发送和/或接收诸如关于安全、视频数据编解码、帧率、分辨率、能力等的信息的信息。
[0038]无线会议盒500包含内置的用于捕获视频的照相机502。在一些实施例中，无线会议盒500不包含内置的照相机，但是与单独的外部照相机连接。并且，无线会议盒500可包含用于编码和解码视频帧的板上芯片506。但是，在一些实施例中，例如，如果使用具有其自身的编码器的外部照相机，那么板上芯片506可以不是必要的。这里，当无线会议盒500与具有其自身的编码器的外部照相机一起使用时，无线会议盒500可以不包含板上芯片506。在一些实施例中，板上芯片506可支持H.264多流编码和解码。并且，无线会议盒500可包含诸如HDMI和VGA的视频接口 510，以与诸如监视器或电视的显示装置连接。并且，无线会议盒500可包含通用串行总线(USB)接口 508以连接诸如数字照相机、网络适配器、麦克风、扬声器、网络摄像头、媒体播放器、盘驱动器、快擦写驱动器、输入装置、打印机、计算机外设等的其它装置并向其供给电力。
[0039]无线会议盒500还可通过使用不同的无线协议通过无线网络接口卡504与诸如显示器和照相机的其它装置连接。例如，无线会议盒500可通过使用无线HDMI与诸如电视的显示装置连接。作为另一例子，无线会议盒500可使用无线USB以连接诸如游戏控制器、打印机、扫描仪、数字照相机、媒体播放器、硬盘驱动器、快擦写驱动器、麦克风、扬声器等的其它装置连接。
[0040]已公开了一些基本系统部件和概念，公开现在转到图6所示的示例性方法实施例。为了阐明，关于被配置为实施方法的图1所示的示例性系统100描述方法。这里概括的步骤是示例性的，并且可通过它们的任意的组合被实现，这些组合包含排除、添加或修改某些步骤的组合。
[0041]在系统100与第二装置之间的通信会话中，系统100首先从用户接收通信会话的音频部分(600)。系统100然后通过无线连接从第三装置接收通信会话的视频部分(602)。为了向通信会话添加视频或者向第三装置转移通信会话的现有视频部分的视频的处理、创建和/或显示，系统100接收通信会话的视频部分。例如，通信会话可以是单纯音频通信会话，系统100可然后扩展该单纯音频通信会话以包含系统100从第三装置接收的视频。为了初始化通信会话的视频部分，系统100可向第三装置发送消息以初始化视频输入和输出以建立用于通信会话的视频能力。一旦第三装置初始化视频输入和输出，它就向系统100发送通信会话的视频部分。
[0042]通信会话的视频部分可包含由诸如内部照相机或外部照相机的与第三装置相关的照相机捕获的压缩的视频帧。第三装置可以是具有无线能力的任何装置。例如，第三装置可以是向系统100传送从照相机装置捕获的视频帧的无线会议网关。第三装置还可包含视频编码器和解码器、照相机、无线接口和/或视频输出。无线连接可以是例如装置之间的直接无线连接。例如，直接无线连接可基于802.11标准。例如，系统100和第三装置可通过使用诸如WIFI Direct的无线标准直接相互连接。并且，系统100和第三装置可进行无线配对以允许装置无缝地相互通信。
[0043]系统100可响应来自用户和/或系统100的向通信会话添加视频的请求接收通信会话的视频部分。例如，作为通信会话的一部分，系统100可响应由系统100向第三装置发送的提示第三装置捕获视频帧并且/或者将其发送到系统100的消息，接收通信会话的视频部分。系统100还可基于调度、条件、行为、偏好、配置设定、阈值、输入等接收通信会话的视频部分。并且，系统100还可在系统100和第三装置建立无线连接时自动地接收通信会话的视频部分。例如，系统100可在第三装置处于无线范围内时自动地建立无线连接。在一个实施例中，当第三装置处于无线范围中时，系统100通过WIFI Direct自动地与第三装置建立无线连接。在建立无线连接之前，系统100可提示系统100的用户启用/允许无线连接。系统100可然后在从用户接收确认/允许时建立无线连接。提示可以是音频提示、视频提示、文本提示、电子邮件、文本消息、警告、宣告、图形提示、声音、图像和/或它们的组合。例如，提示可以是建立与第三装置的无线连接的可听请求。
[0044]作为替代方案，系统100可在不提示用户启用/允许无线连接的情况下透明地建立无线连接。这里，当第三装置处于无线范围内时，当系统100检测到特定的条件和/或行为时，当系统100检测到来自第三装置的请求时，系统100可自动地建立无线连接，等等。例如，系统100可在第二装置尝试向系统100发送视频帧时自动地建立无线连接。系统100还可基于输入、调度、设定、阈值、错误、条件和预先配置的偏好等建立无线连接。例如，系统100如果检测到系统100和/或与系统100连接的显示装置的视频能力低于阈值则自动建立无线连接。
[0045]然后，系统100使通信会话的音频部分与通信会话的视频部分同步化，以产生通信会话的同步化的音频和视频部分(604)。为了使通信会话的音频部分和视频部分同步化，系统100可用来自通信会话的音频部分的音频设定通信会话的视频部分上的唇音同步化属性。然后，系统100向第二装置发送通信会话的同步化的音频和视频部分(606)。系统100在系统100与第二装置之间发送通信会话的同步化的音频和视频部分作为通信会话的一部分。如果系统100然后从第二装置接收与通信会话相关的视频和音频帧，那么系统100可检查视频帧上的唇音同步化属性，并且在至少部分地基于唇音同步化属性的时间向第三装置发送视频帧以将其解码和在第三装置上显示。这样，第三装置可显示来自第二装置的视频帧，而系统100从第二装置输出相应的音频帧，使得以同步化的方式输出视频帧和音频帧。
[0046]除了第三装置以外，系统100还可从其它的装置接收通信会话的附加部分。例如，如果系统100的用户希望移动到超出第三装置的无线范围的位置，或者，如果用户只希望在不同的显示装置上显示通信会话的视频，那么用户可通过无线连接系统100与具有无线能力的第四装置完成这一点。这里，系统100可从第四装置接收通信会话的第二部分，使通信会话的第二视频部分与通信会话的相应的音频部分同步化，并且向第二装置发送通信会话的同步化音频和视频部分。当系统100检测到第三装置和/或第四装置处于系统100的无线范围内时，系统100可无线连接第三装置和/或第四装置。例如，当用户移动到不同的位置或提示系统100建立与其它无线装置的无线连接时，系统100还可与其它的无线装置连接以接收通信会话的其它视频部分。
[0047]当系统100与其它的无线装置连接时，它可无缝地添加或转移用于通信会话的视频，而不必转移或重新建立整个通信会话。以下的非限制性的例子是解释性的。作为处于商务旅行中而离开的管理者的Bill在作为Bill的雇员之一的Andy的WIFI Direct启用智能电话上呼叫Andy。在本例子中，Bill从与WIFI Direct视频会议装置连接的WIFI Direct启用智能电话呼叫Andy,该WIFI Direct视频会议装置与照相机和监视器连接。当Andy接收呼叫时，他处于没有附近的WIFI Direct视频会议装置的休息室中。因此，Andy —开始只能参与与Bill的音频呼叫。但是，当与Bill交谈时，Andy返回到其办公室，在这里他具有与其计算机的监视器和网络摄像头连接的WIFI Direct视频会议装置。当Andy进入其办公室时，其智能电话检测到WIFI Direct视频会议装置并向Andy呈现通过WIFI Direct视频会议装置向呼叫添加视频的选项。Andy然后选择该选项以添加视频,这提示Andy的智能电话建立与WIFI Direct视频会议装置的无线连接并初始化视频输入和输出。WIFI Direct视频会议装置向呼叫添加视频，而不重新建立或转移整个呼叫。并且，WIFI Direct视频会议装置操作通向和来自Bill的智能电话的视频,而Andy的智能电话操作通向和来自Bill的智能电话的音频。
[0048]Bill然后决定他希望在呼叫中包含Cindy和Earl。Andy也决定他希望在配有更大的显示装置的更大房间内与Cindy和Earl继续会议。因此,Andy召集Cindy和Earl并步行到具有更大的空间和更大的显示装置的会议室，同时继续从智能电话与Bill交谈。由于Andy不禁用其智能电话上的视频会议选项，因此，智能电话利用WIFI Direct以发现附近的WIFI Direct视频会议装置。当Andy步行到会议室中时，其智能电话检测到会议室中的WIFI Direct视频会议装置并与WIFI Direct视频会议装置自动建立WIFI Direct连接。会议室中的WIFI Direct视频会议装置然后开始处理通向和来自Bill的智能电话的视频。会议室中的WIFI Direct视频会议装置向Andy的智能电话发送从本地照相机捕获的视频，并然后向Bill的智能电话发送视频。并且，会议室中的WIFI Direct视频会议装置可在会议室中的大型显示器上输出来自Bill的智能电话的视频，以供包括Andy、Cindy和Earl的所有人观看。Andy可选择其智能电话上的扬声器选项以通过扬声器输出来自Bill的智能电话的音频，以供Andy、Cindy和Earl接听。这样，Andy可将会议的视频部分转移到不同的装置，而不转移或重新建立整个呼叫，同时还继续参与会议的音频部分。[0049]本公开的范围内的实施例还可包含用于承载或具有存储于其上面的计算机可执行指令或数据结构的有形和/或非暂时性计算机可读存储介质。这种有形计算机可读存储介质可以是可通过通用或特定用途计算机访问的任何可用的介质，包含以上描述的任何特定用途处理器的功能设计。作为例子而不是限制，这种有形计算机可读介质可包含RAM、ROM、EEPR0M、⑶-ROM或其它的光盘存储、磁盘存储或其它的磁存储装置或可用于承载或存储计算机可执行指令、数据结构或处理芯片设计的形式的希望的程序代码手段的任何其它介质。当在网络或另一通信连接(例如，硬接线、无线或它们的组合)上向计算机转移或提供信息时，计算机适当地将连接视为计算机可读介质。因此，任何这种连接被适当地称为计算机可读介质。以上的组合也应包含于计算机可读介质的范围内。
[0050]计算机可执行指令包含例如导致通用计算机、特定用途计算机或特定用途处理装置执行某种功能或一组功能的指令和数据。计算机可执行指令还包含由独立或网络环境中的计算机执行的程序模块。一般地，程序模块包含执行特定的任务或实现特定的抽象数据类型的例程、程序、部件、数据结构、对象和特定用途处理器中的设计固有的功能等。计算机可执行指令、相关的数据结构和程序模块代表用于执行这里公开的方法的步骤的程序代码手段的例子。这种可执行指令或相关的数据结构的特定次序代表用于实现按这种步骤描述的功能的相应的操作的例子。
[0051]可在包含个人计算机、手持装置、多处理器系统、基于微处理器或可编程消费者电子器件、网络PC、迷你计算机和主机计算机等的具有许多类型的计算机系统配置的网络计算环境中实现公开的其它实施例。也可在由通过通信网络链接(通过硬接线链接、无线链接或者通过其组合)的本地和远程处理装置执行任务的分布式计算环境中实施实施例。在分布式计算环境中，程序模块可位于本地和远程存储器存储装置中。
[0052]以上描述的各种实施例仅作为解释被提供，并且不应被解释为限制本公开的范围。可对于这里描述的原理提出不遵循这里示出和描述的示例性实施例和应用且不背离公开的精神和范围的各种修改和变化。
【权利要求】
1.一种方法，包括: 在第一装置与第二装置之间的通信会话中，在第一装置上接收来自用户的通信会话的音频部分； 通过无线连接在第一装置上接收来自第三装置的通信会话的视频部分； 使通信会话的音频部分与通信会话的视频部分同步化，以产生通信会话的同步化的音频和视频部分；和 将通信会话的同步化的音频和视频部分发送到第二装置。
2.根据权利要求1的方法，还包括: 建立通信会话作为单纯音频通信会话；和 向第三装置发送消息以初始化视频输入和输出以建立用于通信会话的视频能力。
3.根据权利要求1的方法，其中，通信会话的视频部分包含由与第三装置相关的照相机捕获的压缩视频帧。
4.根据权利要求1的方法，其中，使通信会话的音频部分与通信会话的视频部分同步化包含用来自通信会话的音频部分的音频来设定通信会话的视频部分上的唇音同步化属性。
5.根据权利要求1的方法，还包括: 从第二装置接收与通信会话相关的视频帧；` 检查视频帧上的唇音同步化属性；和 在至少部分地基于唇音同步化属性时，向第三装置发送视频帧以将其解码并在第三装置上显示。
6.根据权利要求1的方法，还包括: 当第一装置处于第三装置的无线范围外时，在第一装置上接收来自第四装置的通信会话的第二视频部分； 使通信会话的第二视频部分和通信会话的相应的音频部分同步化，以产生通信会话的第二同步化音频和视频部分；和 将通信会话的第二同步化音频和视频部分发送到第二装置。
7.一种系统,包括: 处理器；和 计算机可读存储介质，具有存储在其中的指令，当被处理器执行时使得处理器执行以下操作: 在第一装置与第二装置之间的通信会话中，在第一装置上接收来自用户的通信会话的音频部分； 通过无线连接在第一装置上接收来自第三装置的通信会话的视频部分； 使通信会话的音频部分与通信会话的视频部分同步化，以产生通信会话的同步化的音频和视频部分；和 将通信会话的同步化的音频和视频部分发送到第二装置。
8.根据权利要求7的系统，其中，计算机可读存储介质存储附加指令，当被处理器执行时使得还执行以下操作: 建立通信会话作为单纯音频通信会话；和向第三装置发送消息以初始化视频输入和输出以建立用于通信会话的视频能力。
9.根据权利要求7的系统，其中，计算机可读存储介质存储附加指令，当被处理器执行时使得还执行以下操作: 从第二装置接收与通信会话相关的视频帧； 检查视频帧上的唇音同步化属性；和 在至少部分地基于唇音同步化属性时，向第三装置发送视频帧以将其解码并在第三装置上显示。
10.根据权利要求7的系统，其中，使通信会话的音频部分与通信会话的视频部分同步化包含用来自通信会话的音频部分的音频来设定通信会话的视频部分上的唇音同步化属性。
【文档编号】G06F15/16GK103870434SQ201310683331
【公开日】2014年6月18日 申请日期:2013年12月13日 优先权日:2012年12月14日
【发明者】M·维尔尼克 申请人:阿瓦亚公司