专利名称：使用超声信标补偿设备之间的不同音频时钟的制作方法
技术领域：
本公开一般涉及使用超声信标(ultrasonic beacon)补偿设备之间的不同音频时钟。
背景技术：
视频会议单元是复杂的设备，需要复杂的操作功能。因此，视频会议供应商建立特定的远程控制和菜单来操作这些单元，但是这些可能难于学习和使用。当单元具有数种功能能力时，尤为如此。此外，视频会议中高质量的麦克风拾取需要参会者距麦克风不足3英尺。因此，视频会议供应商在会议室内提供特定的麦克风以供安置在参会者附近的桌上。麦克风通常具有可能挡路的线。作为一种解决方案，在视频会议系统中使用无线麦克风，如果经常使用的话，则需要重复充电，这是不便的。本公开的主题在于克服或至少降低前述问题中的一个或多个的影响。
发明内容
在会议系统中，参会者使用便携设备作为会议单元的外设。在会议期间，例如，便携设备向无线连接的会议单元传送音频，而会议单元与会议连接的远端进行通信。通过设置在这些连接中的系统，每个参会者能够使用他或她的便携设备上的麦克风作为个人麦克风，其典型地在参会者3英尺之内。此外，参会者能够在整个会议期间都使用在他们的便携设备上运行的应用来控制会议单元的各方面。如上所述，便携设备能够用在会议中，所述会议可以简单地是音频会议。可替换地，所述会议可以是包含视频和音频的视频会议。当包含视频时，除音频之外或者代替音频，便携设备还可选地传输视频。对于这部分，所述单元可以是能够处理视频和音频的视频会议单元。相应地，正确的理解是:本公开的教导能够应用于音频会议和视频会议。然而，在整个公开中，参考的是视频会议，尽管所公开的教导应当理解为也同样能够应用于音频会议。为了进行视频会议，例如，单元通过无线连接接收利用便携设备的麦克风获得的近端音频。该单元还接收来自该单元的麦克风(一个或多个)的音频，所述麦克风可以是桌载麦克风、盒(Pod)等。同时，该单元接收利用一个或多个摄像机获得的近端视频。基于该实现方式，一个或多个摄像机可以仅属于视频会议单元，但是也能够使用来自便携设备上的摄像机的视频。然后，该单元通过视频会议连接将近端音频和近端视频传输到远端。随着视频会议的进行，各参会者发言，并且该单元切换输出到远端的近端音频(可选地，近端视频)源。例如，如果具有便携设备的参会者发言，该单元可以输出通过其设备的麦克风获得的近端音频。当选择来自便携设备的音频时，单元还能够输出通过该便携设备的摄像机获得的视频。由于数个麦克风将会向该单元发送音频，该单元优选地选择与具有最大水平的麦克风相关联的近端音频，其可以是便携设备或者单元的麦克风。由于音频具有最大水平，其更可能与在会议期间的当前发言者相关联。在视频会议单元与远端通信之前，参会者通过使用独立于该单元的他或她的便携设备建立与远端的视频会议连接来发起视频会议。在该初始设置中，便携设备能够接收来自远端的远端视频和音频以通过便携设备上的显示器和扬声器输出。类似地，便携设备能够类似地向远端发送通过便携设备的摄像机和麦克风获得的近端视频和音频。然后，便携设备处的参会者随后将与远端的视频会议连接从便携设备转移到视频会议单元。在转移之后，该单元能够接管从远端接收远端视频和音频，将远端视频发送到该单元的显示器，以及将远端音频发送到该单元的扬声器。然而，视频会议单元仍然能够，根据具体情况，使用近端处的便携设备的麦克风进行音频捕获以及使用设备的摄像机进行视频捕获。便携设备能够加入该单元正在进行的已有会议，而不是开始进行视频会议。优选地，设备能够通过获得由单元的扬声器输出的、以声信标(acoustic beacon)或超声信标编码的单元的IP地址来自动地与该单元配对。使用解码的IP地址，设备建立无线连接，作为该单元的外设为视频会议发送音频和视频。由于该单元从远端接收远端音频并将其输出到扬声器，输出的音频可以声耦合到便携设备的麦克风。为处理这种情况，该单元的回声消除器取消从扬声器输出的存在于利用便携设备的麦克风捕获的近端音频中的音频。在内部，便携设备的麦克风使用模数转换器，其利用第一时钟工作，而该单元的扬声器使用数模转换器，其利用第二时钟工作。因此，这两个时钟能够工作在不同频率，这能够降低回声消除器的效果。为了解决时钟之间的不匹配，该单元和/或便携设备的时钟补偿器补偿时钟之间的频率差异。前述内容并非试图概括本公开的每个可能的实施例或每个方面。
图1示出了根据本公开的视频会议系统；图2示意性地示出了与所公开的系统一起使用的便携设备；图3示出了用于便携设备的视频会议接口 ；图4A示出了当便携设备发起视频会议时通过图1中的系统进行视频会议的过程;图4B示出了当便携设备加入进行中的视频会议时通过图1中的系统进行视频会议的过程；
图5示意性地示出了用于视频会议单元的回声消除器和用于系统的视频会议单元和便携设备的时钟。
具体实施例方式A.视频会议系统图1示出的根据本公开的视频会议系统10具有视频会议单元100，所述视频会议单元100具有耦合到音频接口 120的扬声器122。典型地，单元100能够使用一个或者多个桌载麦克风124、麦克风盒(microphone pod)、顶置麦克风(ceiling microphone)、麦克风阵列或者耦合到音频接口 120的其他声学设备来捕获音频，但是这类声学设备在当前系统10中可以是可选的。系统10还包括显示器142和耦合到视频接口 142的一个或多个摄像机144。例如，系统10可以具有两个摄像机144—一个用于捕获视频会议环境的广角视图，一个用于捕获参会者的窄视图。尽管这里参照的是用于视频会议的系统10，但是本公开的教导等同地适用于缺少视频的音频会议。然而，为进行描述依然继续参照视频会议。在内部，单元100具有处理单元110，所述处理单元110具有分别连接到音频接口120和视频接口 140的、用于编码和解码视频会议的音频和视频的音频编解码器112和视频编解码器114。最后，单元100具有连接到编解码器112和114的、用于在近端单元100和远端单元30之间传输音频和视频的网络接口 130。在视频会议期间，许多参会者期望他们自己的便携设备50能够使用，这是因为便携设备50已经成为一种常见设备。用户使用便携设备50是舒适的，并且视频会议单元100能够使用便携设备50作为视频会议外设，如这里公开的那样。通常，便携设备50可以包括任意数量的可用设备，包括但不限于，外围设备、移动电话、智能电话、平板PC、触屏PC、PDA、掌上电脑、上网本、膝上电脑等。此外以及如后将要讨论的，便携设备50可以具有操作摄像机、显示器和麦克风，以及连接到诸如W1-Fi网络、互联网等的网络的处理能力和功能。通常，网络接口 130可以通过以太网连接、无线连接、互联网连接、POTS连接或任何其他适当的用于视频会议的连接或其组合来连接到远端单元30。作为网络接口 130的一部分或者独立于网络接口 130，单元100包括使得会议单元100能够与诸如便携设备50的本地外设通信的外设接口 150。在当前的示例中，网络接口 130将单元100连接到局域网(LAN) 132的本地内联网，LAN132继而连接到广域网(WAN) 136，诸如互联网。LAN132可以具有无线局域网(WLAN)、无线保真(W1-Fi)网络、个人区域网(PAN)(例如，蓝牙)，或者类似类型的无线网络134以便连接到便携设备50。相应地，参会者能够通过无线网络134将其便携设备50连接到LAN132，因此便携设备50和视频会议单元100之间的传输能够使用无线网络134和LAN132。在很多情况下，便携设备50可以具有高质量麦克风74，单元100可以使用设备的麦克风74作为视频会议麦克风。这样，部分参会者能够使用其设备50上的麦克风74作为个人视频会议麦克风，每个麦克风74与每个参会者之间的近距离能够为视频会议提供高质量的音频拾取。此外，便携设备50可以具有高质量的摄像机84，而单元100能够使用设备的摄像机84作为接近参会者的个人视频会议摄像机。
B.便携设备更详细地观察便携设备50，图2示意性地示出了与所公开的系统10 —起使用的便携设备50的示例。对于音频，设备50具有耦合到音频接口 70的扬声器72和麦克风74，而对于视频，设备50具有耦合到视频接口 80的显示器82和摄像机84。在内部，便携设备50具有处理单元60，该处理单元60具有分别连接到音频接口 70和视频接口 80的、用于编码和解码音频和视频的音频编解码器62和视频编解码器64。最后，便携设备50具有连接到编解码器70和80的、用于与近端单元(100)和远端单元(30)传输音频和视频的网络接口90。在一种类型的连接中，例如，如果设备50能够用于蜂窝通信，网络接口 90可以连接到典型的蜂窝网络92。在另一种类型的连接中，网络接口 90能够通过无线网络134连接到LAN132，因此便携设备50能够与视频会议单元(100)或者远端(30)通信。如本领域技术人员能够理解的，可以在便携设备50和视频会议单元(100)之间使用任何其它类型的连接来进行通信。也能够理解，在便携设备50和视频会议单元(100)以及远端(30)之间建立连接需要特定协议、应用、账户以及为实现连接而预先设置的其他细节，在这里省略详细描述。C.用户界面为了与视频会议单元(100)协同操作并且可选地控制该单元的功能，便携设备的处理单元60具有包含用户界面的视频会议应用66。当被操作时，应用66允许参会者使用便携设备50作为视频会议系统(10)的外设。图3示出了便携设备的应用￠6)的示例视频会议界面67。参会者能够使用便携设备的界面67来在视频会议系统(10)中进行操作。如图3的示例中所示 ，用户界面67具有能够用于应用(66)的多个用户界面项目。用户能够单独配置这些项目，尽管其中的部分项目可以按照默认自动操作。这些项目可以，包括但不限于，开始视频会议、结束视频会议、加入视频会议、发送视频会议内容、将设备的麦克风74和/或摄像机84用于会议、将视频会议从便携设备50转移到单元100、以及执行其他附加功能。在一个附加功能中，例如，参会者可以表示在会议中排队提问的意愿并且能够在被允许时成为活动的发言者。部分其他附加功能与在视频会议单元的常规远程控制上可用的典型功能类似，诸如控制扬声器音量、移动摄像机、改变显示选项等。以下是用户界面项目的一些一般讨论。通过选择开始视频会议，例如，便携设备50能够用于发起视频会议，如这里讨论的那样。通过选择加入当前视频会议，便携设备50能够成为当前正在进行视频会议的视频会议单元100的外围设备。通过选择使用设备的麦克风、摄像机或显示器，用户能够配置如何将便携设备50用作为视频会议单元100的外设。最后，通过选择发送内容，用户界面能够允许参会者将内容从便携设备50发送到视频会议单元100以加入视频会议中。所述内容可以包含便携设备50上驻留的视频、图像、文件、演示等。因此，在这种配置中，便携设备50能够作为单元100的内容或演示设备，并且能够具有用于生成内容的视频播放器、图像应用、文件应用、演示应用等，因此设备50能够通过网络连接将内容发送到单元100。D.视频会议过程已经理解了视频会议系统10、视频会议单元100和便携设备50，现在转向讨论在视频会议期间如何与视频会议单元100 —起使用便携设备50。如上所述,参会者能够通过便携设备50开始视频会议，然后能够将其转移到视频会议单元100。图4A示出了当便携设备50发起视频会议时通过图1 (同时参考该图)中的系统10进行视频会议的过程200。为了发起视频会议，参会者使用其便携设备50和视频会议应用66连接到远端30(块202)。可以使用各种网络连接中的任一种建立视频会议。例如，便携设备50能够通过W1-Fi网络134连接到LAN132，然后连接到WAN( S卩，互联网)136。如果便携设备50具有蜂窝功能，则视频会议能够如现有技术中已知的那样通过蜂窝电话呼叫来建立。一旦连接到远端30 (块204)，便携设备50使用其显示器82和扬声器72接收和呈现远端视频和音频以便于在便携设备50上输出(块206)。此时，该便携设备已有的摄像机84和麦克风74能够将视频和音频作为视频会议的一部分传输到远端30 (块208)。如果希望，参会者选择将视频会议转移到近端视频会议单元100 (块210)。为了转移视频会议，例如，参会者通过选择设备的会议应用出6)上的界面项目来发起转移。便携设备50将视频会议连接细节转移到视频会议单元100，作为响应，视频会议单元100建立其自己的与远端30的视频会议连接。例如，便携设备50上的会议应用66能够具有供参会者在用户界面(67)上选择的“转移”按钮。(参见图3)当选择了转移时，用户界面￠7)具有多个输入屏幕供参会者输入远端30的IP地址或其他标识符，以使得视频会议单元100能够建立连接。也可以在用户界面(67)中输入其他详细信息，诸如密码、连接信息、参会者标签等。—旦完成并验证了转移，便携设备50禁用其与远端30的连接，以使得其仅将其与视频会议单元100的本地连接用于视频会议。此时,单元100开始通过单元100可用的高质量处理呈现远端视频和音频(块212)。现在随着会议进行，近端视频处理从便携设备的摄像机84切换到该单元的一个或多个高质量的摄像机144，并且音频处理也从设备的麦克风74切换到该单元的麦克风124 (块214)。该单元的一个或多个摄像机144能够使用该单元的麦克风124 (更具体地，为麦克风矩阵(未示出))采取公知的技术来确定发言时参会者的位置以便于在视频会议期间将摄像机引导到音频源。然而，如这里所述，便携设备50在通过网络连接(例如，W1-Fi网络和LAN)与视频会议单元100的通信中保持配对，因此设备50在被选择成如此做时能够用于视频和音频处理。换言之，该设备的麦克风74仍然能够用于获得视频会议的音频，该设备的摄像机72能够用于获得视频会议的视频。然而，最初，如图4A所示由视频会议单元100执行音频和视频处理。在单元100处理音频时，便携设备的扬声器72能够被静音以使其在视频会议期间不输出音频，或者便携设备50简单地不接收通过本地网络连接从单元100输出的音频。在视频会议期间的某些时候，具有配对设备50的参会者可能发言，单元100和/或设备50监视是否从设备的麦克风74获得了音频(决定216)。在一种实现方式中，配对设备50通过其麦克风74获得音频并将该音频通过其配对网络连接传输到视频会议单元100，而不管具有配对设备50的参会者是否正在发言。随后，视频会议单元100确定麦克风74是否捕获到参会者的积极发言(activespeaking)。作为备选方式,配对设备50通过其麦克风74获得音频，但是不将音频发送到单元100，除非设备50确定存在积极发言。
无论如何，如果不存在设备音频(或者由于没有设备50使用其麦克风74来获得音频或者由于没有活动的设备麦克风74正在捕获发言)(否——决定216)，单元100继续使用其麦克风124进行音频捕获(块226)。此后，单元100继续使用其摄像机122捕获视频，这是因为在参会者没有发言时可能没有必要将视频捕获切换到便携设备50 (块228)。然而，在视频会议中的某些时候，使用其麦克风74进行音频拾取的设备50之一从其参会者获得了音频，且单元100如下所述使用该音频进行视频会议(是——决定216)。在使用该音频时，视频会议单元的音频编解码器112编码麦克风的音频作为会议音频，并将会议音频从便携设备50发送到远端30。如果数个设备麦克风74 (可能地，单元的麦克风124)同时捕获音频，然后单元100选择具有最响输入的麦克风74或124 (块218)并使用该设备的音频作为视频会议的音频(块220)。这种比较能够避免单元100错误地选择音频输入源。多种技术中的任意一种都能够用于确定输入音频的声能量并比较它们以找到最强输入音频。如果某些参会者没有便携设备50，单元100能够从已有麦克风(124)(如果可用的话)或者从最近便携设备的麦克风74(假设其是最响的)获得会议音频。最后，单元100不需要知道存在多少参会者以及多少参会者具有捕获音频的便携设备50，尽管这可能是有用的并且能够人工或自动地确定。至多，单元100仅需要选择输入最响捕获音频的麦克风(是便携设备的麦克风74之一还是单元的已有麦克风124)。使用来自其的音频的设备50也可以具有能够捕获视频会议的视频的摄像机84，并且单元100确定设备的摄像机84是否能够捕获视频会议的发言参会者的视频(决定222)。如果不能获得(或者由于没有摄像机84，或者其未被启用)，单元100继续使用其摄像机122捕获会议视频(块228)。否则，单元100将来自设备的摄像机84的视频用于视频会议(块224)。在过程200中的任意时刻，参会者能够选择从便携设备50发送内容到视频会议单元100以加入视频会议(块225)。如上所述，内容可以包括驻留在便携设备50上的视频、图像、文件、演示等，并且便携设备50能够通过网络连接(例如，从无线网络134到LAN132)将内容发送到单元100。随后，单元100能够将内容加入发送到远端的数据中以作为视频会议的一部分。基于便携设备50的能力和包含的内容的类型，将内容作为数据流或者在数据文件中发送到单元100。此外，作为内容或演示设备的便携设备50能够或不能够作为外设(即，捕获音频和/或视频并将音频和/或视频从设备50发送到单元100)，由于这取决于设备50的处理能力。同样地，便携设备50可以配置为在用户配置的视频会议中的任意给定时刻将音频、视频和内容中的一个或多个发送到单元100。只要环境保持不变，当前的处理配置可以继续(决定230)。在某些时候，具有传输音频(可选地，视频)的设备50的参会者可能停止发言，参会者可能禁用设备50与单元100的配对连接，参会者可能带着设备50离开房间，或者任意其他类型的改变可能发生。相应地，单元100将停止其处理配置，并再次返回到确定是使用来自便携设备50还是来自视频会议单元100的音频和视频(决定216)。上述情形讨论了便携设备50如何发起与远端30的视频会议并随后将其转移到视频会议单元100。在备选情形中，视频会议单元100能够发起视频会议,并能够开始呈现通过常规麦克风(一个或多个)124和单元的摄像机144获得的音频和视频。然后，在视频会议期间，具有便携设备50的参会者能够连接到视频会议单元100或与其配对以加入视频会议。一旦设备50与单元100配对，参会者可以使用用户界面应用66来执行各种功能中的任一种，诸如通过便携设备的显示器82显示视频会议的视频，通过扬声器72或耳机输出呈现视频会议的音频，开始和停止视频会议，等等。更特别地，如这里详细讨论的，配对设备50在视频会议期间能够用作麦克风以及可选的视频外设。为此，图4B示出便携设备50在视频会议期间作为视频会议单元100的外设加入视频会议的过程250。最初在图4B的过程250中，在视频会议单元100进行视频会议时，视频会议单元100向周围环境(例如，会议室、报告厅等)反复地发送编码其IP地址的声信标或超声信标(块252)。房间中的、具有正在运行会议应用￠6)的便携设备50的参会者能够选择加入单元100正在进行的视频会议，并且设备的应用￠6)解码来自声信标或超声信标的IP地址(块254)。使用解码的IP地址和无线网络(134)和LAN(132)，设备50向单元100发送响应以加入视频会议(块256)，并且设备50和单元100交换握手以发起它们之间的通信，因此设备50能够与单元100配对(块258)。随着视频会议继续，近端单元100呈现远端的音频和视频(块260)，并从单元的摄像机144获得近端视频和从单元的麦克风124获得音频(块262)。然而，在合适时，捕获音频的便携设备的麦克风74能够用于视频会议，捕获视频的设备的摄像机84也能够用于视频会议。从此开始，处理可以像前面图4A中的配置一样继续进行。只要没有便携设备50捕获到具有最高水平的音频，随后单元100可以继续使用其麦克风124和摄像机144以发送给远端30 (块276-278)。在一些时候，例如，使用其麦克风74进行音频拾取的设备50之一从其参会者获得音频，并且单元100如下详细描述的那样，将该音频用于视频会议(是——决定266)。如果数个设备麦克风74和124正在获得音频，则单元100选择具有最响输入的麦克风74和124 (块268)，并通过将音频 发送到远端30而将该设备的音频用于视频会议音频(块270)。当用于捕获音频的便携设备50具有能够用于捕获视频会议的视频的摄像机时，单元100确定设备的摄像机82能否捕获视频会议的视频(决定272)。如果不能，单元100继续使用其摄像机122 (块278)。否则，单元100接受来自设备的摄像机82的视频用于视频会议(块274)。最后，在处理250期间的任意时刻，参会者能够以与前述方式相同的方式选择将内容从便携设备50发送到视频会议单元100以加入视频会议(块275)。只要环境保持不变，当前的处理配置能够继续(决定280)。在某些时候，传输音频(可选地，视频)的设备处的参会者可以停止发言，并且单元100将返回到确定音频和视频是否应当通过另一个便携设备50或者通过视频会议单元100来捕获(决定266)。对于是否在先前的过程200、250中从便携设备50输出视频的选择取决于便携设备50当前是否正被用于获得视频会议的输入音频。换言之，如果便携设备50没有被选择用于获得音频，则设备50在先前的过程200、250中不被用于获得视频。然而，也能够使用其他配置，使得仅获得视频而不获得音频的便携设备50能够用于获得视频会议的视频而不获得音频。E.自动配对如上所述，便携设备50能够通过使用声配对或超声配对来自动地连接或配对于视频会议单元100，因此便携设备50和视频会议单元100能够通过网络连接相通信。为了发起配对，视频会议单元100使用其扬声器122传输编码了其IP地址的声信标或超声信标，并且该IP地址可能是单元在本地内联网中的地址。声信标或超声信标优选地超出可以听见的范围，但足够低以使得常规的扬声器和麦克风组件仍然能够具有有用的信号响应。由此，频率优选地在20kHz以上。一个可以接受的频率是21kHz。由于该频率在人类听觉范围以上，在视频会议期间不能被听见。此外，在输出时信标有意地具有低音量。如能够被理解的那样，信标能够使用任意其他频率，并且不必在超声范围内。优选地，信标中的IP地址和任何其他相关信息的传输使用以大约21kHz的载波信号进行频率调制的音频频移键控(AFSK)形式。如上所述，具有麦克风74并运行外设会议应用(66)的设备50检测信标，基于AFSK调制解码IP地址，通过网络连接向视频会议单元100发送响应，以及两个设备50和100共享握手以使得设备50能够用在视频会议中。当设备50离开房间或者被参会者主动断开时，配对能够自动断开。当进入另一个房间时，设备50随后自动连接到另一个视频会议单元。不同于蓝牙技术，声信标或超声信标能够限于视频会议单元100的环境(房间)，因此在同一大楼中不同会议单元之间发生交叉干扰从而导致设备50和单元100错误配对的可能性较小。因此，超声配对可以允许单元100具体识别出设备50与单元100位于相同的环境中，而非位于大楼中的其他位置。虽然单元100被描述为发送编码其IP地址的声或超声信标，但每个设备50能够做同样的事。由此，在反向配对的设置中，单元100检测来自便携设备50的声信标或超声信标，解码设备的IP地址，并基于解码的IP地址建立与便携设备50的网络连接。此外，便携设备50能够使用编码在超声信标中的IP地址相互配对。此外，当设备50如上所述发送声信标或超声信标时，视频会议单元100能够使用其麦克风124 (特别地，麦克风阵列)确定设备50在视频会议环境中的位置。这样，单元的一个或多个摄像机144能够更容易地在参会者发言时将其视野引导向具有发射设备50的该参会者。当发言的参会者距离单元的麦克风124或阵列较远且定位音频源的常规技术可能受到限制时，这可能是特别有用的。最终，设备50能够用作为声或超声发射器，因此视频会议系统10能够以与以下系统类似的方式操作，所述系统公开于2007年10月15日提交的、名称为“Ultrasonic Camera Tracking System and Associated Methods”的美国专利申请N0.11/872，303中，所述公开以引用的方式全部结合于此。F.回声消除如上所述，便携设备的麦克风74能够捕获音频并将其通过网络接口 90、无线网络134和LAN132发送到视频会议单元100以发送到远端30。在会议期间的相同时间，视频会议单元的扬声器122在近端为视频会议环境输出音频。由于便携设备的麦克风74和单元的扬声器122位于同一环境中，当便携设备的麦克风74直接捕获扬声器122输出的音频时，可能出现声I禹合(acoustic coupling)。如已知的那样,该声I禹合可能导致从单元100传输到远端30的“回声”，并且远端30将会听见延迟后返回到自己处的自己的音频。由此，视频会议系统10优选地试图降低可能在视频会议期间出现的任何声耦合的有害影响。为此，讨论转向图5。如示意性示出和前面讨论的那样，视频会议单元100通过网络接口 130从远端30接收输出音频，并且音频编解码器的解码器112a解码由单元的扬声器122输出的输出音频。为了输出音频，数模转换器119使用基于时钟118的采样率转换并将数字输出转换成模拟输出，该模拟输出然后由扬声器122输出到环境中。随后，便携设备的麦克风74捕获环境中的音频。在捕获音频时，便携设备的模数转换器69使用基于时钟68的米样率转换并将模拟输入转换成数字输入。可能从扬声器122声耦合利用麦克风74捕获的部分音频。无论如何，便携设备50通过网络连接(例如，W1-Fi网络，LAN等)将捕获的音频传输到视频会议单元100。随后，单元的音频编码器112b编码输入音频以发送到远端30。如果不管音频，任何从扬声器122声耦合到麦克风74的音频将通过网络接口 130作为“回声”发送到远端30。为了处理声耦合和所导致的回声，视频会议单元100具有回声消除器115。使用任何已知的回声消除技术，回声消除器115比较来自麦克风74的输入音频和扬声器122的输出音频，并试图去除来自扬声器122的输出音频，该输出音频是通过扬声器122和麦克风74之间的声耦合而包含在拾取的输入音频中的。在正确工作时，回声消除器115能够降低远端30检测到“回声”的机会。在大多数情况下，用于便携设备的麦克风74的模数(A/D)时钟68与单元的扬声器122的数模(D/A)时钟118在频率上不匹配。不匹配的时钟68和118可能导致声学回声消除的较差性能。为实现正确消除，例如，扬声器的D/A时钟118和麦克风的A/D时钟74需要以小偏差(例如，小于百万分之几(PPM))位于相同频率上。然而，由于位于分离的设备上，扬声器的时钟68和麦克风的时钟118由物理上分离的晶体控制，并且它们的频率可能相差100PPM或更多。G.时钟补偿为了处理不匹配的时钟68和118，系统10在单元100使用时钟补偿器160和/或在便携设备50使用时钟补偿器170，从而单元100上的回声消除器115能够更有效地去除由于单元的扬声器122和设备的麦克风74之间的声耦合而导致的回声。为此，时钟补偿器160,170补偿时钟差异并提高单元的回声消除器115的性能。在一个实施例中，视频会议单元100上的时钟补偿器160辅助进行回声消除。具体地，时钟补偿器160将远端音频(由单元的扬声器122输出)的回声估计和近端音频(从设备的麦克风74输出)互相关。使用互相关的结果，补偿器160随后调整用于将要发送到远端30的音频的回声消除分析的采样率转换因子。在这种配置中，使用回声估计的时钟补偿器160能够补偿时钟68和118之间的差异，而不会涉及到便携设备50。在另一个实施例中，便携设备50上的时钟补偿器170通过确定时钟68和118间的差异来辅助进行回声消除。该差异然后用于通过调整便携设备的麦克风74的采样率转换或者通过调整单元的回声消除器115或者单元的扬声器122的采样率转换来“同步”音频时钟68和118。如上所述，便携设备50通过获得单元的扬声器122发射的声或超声信标中的单元的IP地址来与单元100配对。优选地，该超声信标例如以具有21kHz的超声频率的载波信号来传输。在捕获了信标之后，便携设备50使用超声载波信号的频率来确定其麦克风74的时钟和单元的扬声器122的时钟118之间的频率差异。例如，如上所述，单元100使用扬声器122以处于21，OOOHz的预定频率发射声信标或超声信标。便携设备50上的麦克风74捕获超声信标，补偿器170测量相对于单元的MD时钟68的信标的频率。通常，由于分离的时钟68和118的不同频率，测量到的频率将不同于信标的预定频率(21kHz)。通过示例，麦克风的时钟68可能比扬声器的时钟118慢大约百分之一。在这种情况中，补偿器170将信标的频率测量为21，210Hz (即，21，000X 1.01)。不考虑该测量到的差异，具有麦克风74和会议应用￠6)的便携设备50知晓信标的实际频率应当是预定的21，000Hz。因此，补偿器170能够推测出时钟频率差异是210Hz( S卩，21，210Hz-21，000Hz)。一旦知晓频率差异在可接受的偏差内(例如，1PPM)，便携设备50能够使用重新采样算法并能够调整麦克风的采样率转换以匹配扬声器的采样率转换。这样，基于设备的时钟68的A/D转换器69能够具有与基于单元的时钟118的D/A转换器119的采样转换率匹配的采样转换率。一旦速率匹配，单元100上的回声消除器115能够更有效地工作。相反情况也是可能的，其中扬声器的采样率转换被调整。例如，便携设备50能够通过网络连接 向单元100发送确定的频率差异。随后，单元100的补偿器160能够使用重新采样算法并能够改变用于输出音频的扬声器的采样率转换，以使其匹配于麦克风的采样率转换。可替换地，补偿器160能够在回声消除的采样率转换中使用该确定的差异，使得回声消除器115能够更有效地工作。在其它备选方式中，便携设备50可能不会实际地计算频率差异。替代地，便携设备使用网络连接响应于声信标或超声信标而将其麦克风74的音频捕获频率发送到视频会议单元100。然后，视频会议单元100计算预定载波信号频率和从便携设备50传输给其的音频捕获频率之间的频率差异。因此，上述讨论的过程能够应用于单元的处理来代替应用于设备的处理。在当前示例中，仅讨论了一个便携设备50和单元100之间的音频。然而，一般地，在房间中可以有任意数量的设备50，每个设备能够具有自己的A/D转换器69和用于其麦克风74的时钟68。这些设备50能够通过无线连接将其数字音频流发送到视频会议单元110，并且这些流中的一些可能包含从扬声器122输出的、已经声耦合到设备的麦克风74的音频。上述教导能够应用于每个便携设备的音频。优选和其他实施例的以上描述并非意图限制或约束申请人构想的发明概念的范围或应用。得益于本公开将能够理解:根据公开主题的方面的任意实施例的上述特征能够在公开主题的任何其他实施例或各方面中，单独使用或与任何其他描述的特征结合使用。作为公开这里包含的发明概念的交换，申请人期望所附权利要求获得的所有专利权。因此，期望所附权利要求包含落入以下权利要求及其等同的全部范围内的所有修改和替换。
权利要求
1.一种进行会议的方法，包括: 以第一设备的扬声器的音频输出频率输出声信标，所述声信标基于预定载波频率；在所述第一设备获得所述预定载波频率和捕获所述声信标的第二设备的麦克风的音频捕获频率之间的频率差异；以及 基于所述频率差异调整所述扬声器的音频输出频率。
2.如权利要求1所述的方法，其中所述第一设备包括视频会议单元；并且其中所述第二设备选自包括以下的组:便携设备、外围设备、蜂窝电话、智能手机、个人计算平板设备、个人数字助理、掌上电脑、上网本电脑和膝上电脑。
3.如权利要求1所述的方法，其中所述预定载波频率是至少大于或等于20kHz的超声波。
4.如权利要求1所述的方法，进一步包括: 编码所述声信标中的连接信息。
5.如权利要求4所述的方法，其中编码连接信息包括: 编码利用频移键控调制的具有所述预定载波频率的连接信息。
6.如权利要求4所述的方法，其中所述连接信息包括用于所述第一设备的网络连接的互联网协议地址。
7.如权利要求 1所述的方法，其中以所述扬声器的音频输出频率输出声信标包括 使用基于第一时钟的用于所述扬声器的第一采样率转换，所述第一采样率转换不同于基于第二时钟的用于所述麦克风的第二采样率转换。
8.如权利要求1所述的方法，其中所述频率差异包括在所述第一设备处测得的且减去所述预定载波频率的音频捕获频率。
9.如权利要求1所述的方法，其中在所述第一设备处获得频率差异包括: 接收通过网络连接从所述第二设备发送到所述第一设备的频率差异。
10.如权利要求1所述的方法，其中在所述第一设备处获得频率差异包括: 通过所述网络连接接收所述第二设备的音频捕获频率的指示；以及 在所述第一设备处确定所述频率差异。
11.如权利要求1所述的方法，进一步包括: 使用调整后的音频输出频率通过所述扬声器输出第一音频；以及 在所述第一设备处通过网络连接接收所述第二设备的麦克风捕获的第二音频。
12.如权利要求11所述的方法，进一步包括: 通过将所述第一音频与所述第二音频进行比较来执行回声消除。
13.如权利要求11所述的方法，其中执行回声消除包括: 从所述第二音频中减去存在的第一音频。
14.一种可编程存储设备，其上存储有程序指令，所述程序指令使得可编程控制设备执行权利要求1的方法。
15.一种第一设备，包括: 用于输出音频的扬声器；以及 可通信地连接到所述扬声器的处理单元，所述处理单元被配置成: 以所述扬声器的音频输出频率输出声信标，所述声信标基于预定载波频率；获得所述预定载波频率和捕获所述声信标的第二设备的麦克风的音频捕获频率之间的频率差异；以及 利用所述频率差异调整所述扬声器的音频输出频率。
16.一种进行会议的方法，包括: 以第一设备的麦克风的音频捕获频率捕获声信标，其中由第二设备基于预定载波频率输出所述声信标； 在所述第一设备处确定所述预定载波频率和所述麦克风的音频捕获频率之间的频率差异；以及 利用所述频率差异调整所述麦克风的音频捕获频率。
17.如权利要求16所述的方法，进一步包括: 向所述第二设备发送利用所述麦克风的调整后的音频捕获频率捕获的音频。
18.一种可编程存储设备，其上存储有程序指令，所述程序指令使得可编程控制设备执行权利要求16的方法。
19.一种第一设备，包括 用于捕获音频的麦克风；以及 可通信地连接到所述麦克风的处理单元，所述处理单元被配置成: 以所述麦克风的音 频捕获频率捕获声信标，其中由第二设备基于预定载波频率输出所述声信标； 确定所述预定载波频率和所述麦克风的音频捕获频率之间的频率差异；以及 利用所述频率差异调整所述麦克风的音频捕获频率。
20.如权利要求19所述的第一设备，进一步包括: 将所述第一设备可通信地边接到所述第二设备的接口，所述处理单元被配置成通过所述接口将利用所述麦克风的调整后的音频捕获频率捕获的音频发送到所述第二设备。
21.一种进行会议的方法，包括: 以第一设备的麦克风的音频捕获频率捕获声信标，其中由第二设备基于预定载波频率输出所述声信标； 在所述第一设备处确定所述预定载波频率和所述音频捕获频率之间的频率差异；以及 通过网络连接将所述频率差异发送到所述第二设备。
22.如权利要求21所述的方法，进一步包括: 通过所述网络连接将所述麦克风基于所述音频捕获频率捕获的音频发送到所述第二设备。
23.一种可编程存储设备，其上存储有程序指令，所述程序指令使得可编程控制设备执行权利要求21的方法。
24.一种第一设备，包括: 用于捕获音频的麦克风； 通过网络连接可通信地连接到第二设备的接口 ；以及 可通信地连接到所述麦克风和所述接口的处理单元，所述处理单元被配置成: 以所述麦克风的音频捕获频率捕获声信标，其中由第二设备基于预定载波频率输出所述声信标；确定所述预定载波频率和所述麦克风的所述音频捕获频率之间的频率差异；以及 通过接口将所述频率差异发送到所述第二设备。
25.如权利要求24所述的第一设备，其中所述处理单元被配置成通过所述接口将利用所述麦克风的音 频捕获频率捕获的音频发送到所述第二设备。
全文摘要
本公开涉及进行会议的方法和设备，尤其是，涉及一种视频会议系统，该视频会议系统具有使用便携设备作为系统的外设的视频会议单元。便携设备获得近端音频并通过无线连接将音频发送到视频会议单元。随后，视频会议单元将来自最响的便携设备的近端音频与近端视频一起发送到远端。便携设备能够控制视频会议单元，并且能够通过与远端连接而初始建立视频会议，然后将操作转移到视频会议单元。为了处理单元的扬声器和便携设备的麦克风之间的声耦合，该单元使用回声消除器，所述回声消除器补偿在扬声器和麦克风的A/D和D/A转换器中使用的时钟的差异。
文档编号H04N7/15GK103200385SQ20121059675
公开日2013年7月10日 申请日期2012年10月26日 优先权日2011年10月27日
发明者P·L·楚, 刘毅伯 申请人:宝利通公司