用户接口的制作方法
【专利摘要】本发明涉及一种操作至少第一和第二电子设备的方法，所述设备被分别设置成发射和接收超声波信号，例如来操作非接触式用户接口。这两个设备，或至少两个所述设备被同步，以在基本上同一时间发射所述信号。所述设备可以，例如，监听彼此的超声信号或使用同步的WiFi网络接入点。
【专利说明】用户接口
【技术领域】
[0001]本发明涉及用于电子设备的用户接口。它尤其涉及包括利用声学信号表征一个或多个对象的运动的接口 ；尤其，但并不排他，是利用超声信号，且涉及对多个在彼此附近的这样的设备的操作。
【背景技术】
[0002]已知使用飞行时间测量结果对与具有超声发射机和多个接收机的计算设备进行非接触式交互的对象作追踪。实际上对于此类追踪已经提出了很多方案，例如在苹果公司的专利申请US2006/0161871中，尤其涉及通过用户的手指输入到手持设备。然而，这些方案都有缺陷，特别是，它们可能对来自其他物体所引起的回波的干扰和来自积极噪声源的干扰敏感。
[0003]也已尝试基于飞行时间原理的光学追踪；然而，部分地由于需要光学部件和要求非常高的时钟速度，该技术复杂而昂贵。此外，无法嵌入地安装具有较宽(例如180度)视场的摄像头，这意味着摄像头镜头必须部分地从所述设备的表面凸出，使得它们遭受损坏和污染，以及潜在地不太符合视觉美观。
[0004]由于更宽的色散特性和更低的声波速度，干扰在声学跟踪系统中，与光学的系统相比，尤其成问题。
[0005]本发明人认识到一个具体问题，当两个或更多设备，尤其是移动设备，试图在彼此的可听范围内使用声学输入系统时。它们很可能相互干扰，尤其是当它们被配置成发射将类似的或相同的声音信号发射到彼此(例如，在相同的频率范围内)。在这种情况下，使用已有技术方法，一个设备通常不能区分来自目标对象的反射和由其它设备产生的声音。这会导致不能正确地识别用户的输入。尤其是，来自所述其它设备的直达声音可以是比来自所述输入对象的反射强很多倍，并且如果它们在接收的时间中重叠，可以因此淹没所述回波。因为用户通常对输入失败的忍耐力有限，所以这可能是非常严重的问题。由于采用声学输入机制的设备的数量在增加，所述多个设备在彼此的可听范围内的发生率势必随之增加。
【发明内容】
[0006]本发明旨在克服已知的方法中的这些缺陷。
[0007]当从第一方面来看，本发明提供了一种操作两个或更多电子设备的方法，所述设备分别被设置成发射和接收超声波信号，所述方法进一步包括同步这些设备，或者至少同步两个所述设备，以在基本上相同的时间发射所述信号。
[0008]本发明涉及一种电子设备，其包括发射机和接收机，分别用于发射和接收超声波信号，所述设备被配置成便于和至少一个另外的电子设备同步，所述另外的电子设备具有发射机和接收机分别地用于发射和接收超声波信号，以便在基本相同的时间发射所述信号。
[0009]本发明进一步涉及一种计算机软件产品，不论是否在载体上，当运行于适当的数据处理装置上，控制具有发射机和接收机的电子设备时，其适用于发送和接收超声波信号，并与至少一个另外的电子设备同步，所述另外的电子设备具有分别用于发射和接收超声波信号的发射机和接收机，以在基本相同的时间发射所述信号。
[0010]因此根据本发明将可以看出，发射超声信号且处于相互干扰风险的设备相互配合来同步它们的发射。由于可以假设通过确保设备在不同时间发射最好地避免了干扰，特别是，由于通常，所述发射重复率足够低，使得从输入对象反射的信号仅在框架持续时间的一小部分期间到达，这似乎是有悖常理的。不过本发明人认识到，尽管这对于使用相对彼此不移动的少量设备(如2个或3个)可能是一个合适的方法，但是，当在彼此的范围内存在较大数量的设备和/或其相对于彼此移动时，所述方法不太好扩展，因为当所述装置之间的距离改变时最佳时间将会改变。此外，发明人认识到，但实际上设备并不需要在不同的时间发射，并且一般同步更有益。
[0011]所述设备可以是任何特定类型的，但并不需要彼此是相同类型的。更特别的是，所发射的所述超声波信号可以扮演多个不同角色中的任何一个。例如，所述超声波信号可以用于检测或测距、传送数据或甚至用于控制动物。在一组优选实施例中，所述信号被用作用户控制接口的一部分。在一组实施例中，将所述第一设备设置成接收来自输入对象的所发射信号的反射并且依靠从所述输入对象所接收的反射来控制所述设备的功能。换句话说，所述第一设备优选地包括非接触性的接口。所述第二设备也可具有此特征，但并不一定具有。
[0012]在另一可选方案中，将所述第一设备设置成与所述第二设备合作来实现涉及两个设备的特征。例如，所述第一设备从接收到信号的时序，可以确定所述第二设备的位置和/或运动，并将此作为输入用于应用，诸如游戏或社交网络应用。
[0013]当从第二方面来看，本发明提供了一种操作两个或更多个电子设备的方法，所述设备每个发射各自的信号，接收各自所发射信号的反射，并且每个设备依靠所接收的反射控制其功能，所述方法进一步包括:在所述设备之间的传递信息；并且所述设备其中的一个或全部皆基于所述信息来改变其发射的所述信号，使得所述设备在基本上相同的时间发射所述各自的发射信号。
[0014]如果发射都是同步的，那么第一设备直接从第二设备接收所述发射的那个时间将简单地取决于它们相互的间距。只要这个间距大于信号从所述第一设备到输入对象并返回的往返距离的最大值，那么在实际中不会存在信号之间的干扰。通过定义围绕所述第一设备的目标区域(R0I)，其是输入对象可预期在其中影响所述第一设备的区域，“禁止区域”可被定义为其至少远离所述设备两倍。所述禁止区域是另一设备不应该放置在其中，以避免可能的干扰的区域。举一个例子，所述设备可以被设计成由在半径为30cm内的输入对象来操作。因此，所述禁止区域将是至少60厘米(可以是70厘米以考虑误差容许量)以避免所述同步信号之间的干扰。
[0015]直接接收由所述第二设备发射的信号的同时，所述第一设备通常还会接收来自周围环境(诸如墙壁、家具等)和所述第二设备所述ROI内的任何输入对象的反射。然而，后一反射根据定义将比直达信号具有更长的飞行时间，因此在时间上将更加远离来自所述第一ROI的所述输入对象的反射。通过确保设备不处于彼此的禁止区域(即它们与另一个相隔大于所述ROI的最大范围的两倍)和它们的发射是同步的，它们的信号可以是彼此区分的，不管在彼此附近设备的数量。
[0016]可以将所述第一设备设置成仅接收来自所述ROI内的信号，这意味着在每一次发射之后在有限的时间窗口内接收处理信号。这自动地确保了会忽略来自所述禁止区域之外的信号。然而，这并不是必须的。例如，所述ROI以外的信号，如果足够清楚，仍会作为输入被处理。在实施方式的优选组中更显著的是，所述第一设备被配置成处理来自所述第二设备的信号。有利地是，例如，接收来自所述第二设备的所述信号的时间会给出两个设备之间的间距的估计，假定发射的时间是已知的(因为所述设备是同步的)。因此，在一组实施方式中，所述方法包括所述第一设备从所述第二设备接收所述信号，并计算所述第一和第二设备之间的间距。所计算的间距可以显示在第一设备上或以其它方式传送给用户。
[0017]在一组实施方式中，所述第一设备被配置成，使得如果它意识到了另一设备位于其禁止区域内就向用户给出警示。所述警示可以是视觉的、听觉的、触觉的或其组合。所述第一设备可以被配置成不管怎样都试图解释来自其输入对象的反射，或者其可以被配置为暂停输入直到所述第二设备已被移动到足够远。在一组实施方式中，将所述第一设备设置成切换到另一种干扰规避算法，例如故意地移动其发射的定时，以便不与所述第二设备同步，而是远离来自所述第二设备的所述发射和其反射，以前面讨论过的方式在所述框架的一部分中发射。如果所述第一设备检测到切换到另一种干扰规避算法仍未解决问题，那么它然后可以向用户发出通知(通过任意合适的方法)，并暂停其自身的发射(借此指明它的非接触式的交互模式)直到其目标区域再次清晰。
[0018]如果所述第一设备检测到第二设备，那么它可以被配置成将此传达给所述第二设备，由于所述第一设备也很可能位于所述第二设备的所述ROI中，例如，如果各自的ROI有相同的或相似的尺寸。所述第二设备可以采取类似的相应动作，例如发出警示。
[0019]两种方式(例如，由所述第一或第二设备发起)都可以进行前述通信并因此通过所述设备本身的检测或者通过接收来自其他设备的消息，可为每个设备触发警示。所述通信可以是声学的例如超声，也可以是诸如射频的电磁的，或光学的。所述通信可通过与所述发射信号相同的媒介，或通过不同的媒介。所述通信可以是单向的或双向的，例如确认由接收者发送的接收到的消息。在一些实施方式中，所述发射的信号是超声，通过RF信道发生所述通信。在其它实施方式中，所述信息传递发生在超声信道。这个可以是相同的信道，在其上，例如在相同的频带中和/或使用相同的协议和/或使用相同的编码，发射所述信号。可选地，可以基于不同的频率，例如，利用一个或多个单独的超声信道。根据本发明，所述同步程度取决于所述应用；完全同步并不是必须的。要是本文提及的设备在大致相同的时间进行发射，这应该被理解成意指它们之间不存在有意延迟。然而它们在实际上可具有不可避免的相互延迟。
[0020]存在几种可以实现根据本发明的两个或多个设备之间的同步的方法。在一组实施例中，通过所述设备作用于由其它设备发射的正常信号来实现同步——即，没有独立的同步信号。通常，这种同步将迭代地接近同时发射，但可能永远不能完全实现它。在一组这样的实施例中，第一设备被配置成周期性地发射信号，但在由周期性决定的某些时间，会抑制信号发射。这允许第一设备监听来自其它设备的发射，并相应地调整其发射。
[0021]优选地，第一设备被配置成调整其随后的发射，使得与其目标区域相对应的时间窗口(即从目标区域中的对象反射的信号的飞行往返时间)发生在接收到来自第二设备的信号之前。
[0022]这本身是新颖的和有创造性的，因此当从另一方面来看，本发明提供一种操作电子设备的方法，所述方法包括以预定周期发射接口信号、接收所述接口信号的反射以及根据所述接收到的反射控制设备的功能，所述方法还包括抑制进行一个或多个接口信号的发射、接收来自第二设备的具有所述预定周期的信号以及改变接口信号的所述发射，使得所述接口信号的发射和来自第二设备的信号的接收之间具有预定间隔。
[0023]通过将前述预定时间设定成至少为与目标区域相对应的时间窗口的长度，避免了设备之间的干扰。
[0024]从第一设备的发射和接收到来自第二设备的信号之间的间隔可以是变化的，但优选地是固定的。如果从多个其他设备接收信号时，第一设备优选地在接收到来自其他单元的最强信号之前重新开始其信号的发射。附加地或可替换地，第一设备在该信号到达之前在最近的可用静默期中重新开始发射。已经发现，只要设备彼此不太靠近，这趋向于稳定的设置，其中当设备移动以及更多的设备被添加时，所有设备随在基本上相同的时间进行发射。
[0025]第一设备可被配置成定期地跳过一个或多个发射，比如说每十个发射，或随机地，但优选地具有确定的平均数。在一组实施例中，第一设备在启动发射时被配置，以监听来自其它设备的发射，并开始发射，使得与其目标区域相对应的时间窗口发生在接收到来自其它设备的所有信号之前，即，当其跳过一个发射时，遵循上文概括的相同的步骤。
[0026]在另一组实施例中，同步通过独立的同步信号来协调。这可以在设备之间发送或来自于外部源，例如，蜂窝移动网络或如GPS的卫星信号。同步信号可以是声学的例如超声波，或者是电磁的如射频，或光的。信号可以通过与所述的发射信号相同的媒介或者通过不同的媒介来发送。通信可以是单向的或双向的，例如，由接收者发送接收到消息的确认。在一些实施例中，所述发射信号是超声波并且通信发生在射频信道上。在其它实施例中，信息传送发生在超声波信道上。这可以在与被发射信号相同的信道上，例如，在相同的频带内和/或使用相同的协议和/或使用相同的编码。可替换地，可以利用一个或多个分离的超声波信道，例如基于不同的频率。
[0027]附加电磁信道如射频信道的使用是有利的，因为它允许在其范围内任何数量的设备的快速同步。它还允许实现设备的间距的可靠估计。理论上可以采用专用无线电信道。然而，这将具有需要额外的硬件的缺点。
[0028]在一组实施例中，设备适合于使用作为无线数据网络的一部分所发射的信号来同步它们的发射。 申请人:认识到，这样的网络通常由准确的时钟控制，并且此外它们发射规则的、加时间戳的信标信号。使用现有的无线数据网络信号的优点是大多数电子设备如智能电话、平板电脑等已经具有能够接收这些信号的内置硬件。无线数据网络可以是蜂窝数据网络，如GSM、GPRS、3G或4G。然而，在一组实施例中，它包括802.11，即WiFi网络。方便地，设备直接从所述网络，例如，在WiFi的情况下从路由器或接入点接收信号。然而，它们所有都直接接收它并不是必须的。确实直接接收它的设备可以发射同步信号(例如，重新发射其从网络接收的信号)至其他设备。
[0029] 申请人:认识到，设备实际上连接到网络，以便使用由其发射的用于同步的信号并不是必须的。然而，在至少一些实施例中，这是优选的，因为在一些网络中，可用于同步的信号比“开放的”信号更规则地被发送到所连接的设备。然而，如上所述，只要有一个设备连接到网络，并且该设备基于其从网络接收到的那些信号发射同步信号，就足够了。
[0030]在一组实施例中，每个设备被规则地设置成估计所述设备上的本地时钟与网络上的时钟之间的偏移，并且还估计所述偏移正在以哪个速率变化(漂移)。设备可以使用所述偏移和漂移以对其本地时钟实施校正，并保证它与附近的其他设备同时发射信号，例如超声波信号。例如，这可以通过例如将设备设置成在预先同意的基于网络时钟的时间进行发射来完成。
[0031]在一组实施例中，设备被设置成计算包括从给定点(如启动)进行的超声波发射的数量的计数的指数。由于超声波发射规则地进行，所以这充当一种时钟。通过将每个指数与来自本地设备时钟的时间戳相关联，计算本地时钟和样本指数之间的偏移和漂移，使用所述的漂移和偏移将来自网络时钟的时间转换成所述的指数，并基于所述的指数发射所述超声波信号。这可以看作将指数用作校正本地时钟的机制，并且在网络接口软件驱动不提供调整本地时钟所需的功能的一些实现中是有利的。
[0032]优选地，每个设备被设置成直接地或间接地接收来自相同源的同步信号。例如，在设备接收来自WiFi接入点的同步时，它们优选地被配置成使用来自给定接入点的信号进行同步，即使给定的设备可以更接近于或连接到不同的接入点。优选地，设备被设置成直接与彼此进行通信或者通过通信网络进行通信以协调它们将用哪个信号来同步。
[0033]在一组实施例中，所有的设备都连接到接入点，它们从接入点接收它们同步所需要的定时信息。然而，这不是必需的，并且在一组实施例中，可将设备连接到第一接入点而从第二接入点接收用于同步的定时信息。在一组这样的实施例中，设备被设置成使用来自第一接入点的时间戳计算何时接收到来自第二接入点的信号。在一组实施例中，第一和第二接入点的漂移被假定为相同的。
[0034]在一组实施例中，设备包括本地时钟，其被设置成使得与系统调用结合使用。 申请人:发现，这可以增加本地时钟的精确度。例如，在Wind0ws7 (RTM)中，系统调用NtQueryTimerResolution 和 NtSetTimerReso Iut ion 可用于将本地时钟精确度从 15ms 提升到 0.5ms ο
[0035]在一组实施例中，使用超声波通信来同步两个或多个设备。这可以作为如上所述使用射频信号的一种替换——例如，用作不具有内置无线电接收机的设备——或作为没有可用的合适射频信号时的备份。在更特殊的一组这样的实施例中，采用两个分离的超声波信道。这两个信道可以以任何合适的方式分离，但优选地它们具有不同的频率。优选地，第一设备被配置成在第一时隙期间在第一个所述信道上发射同步信号，以及第二设备被配置成接收所述同步信号，并且在第二时隙期间发射应答信号。通过对时隙的长度的知识(例如，方便地通过将它们设定为相同的长度)，第一设备可以使用应答信号的接收时间来确定第一和第二设备之间的时隙内的相对偏移，并因此可以调整其发射，使得它们被同步。所述第一设备也可以使用总时间来确定设备之间的间隔距离。如前所解释的，这能够确定第二设备是否在第一设备的禁止区域内，并因此确定是否应该给出警示或者停止接口操作，或尝试可替换的干扰规避算法。
[0036]这种实现同步的方法本身是新颖的和有创造性的，因此当从另一方面来看，本发明提供一种操作两个或更多电子设备的方法，所述设备每个发射各自的接口信号，接收各自接口信号的反射以及每个设备根据所述接收到的反射控制其功能，所述方法还包括第二设备接收来自第一设备的同步信号，第二设备发射应答信号，所述应答信号由第一设备接收，以及所述第一设备改变其接口发射，以便与第二设备的接口发射紧密同步。
[0037]接口信号优选为超声波信号。同步和应答信号每个优选为超声波信号，但是这不是在任一种情况下都是必须的。
[0038]同步和应答信号优选地在各自的第一和第二信道上发射。
[0039]上文陈述的方法的优点是，至少在理论上，它可以提供几个设备之间的完全同步。如果另一个设备太靠近或存在太多设备，这些设备对于可靠的非接触操作来说太接近，它也允许给用户发出警示。然而，更积极的是，另一个设备的接近可用于打开允许它们在功能上交互的特征，如在我们共同未决的申请PCT/GB2010/051683 (在本申请的提交日未公开)中所描述的，将其内容引入本文以供参考。另一个优点是， 申请人:意识到可以容忍设备之间的相对运动。最后，它允许容纳新进入附近的设备。
[0040]第一信道优选地为多路复用，使得它可在多个设备之间共享。例如，它可以为时分多路复用，使得仅有一个设备可在任何给定的时间内访问它。在一组实施例中，第一信道包括载波侦听多路访问/冲突避免(CSMA/CA)，其本身是公知的，例如来自以太网协议。
[0041]根据本发明的上述方面，设备优选地被设置成同时发射它们的接口信号，或至少试图在同时发射它们的接口信号。对于不同的设备信号本身可以是不同的，但有利地是它们是相同的。由任何一个设备所发射的信号可以从一个发射到下一个而保持不变，但优选地它们遵循重复模式。该模式重复优选地足够长，使得给定的信号在其被重复前将基本上消失。定量地，这可能意味着，例如，先前信号已经降低到小于其原始幅度的20%，或小于10%。优选地，所述模式一秒钟重复不超过60次，例如，每秒不超过40次。
[0042]由设备所发射的信号可以是任何形式，但在一组优选的实施例中，它们包括线性调频脉冲，其是频率上升或下降的信号。
[0043]根据本发明的任一方面的电子设备可以是固定的、便携的或两者的混合。
[0044]本文所指的发射机和接收机不必是单独的部件；它们可以通过相同的换能器来体现。它或它们不必是专用的超声波部件；设计为在可听范围内操作的发射机和/或接收机可在所需的超声波频率处使用。
【专利附图】
【附图说明】
[0045]现在将仅通过示例的方式描述本发明的某些优选实施例，参照附图，其中:
[0046]图1是根据本发明设备周围的禁止区域的示意图；
[0047]图2是示出同步如何可干扰规避的时序图；
[0048]图3是其中使用了外部射频同步信号的系统的示意图；
[0049]图4是其中在设备之间传递射频同步信号的系统的示意图；
[0050]图5至12示出了实现同步的迭代方法的示意图；
[0051]图13是图示了根据本发明的可替换的同步方法的示意性时序图；
[0052]图14是示出了使用WiFi接入点来回同步的本发明的另一个实施例的方框图；以及
[0053]图15是图示了公用同步信号原理的框图。【具体实施方式】
[0054]首先转到图1，可以看到便携电子设备2包括发射超声波信号a的超声波发射机
4。信号被输入对象6反射且反射的信号b由超声波接收机8接收。设备2可由输入对象6 (例如，用户的手)的运动控制，所述运动由接收到的信号检测。实际上，通常将提供一个以上的接收机和/或发射机以给出足够的分辨率。然而，接口的细节对于本说明书不是必须的，并且为了简单起见，仅示出了 一个发射机和接收机。
[0055]将信号从发射机4传递到接收机8所花费的时间是所发射和反射的信号a、b的飞行时间的总和。设备2可被配置成使得它仅响应于具有低于最大阈值的飞行总时间的信号。该阈值限定了椭圆10的边缘。椭圆10内部的区域被称为目标区域。如果输入对象在椭圆边界10的内部，那么设备2将响应于它，但如果在边界10的外部，那么来自它的信号的反射将被忽略。这可以以直接的方式通过在发射之后仅仅响应于在预定时间窗口期间在设备2中接收到的反射的信号b实现。时间窗口的末端与最大飞行时间相对应。物理上，考虑到信号的传播速度，这设定了椭圆边界10的尺寸。时间窗口的开始可以为发射之后的短时间，以便忽略直接从发射机传递到接收机的“直接路径”信号。
[0056]如果另一个设备在第一设备2的附近，那么如果在时间窗口期间第一设备2(直接地或在反射后)接收到它发射的信号C，那么存在干扰的风险，其中在所述时间窗口中设备正在监听来自其输入对象6的反射。然而，如将参照图2在下面更详细解释的，如果其他设备同步发射并保持在由以接收机8为中心的球形边界12划定的禁止区域的外部，干扰就可以被避免。区12的半径至少与限定了目标区域边界10的最大飞行时间一样大，带有一些安全余量，比如说10%。因此，这提供了一种确保多个设备之间不存在干扰的简单方法，无论有多少个设备。给出典型的实例，目标区域直径可约为30cm (尽管略呈椭圆形)，在这种情况下，禁止区域12将具有至少为60cm的直径。
[0057]参照图2，可以看到图示了同步发射的优点的示意性时序图。图的上面部分示出了由设备2所发射的规则信号14，例如线性调频脉冲，操作非接触交互模式设备。应该理解的是，由于该图是纯示意性的，信号14并不用于作为线性调频脉冲的精确表示，它只是与这个解释相关的时序。图的下部示出了由接收机8接收到的信号。如可看到的，在每个发射14后的短时间内，接收到来自输入对象6的反射16。由于反射16在预定时间窗口 22内，所述反射作为其非接触式交互模式的一部分用于控制设备。时间窗口 22的末端与从目标区域边界10内的对象6反射的信号14所用的最大时间相对应。因此，它也与信号从禁止区域边界12到达接收机8所花费的时间相对应。
[0058]在图的下部同样可见的是由与第一设备2同步发射的另一个设备所发射的信号
20。由于信号20是来自第二设备的“直接路径”信号(即不经历任何反射)，尽管从更远处发出，但它具有比反射信号20更高的幅度。然而，由于第二设备在禁止区域12的外部，其信号20到达第一设备的接收机8所花费的时间24将信号位于接收窗口 22之外。因此，无视信号20是一件简单的事情，并且从而避免错误地尝试把它解读为设备2的输入。从而避免了设备之间的干扰。此外，对于禁止区域12外部的任何设备，同样情况成立。
[0059]然而，不是完全忽略信号20，而是其定时可以用于计算飞行时间(由于发射的时间是已知的)，并从而推导出到第二设备的距离。事实上，如果设备2实际上如通常一样具有一个以上的接收机，那么有可能估计第二设备的实际位置。设备的距离或位置可经由第一设备上的显示器向用户进行指示和/或可用于实现涉及两个设备的特征。
[0060]存在许多可将两个或多个设备同步使得它们的发射同时或至少大致同时发生的可能的方法。一个实例是设备将其发射基于源自在外部射频(RF)信号(如来自电信网络或卫星信号)的定时。这在图3中示意性地进行了说明。可以看到第一便携电子设备31装备有超声波发射机32和超声波接收机33。它接收来自外部发射机34的射频同步信号(例如，通过内部天线-未示出)。设备31使用射频同步信号将定时作为其超声波信号的基础。类似地，第二设备35也具有超声波发射机36和超声波接收机37。它接收来自外部发射机34的相同的射频同步信号。然后，第二设备35也使用射频同步信号将定时作为其超声波信号的基础，使得它与第一设备31自动地进行同步。清楚地，任意数量的设备可被添加并自动地进行同步。
[0061]另一个实例是用于将射频信号从一个设备发射到另一个设备。这在图4中示意性地进行了说明。在这里，第一设备41具有超声波发射机42和射频发射机43。第一设备发射射频同步信号，该射频同步信号可以由第二设备44接收，并用于同步第二设备的超声波发射机45的发射。各种协议对于此都是可能的。合适的协议的一个实例将对于每个设备周期性地发射射频同步脉冲，但是如果它在其下一个发射到期之前接收到脉冲，那么调整射频脉冲和超声波线性调频脉冲的脉冲定时。这将导致在附近的任何设备之间的快速同步。射频同步的优点是传播延迟可以以忽略不计。
[0062]现在将参照图5至12描述同步多个设备的另一种方法。图5示出了表示来自便携电子设备100的两个连续的超声波线性调频脉冲发射101、102的示意图。该图在水平方向示出了时间以及在垂直方向上示出了距离。因此，每个发射101、102在各个方向上产生传播的信号103、104(在这些图中只显示了一个空间维度)。阴影区域表示来自输入对象和周围的对象(如墙壁、桌子等)的可能的反射。
[0063]在每个发射之后，限定时间窗口 105、106，其与来自目标区域中的对象的反射的飞行最大时间相对应，如上文参照图1和图2所解释的。
[0064]图6示出了当引入第二设备200时会发生的情况。第二设备200也以与第一设备100相同的速率发射相同的超声波线性调频脉冲，然而，紧接在图6所示的情况之前，它跳过发射并监听发射，从而接收来自第一设备100的发射。然后，如图6所示，来自第二设备的后续发射201被定时，使得与第二设备200的目标区域相对应的时间窗口 205、206在从第一单元接收到信号103、104之前完成。因此，如前所解释的，避免了第一设备100和第二设备200的发射和回波之间的干扰。将注意到的是，在这点上，来自各自的设备100、200的各自的发射101、201和102、202不在完全相同的时间发生，但如将在下文中的算法所示，趋向于那样。
[0065]图7示出了引入第三设备300的影响，其更进一步是来自第一设备100。这个行为与图2中第二设备200所显示的十分相似，并且因此结果是第三设备300对其发射301、302进行定时，使得相应的ROI时间窗口 305、306在来自第二设备的信号203、204的接收之前出现。这避免了信号和回波之间的干扰。
[0066]图8示出了第四设备400物理地进入第一设备和第二设备100、200之间的效果。正如在前面的情况下，新的设备400对其发射401、402进行定时，因此相应的时间窗口 405、406在信号103、104从第一单元被接收到之前发生。然而，这具有干扰第二设备的时间窗口 205、206的意外效果(实际上，正如所描绘的那样，来自第四设备的信号403、404几乎与第二设备自身的发射201、202在同一时间到达第二设备)。
[0067]图9示出了图8中所述的情况的连锁效应。这里第二设备200已经使得其发射201、202在时间上向前以消除与第四设备的冲突，即来自第四设备403、404的信号403、404不再与第二设备的窗口 205、206发生冲突。由此可以看出，这样的结果是将第二设备的发射201、202带入更密切地与第一设备101、102的发射同步。然而，第二设备的发射201、202的定时偏移意味着它们现在正与第三设备的时间窗口 305、306发生冲突。
[0068]在图10中消除了第二设备200和第三设备300之间的冲突，通过第三设备对其发射301、302进行重新定时，使得其定时窗口 305、306提前于从第二设备的信号203、204的到达。因此，现在所有的四个设备100、200、300、400可以通过迭代地使它们彼此的发射时间接近同步，从而使它们不冲突地进行操作。因此，可以观察到，设备之间的发射定时中的差别在图10的稳定情况下比图7的稳定情况下小。也可以通过比较图8至图10观察到，引入新设备的效果是更良好地同步从一个设备“波及”到另一个设备。
[0069]在图11和图12中也可以看到上述“波及”自动地产生更良好的同步，图11和图12示出了在第二设备200和第三设备300之间出现第五单元500的效果。如图11所示，信号503、504由此最初干扰来自第三设备的时间窗口 305、306，但随后第三设备300偏移其发射301、302，使得其窗口在来自第五设备的信号503、504之前。这引起所有的五个设备无冲突地进行操作，并且接近同步，如在图12中可以看到的那样。同步的程度将随着更多的设备被添加以及随着设备被四处移动而增加(在上述的说明中它们被假定为是静态的)。
[0070]因此，可以看出，根据如上所述的实施例，通过使用所述的方法，大量的设备可以同时操作，而不会发生冲突并允许新的设备自动加入。总之，这不要求设备之间的任何通信超出它们发射的信号，以便操作它们各自的非接触式的交互模式。
[0071]该方法并不总是保证有效，因为，如果这些设备太靠近彼此，即，它们不是通过参照如图1和图2所说明的禁用区域分开，则不能找到稳定的解决方案，该解决方案避免来自一个设备的发射或回波在另一个设备的ROI时间窗口内到达。然而，这可以通过给予各个设备的用户它们太过接近的警示，并且它们要么可以移得更开，要么它们中的一个或多个可以关闭用于非接触式交互模式的信号。或者，设备中的一个或多个可切换到另一种干扰规避算法，如故意造成设备发射不同步，使得一个的发射和回波可发生在另一个的ROI时间窗口之外。
[0072]现在将参考图13描述同步的另一种方法。在该方法中，其中每一个具有超声非接触式交互模式的一些便携式电子设备也能够使用两个单独的超声信道(以下称为信道I和信道2)在彼此之间进行通信，这两个单独的超声信道是对于它们所有而言是共用的，并且在不同的相应频率上进行操作。
[0073]这些设备都被配置为以相同的速率通过信道I发射超声波线性调频脉冲信号。每个设备被配置为实现载波侦听多路访问/冲突避免。这涉及选择起始数字的每个设备C，例如:C=2。该设备然后生成一个在O和C之间的随机数字N，并在发射其线性调频脉冲之前等待该数字个时隙(N)。该设备然后监听以确定是否有另一个设备也在相同的时隙中进行发射。这通过检查与信号的其余部分相比的在该设备自身的线性调频脉冲内的能量的量来完成。
[0074]如果另一个设备在该时隙内进行发射，则该线性调频脉冲发射被视为已失败，并且原来的数字C在算法重复之前被加倍。如果没有检测到其他的发射，则该线性调频脉冲被视为已成功地被发射，并且数字C在算法重复之前被减半。
[0075]图13中的时序图显示了在两个设备单元A和单元B之间工作的方法。最初在时间al，单元A在信道I上发射线性调频脉冲。这被另一个设备单元B在时间b3接收。时间b3是进入单元B的时隙的时间X。单元B存储X的值，X的值是由线性调频脉冲从单元A行进到单元B所花费的时间(它们的相互的间隔和声速的函数)和由它们各自的时隙起始之间的偏移(即，它们不同步的程度)所确定的。时间a4是单元A的下一个时隙的开始。同样，时间b5是单元B的下一个时隙b8的开始。在这个时隙期间，单元B在信道2上将线性调频脉冲发射回。它在时间b6发射该线性调频脉冲，时间b6是在该时隙结束之前的一个时间X，X的值如上述已经被预先存储。
[0076]应答信号是由单元A在信道2上在时间a9被接收的，时间a9是在单元A的下一个时隙a7的起始后的时间P。可以显示，此间隔P等于单元A和B的时隙之间的偏移的两倍，即P=2X(b2 - al)。因此，单元A只需要测量间隔P并使其减半，以确定时隙之间的偏移b2 — al。单元A可以随后按照这个数量调整其发射，以便使它们根据需要进行同步。
[0077]当然，该过程可以由存在的其它设备中的每一个进行重复，以便它们都同步。因此，如果两个设备单元A和单元B是同步的，但单元C和单元D没有被同步，那么当单元C请求从其他单元同步(通过在信道I上发送线性调频脉冲)时，会观察到来自单元A和B的同时答复(因为它们已经同步)。来自单元A和B的总幅度将大于来自单元D的幅度，从而通过选择具有最大幅度的答复，单元C可以从单元A和单元B获得同步。单元D随后可以做同样的操作。通过确保“新”的单元与大部分网络同步，这使得同步能够在该网络中“向外蔓延”。
[0078]图14和图15示意性地示出了本发明的另一种可能的实施例，该实施例遵循以上参照图3和图4所述的实施例的原理。在本实施例中，如将要描述的，来自WiFi路由器或接入点的信号被用于同步设备。
[0079]首先转向图14，这里可以示意性地看到三个不同的WiFi接入点(AP)601、602、603以及电子设备604，电子设备604可能是一台笔记本电脑、智能电话、平板电脑或类似物。AP601、602、603每一个有各自独立的一个百万赫兹的时钟611、612、613，被称为定时同步功能(TSF)时钟。AP601、602、603发射规则信号，该规则信号被称为信标606，信标606，除其他方面，包含各自TSF时钟611、612、613的发射时间。
[0080]电子设备604包括一些不同的模块。这些其中之一是管理与接入点601、602、603的通信的WiFi网络控制器608。该设备还包括同步模块610和超声控制器模块614。设备604将通常包括一些时钟。这些其中之一是维持日常的一天时间和日期的本地系统时钟616。该本地系统时钟(SYS时钟)默认具有相当低的精确度，如15毫秒左右，但具有的好处是可由大多数系统组件(包括低级别的网络驱动器)普遍进行访问。设备和计算机通常具有至少一个高精度时钟(通常在1-2.5MHz下运行)。但不幸的是，这通常并非可同样通过系统进行访问。
[0081]超声波控制器614每隔一定时间发射线性调频脉冲。它也维持自系统启动开始已发射多少线性调频脉冲的指数。当控制器614使设备以恒定的速率发射线性调频脉冲时，这也有效地变成一个时钟，在本文中称为样本指数时钟(SI时钟)618。
[0082]正如将在下面将要描述的，设备604和附近的任何其他设备可根据AP信标606中的信息同步它们的超声发射。
[0083]同步是通过估算AP时钟611、612、613中的一个与SI时钟618之间的漂移和偏移而进行的。这使得线性调频脉冲在相对于AP时钟611、612、613指定的时间点被发射。通过估算漂移和偏移，可以估算根据SI时钟618的时间戳定义的这些时间点何时发生，从而建立同步发射。如下面将要讨论的，特定的AP由待使用的设备进行选择，要么是直接通过与彼此进行通信，要么是通过中间的在线服务。
[0084]虽然将有可能直接估算AP时钟611、612、613与SI时钟618之间的这些参数(通过例如进行AP时钟时间戳与SI时钟时间戳之间的线性回归)，如将要描述的那样，在实践中比较容易使得AP时钟611与SYS时钟616同步，并且然后使得SYS时钟616与SI时钟618同步。
[0085]正如已经提到的，接入点601、602、603发射包含关于它们各自的本地时钟611、612,613的时间戳信息的信标606。通常，这些信标以大约为IOHz的速率从每个个体的接入点发射。连接的设备将以它们的固有速率(IOHz)从它们所连接到的接入点接收这些信标。设备将以显著较低的速率(通常约为0.25Hz)从它们没有连接到的接入点接收信标。这是由于在WiFi无线接口 608中的典型限制，其要求它通过对其它频率进行扫描以监听其他信标，从而不允许它接收从给定的AP发射的大多数信标。对于最大的精度而言，将所有的设备都连接到同一个AP是理想的(但不是必需的)。
[0086]这些时间戳》1?|由W1-Fi网络控制器608接收，并且将接收的时间戳设置为TSYS，
Tsys是相对于系统时钟616的。合并后的信息被提供给同步模块610。
`[0087]来自SI时钟618和SYS时钟616同步信息分别由同步模块610进行收集。
[0088]总之，所有这些信息被用于提供在参考超声控制器614的SI时钟618帧中的时间戳XSI，时间戳Xsi指示应当在何时发射线性调频脉冲。
[0089]同步模块610首先收集关于附近的接入点的信息。在本实施例中，这是通过使用何时从附近的所有接入点601、602、603接收最新的信标606的列表进行的，该列表可以由Windows (RTM)及其底层网络接口软件驱动器提供。这个列表包含至少每个接入点的以下信息:从AP时钟611、612、613发射的时间戳；接收的时间戳(通常从SYS时钟616);媒体接入控制(MAC)地址，一个48位的整数，它唯一地标识特定的AP ；以及服务集标识符(SSID)，这是一个人类可读的网络名称，可在多个AP之间共享，以使用户能够像他或她在建筑内四处移动一样在接入点之间漫游。
[0090]这提供了使得TSF时钟和SYS时钟同步的必要信息。这样的时间戳信息是在一段时间内针对选定的接入点收集的。通常，最初2-5秒是足够的。
[0091 ] 为了以下说明的目的，将假定设备604通过普通的WiFi连接连接到第一 AP601，并且它用此来进行同步。
[0092]如上文所述收集的信息被用于估算AP时钟611与设备的本地时钟616之间的漂移和偏移。[0093]实际的同步是通过使用下列方法之一进行的。在这两种情况下，Ttsf(i)都是在信标606中接收到的TSF时间戳的列表，而Tsys⑴是对应的本地时钟616的时间戳的列表。需要估算漂移Dtsf和偏移Otsf,使得理想地:
[0094]Tsys (i) -Dtsf.Ttsf (i) +Otsf
[0095]这当然可以通过正常的线性回归进行，通过找出Dtsf和Otsf，使得下面的函数相对于参数Dtsf和Otsf最小化:
[0096]
【权利要求】
1.一种操作至少第一和第二电子设备的方法，所述设备分别配置成发射和接收超声信号，所述方法进一步包括同步全部设备，或者至少两个所述设备，以在基本上相同的时间发射所述信号。
2.如权利要求1所述的方法，其中所述信号被用作用户控制接口的一部分。
3.如权利要求1或2所述的方法，其中所述第一设备接收来自输入对象的发送信号的反射，并依靠从输入对象接收的反射来控制所述设备的功能。
4.如前述任一项权利要求所述的方法，其中所述第一设备与第二设备合作来实现涉及两个设备的特征。
5.如前述任一权利要求所述的方法，其中所述第一设备被配置成处理来自所述第二设备的信号。
6.如前述任一项权利要求所述的方法，其包括第一设备从所述第二设备接收信号并且计算所述第一和第二设备之间的间距。
7.如前述任一项权利要求所述的方法，其中如果所述第一设备得知另一个设备在预定的禁止区域，就向用户发出警示。
8.如前述任一权利要求所述的方法，其中如果所述第一设备意识到另一个设备在预定的禁止区域，则切换至另一干扰规避算法。
9.如权利要求8所述的方法，其中如果所述第一设备检测到，切换到另一个干扰规避算法仍未解决问题，则向用户发出通知并暂停其自身的发射。
10.如前述任一项权利要求所述的方法，其中如果所述第一设备意识到所述第二设备位于预定的禁止区域，其将此信息传达给所述第二设备。
11.如权利要求10所述的方法，其中所述通信是通过射频信道进行的。
12.如前述任一项权利要求所述的方法，其包括所述第一设备按照由所述第二设备发射的正常信号行事，以便实现同步。
13.如权利要求12所述的方法，其包括所述第一设备周期性地发射信号，但在由所述周期性确定的某些时间，会抑制信号发射。
14.如权利要求13所述的方法，其包括所述第一设备调整它的后续发射，使得与来自目标区域中的物体所反射信号的飞行的往返时间相对应的时间窗口发生在接收到来自第二设备的信号之前。
15.如前述任一权利要求所述的方法，其中通过独立的同步信号来协调同步。
16.如权利要求15所述的方法，其中所述同步信号通过射频信道发送。
17.如前述任一项权利要求所述的方法，其包括使用所发射信号作为无线数据网络的一部分来同步所述设备之间的发射。
18.如权利要求17所述的方法，其中所述网络包括WiFi网络。
19.如权利要求17或18所述的方法，其中至少一个所述设备被连接到网络。
20.如权利要求17至19中任一项所述的方法，其中每个设备定期地估计所述设备上的本地时钟与网络上的时钟之间的偏移，并定期地估计所述偏移的变化速率。
21.如权利要求17至20中的任一项所述的方法，包括所述设备计算包括从给定点所做的超声发射的数目的指数，并使用所述指数进行同步。
22.如权利要求17至21中的任一项所述的方法，包括每个所述设备直接地或间接地接收来自于相同来源的同步信号。
23.如权利要求22所述的方法，包括所述设备进行通信以协调它们将用于同步的信号。
24.如权利要求22所述的方法，其中将设备连接到第一网络接入点，所述设备从第二网络接入点接收用于同步的定时信息。
25.如权利要求24所述的方法，其中所述设备使用来自第一接入点的时间戳计算来自第二接入点的信号的接收时间。
26.如前述任一项权利要求所述的方法，其中所述第一设备包括本地时钟，所述本地时钟用于与系统调用相配合。
27.如前述任一项权利要求所述的方法，其包括使用超声通信来同步两个或更多个设备。
28.如权利要求27所述的方法，包括使用两个单独的超声波信道。
29.如权利要 求28所述的方法，包括所述第一设备在第一时隙期间在第一个所述信道上发送同步信号，以及第二设备接收所述同步信号并在第二时隙期间发射应答信号。
30.如前述任一项权利要求所述的方法，其中所述发射的信号包括超声波信号。
31.如前述任一项权利要求所述的方法，其中由任一设备所发射的所述信号遵循从一个发射到下一个的重复模式。
32.一种电子设备，包括分别用于发射和接收超声波信号的发射机和接收机，所述设备被配置成便于和至少一个另一个电子设备同步，所述另外的电子设备具有分别用于发送和接收超声波信号的发射机和接收机，以在基本相同的时间发射所述信号。
33.如权利要求32所述的设备，其中所述信号被用作用户控制接口的一部分。
34.如权利要求32或33所述的设备，被配置成接收来自输入对象的所发送信号的反射，并依靠从输入对象接收的反射来控制所述设备的功能。
35.如权利要求32到34中任一项所述的设备，被设置为与所述另一个设备协作来实现涉及两个设备的特征。
36.如权利要求32到35中任一项所述的设备，被配置为处理来自所述第二设备的信号。
37.如权利要求32至36中任一项所述的设备，被配置成接收来自所述另一个设备的信号，并计算所述设备和所述另一个设备之间的间距。
38.如权利要求32至37中任一项所述的设备，被配置成如果所述设备意识到另一设备位于预定的禁止区域，则向用户发出警示。
39.如权利要求32至38中任一项所述的设备，被配置为如果所述设备意识到另一设备位于预定的禁止区域，则切换到另一种干扰规避算法。
40.如权利要求31所述的设备，被配置为，如果它检测到切换到另一种干扰规避算法仍未解决问题，则向用户发出通知并暂停其自己的发射。
41.如权利要求32至40中任一项所述的设备，被配置成，如果所述设备意识到了另一设备位于预定的禁止区域，则传达到所述另一个设备。
42.如权利要求41所述的设备，被设置为经由射频信道进行所述通信。
43.如权利要求32至42中任一项所述的设备，被配置成按照所述另一设备所发射的正常信号行事，以实现同步。
44.如权利要求43所述的设备，被配置成周期性地发射信号，但在由周期性指示的某些时间，会抑制发射信号。
45.如权利要求44所述的设备，被配置成调整其后续发射，使得与来自目标区域中的物体所反射信号的飞行的往返时间相对应的时间窗口发生在接收到来自第二设备的信号之前。
46.如权利要求32至45中任一项所述的设备，被配置成接收用于协调同步的独立同步信号。
47.如权利要求46所述的设备，其被配置成通过射频信道接收所述同步信号。
48.如权利要求32至47中任一项所述的设备，被配置成使用所发射的信号作为无线数据网络的一部分来与所述另一个设备同步其发射。
49.如权利要求48所述的设备，其中所述网络包括WiFi网络。
50.如权利要求48或49所述的设备，被配置成定期地估计所述设备上的本地时钟与网络上的时钟之间的偏移，并定期地估计所述偏移的变化速率。
51.如权利要求48至50中任一项所述的设备，被配置成计算从给定点所做的超声波发射的数目的计数并使用所述指数进行同步。
52.如权利要求48至51的任一项所述的设备，被配置成与另一装置通信以协调它们将用于同步的信号。
53.权利要求48到52中的任一项所述的设备，被配置为连接到第一网络接入点，并被配置为从第二网络接入点接收用于同步的定时信息。
54.如权利要求53所述的设备，被配置成使用来自所述第一接入点的时间戳计算来自所述第二接入点的信号的接收时间。
55.如权利要求32至54中任一项所述的设备，包括本地时钟，并被配置成使用所述本地时钟与系统调用相配合。
56.如权利要求32至55中任一项所述的设备，被配置成使用超声通信与所述另一个设备同步。
57.如权利要求56所述的设备，包括两个单独的超声波信道。
58.如权利要求57所述的设备，被配置成在第一时隙期间在第一信道上发送同步信号，并且在第二时隙期间接收来自所述另一信道的应答信号。
59.如权利要求32至58中任一项所述的设备,其中所述发射信号包括超声波信号。
60.如权利要求32至59中任一项所述的设备， 其被配置成信号发射遵循从一个发射到下一个的重复模式。
61.一种计算机软件产品，可选地在载体上，当运行于适当的数据处理装置上控制具有发射机和接收机的电子设备时，其适用于发送和接收超声波信号，并与至少一个另一电子设备同步，所述另一电子设备具有分别用于发射和接收超声波信号的发射机和接收机，以在基本相同的时间发射所述信号。
62.如权利要求61的计算机软件产品，其被设置为用于实现权利要求1至31中任一项所述的方法。
63.如权利要求61所述的计算机软件产品，其被设置为将所述设备按照权利要求32至60中任一项来配置。
64.一种操作两个或更多个电子设备的方法，所述设备分别发射各自的信号，接收所述各自的发射信号的反射，并且每个设备根据所述接收的反射来控制功能，所述方法进一步包括:在所述设备之间传递信息；且所述设备中的一个或两个皆基于所述信息而改变其发射的信号，使得所述设备在基本上相同的时间发射各自的发射信号。
65.一种操作电子设备的方法，其包括以预定的周期发射接口信号，接收所述接口信号的反射，并根据所接收的反射来控制所述设备的功能，所述方法进一步包括抑制一个或多个接口的信号发射，接收来自第二设备的具有所述预定周期的信号，并改变所述接口信号的发射，使得在所述接口信号的发射和来自所述第二设备的所述信号的接收之间存在预定间隔。
66.如权利要求65中所述的方法，其中所述第一设备的发射与来自所述第二设备的信号的接收之间的间隔优选是固定的。
67.如如权利要求65或66所述的方法，其中信号接收于多个其它设备，并且所述第一设备在接收到来自其他单元的最强的信号之前重新开始它的信号的发射。
68.如权利要求65至67中任一项所述的方法,其中信号接收于多个其它设备,并且所述第一设备在接收到来自其他单元的最强的信号之前在最近的可用静默期重新开始发射。
69.如权利要求65至68中任一项所述的方法，其中所述第一设备被配置成规则地跳过一个或多个发射。
70.如权利要求65至69中任一项所述的方法，其中所述第一设备在其开始发射时被配置，以监听来自其它设备的发射，并且开始发射，以便与其目标区域相对应的时间窗口发生在接收到来自其他装置的所有信号之前。
71.一种操作两个或`更多个电子设备的方法，所述设备分别发送各自的接口信号，接收各自接口信号的反射，并且每个设备依靠所接收的反射来控制功能，所述方法进一步包括第二设备从第一设备接收同步信号，所述第二设备发射由所述第一设备接收的应答信号，且所述第一设备改变其接口发射，以便更紧密地与所述第二设备的所述接口发射同步。
72.如权利要求71所述的方法，其中所述接口信号是超声波信号。
73.如权利要求71或72所述的方法，其中所述同步和应答信号分别是超声波信号。
74.如权利要求71、72或73所述的方法，其中所述同步和应答信号分别在第一和第二信道上发射。
75.如权利要求74所述的方法，其中所述第一信道被多路复用，使得它可以在多个设备之间共享。
【文档编号】G06F3/043GK103492990SQ201280016855
【公开日】2014年1月1日 申请日期:2012年3月28日 优先权日:2011年4月1日
【发明者】延斯·T·蒂勒曼, 汤姆·欧伊斯坦·卡弗里 申请人:椭圆实验室股份有限公司