用于为远程交互提供触觉反馈的系统和方法
【技术领域】
[0001] 本发明针对用于为远程交互提供触觉反馈的系统和方法。
【背景技术】
[0002] 与够不到的远方物体进行交互当前被局限于视觉和声音，这限制了交互。能够感 觉够不到的远方物体或者与之进行交互将比仅仅看和/或听物体更有参与性。
【发明内容】
[0003] 期望使用触觉反馈来远程感觉可以看到但够不到的远方物体或者与之进行交互。
[0004] 根据本发明的一方面，提供了包括第一电子设备和第二电子设备的系统。第一电 子设备包括配置为感测由第一电子设备体验的条件或特性的传感器，以及配置为基于来自 传感器的输出发送信号的发送器。第二电子设备与第一电子设备信号通信。第二电子设 备包括配置为接收所发送的信号的接收器、配置为确定第二设备的用户聚焦的物体的检测 器、配置为如果确定用户聚焦的物体对应于第一电子设备的位置就生成代表所发送信号的 触觉信号的处理器，以及配置为接收触觉信号并向用户生成触觉效果的触觉输出设备。
[0005] 在实施例中，检测器包括配置为捕捉用户眼睛的图像的相机，以及配置为基于该 图像确定用户的眼睛注视方向的图像处理器。
[0006] 在实施例中，传感器配置为感测振动或变形。在实施例中，触觉效果模拟感测到的 振动或变形。
[0007] 在实施例中，第一电子设备包括配置为输出作为所发送信号的一部分的视频流的 相机，并且第二电子设备还包括配置为显示视频流的显示器。
[0008] 在实施例中，第二电子设备是头戴式显示器。在实施例中，检测器包括安装在头戴 式显示器上的相机并且相机具有与头戴式显示器所指的方向对准的视场。
[0009] 根据本发明的一方面，提供了一种方法，包括选择远方物体、检测由该物体发送的 信号，该信号包括用于触觉输出设备的驱动信号，并且基于驱动信号利用触觉输出设备向 用户生成触觉效果。
[0010] 在实施例中，选择远方物体包括检测用户在该远方物体的预定义接近范围内。
[0011] 在实施例中，选择远方物体包括检测用户看该远方物体的眼睛注视。
[0012] 在实施例中，该方法包括感测振动。从物体发射的信号是基于感测到的振动。
[0013] 在实施例中，由物体发送的信号包括视频流，并且该方法包括向用户显示该视频 流。
[0014] 根据本发明的一方面，提供了包括第一电子设备和第二电子设备的系统。第一电 子设备包括配置为调节第一电子设备的控制装置的调节器，以及配置为发送与控制装置的 调节相关联的信号的发送器。第二电子设备与第一电子设备信号通信。第二电子设备包括 配置为接收所发送的信号的接收器、配置为检测用于调节控制装置的用户输入的检测器、 配置为如果检测器检测到用于调节控制装置的用户输入就生成代表所发送信号的触觉信 号的处理器，以及配置为接收触觉信号并且向用户生成触觉效果的触觉输出设备，其中触 觉效果代表控制装置的调节。
[0015] 在实施例中，检测器配置为检测用户所作的代表调节器的运动的手势。
[0016] 在实施例中，第二电子设备包括配置为显示第一电子设备的虚拟图像的显示器， 并且用户所作的手势是相对于该虚拟图像作出的。
[0017] 在实施例中，第二电子设备是头戴式显示器。
[0018] 根据本发明的一方面，提供了一种方法，包括选择远方物体，该远方物体包括用于 调节该远方物体的控制装置的调节器、检测由用户所作的调节远方物体的控制装置的手 势、调节远方物体的控制装置，并且向用户生成代表调节的触觉效果。
[0019] 在实施例中，该方法包括向用户显示被选远方物体的虚拟图像，并且用户所作的 手势是相对于被选物体的虚拟图像作出的。
[0020] 当参考附图考虑以下描述和所附权利要求时，本发明的这些与其它方面、特征和 特性，以及相关结构元件的操作方法和功能以及部件的组合和制造的经济性，都将变得更 加显然，其中附图、以下描述和权利要求都构成本说明书的一部分。但是，应当明确地理解， 附图仅仅是为了说明和描述的目的而不是要作为本发明限制的定义。如在说明书和权利要 求中所使用的，除非上下文清楚地另外指出，否则单数形式"一"、"一个"和"该"也包括复 数的所指物体。
【附图说明】
[0021] 说明以下附图的组成部分是为了强调本公开内容的一般原理而且不一定是按比 例绘制的。为了一致性和清晰，指定对应组成部分的标号在必要的时候贯穿所有附图重复。
[0022] 图1示意性地说明了根据本发明实施例的系统；
[0023] 图2A和2B示意性地说明了图1系统的检测器的实施例；
[0024] 图3示意性地说明了图1系统的处理器；
[0025] 图4示意性地说明了图1系统的实现；
[0026] 图5是根据本发明实施例的方法的流程图；
[0027] 图6示意性地说明了根据本发明实施例的系统；
[0028] 图7示意性地说明了图6系统的实现；及
[0029] 图8是根据本发明实施例的方法的流程图。
【具体实施方式】
[0030] 图1说明了根据本发明实施例的系统100。如所说明的，系统100包括彼此信号通 信的第一电子设备110和第二电子设备120。第一电子设备110配置为放在远离第二电子 设备120的物体上，并且第二电子设备120配置为由系统100的用户拿着或佩带，诸如头戴 式显示器，如以下更详细地描述的。
[0031] 第一电子设备110包括传感器112和通信设备114,其中通信设备114包括配置为 基于来自传感器112的输出无线地发送信号115的发送器。在实施例中，通信设备114还 可以包括配置为无线地接收信号117的接收器。传感器112可以是配置为感测由第一电子 设备110体验的特性或条件的任何类型的传感器。例如，在实施例中，传感器112可以配置 为感测由第一电子设备110体验的振动，并且可以包括例如加速计。
[0032] 第二电子设备120包括通信设备122,其中通信设备122包括配置为无线地接收信 号的接收器，其中信号诸如由第一电子设备110发送的信号115。通信设备122与处理器 124信号通信，其中处理器124在以下更详细地描述。在第一电子设备110的通信设备114 与第二电子设备120的通信设备122之间传送的信号115、117可以利用无线网络广播。例 如，信号115、117可以例如在互联网服务器上被流化。在实施例中，信号115、117可以利用 诸如蓝牙或RF的直接通信协议直接流化到附近的设备110、120。任何类型合适的无线协议 都可以被用来允许第一电子设备110和第二电子设备120彼此通信。
[0033] 第二电子设备120还包括与处理器124信号通信并且配置为确定系统100的用户 在看什么远方物体的检测器126,如以下更详细地描述的。第二电子设备120还包括与处理 器124信号通信的触觉输出设备128。触觉输出设备128配置为向用户生成触觉效果。
[0034] 触觉输出设备128可以包括致动器，例如，诸如其中偏心质块被电动机移动的偏 心旋转质块（"ERM"）的电磁致动器、其中附连到弹簧的质块被前后驱动的线性共振致动器 ("LRA"），或者诸如压电材料、电活性聚合物或形状记忆合金的"智能材料"、宏观复合纤维 致动器、静电致动器、电触感致动器，和/或提供诸如触觉（例如，振动触感）反馈的物理反 馈的其它类型致动器。触觉输出设备128可以包括非机械或者非振动设备，诸如使用静电 摩擦（ESF)、超声表面摩擦（USF)的设备，或者利用超声触觉换能器感应出声辐射压力的设 备，或者使用触觉衬底和弹性或可变形表面的设备，或者提供突出的触觉输出的设备，诸如 利用空气喷嘴的一股空气，等等。
[0035] 检测器126可以包括被用来确定或估计用户聚焦在什么远方物体的任何检测装 置。例如，检测器126可以配置为检测系统100的用户的眼睛注视。检测用户的眼睛注视 提供了用户在看的方向的指示。图2A说明了检测器126'的实施例，其中检测器126'可以 包括可配置为捕捉系统100的用户眼睛的图像的相机210以及配置为基于该图像确定眼睛 注视方向的处理器212。在实施例中，处理器212可以是图1的处理器124的一部分。确定 眼睛注视方向的图像处理技术在文献中是众所周知的并且因此在本文不描述。图2B说明 了检测器126"的实施例，其中检测器126"包括配置为监视用户眼睛附近的肌肉运动的传 感器214以及配置为基于所监