用于基于物理的触觉消息发送的系统和方法与流程
相关申请的交叉引用
本申请属于申请日为2009年07月14日的中国发明专利申请200980127939.1的分案申请。
相关申请的交叉引用
本实用专利申请要求以下的优先权：2008年7月15日提交的题为“systemsandmethodsforphysics-basedtactilemessaging”的美国临时专利申请no.61/080,978；2008年7月15日提交的题为“systemsandmethodsformappingmessagecontentstovirtualphysicalpropertiesforvibrotactilemessaging”的美国临时专利申请no.61/080,981；2008年7月15日提交的题为“systemsandmethodsforshiftingsensorhapticfeedbackfunctionbetweenpassiveandactivemodes”的美国临时专利申请no.61/080,985；2008年7月15日提交的题为“systemsandmethodsforgestureindicationofmessagerecipients”的美国临时专利申请no.61/080,987；2009年1月29日提交的题为“systemsandmethodsforpseudo-telepresenceinasharedspace”的美国临时专利申请no.61/148,312；以及2009年5月26日提交的题为systemsandmethodsfortransmittinghapticmessages“的美国临时专利申请no.61/181,280；，其全部内容通过引用的方式被结合到本文中。
本发明一般地涉及消息发送(messaging)系统，并且更具体地涉及用于基于物理的触觉消息发送的系统和方法。
背景技术：
消息发送设备上的常规消息发送系统可以依赖于视觉或听觉反馈中的两者或任一者以提供用于确定消息的种类和内容的提示。例如，智能电话可以是接收到电话呼叫、语音邮件、或文本消息时发出嘟嘟响声和/或闪光。还可以使用基本触觉反馈，但其几乎不为用户提供关于消息的信息。例如，简单的振动可能伴随电话呼叫的接收。或者，诸如铃声的音响效果可以伴随着振动。在具有触摸屏和虚拟键盘的消息发送设备中，可以输出简单的触觉效果以模仿用户具有多个按钮的常规键盘的外观和感觉的情况下的体验。
此类标准视觉、音频、和触觉反馈可能无法为消息发送设备的用户提供强制性交互。因此，需要基于物理的触觉消息发送。
技术实现要素：
本发明的实施例提供用于基于物理的触觉消息发送的系统和方法。例如，在一个实施例中，一种用于基于物理的触觉消息发送的方法包括：从被配置成感测与消息发送设备的物理交互的传感器接收传感器信号；确定一个或多个虚拟消息对象与虚拟消息环境之间的交互，该交互至少部分地基于所述传感器信号和所述一个或多个虚拟消息对象中的至少一个的虚拟物理参数；至少部分地基于该交互来确定触觉效果；以及生成被配置成使得致动器输出触觉效果的触觉信号。在另一实施例中，一种计算机可读介质包括用于执行此类方法的程序代码。
提及这些说明性实施例并不是为了限制或限定本发明，而是提供示例以帮助对其的理解。在具体实施方式中讨论的说明性实施例，并且在此还提供了本发明的进一步描述。可以通过研究本说明书来进一步理解由本发明的各种实施例提供的优点。
附图说明
当参考附图来阅读以下具体实施方式时，将更好地理解本发明的这些及其它特征、方面、和优点，在附图中：
图1是根据本发明的一个实施例的用于基于物理的触觉消息发送的系统的框图；
图2是根据本发明的一个实施例的用于基于物理的触觉消息发送的系统的图示；
图3是根据本发明的一个实施例的用于基于物理的触觉消息发送的方法的流程图；
图4是根据本发明的一个实施例的用于基于物理的触觉消息发送的方法的流程图；
图5a、5b、和5c是根据本发明的一个实施例的基于物理的触觉消息发送的图示；
图6a、6b、和6c是根据本发明的一个实施例的基于物理的触觉消息发送的图示；
图7是根据本发明的一个实施例的基于物理的触觉消息发送的图示；以及
图8a、8b、和8c是根据本发明的一个实施例的基于物理的触觉消息发送的图示。
具体实施方式
本发明的实施例提供了用于基于物理的触觉消息发送的系统和方法。
基于物理的触觉消息发送的说明性实施例
在本发明的一个实施例中，一种诸如移动智能电话的消息发送设备包括与显示器和被配置成生成触觉效果的致动器通信的处理器。在该实施例中，消息发送设备包括装配有immersion公司的
在本实施例中，所述智能电话显示多维运动收件箱，或虚拟消息环境。虚拟消息环境包含被表示为虚拟消息对象的电子消息。虚拟消息对象可以采取设备能够显示的任何形式，例如卷轴、囊状物(capsule)、或球。每种类型的虚拟消息对象可以对应于特定类型的消息。例如，采取管或圆柱形卷轴形式的虚拟消息对象可以表示文本消息或聊天会话。可以将意图传达诸如亲密性的情绪的短消息表示为心形的虚拟消息对象。
通过将消息表示为虚拟消息对象，虚拟消息对象的性质和行为可以快速且直观地告知用户关于其内容。每个虚拟消息对象的性质、或虚拟物理参数可以包括大小、质量、形状、碰撞行为、纹理、和/或视觉表示中的一个或多个。虚拟消息对象的一个实例可以包括包含文件的蛋或囊状物。此类虚拟消息对象可以具有大尺寸参数、平滑纹理参数、以及易碎或脆性碰撞参数。传送具有其物理性质的信息的虚拟消息对象的另一实例是跳动的心。单独的心虚拟消息对象可以是不动的，但是当其包含文本消息或其它信息时，其在视觉上被制成动画以使其看起来正在跳动。另外，可以播放触觉效果，该触觉效果模仿心跳动画，使得心虚拟对象感觉好像其正在跳动一样，指示其包含消息。虚拟消息对象的行为或交互可以至少部分地基于其虚拟物理参数。
根据收件箱的二维物理象征，可以以多种方式来操纵虚拟消息对象。在本实施例中，消息发送设备包括被配置成感测与消息发送设备的物理交互的一个或多个传感器，诸如触摸屏、加速度计或陀螺仪，其被配置成检测接触、压力、加速度、倾斜度、惯性、或位置。在传感器(多个)被激活之后，处理器从传感器接收传感器信号。例如，惯性传感器在智能电话被推撞时向处理器传送信号。通过使智能电话倾斜或移动，虚拟消息对象可以根据传感器信号和虚拟消息对象的虚拟物理参数来与虚拟消息环境相交互。例如，使设备倾斜可以使得球在虚拟消息环境中移动，如同重力直接对其起作用一样。处理器可以至少部分地基于传感器信号和虚拟消息对象的虚拟物理参数来确定虚拟消息对象与虚拟消息环境之间的此交互。例如，如果设备在球驻留在虚拟消息环境中的同时倾斜，则基于由传感器测量的倾斜角和球的弹性、非离心、滚动虚拟物理参数，处理器可以确定球滚动的速度，并确定其将从虚拟消息环境的边界弹回来。
在确定交互之后，处理器至少部分地基于该交互来确定触觉效果。在本实施例中，处理器基于球的弹性虚拟物理参数和由陀螺仪测量的倾斜的强度来确定模拟球从环境弹回来的触觉效果。在另一示例中，虚拟消息环境包含采取球的形式的多个虚拟消息对象。如果传感器信号指示用户正在有力地摇动设备，则处理器可以确定大量的短暂高频振动适合于模拟相互反弹并从虚拟消息环境的墙壁弹回的多个球。
最后，处理器生成被配置成使得致动器输出触觉效果的触觉信号。随着消息发送设备被倾斜、摇动、或移动，消息发送设备可以振动或摇动，模拟设备的移动对虚拟消息发送环境中的虚拟对象的影响。然后，处理器向可以输出触觉效果的致动器传送触觉信号。
基于物理的触觉消息发送
本文呈现的本发明的实施例提供了用于基于物理的触觉消息发送的系统和方法。通过将物理模型结合到虚拟消息环境中，实施例可以以杠杆方式作用于用户的日常触觉体验和运动感觉技术以直观地对用户界面进行导航。常规消息发送系统提供很少扫或不提供关于消息内容的直观触觉反馈。具有显示主题行、草稿等的一维收件箱的使用常规电子邮件象征的文本消息系统可能是在视觉和认知上密集的，要求用户加强注意力以便阅读和创作内容。然而，基于物理的触觉消息发送能够促进通过音频、视觉、和触觉反馈的内容的非语言通信，其对物理象征进行模拟。
用于基于物理的触觉消息发送的说明性系统
现在参考附图，其中相同的附图标记遍及多个图指示相同的元件，图1是根据本发明的一个实施例的用于基于物理的触觉消息发送的系统的框图。如图1所示，系统100包括消息发送设备102，诸如移动电话、便携式数字助理(pda)、便携式媒体播放器、或便携式游戏设备。消息发送设备102包括处理器110。处理器110与传感器114、网络连接112、显示器116、致动器118、和扬声器120通信。处理器110被配置成生成在显示器116上显示的虚拟消息环境。
处理器110与网络连接112通信。网络连接112可以包括一个或多个移动通信方法，诸如红外、无线电、wi-fi、或蜂窝式网络通信。在其它变体中，网络连接112包括有线网络连接，诸如以太网。消息发送设备102可以被配置成在诸如蜂窝式电话网络或因特网的网络上与其它设备(未示出)交换消息或虚拟消息对象。在设备之间交换的消息的实施例可以包括语音消息、文本消息、数据消息、或其它形式的消息。
处理器110可以被配置成经由网络连接112来接收包括新虚拟消息对象的新虚拟消息对象信号。例如，处理器110可以从诸如不同智能电话的远程设备接收新的虚拟消息对象信号。在一个变体中，处理器110生成新的虚拟消息对象。例如，警报或提醒可以使得虚拟消息对象到达虚拟消息环境。在接收到新的虚拟消息对象时，处理器110可以被配置成确定一个或多个虚拟消息对象与虚拟消息环境之间的交互，该交互至少部分地基于所述一个或多个虚拟消息对象中的至少一个的虚拟物理参数。
处理器110还与一个或多个传感器114通信。传感器114可以包括加速度计、陀螺仪、gps传感器、触摸敏感输入设备(例如触摸屏、触摸板)、或某种其它类型的传感器。一个或多个传感器114可以被配置成检测例如加速度、倾斜度、惯性、或位置的变化。例如，消息发送设备102可以包括被配置成测量消息发送设备102的加速度的加速度计。作为另一示例，消息发送设备102可以包括位置传感器、旋转速度传感器、图像传感器、压力传感器、或其它类型的传感器。一个或多个传感器114可以被配置成向处理器110发送传感器信号。
用户可以通过由一个或多个传感器114检测的移动或姿势与虚拟消息环境中的虚拟消息对象交互。随着消息设备102被倾斜、摇动、或以其他方式移动，一个或多个传感器114可以检测这些移动并至少部分地基于所述移动来生成被发送到处理器110的传感器信号。在一个实施例中，加速度传感器被配置成检测消息发送设备102的倾斜度和加速度。随着消息发送设备102被倾斜，加速度计可以被配置成至少部分地基于消息发送设备102的倾斜和/或加速度来向处理器发送信号。可以使用加速度感测来模拟虚拟消息环境中的重力。在接收到传感器信号时，处理器110可以被配置成确定一个或多个虚拟消息对象与虚拟消息环境之间的交互，该交互至少部分地基于该传感器信号和所述一个或多个虚拟消息对象中的至少一个的虚拟物理参数。
在确定交互之后，处理器110可以被配置成至少部分地基于该交互来确定触觉效果。在一个实施例中，虚拟消息环境包括囊状物或蛋。当传感器114检测到消息发送设备102正在被倾斜时，处理器110可以确定蛋与虚拟消息环境之间的交互，诸如蛋撞到虚拟消息环境的墙壁而碎裂。基于此交互，处理器110可以确定触觉效果，诸如蛋撞到虚拟消息环境边界而碎裂的模拟效果。
如图1所示，处理器110还与显示器116通信。该处理器可以被配置成生成将在显示器116上显示的虚拟消息环境的图形表示。在显示器116上显示的虚拟消息环境可以包括多个虚拟消息对象。显示器116可以包括触摸敏感输入设备，诸如触摸屏，其被配置成发送和从处理器110接收信号。可以通过触摸屏来直接操纵虚拟消息对象。例如，触摸屏显示器上的二维手指姿势可以在虚拟消息环境内选择、触摸、感觉、拖动、轻弹、或投掷虚拟消息对象。
处理器110还与一个或多个致动器118通信。致动器118可以被配置成从处理器110接收信号，诸如被配置成使得致动器110输出触觉效果的触觉信号。致动器118可以是例如电动机、电磁致动器、音圈、线性谐振致动器、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量电动机(epm)或线性谐振致动器(lra)。
最后，在所示的实施例中，处理器110与扬声器120通信。处理器可以被配置成至少部分地基于虚拟消息对象与虚拟消息环境之间的交互来确定声音效果，并且然后至少部分地基于该声音效果来向扬声器发送音频信号。该声音效果可以模拟虚拟消息对象与虚拟消息环境之间的交互，和/或第一虚拟消息对象与一个或多个其它虚拟消息对象之间的交互。扬声器可以被配置成至少部分地基于音频信号来生成声音效果。可以协调触觉效果和声音效果的输出。在一个实施例中，扬声器可以与致动器生成触觉效果基本上同时地生成声音效果。
图2是根据本发明的一个实施例的用于基于物理的触觉消息发送的系统的图示。参考图1所描绘的系统来描述系统200的元件。可以有多种其它实现。
如图2所示，系统200包括消息发送设备102，诸如移动电话、便携式数字助理(pda)、便携式媒体播放器、或便携式游戏设备。消息发送设备102可以被配置成在诸如蜂窝式网络或因特网的网络上发送和接收信号，诸如语音邮件、文本消息、及其它数据消息。消息发送设备102可以包括无线和/或有线网络连接112。虽然设备102在图2中被示为手持式消息发送设备，但其它实施例可以使用诸如视频游戏系统和/或个人计算机的其它设备来发送和接收虚拟消息对象。
如图2所示，消息发送设备102包括显示器116。除显示器116之外，消息发送设备102可以包括按钮、触摸板、滚轮、摇杆开关、操纵杆、或其它形式的输入设备(未示出)。显示器116可以包括诸如触摸屏的触摸敏感输入设备。
显示器116被配置成从处理器110接收信号并生成虚拟消息环境204。虚拟消息环境204可以包括多维收件箱的视觉表示。在虚拟消息发送环境204内部，可以将一个或多个消息表示为虚拟消息对象。虚拟消息对象的一些示例包括箭头、球、囊状物、心、和管。如图2所示，虚拟消息环境204包括三个虚拟消息对象206a、206b、和206c。在虚拟消息环境204内部，虚拟消息对象可以自由地来回移动，弹回和与虚拟消息环境204的边界和该环境内部的其它虚拟消息对象相碰撞。
每个虚拟消息对象206可以表示消息和/或文件，诸如文本消息、图片、视频、语音邮件、提醒、或诸如笑脸或皱眉脸的拟情绪消息。采取管或卷起的卷轴206a形式的虚拟消息对象可以表示文本消息。采取蛋或囊状物206c形式的虚拟消息对象可以表示具有诸如视频文件、图片、或歌曲的附件的消息。在另一实施例中，虚拟消息对象可以采取发送者在虚拟包装纸中包装的对象的形式。在此类实施例中，发送者可以具有多种不同类型的虚拟包装纸，或者可以创建其自己的唯一虚拟包装纸。
在另一实施例中，虚拟消息对象可以采取用户手工戳的形式。该戳可以包括动画和触觉效果。例如，虚拟消息对象可以采取戳的形式，并且该戳可以包括发送者的图像。该戳还可以包括动画，例如用户举起手如同与接收者击掌祝贺一样的动画。该戳可以进一步包括关联的触觉效果。例如，在一个实施例中，包括发送者击掌祝贺的动画的戳可以进一步包括近似击掌祝贺的撞击的触觉效果。在一些实施例中，用户可以在没有任何其它消息的情况下单独地发送该戳。在另一实施例中，用户可以包括该戳以及虚拟消息对象。在此类实施例中，该戳可以充当发送者的虚拟签名。
虚拟消息对象还可以表示各种形式的非言语通信，诸如姿势、面部表情、或情绪。例如，被示为球的虚拟消息对象206b可以对应于诸如嬉闹的指示的非言语消息。作为箭头的虚拟消息对象可以表示戳刺或戳动姿势(即以请求或要求注意)。其它虚拟消息对象可以表示心、篮球、水球、打字机、或某种其它形式的视觉表示。在虚拟消息对象的形式的确定中可以包括虚拟消息对象所表示的数据的类型。某些有效的虚拟消息对象可以具有可容易地识别的视觉和/或触觉性质和/或效果，诸如打字机的键的叮当声。此类虚拟消息对象可以表示来自工作的消息、文本消息、或文字处理文件。在另一实施例中，虚拟消息对象可以表示消息的紧急性。例如，在此类实施例中，虚拟消息对象可以采取表示紧急性的说明点或某种其它形状的形状。此类消息对象可以进一步包括表示消息的紧急性的强烈触觉效果。
每个虚拟消息对象可以包括一个或多个虚拟物理参数。诸如大小、质量、形状、碰撞行为、纹理、或视觉表示的一些虚拟物理参数可以是静态参数、虚拟消息对象本身的固有性质。诸如紧急性、使用期、和/或姿态的其它虚拟物理参数可以是短暂或暂时的参数。此类可变虚拟物理参数可以与如何发送或接收虚拟消息对象相关联。
可以通过显示器116和致动器118在视觉上和触觉上模拟虚拟消息对象的虚拟物理参数。虚拟消息对象的虚拟物理参数可以基于虚拟消息对象的固有和/或短暂性质。虚拟消息对象的固有性质可以包括对象的大小、质量、形状、密度、或纹理。诸如紧急性、使用期、和/或姿态的虚拟消息对象的短暂性质可以基于与虚拟消息对象的传输或交换相关联的信息。
特定类型或种类的消息可以被表示为单个类型的虚拟消息对象。例如，所有文本消息可以被表示为卷轴或轧制管，并表示为轻的、薄的、和有弹性的。替代地，可以将具有文件附件的消息表示为大的、重的、脆性的、和椭圆形的蛋。单独虚拟物理参数可以与消息的参数相对应。例如，大的蛋可以表示具有包含大量数据的文件附件的消息，而小的蛋可以表示具有包含少量数据的文件附件的消息。
通过将消息表示为具有物理参数的虚拟消息对象，可以从其外观或触觉行为来推断出关于对象的类型和内容的线索。诸如蛋壳虚拟消息对象的用薄表面模拟的对象可以在与虚拟消息环境的边界撞击时碎裂或破裂。替代地，诸如弹性球或乒乓球的用不同表面或碰撞性质模拟的对象可以连续地从虚拟消息环境的边界弹回。通过至少部分地基于一个或多个虚拟物理参数来确定触觉效果，用户可以使特定触觉效果与特定类型的消息相关联。例如，当生成模拟蛋破裂的触觉效果时，用户可以推断已经接收到具有附件的消息。作为另一示例，当生成模拟跳动的心的触觉效果时，用户可以推断已经接收到表达感情亲密的消息。因此，至少部分地基于消息的虚拟物理性质的触觉效果可以产生增强的用户体验。
处理器110可以至少部分地基于一个或多个虚拟消息对象与虚拟消息环境之间的交互来确定触觉效果，该交互至少部分地基于从一个或多个传感器114接收到的信号和所述一个或多个虚拟消息对象中的至少一个的至少一个虚拟物理参数。在一个实施例中，采取网球形式的虚拟消息对象可以具有诸如粗糙纹理表面或空心橡胶芯的虚拟物理性质。当用户通过触摸敏感输入显示器116来摩擦球时，致动器118可以生成触觉效果以模拟网球的粗糙表面。如果用户戳刺球，则致动器118可以生成被配置成模拟网球的空心橡胶芯的触觉效果。
通过模拟多维环境，虚拟消息对象可以在虚拟消息环境204中自由地来回移动，并潜在地与彼此和环境相交互。例如，虚拟消息对象可以来回滚动并与彼此和虚拟消息环境204的边界碰撞。在一个实施例中，当设备102被倾斜时，虚拟消息对象206b可以从虚拟消息环境204的顶部滚动到底部。当虚拟消息对象206b正在滚动时，致动器118可以生成模拟虚拟消息对象206b的纹理的振动。如果和当虚拟消息对象206b从虚拟消息环境204的底部弹回时，致动器118可以生成模拟该弹回或碰撞的触觉效果。还可以使基于此类交互的触觉效果与由扬声器120生成的声音效果协调，并在虚拟消息环境204中示出。
随着消息发送设备102接收到与新的虚拟消息对象相关联的新虚拟消息对象信号，所述虚拟消息对象可以‘到达’虚拟消息环境内部。然后，这些虚拟消息对象可以与虚拟消息环境204和/或其它虚拟消息对象相交互。处理器110可以至少部分地基于新虚拟消息对象的到达来确定触觉效果。例如，消息发送设备102可以接收与采取球的形式的虚拟消息对象相关联的虚拟消息对象信号。虚拟消息环境204可以示出从环境的顶部到达、下落、并在进入静止状态之前在环境的底部处弹回的球。处理器110可以基于球与虚拟消息环境的交互来确定触觉效果。
在一些实施例中，处理器110可以确定与用户与虚拟消息对象的交互相关联的触觉效果。例如，虚拟消息对象可以采取包括唯一包装纸的包装的形式。此类消息的接收者可能必须从虚拟包装纸打开该包装以访问虚拟消息对象。随着接收者打开虚拟消息对象，处理器110可以向致动器118传送近似撕开包装纸的触觉信号。
用于基于物理的触觉消息发送的说明性方法
图3是根据本发明的一个实施例的用于基于物理的触觉消息发送的方法的流程图。在方法300中，处理器从传感器接收传感器信号302。传感器可以包括例如加速度计、陀螺仪、倾斜计、诸如照相机的光学传感器、音频频谱传感器、超声波传送器和传感器、红外或其它接近传感器、gps传感器、或能够检测定向或运动的其它传感器。该传感器可以被配置成检测消息发送设备的接触、压力、加速度、倾斜度、惯性、或位置、或某个其它特性。当消息发送设备被移动、旋转、或推撞时可以生成传感器信号。作为一个替代，当触摸屏被使用时，可以生成传感器信号。通过触摸、移动、摇动、或旋转消息发送设备，用户可以与虚拟消息环境内的虚拟消息对象相交互。
接下来，处理器确定一个或多个虚拟消息对象与虚拟消息环境之间的交互304，该交互至少部分地基于该传感器信号和所述一个或多个虚拟消息对象中的至少一个的虚拟物理参数。交互可以包括与虚拟消息环境和/或另一虚拟消息对象相交互的一个虚拟消息对象的模拟行为。
虚拟消息对象的虚拟物理参数可以通知虚拟消息对象的行为，或虚拟消息对象如何与虚拟消息环境及其它虚拟消息对象相交互。例如，采取小橡皮球形式的虚拟消息对象可以通过从其它球和/或环境弹回而与之相交互。同一虚拟消息对象可以在环境内到处滚动，更像是弹球将在箱子中来回滚动。在另一示例中，采取圆柱形卷轴的形式的虚拟消息对象可以在虚拟消息环境内到处滑动，但是当其与其它对象或虚拟消息环境的边界碰撞时不弹回。采取蛋的形式的虚拟消息对象可以在与其它对象或边界突然撞击时碎裂或破裂。
在确定交互之后，处理器至少部分地基于该交互来确定触觉效果306。例如，用户可以推撞消息发送设备以尝试将虚拟消息环境的内容解密。如果虚拟消息环境包含诸如大的脆性蛋的单个虚拟消息对象，则处理器可以确定模拟蛋破裂的触觉效果(例如，单个大的裂缝)。作为另一示例，如果存在包括运动弹性球的许多虚拟消息对象，则处理器可以确定许多小的快速振动适合于模拟运动的球从环境弹回并相互弹回。通过使触觉效果与虚拟消息对象的虚拟物理参数相关联，用户可以使某些触觉效果与某些类型的对象相关。例如，当致动器输出模拟跳动的心的触觉效果时，用户可以在不看消息发送设备的情况下立即猜到她已接收到亲密消息或虚拟消息对象。
最后，处理器生成被配置成使得致动器输出触觉效果的触觉信号308。处理器被配置成向被配置成输出触觉效果的一个或多个致动器传送触觉信号310。在一个变体中，处理器确定模拟箭击中墙壁的触觉效果，诸如重击，并生成被配置成使得致动器输出该重击的触觉信号。该触觉信号可以被传送到输出触觉效果的致动器。
图4是根据本发明的一个实施例的用于基于物理的触觉消息发送的方法的流程图。在方法400中，处理器接收包括新的虚拟消息对象的新虚拟消息对象信号402。当从一个设备向另一个发送虚拟消息对象时，可以由接收者的消息发送设备来接收新的虚拟消息对象信号。该新的虚拟消息对象信号可以与新的虚拟消息对象相关联。在一个实施例中，通过警报或提醒来生成新的虚拟消息对象信号。例如，可以通过采取箭头或水球的形式的虚拟消息对象来表示警报。当到了触发或激活警报的时间时，可以在虚拟消息环境中生成表示该警报的新虚拟消息对象。
接下来，处理器确定新的虚拟消息对象与虚拟消息环境之间的交互，该交互至少部分地基于新虚拟消息对象的虚拟物理参数404。当接收到新的虚拟消息对象时，其可以至少部分地基于其被如何发送来与虚拟消息环境相交互。在一个示例中，发送者可以使用快速姿势从其收件箱发送虚拟消息对象。该快速姿势可以被转换成与虚拟消息对象相关联的虚拟物理参数。当接收到虚拟消息对象时，虚拟消息对象可以到达虚拟消息环境并至少部分地基于与发送姿势的速度相关联的虚拟物理参数来表现或与其它对象和/或环境相交互。
然后，处理器至少部分地基于交互来确定触觉效果406。在一个示例中，空虚拟消息环境接收采取被紧急发送的大的脆性蛋形式的虚拟消息对象。在确定蛋将与虚拟消息环境的边界碰撞并破裂之后，处理器确定模拟蛋破裂的触觉效果。作为另一示例，充满各种虚拟消息对象的虚拟消息环境接收采取被缓慢发送的运动弹性球形式的新的虚拟消息对象。在确定环境中的新球的行为或交互之后，诸如在进入静止状态之前的平缓弹回，处理器确定模拟该平缓弹回的触觉效果。
最后，处理器生成被配置成使得致动器输出触觉效果的触觉信号408。在一个变体中，当在消息发送设备上接收到新文本消息时，处理器生成触觉信号以模拟新文本消息与虚拟消息环境碰撞的效果。
用于基于物理的触觉消息发送的说明性情形
在基于物理的触觉消息发送的一个实施例中，消息发送设备的用户界面环境结合了物理模型。用户界面环境可以表示二维运动收件箱，诸如扁平弹球箱子，或台球台。虚拟消息对象在虚拟消息环境的二维空间内移动并进行交互，诸如台球在台球台上移动并碰撞，但是始终保持在其表面上。当消息发送设备相对于虚拟消息对象移动时，由加速度计感测的真实重力可能看起来似乎作用在虚拟消息对象上，从而产生虚拟消息对象与消息发送设备无关的假象。诸如随着虚拟消息对象滚动的摩擦振动的模拟或虚拟消息对象与虚拟消息环境的边界碰撞时的脉冲的模拟的触觉效果可以产生在消息环境内部的物理对象的假象，而不是仅仅是收件箱内部的数据片。
图5a、5b、和5c是根据本发明的一个实施例的基于物理的触觉消息发送的图示500。如图5a、5b、和5c所示，该系统包括消息发送设备502。消息发送设备502被配置成生成虚拟消息环境504。如图5a、5b、和5c所示，虚拟消息环境504包括采取球的形式的虚拟消息对象506。在其它变体中，虚拟消息环境504可以包括多个类似或不同的虚拟消息对象506。
在图5a中，如箭头520的方向所指示的，在垂直方向上示出了消息发送设备502和虚拟消息环境504。虚拟消息环境504的内容的图形位置可以与消息发送设备的定向相对应。如图5a所示，在垂直方向上示出了消息发送设备，并且示出了在虚拟消息环境504的底部处静止的虚拟消息环境的内容，其与设备502的底部相对应。
在图5b中，消息发送设备502沿顺时针方向、或向右旋转。随着消息发送设备502被移动或旋转，传感器可以至少部分地基于消息发送设备502的移动向处理器发送信号。在一个变体中，诸如加速度计的传感器向处理器发送用于报告加速度的变化的信号。在另一变体中，诸如陀螺仪传感器的传感器向处理器发送用于报告设备的旋转速度的信号。
诸如虚拟消息环境中的虚拟消息对象的移动或碰撞的交互可以至少部分地基于传感器信号。在图5b中，虚拟消息对象506已经滚动或移动到虚拟消息环境504的右下角。在该图示中，虚拟消息对象506已经响应于消息发送设备502的旋转在虚拟消息环境内移动，如同重力正在作用于对象506一样，并朝着虚拟消息环境504的底部拉动对象506。交互还可以至少部分地基于虚拟消息对象506的虚拟物理参数。如图5b所示，虚拟消息对象506是圆球。当消息发送设备以各种角度倾斜或旋转时，圆球506可以在虚拟消息环境506内同时滚动。蛋形状的虚拟消息对象可以摇晃而不是滚动，并且诸如管的虚拟消息对象可以在虚拟消息环境内到处滑动。
当虚拟消息对象506在虚拟消息环境内移动或滚动时，处理器可以至少部分地基于虚拟消息对象和虚拟消息环境的交互来确定触觉效果。例如，当虚拟消息对象506正在虚拟消息环境504内滚动和移动时，处理器可以确定模拟虚拟消息对象506的纹理的触觉效果。根据虚拟消息对象506的虚拟物理参数和用户对消息发送设备502的移动，虚拟消息对象506可以响应于消息发送设备502的移动在虚拟消息环境504内弹回、滚动、或粉碎。在一种情形下，用户可以有力地摇动消息发送设备502。作为响应，模拟弹性球的虚拟消息对象506可以在虚拟消息对象504内弹回和弹跳。同时，类似于反弹球的触觉效果可以与环境504内的虚拟消息对象506的移动一致。
在图5c中，消息发送设备502被示为顺时针方向旋转九十度。虚拟消息对象506已从环境504的右下角滚到虚拟消息环境504的底部的中间。已到达虚拟消息环境504的底部，球506可以至少部分地基于设备向右或左的轻微移动而从一侧滚到另一侧。
图6a、6b、和6c是根据本发明的一个实施例600的基于物理的触觉消息发送的图示。图6a、6b、和6c图示了随着设备在顺时针方向上旋转显示在消息发送设备上的虚拟消息环境中的三个虚拟消息对象的移动。移动或摇动消息发送设备可以使得虚拟消息对象被推撞和/或重新定位，这可以生成指示在虚拟消息环境中有多少虚拟消息对象、其类型、和/或其内容的触觉效果。
如图6a、6b、和6c所示，消息发送设备602生成虚拟消息环境604。虚拟消息环境604包含三个虚拟消息对象606a、606b、和606c。每个虚拟消息对象606a、606b、606c和虚拟消息环境604之间的交互或行为可以至少部分地基于其单独虚拟物理参数。虚拟消息对象606c，即管，可能大不可能在碰撞中破裂且易于滑动而不是滚动。虚拟消息对象606a，即蛋，可以摇晃而不是滚动，并且很可能在碰撞中破裂或碎裂。虚拟对象606b，即球，可以实际上是不会破碎的，并且可能滚动并弹回。
在图6a中，消息发送设备602被示为由用户在箭头方向602所指示的垂直方向上持有。三个虚拟消息对象606a、606b、和606c没有按照特定顺序地静止在虚拟消息环境的底部处。通过利用用于基于物理的触觉消息发送的方法，三个虚拟消息对象606a、606b、和606c可以以直观的方式对设备602的移动作出反应。在图6a、6b、和6c中，消息发送设备602被旋转，并且三个虚拟消息对象606a、606b、和606c被逼真地示为在虚拟消息环境中移动，如同每个虚拟对象是对诸如重力的物理力作出反应的消息发送设备内的真实物理对象一样。
在图6b中，设备被示为在顺时针方向上向右旋转。响应于旋转姿势，虚拟消息对象606a、606b、和606c被示为以移位至虚拟消息环境的下拐角，其现在与虚拟消息环境的底部相对应。每个虚拟消息对象606a、606b、和606c的移动可以模拟重力可能对对象产生的影响，如同其实际上在设备内部一样。在虚拟消息对象的移动期间，消息发送设备602可以生成与对象在虚拟消息环境中的移位相对应的一个或多个触觉效果。随着虚拟消息对象在显示器上移位，触觉效果模拟其相对于彼此和在虚拟消息环境内的移动。作为一个示例，虚拟消息管606c可能已随着设备602向右旋转而向其侧面跌倒。致动器可以生成短的硬的力或振动，意图模仿管击中虚拟消息环境604的侧面的重击。
最后，在图6c中，消息发送设备被示为旋转几乎180度，或颠倒过来。虚拟消息对象606a、606b、和606c现在静止在设备的右下角中，与虚拟消息环境中的最低点相对应。可以由消息发送设备中的一个或多个致动器来输出与虚拟消息对象和虚拟消息环境之间的交互相对应的触觉效果。
图7是根据本发明的一个实施例的基于物理的触觉消息发送的图示。在图7中，系统700包括正在显示虚拟消息环境704的消息发送设备702。单个虚拟消息对象706位于虚拟消息环境704的底部处。在一些实施例中，单独的消息发送设备(未示出)将虚拟消息对象发送到消息发送设备702。在其它实施例中，消息发送设备702本身可以生成虚拟消息对象706。此类在内部生成的虚拟消息对象可以包括警告、警报、或提醒。
如图7所示，新的虚拟消息对象706通过从消息网关708的顶部在箭头720的方向上朝着虚拟消息环境704的底部下落来到达虚拟消息环境中。在接收到新的虚拟消息对象信号时，消息发送设备702的处理器可以确定新的虚拟消息对象706与虚拟消息环境704之间的交互，该交互至少部分地基于新的虚拟消息对象706的虚拟物理参数。如图7所示，与略微向右方向或轨迹相对应的虚拟物理参数可以指引新的虚拟消息对象在箭头720的方向上下落。此类到达行为可以至少部分地基于由发送设备设置的短暂虚拟物理参数。在一个实施例中，发送虚拟消息对象706的设备可能已至少部分地基于用户如何从发送设备发送虚拟消息对象706来将与虚拟消息对象的速度和轨迹相对应的虚拟物理参数初始化。例如，当用户使用快速的偏心姿势来发送虚拟消息对象时，可以使这些短暂性质与虚拟消息对象相关联。因此，当接收到虚拟消息对象706时，可以至少部分地基于虚拟消息对象706的虚拟物理参数来确定如箭头720所示的虚拟消息对象的初始快速度和偏心轨迹。
虚拟消息对象706的速度和轨迹可以导致其撞到虚拟消息环境的墙壁或撞到虚拟消息环境内部的其它虚拟消息对象弹回或粉碎。在图7中，虚拟消息环境是空的，并且新虚拟消息球的速度和轨迹导致球从虚拟消息环境704的底壁弹回，并且随后又从虚拟消息环境704的顶壁弹回。随着虚拟消息环境704图示球706在箭头722所指示的方向上从其墙壁弹回，消息发送设备702可以生成与新虚拟消息对象706与虚拟消息环境704之间的交互相对应的触觉效果。
通过基于一个或多个虚拟消息对象与虚拟消息环境之间的交互及其内容之间的交互来确定触觉效果，该触觉效果可以提供关于虚拟消息环境的非视觉信息或触觉提示。模拟球反复地从虚拟消息环境的墙壁返回的触觉效果可以使用户想到收件箱或虚拟消息环境是相对空的。相反，模拟多个虚拟消息对象与彼此的多次碰撞的触觉效果可以指示虚拟消息环境是相对满的。在一个实施例中，模拟单个虚拟消息对象的行为的触觉效果可以提供消息内容的触觉、非视觉提示。模拟跳动的心或反弹球的触觉效果可以指示已经接收到好玩的消息。模拟蛋碎裂的触觉效果可以指示已经接收到具有文件附件的消息。
被表示为虚拟消息对象的消息可以实现标志物(token)象征。在标志物象征中，标志物可以随着其被发送和接收、或在不同的实体之间交易和交换而保持其物理和视觉性质。根据此类标志物象征，虚拟消息对象可以随着其被在不同的消息发送设备之间交换、或发送和接收而保持其物理和视觉性质。
图8a、8b、和8c是根据本发明的一个实施例的基于物理的触觉消息发送的图示。图8a图示相互通信的两个消息发送设备802a和802b。第一消息发送设备802a正在显示虚拟消息环境404a，并且第二消息发送设备802b正在显示虚拟消息环境804b。如图8a、8b、和8c所示，第一消息发送设备802a与第二消息发送设备802b通信。消息发送设备802a和802b可以在蜂窝式电话网络、wi-fi数据网络、红外线、或通过其它联网手段来进行通信。虽然在图8a、8b、和8c中消息发送设备802a和802b被示为非常接近，但消息发送设备802a和802b可以在其连接网络所跨越的任何距离内通信。
如图8a所示，第一消息发送设备802a的虚拟消息环境804a包含单个虚拟消息对象806。第二消息发送设备802b的虚拟消息环境804b是空的。如图8a所示，用户正在通过直接通过触摸屏来接触虚拟消息对象而占用第一虚拟消息环境804a中的虚拟消息对象806。通过接触虚拟消息对象806并按下按钮，用户可以指示其意图使虚拟消息对象806移动而不是感觉它。
在图8b中，用户在箭头820所指示的方向上朝着在虚拟消息环境的顶部或前面的虚拟消息环境网关移动其手指。此类姿势可以指示用户意图发送虚拟消息对象806。在一个变体中，用户可以通过触摸屏来占用虚拟消息对象806并轻弹、推动、或拉动虚拟消息对象通过虚拟消息环境网关。在另一变体中，用户可以使消息发送设备倾斜，使得虚拟对象下落通过网关。如图8b所示，第一消息发送设备802a已将虚拟消息对象806发送到第二消息发送设备802b，并且虚拟消息对象不再驻留在第一虚拟消息环境804a中。
虚拟消息对象806在诸如蜂窝式电话网络的网络上从第一消息发送设备传送到第二消息发送设备。可以在其它语音和/或数据网络上传送虚拟消息对象，诸如局域网(lan)、广域网(wan)、或其它适当网络。
当虚拟消息对象806被发送时，发送消息设备802a可以使某些性质与离开的虚拟消息对象806相关联。在一个实施例中，当虚拟消息到达远程设备时，保持与如何发送虚拟消息对象相关联的动能。例如，消息离开的速度或紧急性可以被关联为虚拟消息对象806的一个虚拟物理参数。如果用户随便地轻弹或空投虚拟消息对象806通过网关，则可以使慢且细微的离开速度与虚拟消息对象806相关联。如果用户诸如用快速轻弹急切地发送虚拟消息对象806通过网关，则可以使快的离开速度参数与虚拟消息对象806相关联。通过保持虚拟消息对象的紧急性质，虚拟消息对象可以向接收者提供关于虚拟消息对象的内容的附加信息。
在图8c中，第二消息发送设备802b已接收到从第一消息发送设备802a发送的虚拟消息对象806，并且在第二虚拟消息环境804b的下拐角中示出虚拟消息对象806。第二消息发送设备802b的处理器和/或网络接口可以被配置成接收新的虚拟消息对象信号。不同于常规消息发送系统，其中所发送的消息副本驻留在发送设备的发件箱中，第一消息发送设备802a的虚拟消息环境804a在其已发送虚拟消息对象806之后被示为空的。在图8c所示的实施例中，被示为球的虚拟消息对象806通过从虚拟消息环境804b的内部边界弹回而到达第二消息发送设备802b，重新产生从一个用户那里投掷并落入另一用户的共享空间或播放区域中的球的物理模型。
新的虚拟消息对象信号可以包括与虚拟对象806通过发送者的设备上的网关离开的点处的其内部物理性质和/或状态有关的信息。在接收到新的虚拟消息对象806时，第二消息发送设备802b的处理器可以确定新的虚拟消息对象806与虚拟消息环境804b之间的交互，该交互至少部分地基于新接收到的虚拟消息对象806的虚拟物理参数。作为示例，第一消息发送设备802a的处理器可以确定虚拟消息对象被多快地发送(即传输或离开速度)，并使此速度性质与虚拟消息对象806相关联。当虚拟消息对象806被第二消息发送设备802b接收到时，第二消息发送设备802b可以使用传输速度来确定并模拟虚拟消息环境804b内部的虚拟消息对象806的初始行为。被急切地从第一虚拟消息环境804a发送的虚拟消息对象806b可以通过剧烈地在第二虚拟消息环境804b内到处反弹来到达。细微地或轻轻地从第一虚拟消息环境804a发送的虚拟消息对象806b可以通过轻轻地落到第二虚拟消息环境804b中来到达。
消息发送设备802b的处理器可以至少部分地基于新接收到的虚拟消息对象806与虚拟消息环境804b之间的交互来确定触觉效果。在图8c中，虚拟消息对象806可以具有与从第一消息发送设备离开的消息的速度相关联的传输速度虚拟物理参数。可以至少部分地基于此传输速度来确定触觉效果。另外，触觉效果可以基于虚拟消息对象的其它虚拟物理参数或特征，诸如对象的大小、质量、形状、碰撞行为、纹理、或直观表示。
虽然虚拟消息对象806被表示为球，但可以用各种参数以其它形式来表示虚拟消息对象。在一个实施例中，从第一消息发送设备向第二消息发送设备发送被表示为水球的虚拟消息对象。随着用户通过网关发送水球，使水球的离开速度与对象相关联。在网络上传输之后，水球到达第二消息发送设备。在到达时，第二消息发送设备确定水球与第二消息发送设备的虚拟消息环境之间的交互。水球与虚拟消息环境之间的交互至少部分地基于水球的虚拟物理参数，诸如其质量和/或速度。在本实施例中，接收环境是空的，并且在到达时，水球快速通过(zoomthriough)第二虚拟消息环境的网关，并击中接收环境的墙壁，由模拟与虚拟消息对象在视觉上飞溅到虚拟消息环境的墙壁上相对应的飞溅或溅泼的触觉效果和溅泼声音效果来向用户进行指示。
用于基于物理的触觉消息发送的系统和方法的实施例相比于当前消息发送系统可以提供各种优点。用于基于物理的触觉消息发送的系统和方法可以利用用户的正常触觉体验和传感器马达技术来对用户界面进行导航。通过利用用户的正常体验和物理直觉，用于基于物理的触觉消息发送的系统和方法可以减少用于新用户界面的用户学习曲线，增加用户界面的采用率，并增加用户满意度。
基于物理的触觉消息发送的实施例可以利用标志物象征来交换消息。在一方面，标志物在保持其物理性质中的至少一些的同时被来回传递或交换。使用标志物象征，虚拟消息对象被来回发送或交换，并且可以保持其虚拟物理参数中的至少一些，诸如其物理和视觉性质。
通过将消息表示为虚拟消息对象，虚拟消息对象的特定虚拟物理参数可以传达关于其表示的消息的类型和/或内容的信息。在一个实施例中，消息类型和/或形状与其虚拟消息对象相对应。文本消息可以被表示为偏心文本管或卷轴。具有文件附件的消息可以被表示为采取略微偏心的蛋或囊状物形式的虚拟消息对象。表示好玩的非言语通信的消息可以被表示为非偏心球。在另一实施例中，消息的大小对应于虚拟消息对象的大小或质量。具有大文件附件的消息可以被表示为大的或大块的蛋。诸如短文本消息或具有小文件附件的消息的消息可以被表示为小虚拟消息对象。
可以确定虚拟消息对象如何与其它对象和/或环境相交互的碰撞行为可以至少部分地基于这些虚拟物理参数。例如，重的或更巨大的虚拟消息对象可以具有大但稀少的碰撞，而较小、不那么重的对象可以具有小但频繁的碰撞。可以模拟关于虚拟消息环境与虚拟消息对象之间交互的触觉效果。因此，用基于物理的触觉消息发送生成的触觉效果可以提供关于收件箱和/或单独消息的内容的信息。
当标志物被来回发送时，可以保持其一些表达意图，诸如如何交换标志物。因此，根据标志物象征，虚拟消息对象可以保持与其被如何发送或交换相关联的性质。这些短暂参数可以被接收设备用来模拟接收虚拟消息环境中的虚拟消息对象的行为。作为一个示例，当从发送设备发送虚拟消息对象时，发送设备使传输速度与虚拟消息对象相关联。在接收到虚拟消息对象时，接收设备可以至少部分地基于其传输速度来模拟新虚拟消息对象的碰撞行为。
可以通过对消息发送设备执行的各种姿势来操纵消息或虚拟消息对象。诸如加速度计和/或触摸屏的传感器可以检测这些姿势，并将所述姿势转换成作用于虚拟对象的虚拟力。例如，加速度感测可以用于模拟虚拟物理环境中的重力。当消息发送设备被旋转时，加速度计数据可以用于模拟虚拟消息环境被旋转，类似于弹球箱绕其侧面旋转。此类移动可以使得虚拟对象移动、滚动、和/或碰撞，其可以以图形方式被显示在用户界面环境内，并基本上同时地使得致动器生成相应的触觉反馈。通过触觉效果，可以在触觉上感知虚拟消息对象的虚拟质量，传达关于虚拟消息对象所表示的内容的非视觉信息。因此，仅仅用快速的摇动或轻推来移动消息发送设备可以以直观的可预测方式传达关于虚拟消息环境的内容的信息。
可以在数字电子电路或在计算机硬件、固件、软件、或其组合中实现本发明的实施例。在一个实施例中，计算机可以包括一个或多个处理器。处理器包括计算机可读介质，诸如被耦合到处理器的随机存取存储器(ram)。处理器执行被存储在存储器中的计算机可执行程序指令，诸如执行用于消息发送的一个或多个计算机程序。此类处理器可以包括微处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)、以及状态机。此类处理器可以进一步包括可编程电子器件，诸如plc、可编程中断控制器(pic)、可编程逻辑器件(pld)、可编程只读存储器(prom)、电可编程只读存储器(eprom或eeprom)、或其它类似器件。
此类处理器可以包括介质，或者与介质通信，例如计算机可读介质，其可以存储在被处理器执行时能够使得处理器执行被描述为由处理器来执行或辅助的步骤的指令。计算机可读介质的实施例可以包括但不限于电子、光学、磁性、或能够为诸如网络服务器中的处理器的处理器提供计算机可读指令的其它存储或传输设备。介质的其它示例包括但不限于软盘、cd-rom、磁盘、存储器芯片、rom、ram、asic、已配置处理器、所有光学介质、所有磁带或其它磁性介质、或计算机处理器可以从中进行读取的任何其它介质。而且，各种其它设备可以包括计算机可读介质，诸如路由器、私用或公共网络、或其它传输设备。所述处理器和处理可以在一个或多个结构中，并且可以散布于一个或多个结构。处理器可以包括用于执行本文所述的方法(或方法的一部分)中的一个或多个的代码。
综述
已经仅仅出于图示和描述的目的呈现了本发明的实施例的前述描述，包括优选实施例，并且其并不意图是穷尽的，也不意图使本发明局限于所公开的精确形式。在不脱离本发明的精神和范围的情况下，其许多修改和调整对于本领域的技术人员来说将是显而易见的。
- 还没有人留言评论。精彩留言会获得点赞！