用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的系统和方法

专利名称：用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的系统和方法
技术领域：
本发明一般地涉及消息发送(messaging)，并且更具体地涉及用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的系统和方法。
背景技术：
通过消息接收者的消息发送设备上的设定来确定消息发送系统中的常规触觉反馈，其可以使不同类型的消息与特定振动相关联。这些振动可以是一般的，和/或基于消息发送设备所包括的振动效果的预封装库。此类振动不是由用户创作的，并且因此其对于消息的发送者或接收者来说可能未被视为是个人的。此外，此类振动不是由消息内容的性质生成。因此，需要用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的系统和方法。

发明内容
本发明的实施例提供用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的系统和方法。例如，在一个实施例中，一种用于基于物理的触觉消息发送的方法包括从被配置成感测与消息发送设备的交互的传感器接收传感器信号；至少部分地基于该传感器信号来确定虚拟消息对象的虚拟物理参数；至少部分地基于该虚拟物理参数来确定触觉效果，以及生成被配置成使得致动器输出触觉效果的触觉信号。在另一实施例中，一种计算机可读介质包括用于执行此类方法的程序代码。
提及这些说明性实施例并不是为了限制或限定本发明，而是提供示例以帮助对其的理解。在具体实施方式
中讨论了说明性实施例，并且在那里提供了本发明的进一步描述。可以通过研究本说明书来进一步理解由本发明的各种实施例提供的优点。


当参考附图来阅读以下具体实施方式
时，将更好地理解本发明的这些及其它特征、方面、和优点，在附图中 图1是根据本发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的系统的框图； 图2是根据本发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的系统的图示； 图3是根据本发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的系统的图示； 图4是根据本发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的方法的流程图； 图5是根据本发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的方法的流程图； 图6是根据本发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的系统的图示；以及 图7是根据本发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的系统的图示。
具体实施例方式本发明的实施例提供用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的系统和方法。
振动触觉消息发送的说明性实施例 在本发明的一个说明性实施例中，诸如移动电话的一种消息发送设备包括与传感器和致动器通信的处理器。所述致动器被配置成生成触觉效果。在一个此类说明性实施例中，所述消息发送设备包括装配有Immersion公司的VibeTonz 振动触觉反馈系统的 SamsungSGH-i710移动计算机。在另一实施例中，所述消息发送设备包括也称为Immersion TouchSense 振动触觉反馈系统的Immersion公司TouchSense 技术系统。可以利用其它消息发送设备和触觉反馈系统。
该消息发送设备能够产生表示为虚拟消息对象的消息并将其与其它消息发送设备交换。采取球、管、或蛋的形式的虚拟消息对象可以表示各种类型的消息，诸如非言语消息(例如，微笑)、文本消息、或具有文件附件的消息。除其形状和外观之外，虚拟消息对象可以具有其它性质或虚拟物理参数，诸如大小、质量、碰撞行为、和/或纹理。
当产生了新的虚拟消息对象时，用户可以通过在触摸屏或设备本身上的姿势来定义对象的一个或多个虚拟参数。处理器可以以传感器信号的形式接收此类姿势，并至少部分地基于传感器信号来确定新虚拟消息对象的虚拟物理参数。例如，用户可以产生新的虚拟消息球。接下来，用户摇动消息发送设备以定义新虚拟消息球的弹性。诸如加速度计或陀螺仪的传感器检测该摇动作为加速度、倾斜度、惯性、或位置的变化并传送传感器信号。该处理器接收传感器信号，并确定新虚拟消息对象的虚拟物理参数，诸如弹性表面或行为，模仿真实橡皮球。
在至少部分地基于传感器信号来确定新的虚拟消息对象的虚拟物理参数之后，处理器至少部分地基于虚拟物理参数来确定触觉效果。基于快速戳动运动，处理器可以确定新的虚拟消息对象是脆性或易碎的。基于脆性或易碎虚拟物理参数的触觉效果可以包括模仿蛋碎裂或窗户破裂的振动。如果将虚拟消息对象定义为小的和弹性的，则相应的触觉效果可以模仿橡皮球从墙壁弹回。处理器可以将虚拟物理性质中的一个、一些、或全部映射或转换成与虚拟消息对象相关联的触觉效果。
最后，处理器生成被配置成使得致动器输出触觉效应的触觉信号。然后，触觉信号被输出到产生触觉效果的致动器。例如，在通过触摸屏来接触虚拟消息对象时，消息发送设备可以振动或摇动，模拟触摸或感觉虚拟消息对象的效果。通过生成触觉反馈，消息发送设备能够传送与虚拟消息相关联的一个或多个虚拟物理参数。
给出本说明性示例是为了向读者介绍本文所讨论的一般主题。本发明不限于本示例。以下小节描述用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的方法和系统的各种附加实施例和示例。
将消息内容映射到虚拟物理性质 本文呈现的本发明的实施例提供了用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的系统和方法。用于映射消息内容的应用可以将传感器数据当作输入， 从传感器数据提取特征，将该特征映射到虚拟物理参数，并基于该虚拟物理参数来合成触觉效果。将消息内容映射到虚拟物理性质能够促进通过音频、视觉、和触觉反馈进行的模拟物理象征(metaphor)的非语言通信。
虚拟消息对象和虚拟物理性质 在物理象征中，虚拟对象可以表现得像真实的物理对象。每个虚拟对象的性质或虚拟物理参数告知每个虚拟消息对象如何表现。因此，在消息发送系统的物理象征中，可以将诸如文本消息、语音邮件、或文件附件的消息表示为具有虚拟物理参数的虚拟消息对象。 此类虚拟消息对象可以填充多维消息收件箱、或虚拟消息环境。在虚拟消息环境内部，虚拟消息对象可以彼此相交互并表现得像真实的物理对象。
每个虚拟消息对象可以表示单独的消息，诸如文本消息、图片消息、视频消息、语音邮件、提醒、或诸如笑脸或皱眉的非言语消息。例如，采取管或卷起的卷轴形式的虚拟消息对象可以表示文本消息。并且，采取蛋或囊状物(capsule)形式的虚拟消息对象可以表示具有附件的消息，诸如视频、图片、或音乐文件。虚拟消息对象还可以表示各种形式的非言语通信，诸如姿势、面部表情、或情绪。虚拟消息球可以对应于诸如嬉闹的指示的非言语消息。或者，虚拟消息箭头可以表示戳刺或戳动姿势(即以请求或要求注意)。一些有效的虚拟消息对象可以具有可容易地识别的视觉和/或触觉性质和/或效果。这些性质帮助用户在实际上不看设备的情况下直观地理解消息的内容。例如，采取打字机形式的虚拟消息对象的叮当作响的键可以表示来自工作或文字处理文件的消息。
在虚拟消息环境内部，虚拟消息对象可以诸如通过通过弹回、滚动、乃至破裂与彼此以及环境相交互。虚拟消息对象的行为或其如何交互至少部分地基于每个虚拟消息对象的性质或虚拟物理参数。诸如大小、质量、形状、碰撞行为、纹理、或视觉表示的一些虚拟物理参数是相对静态的参数，或者是虚拟消息对象本身的固有性质。诸如紧急性、使用期、和 /或姿态的其它虚拟物理参数可以是短暂或暂时的参数。可以使此类可变虚拟物理参数与如何从一个设备到另一设备发送或接收虚拟消息对象相关联。虚拟消息对象的虚拟物理参数可以至少部分地基于消息本身的性质。例如，消息附件的文件大小、文本消息的长度、图片附件的面积或分辨率、歌曲附件的长度、或视频附件的长度可以用于确定虚拟消息对象的大小或质量。
在一些实施例中，基于在用户与消息发送设备相交互时生成的传感器信号来确定虚拟物理参数。例如，用户可以移动设备或与设备相交互以产生和/或定义新的虚拟消息对象。在一个实施例中，用户在麦克风上吹气以使新的虚拟消息气球充气。该虚拟消息气球的虚拟物理尺寸可以直接与用户在麦克风上吹气的时间长度相关联。在另一实施例中， 具有可视电话的用户可以通过拍摄图片来定义新的虚拟消息对象。例如，在拍摄篮球的图片之后，消息发送设备被指配从图片的性质提取的或至少部分地基于图片的性质的性质， 诸如大小、纹理、或外观。
虚拟消息环境还实现用于其内容的标志物(token)象征。在标志物象征中，在设备之间来回传递虚拟对象，模仿明确物理对象的交换。可以将诸如虚拟消息对象的标志物从一个消息发送设备传递至另一个。当一个消息发送设备向另一消息发送设备发送虚拟消息对象时，虚拟消息对象从发送消息的设备消失，如同其实际上被传递至接收消息的设备一样。
当消息发送设备接收到新的虚拟消息对象时，消息发送设备可以输出诸如触觉效果的效果，以表示新的虚拟消息对象已经被接收到，并且处于虚拟消息环境中。例如，当接收到虚拟消息球时，可以播放声音和触觉效果以模仿反弹球，向用户表示已经接收到新的虚拟消息球。
可以至少部分地基于虚拟消息对象的一个或多个虚拟消息性质来确定与虚拟消息对象相关联的音频、视觉、和/或触觉效果。薄的蛋壳状虚拟消息对象可以在与虚拟消息环境撞击时碎裂或破裂。替代地，玩具球或乒乓球可以连续地从虚拟消息环境的边界弹回。 可以使采取气泡形式的虚拟消息对象与短暂的尖锐的触觉效果相关联，指示气泡爆裂。
用于将消息内容映射到虚拟物理性质的说明性系统 现在参考附图，其中相同的附图标记遍及多个图指示相同的元件，图1是根据本发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的系统的框图。如图1所示，系统100包括消息发送设备102，诸如移动电话、便携式数字助理 (PDA)、便携式媒体播放器、或便携式游戏设备。消息发送设备102包括处理器110。处理器 110与网络连接112、传感器114、显示器116、致动器118、和扬声器120通信。消息发送设备102可以示出由处理器110在显示器116上生成的虚拟消息环境。
处理器110与网络连接112通信。网络连接112可以包括一个或多个移动通信方法，诸如红外线、无线电、Wi-Fi、或蜂窝式网络通信。在其它变体中，网络连接112包括有线网络连接，诸如以太网连接或调制解调器。消息发送设备102可以被配置成在诸如蜂窝式网络或因特网的网络上与其它消息发送设备(未示出)交换消息，诸如语音消息、文本消息、数据消息、或虚拟消息对象。
处理器110还与一个或多个传感器114通信。传感器114可以包括加速度计、陀螺仪、GPS传感器、触摸敏感输入设备(例如触摸屏、触摸板)、纹理触控笔、成像传感器、或某种其它类型的传感器。一个或多个传感器114可以被配置成检测加速度、倾斜度、惯性、 或位置的变化。例如，消息发送设备102可以包括被配置成测量消息发送设备102的加速度的加速度计。或者，消息发送设备102可以包括位置传感器、旋转速度传感器、光传感器、 压力传感器、纹理传感器、照相机、麦克风、或其它类型的传感器。在所示的实施例中，一个或多个传感器114被配置成向处理器110发送传感器信号。处理器110可以被配置成从一个或多个传感器114接收传感器信号。
在本发明的一些实施例中，用户通过交互来记录虚拟消息对象的虚拟物理参数， 诸如移动或姿势。由一个或多个传感器114来检测这些物理交互。随着消息发送设备102 被倾斜、摇动、或以其它方式移动，一个或多个传感器114可以检测这些移动并至少部分地基于消息发送设备102的移动来生成传感器信号。在一个实施例中，加速度计传感器被配置成检测消息发送设备102的倾斜度和加速度。随着消息发送设备102被倾斜，加速度计可以被配置成至少部分地基于消息发送设备102的倾斜和/或加速度来向处理器发送信号。 在另一个实施例中，显示器116包括被配置成检测姿势或位置输入的触摸屏。随着手指位于触摸屏显示器116上或在触摸屏显示器116上拖动，触摸屏被配置成至少部分地基于手指的移动向处理器110发送信号。
在接收到传感器信号时，处理器110可以被配置成至少部分地基于传感器信号来确定虚拟消息对象的虚拟物理参数。可以基于从传感器提取的诸如色彩、纹理、或速度的特征来确定各种物理参数。在确定虚拟物理参数之后，处理器110可以被配置成至少部分地基于虚拟物理参数来确定触觉效果。该触觉效果可以通过振动或硬的不规则摇晃来模拟纹理粗糙的虚拟消息。
在一个实施例中，用户从菜单中选择新的虚拟消息蛋。接下来，用户可以以大的圆圈或椭圆形移动消息发送设备102，以指示虚拟消息蛋的大小。在基于消息发送设备102的大的移动来确定虚拟消息蛋的大尺寸之后，处理器110可以确定诸如通过许多振动来模拟大的蛋碎裂的触觉效果。
如图1所示，处理器110与显示器116通信。处理器110可以被配置成生成将在显示器116上显示的虚拟消息环境的图形表示。显示器116可以包括触摸敏感输入设备， 诸如触摸屏，其被配置成发送和从处理器110接收信号。可以通过触摸屏来直接操纵在显示器116上显示的虚拟消息对象。例如，触摸屏显示器上的二维手指姿势可以在虚拟消息环境内选择、触摸、感觉、拖动、或投掷虚拟消息对象。
处理器110还与一个或多个致动器118通信。处理器110可以向一个或多个致动器Iio传送与触觉效果相关联的触觉信号。致动器118接收与触觉效果相关联的触觉信号，并然后输出触觉效果。致动器118可以是例如电动机、电磁致动器、音圈、线性谐振致动器、压电致动器、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量电动机(ERM)、或线性谐振致动器(LRA)。
最后，在所示的实施例中，处理器110与扬声器120通信。处理器110可以被配置成至少部分地基于虚拟消息对象与虚拟消息环境之间的交互来确定声音效果，并且至少部分地基于该声音效果来向扬声器发送音频信号。扬声器120可以被配置成至少部分地基于由处理器110生成的音频信号来生成声音效果。可以与触觉效果同时协调或生成声音效果和触觉效果的输出。在一个实施例中，扬声器可以与致动器生成触觉效果基本上同时地生成声音效果。
由处理器110生成的声音效果可以模拟虚拟消息对象与虚拟消息环境之间的交互，和/或第一虚拟消息对象与一个或多个其它虚拟消息对象之间的交互。声音效果的示例包括球从墙壁弹回、箭以砰击声(thud)击中墙壁、或蛋碎裂。例如，消息发送设备102可以从另一消息发送设备以水球的形式接收虚拟消息对象。在虚拟消息对象到达时，可以与模拟飞溅的振动同时地生成水球飞溅在墙壁上的声音效果。
图2是根据本发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的系统的图示。参考图1所描绘的系统来描述系统200的元件。多种其它实现是可能的。
如图2所示，系统200包括消息发送设备102，诸如移动电话、便携式数字助理 (PDA)、便携式媒体播放器、或便携式游戏设备。消息发送设备102可以被配置成在诸如蜂窝式网络或因特网的网络上发送和接收信号，诸如语音邮件、文本消息、及其它数据消息。 消息发送设备102可以包括无线和/或有线网络连接112。虽然设备102在图2中被图示为手持式消息发送设备，但其它实施例可以使用其它设备，诸如视频游戏系统、视频游戏控制器、个人媒体播放器、个人数字助理、和/或个人计算机以发送和接收虚拟消息对象。
如图2所示，消息发送设备102包括显示器116、按钮12加、122b、122c、122d、和轨迹球124。除按钮122a、122b、122c、122d、和轨迹球1 之外，消息发送设备102可以包括定向板、触摸板、滚轮、摇杆开关、操纵杆、或其它形式的输入设备(图2中未示出)。
移动设备102的显示器116可以包括诸如触摸屏的触摸敏感输入设备。显示器116 可以被配置成从处理器110接收信号，并生成图形环境，诸如收件箱、浏览器、游戏环境、虚拟消息环境。显示器116还可以被配置成生成虚拟消息创作环境250。虚拟消息创作环境 250可以包括用于选择要创作或产生的一种类型的虚拟消息对象的菜单252。如图2所示， 菜单252包括用于创作新虚拟消息球25 、新虚拟消息管254b、或新虚拟消息蛋25 的选项。菜单252可以包括诸如心或水球(图2中未示出)的其它类型的虚拟消息对象。
虚拟消息创作环境250可以包括创作指示器256。创作指示器256可以警告用户消息发送设备102处于创作或记录模式。如图2所示，创作指示器256包括位于菜单252上的警告条，在虚拟消息创作环境250的顶部。虚拟消息创作环境可以被配置成在传感器正在记录或捕获与虚拟消息对象相关联的信息时显示创作指示器256。在一种情况下，当记录按钮122c被按下或激活时，进入记录模式，并且出现创作指示器256。当记录模式停止时， 创作指示器256可以淡化或消失。
当消息发送设备102处于记录模式时，一个或多个传感器114可以记录或捕获与虚拟物理参数相关联的信息，诸如姿势。一些姿势包括由触摸屏接收到的二维姿势。二维姿势的示例包括指示方向(即位置输入)或绘画。其它姿势可以包括由加速度计、陀螺仪、 或某种其它传感器测量的三维姿势。三维姿势可以包括旋转、轻弹、戳动、或以其它方式移动整个消息发送设备102。一个或多个传感器114还可以诸如通过感测压力传感器上的压力、用照相机拍照、或用麦克风记录声音来记录其它非言语信息。
虚拟消息创作环境250还可以包括新的虚拟消息对象管道258。随着产生一个或多个新的虚拟消息对象，其可以表现得如同其从新的虚拟消息对象管道258出来并进入虚拟消息创作环境250 —样。新的虚拟消息对象管道258可以加强虚拟消息对象的标志物象征。例如，当产生新的虚拟消息且其从新的虚拟消息对象管道258显现时，消息发送设备 102的用户可以直观地推断出新的虚拟消息对象表示可以在不同的消息发送设备之间来回传递的物理标志物。
图3是根据本发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的系统的图示。如图3所示，系统300包括具有触摸屏显示器316、纹理传感器314、和轨迹球324的消息发送设备302。
触摸屏显示器316正在显示虚拟消息创作环境350。如图3所示，虚拟消息创作环境350包括用于选择新的虚拟消息对象的类型的菜单352。在菜单352中，用户可以选择新的虚拟消息球35 、新的虚拟消息管354b、或新的虚拟消息蛋35如。虽然菜单352图示了三种类型的虚拟消息对象，但是可以选择其它类型的虚拟消息对象(图3未示出)。虚拟消息创作环境350还包括新的虚拟消息管道358。当选择了新的虚拟消息球35 时，可以显示离开新的虚拟消息管道358的新的虚拟消息球360。
在诸如新虚拟消息球360的新虚拟消息对象的创作期间，虚拟消息创作环境350 可以显示滑动条362。用户可以调整该滑动条362以改变新的虚拟消息对象的一个或多个虚拟物理性质。在图3中，使用滑动条362来调整虚拟消息对象360的纹理。在滑动条的一端上，被示为一堆岩石的图标36 图示了可以被指配给新的虚拟消息对象360的一个纹理。在滑动条362的中间，被示为一堆粗砂的第二图标364b图示了可以指配给虚拟消息对象360的第二纹理。在滑动条的另一端处，被示为一堆细沙的图标36 图示了可以指配给虚拟消息对象360的第三纹理。
可以通过触摸屏316、通过轨迹球423、或通过某种其它手段来操纵或占用滑动条 362。替代地，可以通过触摸屏316来占用(engage)图标36^、364b、36k中的一个。随着滑动条362被占用，触摸敏感传感器向消息发送设备302的处理器发送信号。该处理器接收传感器信号，并可以至少部分地基于与滑动条输入相关联的传感器信号来确定虚拟消息对象的虚拟物理性质。
用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的说明性方法 图4是根据本发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的方法的流程图。在方法400中，处理器从传感器接收传感器信号402。 处理器可以与一个或多个传感器通信，诸如加速度计、陀螺仪、GPS传感器、触摸敏感输入设备(例如，触摸屏、触摸板)、纹理触控笔、压力传感器、成像传感器、麦克风、或某种其它类型的传感器。用户可以通过从菜单中选择水球类型、进入记录模式并将消息发送设备向下翻转以填充水球来产生新的虚拟消息对象。加速度计或陀螺仪可以检测倾斜度的改变，触摸屏可以检测在其表面上绘制的图，或者麦克风可以检测声音。在检测此类姿势或动作之后，可以向消息发送设备的处理器传送传感器信号。
接下来，处理器至少部分地基于传感器信号来确定虚拟消息对象的虚拟物理参数 404。在从传感器接收到传感器信号之后，处理器可以从传感器信号提取姿势和/或环境特征。姿势特征可以包括与设备的移动、或设备上的移动有关的信息。环境特征可以包括与设备的周围环境或条件有关的信息。可以向从传感器接收到的数据应用姿势和/或环境提取算法。可以从传感器信号提取诸如图片中的对象的形状或颜色的环境特征。替代地，可以从传感器信号提取移动消息发送设备的方向、或在触摸屏上输入的字符。可以设置阈值， 使得某个加速度、定向、或定期性触发标志物的产生。例如，如果设备仅移动很小的距离，则处理器可以确定移动是无意中做的，或者并不意图触发标志物的产生。如果设备移动了很大的距离，则处理器可以确定该移动意图触发标志物的产生。
处理器可以通过将从传感器信号提取的姿势和/或环境特征映射到虚拟物理参数来确定新的虚拟消息对象的虚拟物理参数。例如，可以将预定的姿势和/或环境特征集合连同相应的虚拟物理参数一起存储在数据存储中。当提取了姿势和/或环境特征时，搜索数据存储，并确定适当的虚拟物理参数。该确定可以至少部分地基于姿势的动态 (dynamics)，诸如触摸屏接触的速度、移动的速度、移动的大小、移动的定期性、或移动的重复性。
作为一个示例，用户可以通过平缓、重复的运动来产生多个新的虚拟消息对象，诸如心或气球。用每个循环或重复姿势，处理器可以产生新的虚拟消息对象，潜在地导致多个气球装满虚拟消息创作环境。在进一步的示例中，用户可以通过触摸屏显示器来占用或触摸每个气球。通过在触摸屏上向上或向下缓慢地拖动气球，处理器可以确定气球的虚拟物理重量。如果气球被缓慢地向上拖动，则处理器可以确定气球是轻的，并且应在虚拟消息环境中到处漂浮。替代地，如果气球被快速地拖动至显示器的底部，则处理器可以确定气球是稠密的和/或重的，并且应沉到虚拟消息环境的底部。
虚拟消息对象的虚拟物理参数可以至少部分地基于其它因素。可以使诸如视频文件或图像文件的文件与虚拟消息对象相关联，诸如虚拟消息囊状物。处理器可以从文件提取元数据，使用元数据来确定虚拟物理参数。在一个示例中，用户产生新的虚拟消息囊状物。接下来，用户滚动整个文件列表，并选择特定的文件以通过将其拖动到虚拟消息囊状物上来附着于虚拟消息囊状物。处理器可以至少部分地基于被拖动到虚拟消息对象上的特定文件的大小来确定虚拟消息囊状物的大小。作为另一示例，处理器可以基于与囊状物相关联的类型来确定虚拟消息囊状物的纹理或颜色。
在确定虚拟物理参数之后，处理器至少部分地基于虚拟物理参数来确定触觉效果 406。例如，用户可以产生新的虚拟消息球并摇晃设备以定义用于新虚拟消息球的弹性碰撞行为。处理器可以确定模拟虚拟消息球从虚拟消息环境弹回的触觉效果，模仿用来在虚拟消息球产生时对其进行定义的姿势。
如果虚拟消息环境包含诸如大的脆性蛋的单个虚拟消息对象，则处理器可以确定模拟蛋破裂的触觉效果(例如，单个大的裂缝)。作为另一示例，如果存在包括运动弹性球的许多虚拟消息对象，则处理器可以确定许多小的快速振动是适当的，以模拟运动的球从环境弹回并相互反弹。通过使触觉效果与虚拟消息对象的虚拟物理参数相关联，用户可以使某些触觉效果与某些类型的对象相关联。例如，当致动器输出模拟跳动的心的触觉效果时，用户可以在不看消息发送设备的情况下立即猜到她已接收到亲密消息或虚拟消息对象。
处理器生成被配置成使得致动器输出触觉效果的触觉信号408。最后，处理器110 向被配置成输出触觉效果的一个或多个致动器传送触觉信号410。在一个变体中，处理器确定模拟箭击中墙壁的触觉效果，诸如砰击声，并生成被配置成使得致动器输出该砰击声的触觉信号。然后，该触觉信号被传送到输出触觉效果的致动器。
图5是根据本发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的方法的流程图。在方法500中，产生新的虚拟消息对象502。可以在虚拟消息创作环境中产生新的虚拟消息对象。虚拟消息创作环境可以使多维收件箱或虚拟消息环境的物理模型悬浮。通过使物理模型悬浮，可以使传感器信号与新的虚拟消息对象的虚拟物理参数相关联，而不是使传感器信号与和虚拟消息环境内的现有虚拟消息对象的交互相关联。
可以通过从菜单中选择选项来创作新的虚拟消息对象。该虚拟消息创作环境可以显示用于选择多种类型的现有虚拟消息对象中的一个的滚动菜单和/或用于创作新类型的虚拟消息对象的选项。如图5所示，可以产生新的虚拟消息球50 、新的虚拟消息管 504b、或新的虚拟消息囊状物5(Mc。在其它实施例中，可以产生其它类型的虚拟消息对象。 例如，新的虚拟消息对象可以包括心、箭、水球、或篮球。每种类型的虚拟消息对象可以具有与之相关联的特定虚拟消息性质。例如，虚拟消息篮球可以具有模拟真实篮球的虚拟物理纹理。
在一些情况下，用户从预定义的虚拟消息对象类型列表中选择虚拟消息对象。通过使用预定义虚拟消息对象类型，用户能够快速地且明确地定义新的虚拟消息对象的特定方面，其可以被映射或转换成一个或多个虚拟物理参数。在其它情况下，用户可以从头开始创作新类型的虚拟消息对象。用户能够至少部分地基于来自触摸屏、加速度计、陀螺仪、GPS 传感器、或某种其它类型的传感器的信号用特定的个性化虚拟物理参数来定义虚拟消息对象。
在产生50 新的虚拟消息球之后，将记录506a该虚拟消息球的特征。可以由消息发送设备的一个或多个传感器来记录特征。可以从光传感器记录色彩特征，可以从纹理触控笔传感器记录纹理特征，或者可以从加速度计记录姿势。
在步骤504b中，产生新的虚拟消息管。采取管、或卷轴形式的虚拟消息对象可以表示文本消息。因此，如果产生504b 了新的虚拟消息管，则可以输入506b文本消息。用户可以通过附着于消息发送设备的键盘、通过在触摸屏显示器上显示的虚拟键盘、或通过某种其它手段来输入文本。
在步骤5(Mc中，产生虚拟消息囊状物。采取囊状物或蛋形式的虚拟消息对象可以表示具有文件附件的消息。因此，如果产生5(Mc 了新的虚拟消息囊状物，则选择560c要附加(或包括在囊状物内部)的文件。虚拟消息囊状物可以包括具有诸如视频文件、声音文件、或图像文件的文件附件的消息。用户可以通过滚动整个文件列表、或将文件拖动到虚拟消息囊状物上来选择文件附件。作为一个替代，用户可以拍摄图片并选择要装入文件囊状物内部的图片。
在记录506a、输入506b、或选择506c 了关于新的虚拟消息对象的信息之后，确定新的虚拟消息对象的虚拟物理参数508。可以至少部分地基于从传感器接收到的信息来确定虚拟物理参数。当传感器记录了虚拟消息球的特征时506a，可以至少部分地基于由传感器记录的信息来确定虚拟物理参数。例如，用户可以使消息发送设备倾斜或用消息发送设备做姿势以记录与新的虚拟消息对象的大小相关联的特征。然后，新的虚拟消息对象的虚拟物理尺寸可以对应于该姿势或移动的大小，消息发送设备的小的移动可以产生小的虚拟消息对象，而消息发送设备的大的移动或姿势可以产生大的虚拟消息对象。
当产生506b 了新的虚拟消息管时，文本消息的长度(诸如行数或字数)可以至少部分地确定新的虚拟消息管的一个或多个虚拟物理参数，诸如管的大小或长度。可以确定基于虚拟消息管的大小或长度的触觉效果。因此，触觉感觉可以传达关于虚拟消息管的信肩、ο 在新的虚拟消息囊状物5(Mc的情况下，所选择506c的文件的大小可以确定新虚拟消息对象的虚拟质量。由于触觉效果可以至少部分地基于虚拟消息对象的虚拟质量，所以可以产生为该虚拟消息对象特别设计的触觉效果。结果得到的触觉感觉可以传达关于文件囊状物的信息，诸如其包含的数据量或数据类型。
至少部分地基于新虚拟消息对象的虚拟物理参数来生成触觉信号以使得致动器输出触觉效果510。最后，向被配置成输出触觉效果的致动器传送触觉信号512。该触觉效果可以至少部分地基于虚拟消息对象与虚拟消息环境之间的交互。虚拟消息对象的行为可以至少部分地基于虚拟消息对象的虚拟物理参数。蛋壳状虚拟消息对象可以在与虚拟消息环境撞击时碎裂或破裂。替代地，虚拟消息箭可以以一个响亮的砰击声到达。可以使虚拟消息气泡与短暂、尖锐的触觉效果相关联，指示气泡爆裂。
如果新的虚拟消息对象是大球，则可以生成触觉信号以使得致动器输出模仿大球从虚拟消息环境弹回和/或到处滚动的触觉效果。如果新的虚拟消息对象是小囊状物，则可以生成触觉信号以使得致动器输出模仿小囊状物在虚拟消息环境内部破裂的触觉效果。
可以使触觉效果与虚拟消息对象相关联。可以随着在消息发送设备之间交换虚拟消息对象而保存触觉效果。例如，处理器可以使虚拟消息囊状物与特定的触觉效果相关联。 当囊状物从一个移动设备被发送到另一个时，还向接收设备发送触觉数据。此触觉数据可以用来在接收设备中生成触觉反馈。
图6是根据本发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的系统的图示。如图6所示，系统600包括消息发送设备602。消息发送设备602显示虚拟消息创作环境650。消息发送设备602包括一个或多个处理器(图6未示出)。
另外，消息发送设备602可以包括一个或多个处理器(图6未示出)。诸如加速度计的传感器可以被配置成检测消息发送设备的加速度、倾斜度、惯性、或位置的变化。作为其它示例，消息发送设备可以包括气压传感器、位置传感器、旋转速度传感器、图像传感器、 压力传感器、或某种其它类型的传感器。传感器被配置成向处理器发送传感器信号。
在一个变体中，加速度感测可以用于捕获与产生虚拟消息对象相关联的姿势或移动。在另一变体中，使用诸如触摸屏的触摸敏感输入设备来获取与新虚拟消息对象相关联的绘画。陀螺仪传感器可以检测X和y平面中的消息发送设备的定向变化。如图6所示， 移动设备602在根据箭头610的方向上移动。处理器可以确定从图6所示的姿势产生的虚拟消息对象是大的、圆的、并且容易地在虚拟消息环境中到处滚动。相应的触觉效果可以是轻柔、平稳的振动。
图7是根据本发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的系统的图示。如图7所示，系统700包括消息发送设备702。消息发送设备显示虚拟消息创作环境750。消息发送设备702可以包括一个或多个处理器(图7中未示出)和一个或多个传感器(图7中未示出)。
如图7所示，用户以由箭头710的方向所指示的短的水平运动来移动或摇动消息发送设备。从图7所示的每个移动或姿势提取的传感器数据可以用来产生具有特定虚拟物理性质的新的虚拟消息对象。处理器可以确定从图7所示的姿势产生的虚拟消息对象可以是小的粗糙对象。相应的触觉效果可以是连续的快速摇晃。
可以使每个触觉效果与虚拟消息对象相关联并进行保存。例如，可以将触觉效果包括在虚拟消息对象的概况(profile)中。这样，接收到虚拟消息对象的消息发送设备还接收对应于与该虚拟消息对象相关联的触觉效果的信号。以这种方式，用户可以通过非言语触觉消息进行通信。
可以在数字电子电路或在计算机硬件、固件、软件、或其组合中实现本发明的实施例。在一个实施例中，计算机可以包括一个或多个处理器。处理器可以包括计算机可读介质，诸如被耦合到处理器的随机存取存储器(RAM)。处理器执行被存储在存储器中的计算机可执行程序指令，诸如执行用于消息发送的一个或多个计算机程序。此类处理器可以包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、 以及状态机。此类处理器可以进一步包括可编程电子器件，诸如PLC、可编程中断控制器 (PIC)、可编程逻辑器件(PLD)、可编程只读存储器(PR0M)、电可编程只读存储器(EPR0M或 EEPR0M)、或其它类似器件。
此类处理器可以包括介质，或者可以与介质通信，例如计算机可读介质，其可以存储在被处理器执行时能够使得处理器执行在本文中被描述为由处理器执行或辅助的步骤的指令。计算机可读介质的实施例可以包括但不限于电子、光学、磁性、或能够为诸如网络服务器中的处理器的处理器提供计算机可读指令的其它存储或传输设备。介质的其它示例包括但不限于软盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、已配置处理器、所有光学介质、所有磁带或其它磁性介质、或计算机处理器可以从中进行读取的任何其它介质。而且， 各种其它设备可以包括计算机可读介质，诸如路由器、私用或公共网络、或其它传输设备。 所述处理器和处理可以在一个或多个结构中，并且可以散布于一个或多个结构。处理器可以包括用于执行本文所述的方法(或方法的一部分)中的一个或多个的代码。
纖 已经仅仅出于图示和描述的目的呈现了本发明的实施例的前述描述，包括优选实施例，并且其并不意图是穷尽的，也不意图使本发明局限于所公开的精确形式。在不脱离本发明的精神和范围的情况下，其许多修改和调整对于本领域的技术人员来说将是显而易见的。
权利要求
1.一种方法，包括从被配置成感测与消息发送设备的交互的传感器接收传感器信号； 至少部分地基于所述传感器信号来确定虚拟消息对象的虚拟物理参数； 至少部分地基于所述虚拟物理参数来确定触觉效果；以及生成被配置成使得致动器输出所述触觉反馈效果的触觉信号。
2.根据权利要求1所述的方法，进一步包括向被配置成输出所述触觉效果的致动器传送所述触觉信号，并输出所述触觉效果。
3.根据权利要求1所述的方法，其中，所述传感器被配置成检测接触、压力、加速度、 倾斜度、惯性、或位置。
4.根据权利要求1所述的方法，其中，所述传感器包括加速度计、陀螺仪、触摸敏感输入设备、照相机、或GPS传感器。
5.根据权利要求1所述的方法，其中，所述传感器信号与姿势相关联。
6.根据权利要求5所述的系统，其中，所述姿势是二维姿势，包括手指位置或手指姿势。
7.根据权利要求5所述的方法，其中，所述姿势是三维姿势，包括设备姿势或设备定向。
8.根据权利要求1所述的方法，其中，所述虚拟物理性质包括大小、质量、形状、碰撞行为、或纹理。
9.根据权利要求1所述的方法，其中，所述虚拟消息对象包括球、管、或囊状物。
10.根据权利要求1所述的方法，其中，所述虚拟物理性质至少部分地基于与所述虚拟消息对象相关联的文件大小、与所述虚拟消息对象相关联的文本消息的长度、与所述虚拟消息对象相关联的图像的宽度和长度、与所述虚拟消息对象相关联的歌曲的长度、或与所述虚拟消息对象相关联的视频的长度。
11.一种包括程序代码的计算机可读介质，所述程序代码包括用于从被配置成感测与消息发送设备的交互的传感器接收传感器信号的程序代码； 用于至少部分地基于所述传感器信号来确定虚拟消息对象的虚拟物理性质的程序代码；用于至少部分地基于所述虚拟物理性质来确定触觉效果的程序代码；以及用于生成被配置成使得致动器输出所述触觉效果的触觉信号的程序代码。
12.—种系统，包括处理器，所述处理器被配置成从被配置成感测与消息发送设备的交互的传感器接收传感器信号； 至少部分地基于所述传感器信号来确定虚拟消息对象的虚拟物理性质； 至少部分地基于所述虚拟物理性质来确定触觉效果； 生成被配置成使得致动器输出所述触觉效果的触觉信号；以及致动器，所述致动器被配置成接收所述触觉信号并输出所述触觉效果。
13.根据权利要求12所述的系统，进一步包括与所述处理器通信的传感器。
14.根据权利要求13所述的系统，其中，所述传感器被配置成检测接触、压力、加速度、倾斜度、惯性、或位置。
15.根据权利要求13所述的系统，其中，所述传感器包括加速度计、陀螺仪、触摸敏感输入设备、照相机、或GPS传感器。
16.根据权利要求12所述的系统，其中，所述消息发送设备进一步包括显示器。
17.根据权利要求16所述的系统，其中，所述显示器包括触摸屏。
18.根据权利要求12所述的系统，其中，所述虚拟物理性质包括大小、质量、形状、碰撞行为、或纹理。
19.根据权利要求12所述的系统，其中，所述虚拟消息对象包括球、管、或囊状物。
20.根据权利要求12所述的系统，其中，所述传感器信号与姿势相关联。
21.根据权利要求20所述的系统，其中，所述姿势是二维姿势，包括手指位置或手指姿势。
22.根据权利要求20所述的系统，其中，所述姿势是三维姿势，包括设备姿势或设备定向。
23.根据权利要求12所述的系统，其中，所述消息发送设备进一步包括被配置成生成与所述触觉效果协调的声音效果的扬声器。
全文摘要
公开了用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的系统和方法。例如，一种公开方法包括步骤从传感器接收传感器信号，所述传感器被配置成检测与消息发送设备的交互；至少部分地基于该传感器信号来确定虚拟消息对象的虚拟物理性质；至少部分地基于虚拟物理参数来确定触觉效果；以及生成被配置成使得致动器输出触觉效果的触觉信号。
文档编号H04M1/725GK102187647SQ200980127978
公开日2011年9月14日 申请日期2009年7月14日 优先权日2008年7月15日
发明者大卫·比恩鲍姆, 克里斯托弗·J·乌尔里希, 丹尼·格雷特 申请人:伊梅森公司