用于输出触觉效果的方法和系统的制作方法

用于输出触觉效果的方法和系统的制作方法
【专利摘要】本发明涉及用于输出触觉效果的方法和系统。一种方法，包括：从被配置成感测与第一消息发送设备的交互的传感器接收传感器信号；至少部分地基于所述传感器信号来确定第一虚拟物理参数；将与所述第一虚拟物理参数相关联的第一信号发送到第二消息发送设备；从所述第二消息发送设备接收与第二虚拟物理参数相关联的第二信号；至少部分地基于所述第二虚拟物理参数来确定触觉效果；以及生成被配置成使得致动器输出所述触觉效果的触觉信号。
【专利说明】用于输出触觉效果的方法和系统
[0001] 分案说明
[0002] 本申请属于申请日为2009年7月14日的中国专利申请200980127978. 1的分案 申请。
[0003] 相关申请的交叉引用
[0004] 本专利申请要求以下的优先权：2008年7月15日提交的题为"Systems and Methods for Physics-Based Tactile Messaging" 的美国临时专利申请 Ν〇·61/080, 978; 2008 年 7 月 15 日提交的题为 "Systems and Methods for Mapping Message Contents to Virtual Physical Properties for Vibrotactile Messaging" 的美国临时专利申 请 Ν〇·61/080, 981 ;2008 年 7 月 15 日提交的题为 "Systems and Methods for Shifting Sensor Haptic Feedback Function Between Passive and Active Modes，'的美国临时专 利申请No. 61/080, 985 ;2008 年 7 月 15 日提交的题为"Systems and Methods for Gesture Indication of Message Recipients"的美国临时专利申请 No. 61/080,987 ;2009 年 1 月 29 日提交的题为"Systems and Methods for Pseudo-Telepresence in a Shared Space" 的美国临时专利申请No. 61/148,312;以及2009年5月26日提交的题为Systems and Methods for Transmitting Haptic Messages"的美国临时专利申请 No. 61/181，280,其全 部内容通过引用的方式被结合到本文中。

【技术领域】
[0005] 本发明一般地涉及消息发送（messaging)，并且更具体地涉及用于将消息内容映 射到虚拟物理性质以进行振动触觉消息发送的系统和方法。

【背景技术】
[0006] 通过消息接收者的消息发送设备上的设定来确定消息发送系统中的常规触觉反 馈，其可以使不同类型的消息与特定振动相关联。这些振动可以是一般的，和/或基于消息 发送设备所包括的振动效果的预封装库。此类振动不是由用户创作的，并且因此其对于消 息的发送者或接收者来说可能未被视为是个人的。此外，此类振动不是由消息内容的性质 生成。因此，需要用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的系统和 方法。


【发明内容】

[0007] 本发明的实施例提供用于将消息内容映射到虚拟物理性质以进行振动触觉消息 发送的系统和方法。例如，在一个实施例中，一种用于基于物理的触觉消息发送的方法包 括：从被配置成感测与消息发送设备的交互的传感器接收传感器信号；至少部分地基于该 传感器信号来确定虚拟消息对象的虚拟物理参数；至少部分地基于该虚拟物理参数来确定 触觉效果，以及生成被配置成使得致动器输出触觉效果的触觉信号。在另一实施例中，一种 计算机可读介质包括用于执行此类方法的程序代码。
[0008] 提及这些说明性实施例并不是为了限制或限定本发明，而是提供示例以帮助对其 的理解。在【具体实施方式】中讨论了说明性实施例，并且在那里提供了本发明的进一步描述。 可以通过研究本说明书来进一步理解由本发明的各种实施例提供的优点。

【专利附图】

【附图说明】
[0009] 当参考附图来阅读以下【具体实施方式】时，将更好地理解本发明的这些及其它特 征、方面、和优点，在附图中：
[0010] 图1是根据本发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行 振动触觉消息发送的系统的框图；
[0011] 图2是根据本发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行 振动触觉消息发送的系统的图示；
[0012] 图3是根据本发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行 振动触觉消息发送的系统的图示；
[0013] 图4是根据本发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行 振动触觉消息发送的方法的流程图；
[0014] 图5是根据本发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行 振动触觉消息发送的方法的流程图；
[0015] 图6是根据本发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行 振动触觉消息发送的系统的图示；以及
[0016] 图7是根据本发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行 振动触觉消息发送的系统的图示。

【具体实施方式】
[0017] 本发明的实施例提供用于将消息内容映射到虚拟物理性质以进行振动触觉消息 发送的系统和方法。
[0018] 振动触觉消息发送的说明性实施例
[0019] 在本发明的一个说明性实施例中，诸如移动电话的一种消息发送设备包括与传 感器和致动器通信的处理器。所述致动器被配置成生成触觉效果。在一个此类说明性实 施例中，所述消息发送设备包括装配有Immersion公司的VibeTonz?振动触觉反馈系 统的Samsung SGH-i710移动计算机。在另一实施例中，所述消息发送设备包括也称为 I_ersi〇n TouchSense?振动触觉反馈系统的I_ersi〇n公司TouchSense?:技术系统。 可以利用其它消息发送设备和触觉反馈系统。
[0020] 该消息发送设备能够产生表示为虚拟消息对象的消息并将其与其它消息发送设 备交换。采取球、管、或蛋的形式的虚拟消息对象可以表示各种类型的消息，诸如非言语消 息（例如，微笑）、文本消息、或具有文件附件的消息。除其形状和外观之外，虚拟消息对象 可以具有其它性质或虚拟物理参数，诸如大小、质量、碰撞行为、和/或纹理。
[0021] 当产生了新的虚拟消息对象时，用户可以通过在触摸屏或设备本身上的姿势来定 义对象的一个或多个虚拟参数。处理器可以以传感器信号的形式接收此类姿势，并至少部 分地基于传感器信号来确定新虚拟消息对象的虚拟物理参数。例如，用户可以产生新的虚 拟消息球。接下来，用户摇动消息发送设备以定义新虚拟消息球的弹性。诸如加速度计或陀 螺仪的传感器检测该摇动作为加速度、倾斜度、惯性、或位置的变化并传送传感器信号。该 处理器接收传感器信号，并确定新虚拟消息对象的虚拟物理参数，诸如弹性表面或行为，模 仿真实橡皮球。
[0022] 在至少部分地基于传感器信号来确定新的虚拟消息对象的虚拟物理参数之后，处 理器至少部分地基于虚拟物理参数来确定触觉效果。基于快速戳动运动，处理器可以确定 新的虚拟消息对象是脆性或易碎的。基于脆性或易碎虚拟物理参数的触觉效果可以包括模 仿蛋碎裂或窗户破裂的振动。如果将虚拟消息对象定义为小的和弹性的，则相应的触觉效 果可以模仿橡皮球从墙壁弹回。处理器可以将虚拟物理性质中的一个、一些、或全部映射或 转换成与虚拟消息对象相关联的触觉效果。
[0023] 最后，处理器生成被配置成使得致动器输出触觉效应的触觉信号。然后，触觉信号 被输出到产生触觉效果的致动器。例如，在通过触摸屏来接触虚拟消息对象时，消息发送设 备可以振动或摇动，模拟触摸或感觉虚拟消息对象的效果。通过生成触觉反馈，消息发送设 备能够传送与虚拟消息相关联的一个或多个虚拟物理参数。
[0024] 给出本说明性示例是为了向读者介绍本文所讨论的一般主题。本发明不限于本示 例。以下小节描述用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的方法和 系统的各种附加实施例和示例。
[0025] 将消息内容映射到虚拟物理性质
[0026] 本文呈现的本发明的实施例提供了用于将消息内容映射到虚拟物理性质以进行 振动触觉消息发送的系统和方法。用于映射消息内容的应用可以将传感器数据当作输入， 从传感器数据提取特征，将该特征映射到虚拟物理参数，并基于该虚拟物理参数来合成触 觉效果。将消息内容映射到虚拟物理性质能够促进通过音频、视觉、和触觉反馈进行的模拟 物理象征（metaphor)的非语言通信。
[0027] 虚拟消息对象和虚拟物理性质
[0028] 在物理象征中，虚拟对象可以表现得像真实的物理对象。每个虚拟对象的性质或 虚拟物理参数告知每个虚拟消息对象如何表现。因此，在消息发送系统的物理象征中，可以 将诸如文本消息、语音邮件、或文件附件的消息表示为具有虚拟物理参数的虚拟消息对象。 此类虚拟消息对象可以填充多维消息收件箱、或虚拟消息环境。在虚拟消息环境内部，虚拟 消息对象可以彼此相交互并表现得像真实的物理对象。
[0029] 每个虚拟消息对象可以表示单独的消息，诸如文本消息、图片消息、视频消息、语 音邮件、提醒、或诸如笑脸或皱眉的非言语消息。例如，采取管或卷起的卷轴形式的虚拟消 息对象可以表示文本消息。并且，采取蛋或囊状物（capsule)形式的虚拟消息对象可以表 示具有附件的消息，诸如视频、图片、或音乐文件。虚拟消息对象还可以表示各种形式的非 言语通信，诸如姿势、面部表情、或情绪。虚拟消息球可以对应于诸如嬉闹的指示的非言语 消息。或者，虚拟消息箭头可以表示戳刺或戳动姿势（即以请求或要求注意）。一些有效的 虚拟消息对象可以具有可容易地识别的视觉和/或触觉性质和/或效果。这些性质帮助用 户在实际上不看设备的情况下直观地理解消息的内容。例如，采取打字机形式的虚拟消息 对象的叮当作响的键可以表示来自工作或文字处理文件的消息。
[0030] 在虚拟消息环境内部，虚拟消息对象可以诸如通过通过弹回、滚动、乃至破裂与彼 此以及环境相交互。虚拟消息对象的行为或其如何交互至少部分地基于每个虚拟消息对象 的性质或虚拟物理参数。诸如大小、质量、形状、碰撞行为、纹理、或视觉表示的一些虚拟物 理参数是相对静态的参数，或者是虚拟消息对象本身的固有性质。诸如紧急性、使用期、和 /或姿态的其它虚拟物理参数可以是短暂或暂时的参数。可以使此类可变虚拟物理参数与 如何从一个设备到另一设备发送或接收虚拟消息对象相关联。虚拟消息对象的虚拟物理参 数可以至少部分地基于消息本身的性质。例如，消息附件的文件大小、文本消息的长度、图 片附件的面积或分辨率、歌曲附件的长度、或视频附件的长度可以用于确定虚拟消息对象 的大小或质量。
[0031 ] 在一些实施例中，基于在用户与消息发送设备相交互时生成的传感器信号来确定 虚拟物理参数。例如，用户可以移动设备或与设备相交互以产生和/或定义新的虚拟消息 对象。在一个实施例中，用户在麦克风上吹气以使新的虚拟消息气球充气。该虚拟消息气 球的虚拟物理尺寸可以直接与用户在麦克风上吹气的时间长度相关联。在另一实施例中， 具有可视电话的用户可以通过拍摄图片来定义新的虚拟消息对象。例如，在拍摄篮球的图 片之后，消息发送设备被指配从图片的性质提取的或至少部分地基于图片的性质的性质， 诸如大小、纹理、或外观。
[0032] 虚拟消息环境还实现用于其内容的标志物（token)象征。在标志物象征中，在设 备之间来回传递虚拟对象，模仿明确物理对象的交换。可以将诸如虚拟消息对象的标志物 从一个消息发送设备传递至另一个。当一个消息发送设备向另一消息发送设备发送虚拟消 息对象时，虚拟消息对象从发送消息的设备消失，如同其实际上被传递至接收消息的设备 一样。
[0033] 当消息发送设备接收到新的虚拟消息对象时，消息发送设备可以输出诸如触觉效 果的效果，以表示新的虚拟消息对象已经被接收到，并且处于虚拟消息环境中。例如，当接 收到虚拟消息球时，可以播放声音和触觉效果以模仿反弹球，向用户表示已经接收到新的 虚拟消息球。
[0034] 可以至少部分地基于虚拟消息对象的一个或多个虚拟消息性质来确定与虚拟消 息对象相关联的音频、视觉、和/或触觉效果。薄的蛋壳状虚拟消息对象可以在与虚拟消息 环境撞击时碎裂或破裂。替代地，玩具球或乒乓球可以连续地从虚拟消息环境的边界弹回。 可以使采取气泡形式的虚拟消息对象与短暂的尖锐的触觉效果相关联，指示气泡爆裂。
[0035] 用于将消息内容映射到虚拟物理性质的说明性系统
[0036] 现在参考附图，其中相同的附图标记遍及多个图指示相同的元件，图1是根据本 发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的系 统的框图。如图1所示，系统100包括消息发送设备102,诸如移动电话、便携式数字助理 (PDA)、便携式媒体播放器、或便携式游戏设备。消息发送设备102包括处理器110。处理器 110与网络连接112、传感器114、显示器116、致动器118、和扬声器120通信。消息发送设 备102可以示出由处理器110在显示器116上生成的虚拟消息环境。
[0037] 处理器110与网络连接112通信。网络连接112可以包括一个或多个移动通信方 法，诸如红外线、无线电、Wi-Fi、或蜂窝式网络通信。在其它变体中，网络连接112包括有 线网络连接，诸如以太网连接或调制解调器。消息发送设备102可以被配置成在诸如蜂窝 式网络或因特网的网络上与其它消息发送设备（未示出）交换消息，诸如语音消息、文本消 息、数据消息、或虚拟消息对象。
[0038] 处理器110还与一个或多个传感器114通信。传感器114可以包括加速度计、陀 螺仪、GPS传感器、触摸敏感输入设备（例如触摸屏、触摸板）、纹理触控笔、成像传感器、或 某种其它类型的传感器。一个或多个传感器114可以被配置成检测加速度、倾斜度、惯性、 或位置的变化。例如，消息发送设备102可以包括被配置成测量消息发送设备102的加速 度的加速度计。或者，消息发送设备102可以包括位置传感器、旋转速度传感器、光传感器、 压力传感器、纹理传感器、照相机、麦克风、或其它类型的传感器。在所示的实施例中，一个 或多个传感器114被配置成向处理器110发送传感器信号。处理器110可以被配置成从一 个或多个传感器114接收传感器信号。
[0039] 在本发明的一些实施例中，用户通过交互来记录虚拟消息对象的虚拟物理参数， 诸如移动或姿势。由一个或多个传感器114来检测这些物理交互。随着消息发送设备102 被倾斜、摇动、或以其它方式移动，一个或多个传感器114可以检测这些移动并至少部分地 基于消息发送设备102的移动来生成传感器信号。在一个实施例中，加速度计传感器被配 置成检测消息发送设备102的倾斜度和加速度。随着消息发送设备102被倾斜，加速度计可 以被配置成至少部分地基于消息发送设备102的倾斜和/或加速度来向处理器发送信号。 在另一个实施例中，显示器116包括被配置成检测姿势或位置输入的触摸屏。随着手指位 于触摸屏显示器116上或在触摸屏显示器116上拖动，触摸屏被配置成至少部分地基于手 指的移动向处理器110发送信号。
[0040] 在接收到传感器信号时，处理器110可以被配置成至少部分地基于传感器信号来 确定虚拟消息对象的虚拟物理参数。可以基于从传感器提取的诸如色彩、纹理、或速度的特 征来确定各种物理参数。在确定虚拟物理参数之后，处理器110可以被配置成至少部分地 基于虚拟物理参数来确定触觉效果。该触觉效果可以通过振动或硬的不规则摇晃来模拟纹 理粗糙的虚拟消息。
[0041] 在一个实施例中，用户从菜单中选择新的虚拟消息蛋。接下来，用户可以以大的圆 圈或椭圆形移动消息发送设备102,以指示虚拟消息蛋的大小。在基于消息发送设备102的 大的移动来确定虚拟消息蛋的大尺寸之后，处理器110可以确定诸如通过许多振动来模拟 大的蛋碎裂的触觉效果。
[0042] 如图1所示，处理器110与显示器116通信。处理器110可以被配置成生成将在 显示器116上显示的虚拟消息环境的图形表示。显示器116可以包括触摸敏感输入设备， 诸如触摸屏，其被配置成发送和从处理器110接收信号。可以通过触摸屏来直接操纵在显 示器116上显示的虚拟消息对象。例如，触摸屏显示器上的二维手指姿势可以在虚拟消息 环境内选择、触摸、感觉、拖动、或投掷虚拟消息对象。
[0043] 处理器110还与一个或多个致动器118通信。处理器110可以向一个或多个致动 器110传送与触觉效果相关联的触觉信号。致动器118接收与触觉效果相关联的触觉信 号，并然后输出触觉效果。致动器118可以是例如电动机、电磁致动器、音圈、线性谐振致动 器、压电致动器、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量电动机（ERM)、或线性 谐振致动器（LRA)。
[0044] 最后，在所示的实施例中，处理器110与扬声器120通信。处理器110可以被配置 成至少部分地基于虚拟消息对象与虚拟消息环境之间的交互来确定声音效果，并且至少部 分地基于该声音效果来向扬声器发送音频信号。扬声器120可以被配置成至少部分地基于 由处理器110生成的音频信号来生成声音效果。可以与触觉效果同时协调或生成声音效果 和触觉效果的输出。在一个实施例中，扬声器可以与致动器生成触觉效果基本上同时地生 成声音效果。
[0045] 由处理器110生成的声音效果可以模拟虚拟消息对象与虚拟消息环境之间的交 互，和/或第一虚拟消息对象与一个或多个其它虚拟消息对象之间的交互。声音效果的示 例包括球从墙壁弹回、箭以砰击声（thud)击中墙壁、或蛋碎裂。例如，消息发送设备102可 以从另一消息发送设备以水球的形式接收虚拟消息对象。在虚拟消息对象到达时，可以与 模拟飞溅的振动同时地生成水球飞溅在墙壁上的声音效果。
[0046] 图2是根据本发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行 振动触觉消息发送的系统的图示。参考图1所描绘的系统来描述系统200的元件。多种其 它实现是可能的。
[0047] 如图2所示，系统200包括消息发送设备102,诸如移动电话、便携式数字助理 (PDA)、便携式媒体播放器、或便携式游戏设备。消息发送设备102可以被配置成在诸如蜂 窝式网络或因特网的网络上发送和接收信号，诸如语音邮件、文本消息、及其它数据消息。 消息发送设备102可以包括无线和/或有线网络连接112。虽然设备102在图2中被图示 为手持式消息发送设备，但其它实施例可以使用其它设备，诸如视频游戏系统、视频游戏控 制器、个人媒体播放器、个人数字助理、和/或个人计算机以发送和接收虚拟消息对象。
[0048] 如图2所示，消息发送设备102包括显示器116、按钮122a、122b、122c、122d、和轨 迹球124。除按钮122a、122b、122c、122d、和轨迹球124之外，消息发送设备102可以包括 定向板、触摸板、滚轮、摇杆开关、操纵杆、或其它形式的输入设备（图2中未示出）。
[0049] 移动设备102的显示器116可以包括诸如触摸屏的触摸敏感输入设备。显示器116 可以被配置成从处理器110接收信号，并生成图形环境，诸如收件箱、浏览器、游戏环境、虚 拟消息环境。显示器116还可以被配置成生成虚拟消息创作环境250。虚拟消息创作环境 250可以包括用于选择要创作或产生的一种类型的虚拟消息对象的菜单252。如图2所示， 菜单252包括用于创作新虚拟消息球254a、新虚拟消息管254b、或新虚拟消息蛋254c的选 项。菜单252可以包括诸如心或水球（图2中未示出）的其它类型的虚拟消息对象。
[0050] 虚拟消息创作环境250可以包括创作指示器256。创作指示器256可以警告用户 消息发送设备102处于创作或记录模式。如图2所示，创作指示器256包括位于菜单252上 的警告条，在虚拟消息创作环境250的顶部。虚拟消息创作环境可以被配置成在传感器正 在记录或捕获与虚拟消息对象相关联的信息时显示创作指示器256。在一种情况下，当记录 按钮122c被按下或激活时，进入记录模式，并且出现创作指示器256。当记录模式停止时， 创作指示器256可以淡化或消失。
[0051] 当消息发送设备102处于记录模式时，一个或多个传感器114可以记录或捕获与 虚拟物理参数相关联的信息，诸如姿势。一些姿势包括由触摸屏接收到的二维姿势。二维 姿势的示例包括指示方向（即位置输入）或绘画。其它姿势可以包括由加速度计、陀螺仪、 或某种其它传感器测量的三维姿势。三维姿势可以包括旋转、轻弹、戳动、或以其它方式移 动整个消息发送设备102。一个或多个传感器114还可以诸如通过感测压力传感器上的压 力、用照相机拍照、或用麦克风记录声音来记录其它非言语信息。
[0052] 虚拟消息创作环境250还可以包括新的虚拟消息对象管道258。随着产生一个或 多个新的虚拟消息对象，其可以表现得如同其从新的虚拟消息对象管道258出来并进入虚 拟消息创作环境250 -样。新的虚拟消息对象管道258可以加强虚拟消息对象的标志物象 征。例如，当产生新的虚拟消息且其从新的虚拟消息对象管道258显现时，消息发送设备 102的用户可以直观地推断出新的虚拟消息对象表示可以在不同的消息发送设备之间来回 传递的物理标志物。
[0053] 图3是根据本发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行 振动触觉消息发送的系统的图示。如图3所示，系统300包括具有触摸屏显示器316、纹理 传感器314、和轨迹球324的消息发送设备302。
[0054] 触摸屏显示器316正在显示虚拟消息创作环境350。如图3所示，虚拟消息创作环 境350包括用于选择新的虚拟消息对象的类型的菜单352。在菜单352中，用户可以选择新 的虚拟消息球354a、新的虚拟消息管354b、或新的虚拟消息蛋354c。虽然菜单352图示了 三种类型的虚拟消息对象，但是可以选择其它类型的虚拟消息对象（图3未示出）。虚拟消 息创作环境350还包括新的虚拟消息管道358。当选择了新的虚拟消息球354a时，可以显 示离开新的虚拟消息管道358的新的虚拟消息球360。
[0055] 在诸如新虚拟消息球360的新虚拟消息对象的创作期间，虚拟消息创作环境350 可以显示滑动条362。用户可以调整该滑动条362以改变新的虚拟消息对象的一个或多个 虚拟物理性质。在图3中，使用滑动条362来调整虚拟消息对象360的纹理。在滑动条的 一端上，被示为一堆岩石的图标364a图示了可以被指配给新的虚拟消息对象360的一个纹 理。在滑动条362的中间，被示为一堆粗砂的第二图标364b图示了可以指配给虚拟消息对 象360的第二纹理。在滑动条的另一端处，被示为一堆细沙的图标364c图示了可以指配给 虚拟消息对象360的第三纹理。
[0056] 可以通过触摸屏316、通过轨迹球423、或通过某种其它手段来操纵或占用滑动条 362。替代地，可以通过触摸屏316来占用（engage)图标364a、364b、364c中的一个。随着 滑动条362被占用，触摸敏感传感器向消息发送设备302的处理器发送信号。该处理器接 收传感器信号，并可以至少部分地基于与滑动条输入相关联的传感器信号来确定虚拟消息 对象的虚拟物理性质。
[0057] 用于将消息内容映射到虚拟物理性质以进行振动触觉消息发送的说明性方法
[0058] 图4是根据本发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行 振动触觉消息发送的方法的流程图。在方法400中，处理器从传感器接收传感器信号402。 处理器可以与一个或多个传感器通信，诸如加速度计、陀螺仪、GPS传感器、触摸敏感输入设 备（例如，触摸屏、触摸板）、纹理触控笔、压力传感器、成像传感器、麦克风、或某种其它类 型的传感器。用户可以通过从菜单中选择水球类型、进入记录模式并将消息发送设备向下 翻转以填充水球来产生新的虚拟消息对象。加速度计或陀螺仪可以检测倾斜度的改变，触 摸屏可以检测在其表面上绘制的图，或者麦克风可以检测声音。在检测此类姿势或动作之 后，可以向消息发送设备的处理器传送传感器信号。
[0059] 接下来，处理器至少部分地基于传感器信号来确定虚拟消息对象的虚拟物理参数 404。在从传感器接收到传感器信号之后，处理器可以从传感器信号提取姿势和/或环境特 征。姿势特征可以包括与设备的移动、或设备上的移动有关的信息。环境特征可以包括与 设备的周围环境或条件有关的信息。可以向从传感器接收到的数据应用姿势和/或环境提 取算法。可以从传感器信号提取诸如图片中的对象的形状或颜色的环境特征。替代地，可 以从传感器信号提取移动消息发送设备的方向、或在触摸屏上输入的字符。可以设置阈值， 使得某个加速度、定向、或定期性触发标志物的产生。例如，如果设备仅移动很小的距离，则 处理器可以确定移动是无意中做的，或者并不意图触发标志物的产生。如果设备移动了很 大的距离，则处理器可以确定该移动意图触发标志物的产生。
[0060] 处理器可以通过将从传感器信号提取的姿势和/或环境特征映射到虚拟物理参 数来确定新的虚拟消息对象的虚拟物理参数。例如，可以将预定的姿势和/或环境特征 集合连同相应的虚拟物理参数一起存储在数据存储中。当提取了姿势和/或环境特征 时，搜索数据存储，并确定适当的虚拟物理参数。该确定可以至少部分地基于姿势的动态 (dynamics)，诸如触摸屏接触的速度、移动的速度、移动的大小、移动的定期性、或移动的重 复性。
[0061] 作为一个示例，用户可以通过平缓、重复的运动来产生多个新的虚拟消息对象，诸 如心或气球。用每个循环或重复姿势，处理器可以产生新的虚拟消息对象，潜在地导致多个 气球装满虚拟消息创作环境。在进一步的示例中，用户可以通过触摸屏显示器来占用或触 摸每个气球。通过在触摸屏上向上或向下缓慢地拖动气球，处理器可以确定气球的虚拟物 理重量。如果气球被缓慢地向上拖动，则处理器可以确定气球是轻的，并且应在虚拟消息环 境中到处漂浮。替代地，如果气球被快速地拖动至显示器的底部，则处理器可以确定气球是 稠密的和/或重的，并且应沉到虚拟消息环境的底部。
[0062] 虚拟消息对象的虚拟物理参数可以至少部分地基于其它因素。可以使诸如视频文 件或图像文件的文件与虚拟消息对象相关联，诸如虚拟消息囊状物。处理器可以从文件提 取元数据，使用元数据来确定虚拟物理参数。在一个示例中，用户产生新的虚拟消息囊状 物。接下来，用户滚动整个文件列表，并选择特定的文件以通过将其拖动到虚拟消息囊状物 上来附着于虚拟消息囊状物。处理器可以至少部分地基于被拖动到虚拟消息对象上的特定 文件的大小来确定虚拟消息囊状物的大小。作为另一示例，处理器可以基于与囊状物相关 联的类型来确定虚拟消息囊状物的纹理或颜色。
[0063] 在确定虚拟物理参数之后，处理器至少部分地基于虚拟物理参数来确定触觉效果 406。例如，用户可以产生新的虚拟消息球并摇晃设备以定义用于新虚拟消息球的弹性碰撞 行为。处理器可以确定模拟虚拟消息球从虚拟消息环境弹回的触觉效果，模仿用来在虚拟 消息球产生时对其进行定义的姿势。
[0064] 如果虚拟消息环境包含诸如大的脆性蛋的单个虚拟消息对象，则处理器可以确定 模拟蛋破裂的触觉效果（例如，单个大的裂缝）。作为另一示例，如果存在包括运动弹性 球的许多虚拟消息对象，则处理器可以确定许多小的快速振动是适当的，以模拟运动的球 从环境弹回并相互反弹。通过使触觉效果与虚拟消息对象的虚拟物理参数相关联，用户可 以使某些触觉效果与某些类型的对象相关联。例如，当致动器输出模拟跳动的心的触觉效 果时，用户可以在不看消息发送设备的情况下立即猜到她已接收到亲密消息或虚拟消息对 象。
[0065] 处理器生成被配置成使得致动器输出触觉效果的触觉信号408。最后，处理器110 向被配置成输出触觉效果的一个或多个致动器传送触觉信号410。在一个变体中，处理器确 定模拟箭击中墙壁的触觉效果，诸如砰击声，并生成被配置成使得致动器输出该砰击声的 触觉信号。然后，该触觉信号被传送到输出触觉效果的致动器。
[0066] 图5是根据本发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行 振动触觉消息发送的方法的流程图。在方法500中，产生新的虚拟消息对象502。可以在虚 拟消息创作环境中产生新的虚拟消息对象。虚拟消息创作环境可以使多维收件箱或虚拟消 息环境的物理模型悬浮。通过使物理模型悬浮，可以使传感器信号与新的虚拟消息对象的 虚拟物理参数相关联，而不是使传感器信号与和虚拟消息环境内的现有虚拟消息对象的交 互相关联。
[0067] 可以通过从菜单中选择选项来创作新的虚拟消息对象。该虚拟消息创作环境可 以显示用于选择多种类型的现有虚拟消息对象中的一个的滚动菜单和/或用于创作新类 型的虚拟消息对象的选项。如图5所示，可以产生新的虚拟消息球504a、新的虚拟消息管 504b、或新的虚拟消息囊状物504c。在其它实施例中，可以产生其它类型的虚拟消息对象。 例如，新的虚拟消息对象可以包括心、箭、水球、或篮球。每种类型的虚拟消息对象可以具有 与之相关联的特定虚拟消息性质。例如，虚拟消息篮球可以具有模拟真实篮球的虚拟物理 纹理。
[0068] 在一些情况下，用户从预定义的虚拟消息对象类型列表中选择虚拟消息对象。通 过使用预定义虚拟消息对象类型，用户能够快速地且明确地定义新的虚拟消息对象的特定 方面，其可以被映射或转换成一个或多个虚拟物理参数。在其它情况下，用户可以从头开始 创作新类型的虚拟消息对象。用户能够至少部分地基于来自触摸屏、加速度计、陀螺仪、GPS 传感器、或某种其它类型的传感器的信号用特定的个性化虚拟物理参数来定义虚拟消息对 象。
[0069] 在产生504a新的虚拟消息球之后，将记录506a该虚拟消息球的特征。可以由消 息发送设备的一个或多个传感器来记录特征。可以从光传感器记录色彩特征，可以从纹理 触控笔传感器记录纹理特征，或者可以从加速度计记录姿势。
[0070] 在步骤504b中，产生新的虚拟消息管。采取管、或卷轴形式的虚拟消息对象可以 表示文本消息。因此，如果产生504b 了新的虚拟消息管，则可以输入506b文本消息。用户 可以通过附着于消息发送设备的键盘、通过在触摸屏显示器上显示的虚拟键盘、或通过某 种其它手段来输入文本。
[0071] 在步骤504c中，产生虚拟消息囊状物。采取囊状物或蛋形式的虚拟消息对象可以 表示具有文件附件的消息。因此，如果产生504c 了新的虚拟消息囊状物，则选择560c要附 加（或包括在囊状物内部）的文件。虚拟消息囊状物可以包括具有诸如视频文件、声音文 件、或图像文件的文件附件的消息。用户可以通过滚动整个文件列表、或将文件拖动到虚拟 消息囊状物上来选择文件附件。作为一个替代，用户可以拍摄图片并选择要装入文件囊状 物内部的图片。
[0072] 在记录506a、输入506b、或选择506c 了关于新的虚拟消息对象的信息之后，确定 新的虚拟消息对象的虚拟物理参数508。可以至少部分地基于从传感器接收到的信息来确 定虚拟物理参数。当传感器记录了虚拟消息球的特征时506a，可以至少部分地基于由传感 器记录的信息来确定虚拟物理参数。例如，用户可以使消息发送设备倾斜或用消息发送设 备做姿势以记录与新的虚拟消息对象的大小相关联的特征。然后，新的虚拟消息对象的虚 拟物理尺寸可以对应于该姿势或移动的大小，消息发送设备的小的移动可以产生小的虚拟 消息对象，而消息发送设备的大的移动或姿势可以产生大的虚拟消息对象。
[0073] 当产生506b 了新的虚拟消息管时，文本消息的长度（诸如行数或字数）可以至少 部分地确定新的虚拟消息管的一个或多个虚拟物理参数，诸如管的大小或长度。可以确定 基于虚拟消息管的大小或长度的触觉效果。因此，触觉感觉可以传达关于虚拟消息管的信 肩、。
[0074] 在新的虚拟消息囊状物504c的情况下，所选择506c的文件的大小可以确定新虚 拟消息对象的虚拟质量。由于触觉效果可以至少部分地基于虚拟消息对象的虚拟质量，所 以可以产生为该虚拟消息对象特别设计的触觉效果。结果得到的触觉感觉可以传达关于文 件囊状物的信息，诸如其包含的数据量或数据类型。
[0075] 至少部分地基于新虚拟消息对象的虚拟物理参数来生成触觉信号以使得致动器 输出触觉效果510。最后，向被配置成输出触觉效果的致动器传送触觉信号512。该触觉效 果可以至少部分地基于虚拟消息对象与虚拟消息环境之间的交互。虚拟消息对象的行为可 以至少部分地基于虚拟消息对象的虚拟物理参数。蛋壳状虚拟消息对象可以在与虚拟消息 环境撞击时碎裂或破裂。替代地，虚拟消息箭可以以一个响亮的砰击声到达。可以使虚拟 消息气泡与短暂、尖锐的触觉效果相关联，指示气泡爆裂。
[0076] 如果新的虚拟消息对象是大球，则可以生成触觉信号以使得致动器输出模仿大球 从虚拟消息环境弹回和/或到处滚动的触觉效果。如果新的虚拟消息对象是小囊状物，则 可以生成触觉信号以使得致动器输出模仿小囊状物在虚拟消息环境内部破裂的触觉效果。
[0077] 可以使触觉效果与虚拟消息对象相关联。可以随着在消息发送设备之间交换虚拟 消息对象而保存触觉效果。例如，处理器可以使虚拟消息囊状物与特定的触觉效果相关联。 当囊状物从一个移动设备被发送到另一个时，还向接收设备发送触觉数据。此触觉数据可 以用来在接收设备中生成触觉反馈。
[0078] 图6是根据本发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行 振动触觉消息发送的系统的图示。如图6所示，系统600包括消息发送设备602。消息发送 设备602显不虚拟消息创作环境650。消息发送设备602包括一个或多个处理器（图6未 示出）。
[0079] 另外，消息发送设备602可以包括一个或多个处理器（图6未示出）。诸如加速度 计的传感器可以被配置成检测消息发送设备的加速度、倾斜度、惯性、或位置的变化。作为 其它示例，消息发送设备可以包括气压传感器、位置传感器、旋转速度传感器、图像传感器、 压力传感器、或某种其它类型的传感器。传感器被配置成向处理器发送传感器信号。
[0080] 在一个变体中，加速度感测可以用于捕获与产生虚拟消息对象相关联的姿势或移 动。在另一变体中，使用诸如触摸屏的触摸敏感输入设备来获取与新虚拟消息对象相关联 的绘画。陀螺仪传感器可以检测X和y平面中的消息发送设备的定向变化。如图6所示， 移动设备602在根据箭头610的方向上移动。处理器可以确定从图6所示的姿势产生的虚 拟消息对象是大的、圆的、并且容易地在虚拟消息环境中到处滚动。相应的触觉效果可以是 轻柔、平稳的振动。
[0081] 图7是根据本发明的一个实施例的用于将消息内容映射到虚拟物理性质以进行 振动触觉消息发送的系统的图示。如图7所示，系统700包括消息发送设备702。消息发送 设备显示虚拟消息创作环境750。消息发送设备702可以包括一个或多个处理器（图7中 未示出）和一个或多个传感器（图7中未示出）。
[0082] 如图7所示，用户以由箭头710的方向所指示的短的水平运动来移动或摇动消息 发送设备。从图7所示的每个移动或姿势提取的传感器数据可以用来产生具有特定虚拟物 理性质的新的虚拟消息对象。处理器可以确定从图7所示的姿势产生的虚拟消息对象可以 是小的粗糙对象。相应的触觉效果可以是连续的快速摇晃。
[0083] 可以使每个触觉效果与虚拟消息对象相关联并进行保存。例如，可以将触觉效果 包括在虚拟消息对象的概况（profile)中。这样，接收到虚拟消息对象的消息发送设备还接 收对应于与该虚拟消息对象相关联的触觉效果的信号。以这种方式，用户可以通过非言语 触觉消息进行通信。
[0084] 可以在数字电子电路或在计算机硬件、固件、软件、或其组合中实现本发明的实施 例。在一个实施例中，计算机可以包括一个或多个处理器。处理器可以包括计算机可读 介质，诸如被耦合到处理器的随机存取存储器（RAM)。处理器执行被存储在存储器中的计 算机可执行程序指令，诸如执行用于消息发送的一个或多个计算机程序。此类处理器可以 包括微处理器、数字信号处理器（DSP)、专用集成电路（ASIC)、现场可编程门阵列（FPGA)、 以及状态机。此类处理器可以进一步包括可编程电子器件，诸如PLC、可编程中断控制器 (PIC)、可编程逻辑器件（PLD)、可编程只读存储器（PR0M)、电可编程只读存储器（EPROM或 EEPR0M)、或其它类似器件。
[0085] 此类处理器可以包括介质，或者可以与介质通信，例如计算机可读介质，其可以存 储在被处理器执行时能够使得处理器执行在本文中被描述为由处理器执行或辅助的步骤 的指令。计算机可读介质的实施例可以包括但不限于电子、光学、磁性、或能够为诸如网络 服务器中的处理器的处理器提供计算机可读指令的其它存储或传输设备。介质的其它示例 包括但不限于软盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、已配置处理器、所有光学介 质、所有磁带或其它磁性介质、或计算机处理器可以从中进行读取的任何其它介质。而且， 各种其它设备可以包括计算机可读介质，诸如路由器、私用或公共网络、或其它传输设备。 所述处理器和处理可以在一个或多个结构中，并且可以散布于一个或多个结构。处理器可 以包括用于执行本文所述的方法（或方法的一部分）中的一个或多个的代码。
[0086] 鐘述
[〇〇87] 已经仅仅出于图示和描述的目的呈现了本发明的实施例的前述描述，包括优选实 施例，并且其并不意图是穷尽的，也不意图使本发明局限于所公开的精确形式。在不脱离本 发明的精神和范围的情况下，其许多修改和调整对于本领域的技术人员来说将是显而易见 的。
【权利要求】
1. 一种用于输出触觉效果的方法，包括： 从被配置成感测与第一消息发送设备的交互的传感器接收传感器信号； 至少部分地基于所述传感器信号来确定第一虚拟物理参数； 将与所述第一虚拟物理参数相关联的第一信号发送到第二消息发送设备； 从所述第二消息发送设备接收与第二虚拟物理参数相关联的第二信号； 至少部分地基于所述第二虚拟物理参数来确定触觉效果；以及 生成被配置成使得致动器输出所述触觉效果的触觉信号。
2. 根据权利要求1所述的方法，其中，所述传感器被配置成检测：空气运动、接触、压 力、加速度、倾斜度、惯性、或位置。
3. 根据权利要求1所述的方法，其中，所述传感器包括：加速度计、陀螺仪、触摸敏感输 入设备、照相机、或GPS传感器。
4. 根据权利要求1所述的方法，其中，所述传感器信号与环境特征相关联。
5. 根据权利要求1所述的方法，其中，所述传感器信号与姿势相关联。
6. 根据权利要求5所述的方法，其中，所述姿势是二维姿势，包括：手指位置或手指姿 势。
7. 根据权利要求5所述的方法，其中，所述姿势是三维姿势，包括：设备姿势或设备定 向。
8. -种用于输出触觉效果的系统，包括： 用于从被配置成感测与第一消息发送设备的交互的传感器接收传感器信号的装置； 用于至少部分地基于所述传感器信号来确定第一虚拟物理参数的装置； 用于将与所述第一虚拟物理参数相关联的第一信号发送到第二消息发送设备的装 置； 用于从所述第二消息发送设备接收与第二虚拟物理参数相关联的第二信号的装置； 用于至少部分地基于所述第二虚拟物理参数来确定触觉效果的装置；以及 用于生成被配置成使得致动器输出所述触觉效果的触觉信号的装置。
9. 根据权利要求8所述的系统，其中，所述传感器被配置成检测：空气运动、接触、压 力、加速度、倾斜度、惯性、或位置。
10. 根据权利要求8所述的系统，其中，所述传感器包括：加速度计、陀螺仪、触摸敏感 输入设备、照相机、或GPS传感器。
11. 根据权利要求8所述的系统，其中，所述传感器信号与环境特征相关联。
12. 根据权利要求8所述的系统，其中，所述传感器信号与姿势相关联。
13. 根据权利要求12所述的系统，其中，所述姿势是二维姿势，包括：手指位置或手指 姿势。
14. 根据权利要求12所述的系统，其中，所述姿势是三维姿势，包括：设备姿势或设备 定向。
【文档编号】G06F1/16GK104111726SQ201410262007
【公开日】2014年10月22日 申请日期:2009年7月14日 优先权日:2008年7月15日
【发明者】大卫·比恩鲍姆, 克里斯托弗·J·乌尔里希, 丹尼·格雷特 申请人:意美森公司