用于带有触觉效果的模拟物理交互的系统和方法

用于带有触觉效果的模拟物理交互的系统和方法
【专利摘要】本发明涉及用于带有触觉效果的模拟物理交互的系统和方法。本公开的系统可以包括：传感器，其被配置成检测与触摸表面的用户交互并且传输与该用户交互相关联的传感器信号；与传感器通信的处理器，该处理器被配置成：基于传感器信号来确定用户交互的方位、确定与用户交互的方位相关联的特征、控制与该特征相关联的设备、部分基于用户交互来修改显示信号、至少部分基于用户交互和方位来选择待生成的触觉效果，该触觉效果被选择来模拟该特征、以及传输触觉信号以生成该触觉效果；以及与处理器通信并且耦合到触摸表面的触觉输出设备，该触觉输出设备被配置成接收触觉信号并且输出触觉效果。
【专利说明】用于带有触觉效果的模拟物理交互的系统和方法
[0001]相关申请的交叉引用
[0002]本申请要求于2012年11月20日提交并且题为“Systems and Methods forProviding Mode or State Awareness with Programmable Surface Texture(用于提供带有可编程表面纹理的模式或状态意识的系统和方法)”的临时申请N0.61/728，665 ;于2012年 11 月 20 日提交并且题为 “System and Method for Feedforward and Feedback withElectrostatic Friction (用于带有静电摩擦的前馈和反馈的系统和方法)”的临时申请N0.61/728, 661 ;于 2012 年 11 月 20 日提交并且题为“System and Method for SimulatedPhysical Interactions with Electrostatic Friction(用于带有静电摩擦的模拟物理交互的系统和方法)”的临时申请N0.61/728，727 ;于2013年3月14日提交并且题为“Systemand Method For Simulated Physical Interactions With Haptic Effects (用于带有角虫觉效果的模拟物理交互的系统和方法)”的非临时申请N0.13/830, 087的优先权，通过引用将其每一个整体合并入本文。
【背景技术】
[0003]能够触摸的设备已变得日益普及。例如，移动设备和其他设备可以被配置有触摸敏感显示器，以使用户能够通过触摸触摸敏感显示器的部分来提供输入。作为另一个示例，与显示器分离的能够触摸的表面可以用于输入，诸如触控板、鼠标或其他设备。此外，一些能够触摸的设备利用触觉效果，例如改变用户在触摸表面上感觉到的摩擦系数的触觉效果。这种类型的触觉效果能够用来向用户提供各种信息。因此，存在对带有触觉效果的模拟物理交互的需求。

【发明内容】

[0004]本公开的实施例包括以基于表面的触觉效果为特征的设备，该设备在触摸区域中模拟一个或多个特征。特征可以包括例如在触摸表面中的边界、障碍物或其他不连续的纹理、摩擦系数和/或模拟的改变，这能够通过使用与表面接触的对象来感知。包括基于表面的触觉效果的设备可能会更加用户友好，并且可以提供更引人入胜的用户体验。
[0005]在一个实施例中，本公开的系统可以包括:传感器，其被配置成检测与触摸表面的交互并且传输与该交互相关联的传感器信号；与传感器通信的处理器；以及与处理器通信并且耦合到触摸表面的触觉输出设备，该触觉输出设备被配置成接收触觉信号并且部分基于该触觉信号来在触摸表面上输出触觉效果，而上述处理器被配置成:确定在设备上可用的操作，该操作与第一用户交互相关联；确定与该操作相关联的模拟纹理；输出与该模拟纹理相关联的触觉信号；基于第二用户交互来确定是否执行该操作。
[0006]提及该说明性实施例并不是来限制本主题或限定其界限，而是提供示例以帮助对其的理解。在【具体实施方式】中论述了说明性实施例，并且在那里提供了进一步描述。可以通过研究本说明书和/或通过实践所主张的主题的一个或多个实施例来进一步了解各种实施例所提供的优点。【专利附图】

【附图说明】
[0007]在本说明书的剩余部分中更具体地阐述了完整和使能的公开。本说明书参考下述附图。
[0008]图1A示出用于带有触觉效果的模拟物理交互的说明性系统；
[0009]图1B示出在图1A中所示的系统的一个实施例的外视图；
[0010]图1C图示在图1A中所示的系统的另一个实施例的外视图；
[0011]图2A-2B图示用于带有触觉效果的模拟物理交互的示例实施例；
[0012]图3A描绘用于带有触觉效果的模拟物理交互的说明性系统；
[0013]图3B描绘用于带有触觉效果的模拟物理交互的说明性系统；
[0014]图3C描绘用于带有触觉效果的模拟物理交互的说明性系统；
[0015]图4A描绘用于带有触觉效果的模拟物理交互的说明性系统；
[0016]图4B描绘用于带有触觉效果的模拟物理交互的说明性系统；
[0017]图5是用于带有触觉效果的模拟物理交互的系统的图示；
[0018]图6是用于执行用于带有触觉效果的模拟物理交互的方法的步骤的流程图；
[0019]图7是用于带有触觉效果的模拟物理交互的系统的图示；
[0020]图8是用于带有触觉效果的模拟物理交互的系统的另一个图示；
[0021]图9是用于带有触觉效果的模拟物理交互的系统的又一个图示；
[0022]图10A-10B是用于带有触觉效果的模拟物理交互的系统的又一个图示；
[0023]图11A-11C是用于带有触觉效果的模拟物理交互的系统的又一个图示；
[0024]图12A-12B是用于带有触觉效果的模拟物理交互的系统的又一个图示；以及
[0025]图13A-13B是用于带有触觉效果的模拟物理交互的系统的又一个图示。
【具体实施方式】
[0026]现将详细参考各种和替选的说明性实施例以及附图。作为说明而非限制提供每一个示例。对本领域技术人员将显而易见的是，能够作出修改和变化。例如，作为一个实施例的部分说明或描述的特征可以用在另一个实施例中以产生更进一步的实施例。因此，意图是，本公开包括在所附权利要求及其等价物的范围内的修改和变化。
[0027]用于提供带有触觉效果的模拟物理交互的设备的说明性示例
[0028]设计者经常利用带有物理交互的用户体验，来使数字接口使用起来更高效且令人愉快。这通常是通过经由视觉和/或听觉反馈来再现与物理世界的交互的某些方面而完成的。这些类型的交互在触摸屏上会特别有效。在一些实施例中，能够在触摸敏感系统中使用静电摩擦(ESF)反馈来增加模拟物理交互的现实性和可用性。例如，在本公开的一些实施例中，能够使用ESF或致动器来输出现实触知反馈以部分地再现与物理交互相关联的感受。进一步，在一些实施例中，利用ESF或致动器，抽象触知反馈也是可能的。
[0029]本公开的一个说明性实施例包括计算系统，诸如智能电话、平板电脑或便携式音乐设备。计算系统能够包括一个或多个传感器和/或可以与一个或多个传感器通信，传感器诸如是加速度计以及用于确定触摸相对于显示区域的位置的传感器(例如，光学、电阻式或电容式)，其中在该示例中显示区域与设备的屏幕相对应。[0030]当用户与设备交互时，使用一个或多个例如致动器的触觉输出设备来提供触知效果。例如，触觉效果可以被配置成改变用户在移动其手指跨过设备的表面时所感知到的摩擦系数。在一个这样的实施例中，当用户的手指跨过表面移动时，可以输出振动、电场或其他效果来改变用户感觉到的摩擦系数。取决于摩擦如何变化，用户可以感知到触摸表面中的特征，否则如果没有改变表面摩擦，则另无法以相同的方式(或根本不能)感知到。作为特定示例，可以使摩擦变化，以使用户感知到与例如为屏幕上的控件的特征的边缘相对应的隆起物、边界或其他障碍物，屏幕上的控件诸如是虚拟按钮、滑块、旋钮或其他接口。在一些实施例中，这种控件可以被配置成控制与该控件相关联的系统。例如，在一个实施例中，控件可以包括被配置成控制温度的虚拟旋钮。因此，通过与虚拟旋钮交互，用户可以能够调整温度设置。
[0031]在其他实施例中，可以输出上述类型的触觉效果来模拟许多可能的效果中的一个。例如，在一个实施例中，设备可以显示虚拟桌面。在这样的实施例中，当用户与虚拟桌面的各种特征交互时，用户可以感觉到与桌面上的项相关联的效果。例如，在这样的实施例中，当用户与虚拟桌面上的纸堆交互时，用户可以感觉到触觉效果，诸如纹理或摩擦的变化。例如，在一个这样的实施例中，当用户与虚拟纸堆交互时，设备可以输出随着纸相互擦碰而增加用户感觉到的摩擦的触觉效果。类似地，在这样的实施例中，显示器可以示出与触觉效果相对应的视觉效果，例如，显示器可以在用户与纸堆交互时示出纸堆移动。在进一步实施例中，当用户推动纸堆时，设备可以输出与纸堆倒下相关联的触觉效果。类似地，在这样的实施例中，显示器可以示出与纸堆倒下相关联的图像。
[0032]也可以在进一步实施例中使用上述类型的触觉效果。例如，在一个实施例中，用户可能正在设备上玩视频游戏。在这样的实施例中，设备可以输出与用户采取的动作相关联的触觉效果。例如，在一个这样的实施例中，用户可以跨过屏幕移动视频游戏中的角色。在这样的实施例中，设备可以输出被配置成模拟游戏中的角色可能正经过的纹理的变化的触觉效果。类似地，在这样的实施例中，设备可以改变当用户在角色的虚拟世界中跨过不同的表面移动角色时用户所感觉到的摩擦。例如，在一个实施例中，当用户移动角色越过粗糙表面时，设备可以输出被配置成增加用户跨过显示器的表面移动其手指时感觉到的摩擦系数的触觉效果。在另一个实施例中，用户可以玩与虚拟弹弓相关联的游戏。在这样的实施例中，当用户绷紧虚拟弹弓时，设备可以输出被配置成模拟增加的张力的触觉效果。在一个这样的实施例中，该触觉效果可以包括被配置成增加在用户跨过屏幕的表面移动其手指以绷紧弹弓时用户所感觉到的摩擦系数的效果。
[0033]进一步，在一些实施例中，设备可以改变摩擦系数，或输出被配置成模拟纹理的效果，以向用户提供手势可用的确认。例如，在一个实施例中，当用户跨过触摸屏的表面移动手指时，用户可能经过在触摸屏的表面上的按钮、滑块或其他输入设备。当用户的手指经过这种输入设备时，设备可以输出被配置成改变摩擦系数或模拟纹理的触觉效果，以让用户知道其手指经过了输入设备。例如，在一个实施例中，当用户的手指移动越过按钮顶部时，设备可以输出被配置成增加摩擦系数的触觉效果以让用户知道其手指经过了按钮。
[0034]进一步，在一些实施例中，设备可以增加摩擦系数或输出被配置成模拟纹理的效果，以向用户提供不同类型的交互能够用来控制模拟的输入设备(例如，触摸屏显示器上的按钮、开关、滑块或其他输入设备)的确认。例如，在一个实施例中，当用户跨过触摸屏的表面移动其手指时，用户可以感觉到按钮，如上所述。并且进一步，设备可以输出被配置成识别某些操作可用的触觉效果。例如，在一个实施例中，设备可以输出指示抬起手指离开按钮将激活它的纹理。在另一个实施例中，当用户跨过触摸屏的表面移动手指时，其感觉到滑块的边缘。在这样的实施例中，当用户移动手指越过滑块时，设备可以输出被配置成改变感知到的摩擦系数或模拟纹理的效果，以指示滑块能够通过划动来激活。在还有其他的实施例中，可以使用触觉效果来识别某些交互不可用。例如，在一个实施例中，当用户移动其手指越过触摸屏的与当前未激活的按钮相关联的部分时，设备可以输出触觉效果(例如，被配置成模拟钝的纹理的效果)来让用户知道该按钮当前未激活。
[0035]类似地，在一些实施例中，触摸屏上的项可以具有相关联的触觉效果来标识其重要性。例如，在一个实施例中，诸如按钮的虚拟输入设备可以具有比其他虚拟输入设备更重要的操作。例如，在一个实施例中，该按钮可以与关闭设备或使设备处于“飞行模式”相关联。在其他实施例中，设备可以使用重要性的其他指示符。例如，在一个实施例中，用户可能正在设备上查看新闻应用。在这样的实施例中，设备可以被配置成应用与标题相关联的模拟的纹理或变化的摩擦系数。类似地，如果用户接收到已被标记有“高重要性”的消息，则设备可以被配置成将模拟的纹理或摩擦系数与该消息相关联。
[0036]在其他实施例中，可以使用模拟的纹理或摩擦系数的变化来提供对动作或模式的激活的确认。例如，当用户在触摸板或触摸屏上作出各种手势时，设备可以改变摩擦系数或模拟纹理来指示手势已被接收。例如，在一个实施例中，模拟的纹理或摩擦系数的变化可以与捏拉缩放手势相关联。在这样的实施例中，当设备检测到捏拉缩放手势时，其可以输出被配置成模拟纹理或摩擦系数的变化的效果以确认该手势已被接收。在另一个实施例中，可以输出模拟的纹理或摩擦系数的变化，来确认对用来返回到主屏幕的四手指手势的接收。在还有的其他实施例中，模拟的纹理或摩擦系数的变化可以与诸如向左/向右或向上/向下滚动的手势相关联。在一些实施例中，这可以使用户能够快速接连地使用与设备的多个手势交互，因为模拟的纹理或摩擦系数的变化将标识交互已被接收，因此，用户能够立即前进到下一交互。
[0037]进一步，在一些实施例中，模拟的纹理或摩擦系数的变化可以与特定设备操作相关联，例如发送呼叫至语音信箱、发送文本消息、发送电子邮件、下载更新、与游戏或应用相关联的一些操作、或一些其他操作。类似地，在一些实施例中，模拟的纹理或摩擦系数的变化可以与在设备控制下的系统相关联。例如，在一个实施例中，设备可以被配置成控制气候控制系统。在这样的实施例中，当用户与用户接口中的控件交互时，用户可以能够控制例如温度设置或风扇设置。类似地，在这样的实施例中，当用户与控件交互时，设备可以输出模拟的纹理或摩擦系数的变化，来确认用户输入已被接收或系统正受到控制。
[0038]如将在下面更详细地论述的，模拟表面上的纹理或改变摩擦系数能够以任何数量的方式用来向用户提供信息。另外，能够使用除了或替代模拟纹理或改变摩擦系数的效果来模拟在触摸表面中的特征的存在。类似地，能够输出触觉效果来模拟在除了显示器之外的设备的表面上的纹理的感觉。
[0039]用于提供带有触觉效果的模拟物理交互的说明性系统
[0040]图1A示出用于提供带有触觉效果的模拟物理交互的说明性系统100。在该示例中，系统100包括计算设备101，其具有经由总线106与其他硬件互连的处理器102。能够包括任何适当的有形(并且非暂时性)计算机可读介质，诸如RAM、ROM、EEPROM等的存储器104，包含配置计算设备的操作的程序组件。在该示例中，计算设备101进一步包括一个或多个网络接口设备110、输入/输出(I/O)接口组件112和附加存储114。
[0041]网络设备110能够表示有助于网络连接的任何组件中的一个或多个。示例包括但不限于:有线接口，诸如以太网、USB、IEEE 1394，和/或无线接口，诸如IEEE 802.11、蓝牙、或用于接入蜂窝电话网络的无线电接口(例如，用于接入CDMA、GSM、UMTS或其他移动通信网络的收发器/天线)。
[0042]可以使用I/O组件112以有助于与诸如一个或多个显示器、键盘、鼠标、扬声器、麦克风和/或用来输入数据或输出数据的其他硬件的设备的连接。存储114表示非易失性存储，诸如在设备101中包括的磁、光或其他存储介质。
[0043]系统100进一步包括触摸表面116，其在该示例中被集成在设备101中。触摸表面116表示被配置成感测用户的触知输入的任何表面。一个或多个传感器108被配置成在对象接触触摸表面时检测触摸区域中的触摸，并且提供适当数据以供处理器102使用。能够使用任何适当数量、类型或布置的传感器。例如，电阻式和/或电容式传感器可以被嵌入触摸表面116中，并且用来确定触摸的位置以及其他信息，诸如压力。作为另一个示例，可以使用具有触摸表面的视野的光学传感器来确定触摸方位。在一些实施例中，传感器108和触摸表面116可以包括触摸屏或触摸板。例如，在一些实施例中，触摸表面116和传感器108可以包括安装在显示器之上的触摸屏，该显示器被配置成接收显示信号并且向用户输出图像。在其他实施例中，传感器108可以包括LED检测器。例如，在一个实施例中，触摸表面116可以包括安装在显示器侧面的LED手指检测器。在一些实施例中，处理器与单个传感器108通信，在其他实施例中，处理器与例如第一触摸屏和第二触摸屏的多个传感器108通信。传感器108被配置成检测用户交互，并且基于该用户交互，向处理器102传输信号。在一些实施例中，传感器108可以被配置成检测用户交互的多个方面。例如，传感器108可以检测用户交互的速度和压力，并且将该信息合并入接口信号。
[0044]在该示例中，与处理器102通信的触觉输出设备118被耦合到触摸表面116。在一些实施例中，触觉输出设备118被配置成响应于触觉信号,输出模拟触摸表面上的纹理的触觉效果。另外或替选地，触觉输出设备118可以提供以受控方式移动触摸表面的振动触知触觉效果。一些触觉效果可以利用被耦合到设备的外壳的致动器，并且一些触觉效果可以依次和/或一齐使用多个致动器。例如，在一些实施例中，通过以不同频率振动表面，可以模拟表面纹理或可以改变(例如，减小或增加)感知到的摩擦系数。在这样的实施例中，触觉输出设备118可以包括下述中的一个或多个:例如压电致动器、电动机、电磁致动器、音圈、形状记忆合金、电活性聚合物、螺线管、偏心旋转质量电机(ERM)或线性谐振致动器(LRA)。在一些实施例中，触觉输出设备118可以包括多个致动器，例如ERM和LRA。
[0045]尽管在此示出了单个触觉输出设备118，然而，实施例可以使用相同或不同类型的多个触觉输出设备来模拟触摸表面上的表面纹理。例如,在一个实施例中,可以使用压电致动器来以超声波频率垂直地和/或水平地移位触摸表面116的部分或全部，诸如在一些实施例中，通过使用以超过20kHz的频率移动的致动器。在一些实施例中，能够单独或一齐使用诸如偏心旋转质量电机和线性谐振致动器的多个致动器来提供不同纹理和其他触觉效果O[0046]在还有的其他实施例中，触觉输出设备118可以使用静电吸引，例如通过使用静电表面致动器，来模拟触摸表面116的表面上的纹理或改变用户在跨过触摸表面116移动其手指时感觉到的摩擦系数。例如，在一个实施例中，触觉输出设备118可以包括电振动触知显示器或应用电压和电流而不是机械运动来生成触觉效果的任何其他设备。在这样的实施例中，静电致动器可以包括导电层和绝缘层。在这样的实施例中，导电层可以是任何半导体或其他导电材料，诸如铜、铝、金或银。并且，绝缘层可以是玻璃、塑料、聚合物或任何其他绝缘材料。此外，处理器102可以通过将电信号施加到导电层来操作静电致动器。电信号可以是AC信号，在一些实施例中，AC信号将导电层与靠近或触摸触摸表面116的对象电容地耦合。在一些实施例中，AC信号可以由高电压放大器生成。在其他实施例中，电容耦合可以模拟触摸表面116的表面上的摩擦系数或纹理。例如，在一个实施例中，触摸表面116的表面可以是光滑的，但是电容耦合可以在对象靠近触摸表面116的表面之间产生引力。在一些实施例中，改变在对象和导电层之间的吸引水平能够改变在跨过触摸表面116的表面移动的对象上的模拟的纹理。此外，在一些实施例中，可以结合传统致动器使用静电致动器来改变在触摸表面116的表面上的模拟的纹理。例如，致动器可以振动来模拟触摸表面116的表面的纹理的改变，而同时，静电致动器可以模拟在触摸表面116的表面上的不同纹理。
[0047]本领域技术人员将认识到，除改变摩擦系数外，还能够使用其他技术或方法来模拟表面上的纹理。例如，在一些实施例中，可以使用柔性表面层来模拟或输出纹理，该柔性表面层被配置成基于来自表面可重配置触觉衬底(包括但不限于例如:纤维、毫微管、电活性聚合物、压电元件或形状记忆合金)或磁流变液的接触来改变其纹理。在另一个实施例中，可以例如利用变形机制、空气或流体穴、材料的局部变形、谐振机械元件、压电材料、微机电系统(“MEMS”)元件、热流体穴、MEMS泵、可变多孔性薄膜或层流调制，通过升高或降低一个或多个表面特征，来改变表面纹理。
[0048]在一些实施例中，可以使用静电致动器通过刺激靠近或触摸触摸表面116的身体或对象的部分，来生成触觉效果。例如，在一些实施例中，静电致动器可以刺激用户手指的皮肤中的神经末梢或能够对静电致动器作出响应的触针中的组件。皮肤中的神经末梢例如可以被刺激并且将静电致动器(例如，电容耦合)感测为振动或一些更具体的感受。例如，在一个实施例中，静电致动器的导电层可以接收与用户手指的可导电部分耦合的AC电压信号。当用户触摸触摸表面116并且在触摸表面上移动其手指时，用户可以感测多刺、粒状、凹凸不平、粗糙、粘性的纹理或一些其他纹理。
[0049]转到存储器104，描绘了说明性程序组件124、126和128以说明在一些实施例中能够如何配置设备以提供带有触觉效果的模拟物理交互。在该示例中，检测模块124将处理器102配置成经由传感器108监测触摸表面116，以确定触摸的方位。例如，模块124可以对传感器108采样，以便追踪触摸的存在与否，并且如果触摸存在，则随着时间的推移追踪触摸的位置、路径、速度、加速度、压力和/或其他特性中的一个或多个。
[0050]触觉效果确定模块126表示对关于触摸特性的数据进行分析来选择待生成的触觉效果的程序组件。特别地，模块126可以包括基于触摸的位置来确定待输出到触摸表面的表面的触觉效果的代码，和选择一个或多个要提供的触觉效果以便模拟该效果的代码。例如，可以将触摸表面116的区域的部分或全部映射到图形用户界面。可以基于触摸的位置来选择不同的触觉效果，以便通过模拟触摸表面116的表面上的纹理来模拟特征的存在，使得当在界面中看见特征的对应表示时感觉到该特征。然而，即使在界面中没有显示对应元素，也可以经由触摸表面116来提供触觉效果(例如，如果跨越界面中的边界，则即使没有显示该边界，也可以提供触觉效果)。
[0051]触觉效果生成模块128表不使处理器102生成并向致动器118传输触觉信号的编程，用来至少在触摸正发生时生成所选择的触觉效果。例如，生成模块128可以访问待发送给触觉输出设备118的存储的波形或命令。作为另一个示例，触觉效果生成模块128可以接收期望类型的纹理，并且利用信号处理算法来生成待发送给触觉输出设备118的适当信号。作为进一步示例，可以指示期望的纹理，连同纹理的目标坐标以及发送给一个或多个致动器用来生成表面(和/或其他设备组件)的适当移位以提供该纹理的适当波形。一些实施例可以利用多个触觉输出设备一齐来模拟特征。例如，纹理的变化可以用来模拟跨越在界面上的按钮之间的边界，而振动触知效果模拟当按下按钮时的响应。
[0052]取决于计算系统的特定配置，触摸表面可以或可以不覆盖(或另外对应于)显示器。在图1B中，示出了计算系统100B的外视图。计算设备101包括能够触摸的显示器116，其组合了设备的触摸表面和显示器。触摸表面可以对应于显示器外部或者实际显示器组件之上的一个或多个材料层。
[0053]图1C图示能够触摸的计算系统100C的另一个示例，其中触摸表面没有覆盖显示器。在该示例中，计算设备101包括触摸表面116，其可以被映射到在显示器122中提供的图形用户界面，该显示器122被包括在与设备101互连的计算系统120中。例如，计算设备101可以包括鼠标、触控板或其他设备，而计算系统120可以包括台式或膝上型计算机、机顶盒(例如，DVD播放器、DVR、有线电视盒)或另一个计算系统。作为另一个示例，可以将触摸表面116和显示器122布置在同一设备中，诸如包括显示器122的膝上型计算机中的能够触摸的触控板。无论是否与显示器集成在一起，在此示例中对平面触摸表面的描述并不意在限制。其他实施例包括进一步被配置成提供基于表面的触觉效果的弯曲的或不规则的能够触摸的表面。
[0054]图2A-2B图示用于带有触觉效果的模拟物理交互的系统和方法的示例实施例。图2A是图示包括计算设备201的系统200的外视图的图，计算设备201包括能够触摸的显示器202。图2B不出设备201的截面图。设备201可以与图1A的设备101类似地配置,尽管出于简单起见的目的，在该视图中没有示出诸如处理器、存储器、传感器等的组件。
[0055]如在图2B中能够看见的，设备201包括多个触觉输出设备218和另外的触觉输出设备222。触觉输出设备218-1可以包括被配置成向显示器202传递垂直力的致动器，而218-2可以横向地移动显示器202。在该示例中，触觉输出设备218、222被直接耦合到显示器，但是应当理解的是，触觉输出设备218、222可以被耦合到另一个触摸表面，诸如在显示器202顶部的材料层。此外，应当理解的是，触觉输出设备218或222中的一个或多个可以包括静电致动器，如上所述。此外，触觉输出设备222可以被耦合到包含设备201的组件的外壳。在图2A-2B的示例中，显示器202的区域对应于触摸区域，尽管该原理可以被应用于与显示器完全分离的触摸表面。
[0056]在一个实施例中，触觉输出设备218每一个包括压电致动器，而另外的触觉输出设备222包括偏心旋转质量电机、线性谐振致动器或另一个压电致动器。触觉输出设备222能够被配置成响应于来自处理器的触觉信号而提供振动触知触觉效果。能够结合基于表面的触觉效果和/或出于其他目的，利用振动触知触觉效果。例如，可以结合使用每一个致动器来模拟显示器202的表面上的纹理。
[0057]在一些实施例中，触觉输出设备218-1和218-2中的任一个或两者能够包括除压电致动器外的致动器。例如，触觉输出设备218-1和218-2可以包括例如压电致动器、电磁致动器、电活性聚合物、形状记忆合金、柔性复合压电致动器(例如，包括柔性材料的致动器)、静电和/或磁致伸缩致动器。另外，示出了触觉输出设备222，尽管多个其他触觉输出设备能够被耦合到设备201的外壳和/或触觉输出设备222可以被耦合到其他地方。设备201也可以以在不同位置被耦合到触摸表面的多个触觉输出设备218-1/218-2为特征。
[0058]转到图3A，系统300是带有触觉效果的模拟物理交互的说明性示例。图3A是图示包括计算设备301的系统300的外视图的图，计算设备301包括能够触摸的显示器302。在一个实施例中，计算设备301可以包括多功能控制器，例如，用于在信息亭、ATM、汽车、飞机、恒温器或其他类型的计算设备中使用的控制器。在另一个实施例中，计算设备可以包括智能电话、平板电脑或其他类型的计算机。在一个实施例中，计算设备301可以被配置成控制音乐播放器。在这样的实施例中，计算设备301可以包括在显示器302上的一个或多个虚拟控制器。这些控制器可以与音乐播放器的功能相关联，因此，用户可以与控制器交互来控制音乐播放器的功能。例如，在图3A中所示的实施例中，计算设备301包括在图3A中被示出为控制器304和控制器306的一个或多个控件或虚拟接口。在这样的实施例中，控制器304可以包括被配置成控制音乐播放器的设置的旋钮的图像，例如用来调到无线电台、选择新歌曲或调整音量的旋钮。类似地，控制器306可以包括被配置成调整音乐播放器的另一个特征的滑块的图像。在其他实施例中，计算设备301可以包括在能够触摸的显示器上的多个其他虚拟控制器，虚拟控制器中的每一个被配置成控制例如音乐播放器或其他系统的系统的其他方面。
[0059]在上述实施例中，计算设备301可以用来将音乐从音乐播放器应用输出到汽车音响、或作为音响自身的组件。在这样的实施例中，用户可以是不想为了调整针对音乐播放器应用的设置而使其眼睛离开道路的司机。在这样的实施例中，计算设备301可以实现用来允许用户在不必在视觉上专注于能够触摸的显示器302的情况下识别可用功能的触觉效果。例如，在一个实施例中，设备301可以使用触觉输出设备来模拟在能够触摸的显示器302的表面上的纹理。在这样的实施例中，触觉输出设备可以输出被配置成模拟例如砾石、沙子、砂纸、毛毡、皮革、金属、冰、水、草或另一个对象的纹理的触觉效果。基于该纹理，用户可以能够确定计算设备301当前正控制什么类型的系统或设备。例如，在一个实施例中，用户可能知道一个纹理，例如砾石的纹理，与音乐播放器控制相关联。在这样的实施例中，当用户在能够触摸的显示器的表面上感觉到砾石的纹理时，用户知道计算设备301当前正控制音乐播放器的音量，而不必查看控制。在进一步实施例中，用户可以能够将纹理分配给计算设备301可以控制的各种模式。因此，例如，用户可以能够选择将与计算设备301可以控制的各种功能相关联的特定纹理。
[0060]在进一步实施例中，当用户触摸或移动控制器304和306中的每一个时，计算设备301可以进一步输出另一个触觉效果。例如，在一个实施例中，控制器304可以包括旋钮304。在这样的实施例中，当用户与旋钮304交互时，用户可以感觉到被配置成让用户知道其正触摸旋钮304的某一触觉效果。例如，在一个实施例中，旋钮304可以具有与在能够触摸的显示器302上的背景的纹理不同的纹理。因此，用户可以在能够触摸的显示器上方运动其手指，并且通过纹理的改变知道其正触摸旋钮304。在又另一个实施例中，计算设备301可以在用户调整旋钮304时输出不同的纹理。例如，在一个实施例中，旋钮304可以控制音频输出系统的音量。在这样的实施例中，计算设备301可以在用户调整音量时，调整能够触摸的显示器302的表面上的模拟的纹理。因此，例如，当用户增加音量时，计算设备301可以输出被配置成模拟在能够触摸的显示器302的表面上的纹理的触觉效果，其变得更粗糙。在一些实施例中，这样的触觉效果可以用作为计算设备301已接收了用户输入的确认。
[0061]类似地，在一些实施例中，可以使用上述类型的触觉效果来模拟切换开关。例如，在一个实施例中，控制器306可以包括切换开关，而不是滑块。在这样的实施例中，切换开关可以在手指抵住能够触摸的显示器302滑动时在两个状态之间切换。在这样的实施例中，例如通过在状态转换期间输出静电反馈脉冲，可以输出与状态转换相关联的触觉效果。在另一个实施例中，也可以通过下述触觉效果来模拟开关的逐渐摇动，该触觉效果被配置成模拟渐增强度的纹理，一旦状态改变该渐增强度就突然降低。
[0062]在一些实施例中，可以在能够触摸的显示器302中将切换开关表示为针对轨迹水平滑动的按钮。在一些实施例中，这样的按钮可以被配置成被水平地拖动，使得其移动到替选的方位。在一些实施例中，该按钮可以被配置成在释放时移动或“弹”到最近的静止方位中。在一些实施例中，可以通过与能够触摸的显示器302的区域交互，例如通过触摸与按钮直接关联的区域，或通过在围绕按钮的更大区域内触摸，来捕捉该按钮。在这样的实施例中，该按钮然后可以移动与手指的水平移动相对应的量，直到该按钮已到达其最大行程。可以在垂直方向类似地实现滑动切换。
[0063]在一些实施例中，当通过用户交互拖动按钮时，切换产生触知反馈。在一些实施例中，当切换正滑动时，处理器可以向触觉输出设备输出信号，该信号包括在激活时100%强度的50-Hz方波，以及在未激活时50%强度的200-Hz正弦波。在一些实施例中，用户可以将信号的这些变化感觉为纹理的变化。进一步，在一些实施例中，这些信号可以包括更高或更低的频率以及另一个形状的波，例如锯齿波、随机波、白噪声波或粉红噪声波。在一些实施例中，当控件被切换到左边或右边时，信号在操作途中改变。在一些实施例中，当控件从一个状态(例如，开)移动到另一个(例如，关)时，该信号改变可以与转换效果相关联。在一些实施例中，一旦控件已到达其最大行程，就可以禁用该信号。在一些实施例中，在控件的最大行程点时，计算设备可以输出与碰撞相关联的效果。
[0064]在一些实施例中，可以以多种方式实现触觉效果。例如，在一个实施例中，当控件到达其行程范围中间时，计算设备301可以以短脉冲输出ESF。在一些实施例中，这可以用作为控件已切换成替选状态的指示。在一些实施例中，计算设备301还可以被配置成输出均匀的时间纹理，其可以在切换点处短暂地中断。
[0065]进一步，在一些实施例中，虚拟切换开关的视觉外观可以变化，例如，在一些实施例中，虚拟切换开关可以包括与在汽车仪表板和其他接口中使用的物理开关的外观相似的外观。在一些实施例中，计算设备301可以被配置成输出调到与开关的物理模型和视觉外观相匹配的触觉效果。例如，在一个实施例中，通过将开关的活动件显示为比手指在开关的位置按下能够触摸的显示器302移动得更慢，可以增强开关的双稳态性质。在这样的实施例中，开关然后可以在到达切换点时，在视觉上突然追上。进一步，在这样的实施例中，触觉效果的强度可以被配置成与作用力针对活动件的这种缓慢堆积相匹配。
[0066]在一些实施例中，可以使用另一个触觉呈现来指示在两个状态之间的切换。在这样的实施例中，可以将周期驱动信号的振幅或频率调制为滑动手势的方位或当前开关状态的函数。进一步，在一些实施例中，当逐步激活开关或滑块时，可以逐渐增加周期驱动信号的所选择的参数(例如，频率、振幅、脉冲宽度或脉冲形状)。在一个实施例中，当开关或滑块达到其切换阈值时，所选择的参数可以达到其最大值。在一些实施例中，参数然后可以在越过阈值并且切换发生时，突然下降到较低值。在另一个实施例中，参数可以在开关或滑块激活继续增加时仍然在较低值。在一些实施例中，如果激活反转路线，则参数可以以斜率线性地增加，使得最大值可以在开关或滑块在反向达到阈值的同时达到。在一些实施例中，参数然后可以在越过阈值时再次下降到最小值。进一步，在这样的实施例中，直到手势结束时，例如，当用户抬起其手指离开表面时，可以重复相同的过程。
[0067]进一步，在一些实施例中，可以使用用于带有触觉效果的模拟物理交互的系统和方法来模拟弹簧承载按钮。例如，在一个实施例中，图3A中所示的控制器306可以包括虚拟弹簧承载按钮。在这样的实施例中，可以将虚拟弹簧承载按钮306用作为例如在视频或音频播放器应用中的快进按钮。进一步，在一些实施例中，尽管在视觉上类似于滑动切换，然而，弹簧承载按钮306可以在被释放时返回到其静止方位，模拟附接到例如弹簧的开关的操作。
[0068]在一些实施例中，通过垂直地拖动滑动按钮来操作虚拟弹簧承载按钮306(在图3A中未示出的一些实施例中，可以在另一个方向上，例如水平、对角线、或在非线性方向上，例如远离中心，移动虚拟弹簧承载按钮)。在一些实施例中，一旦已达到行程限制，弹簧承载按钮306就停止移动。在一些实施例中，接通按钮展示该按钮的背景颜色、建议激活。在另一个实施例中，可以替代地显示并动画化弹簧状机制。在一些实施例中，这可以例如采用当按钮被接通时伸展的手风琴状结构、螺旋弹簧或纹理材料的形式。
[0069]在一些实施例中，当用户与弹簧承载按钮306交互时，触知反馈模拟弹簧及其阻力的存在。在一个这样的实施例中，当用户首次与弹簧承载按钮交互来模拟接触时，可以向触觉输出设备输出50-ms脉冲信号。进一步，在这样的实施例中，这之后可以是到触觉输出设备的IOOHz和200Hz方波的加权叠加。在一些实施例中，这可以在按钮被接通时模拟幅度减少的低频率纹理和幅度增加的高频率纹理。在一些实施例中，这可以模拟弹簧伸展的整个过程的感受。进一步，在一些实施例中，该感受可以被解释为用户在移动虚拟弹簧承载按钮306时感觉到的阻力的增加。在一些实施例中，仅当在一个方向上移动虚拟弹簧承载按钮306，例如在图3A中所示的实施例中向上移动按钮(或在图3A未示出的实施例中，向左或右)时，才产生这种阻力。在这样的实施例中，用户可以当在相反方向上，例如在图3A中所示的实施例中向下(或在图3A中未示出的实施例中，向左或右或其他方向)移动虚拟弹簧承载按钮时没有感觉到效果。进一步，在一些实施例中，可以使用这种触知反馈的其他变体，例如，在一个实施例中，当用户与虚拟弹簧承载按钮306交互时，用户可以感觉到渐增强度的单个时间纹理。
[0070]在其他实施例中，可以将上述类型的效果应用到其他按钮或控件。例如，在一些实施例中，控制器304可以包括滚轮304。在这样的实施例中，滚轮304可以包括在规则转盘(例如，制动器)中找到的效果以及如在弹簧承载按钮中找到的阻力的组合。类似地，可以将上述类型的效果应用于推动按钮，例如关于纹理和边缘效果用于发现。在还有的其他实施例中，可以将上述类型的效果应用于标题标签，例如，用来在操作模式之间进行改变的标签(在下面参考图4B更详细地论述了标题标签)。
[0071 ] 在另一个实施例中，可以使用诸如静电反馈或高频率振动的触觉反馈来复制物理滑块以及制动器和停止器的阻力。类似地，在一个实施例中，可以通过使用模拟定心力的存在的触觉反馈来模拟操纵杆。在一些实施例中，可以通过输出可以以渐增强度振荡的触觉信号来模拟这种力。
[0072]现转到图3B，图3B示出用于带有触觉效果的模拟物理交互的说明性系统。如图3B中所示，图示了包括计算设备321的系统320的外视图，计算设备321包括能够触摸的显示器322。在图3B中所示的实施例中，计算设备321可以包括参考图3A描述的计算设备301的实施例。如图3B中所示，系统320包括虚拟线性滑块325。虚拟线性滑块325可以允许通过线性运动对连续参数的调整。在一些实施例中，滑块可以被配置成控制一个或多个设备。例如，在一些实施例中，虚拟线性滑块325可以被配置成控制来自汽车的通风系统的气流、音频系统(例如，音量、轨选择、在轨内的位置或与音频输出相关联的特征等)、或视频系统(例如，视频选择、在视频内的位置、回放速度等)。
[0073]在一些实施例中，替代对于角运动作出响应,线性滑块325对线性运动作出响应。在这样的实施例中，线性滑块325因此基于行进的距离而不是行进的度数来操作。在这样的实施例中，可以通过与能够触摸的显示器的预定义区域交互来操作线性滑块325。在一些实施例中，这个区域可以是延伸稍微超出线性滑块325的矩形。用户可以通过水平地向左或右拖动与线性滑块相关联的对象(例如，轮)来与线性滑块交互。在一些实施例中，即使在用户不再与该对象交互之后，轮也能够可选地基于水平行进来保持移动。在一些实施例中，这种移动可以模拟虚拟线性滑块325的动量。
[0074]在一些实施例中，如图3B中所示，转动对象(在图3B中所示的实施例中，在能够触摸的显示器322上显示的轮)使指示灯集打开。例如，在图3B中所示的实施例中，在三个方位326、328和330示出了线性滑块325。在图3B中所示的实施例中，这些方位中的每一个包括指示灯的不同配置。在一些实施例中，取决于什么类型的设备与虚拟线性滑块325相关联，这些指示灯可以与和线性滑块的移动相关联的测量相关联，例如，气流水平、音频音量或在电影的回放中的位置。
[0075]在一些实施例中，与图3B中所示的类型的线性滑块相关联的轮可以进一步包括多个刻度标记。在一些实施例中，当用户与轮交互时，用户可以感觉到被配置成模拟轮的移动或与这些刻度标记的交互的触觉效果。例如，在一个实施例中，虚拟线性滑块325可以产生与在上面关于图3A描述的控制器304和306的相似的触觉反馈。在其他实施例中，触觉输出设备可以输出被配置成在用户与虚拟线性滑块325交互时模拟制动器的效果。在这样的实施例中，这些制动器可以与取决于线性位移的45-像素脉冲相关联。进一步，在一些实施例中，能够将制动器设计为使得在移动虚拟线性滑块325时，在密度和位置上与视觉制动器匹配。
[0076]转到图3C，图3C示出系统350，其包括计算设备351，计算设备351包括能够触摸的显示器352。在图3C中所示的实施例中，计算设备301可以包括关于图3A和3B描述的计算设备301的一个实施例。[0077]在一些实施例中，可以使用在此描述的类型的触觉效果来模拟与“连续控件”相关联的触觉效果。连续控件可以是例如转盘，其在一些实施例中可以类似于在上面关于图3A和3B描述的虚拟接口。
[0078]图3B中所示的系统350包括虚拟转盘354。在一些实施例中，用户可以使用在能够触摸的显示器352的表面上的圆形手势来控制与虚拟转盘354相关联的参数。在一些实施例中，该参数可以包括例如在计算设备所控制的恒温器(例如，在汽车的气候控制上的恒温器)上的温度参数、音量参数、亮度参数、速度参数(例如，音频或视频文件的回放速度)或可以受转盘控制的一些其他参数。
[0079]在一个实施例中，用户可以与虚拟转盘354交互。在这样的实施例中，基于用户的交互，虚拟转盘354可以在用户的手指围绕虚拟转盘354的中心作出圆形手势时转动。在一些实施例中，虚拟转盘354的角位移，例如围绕虚拟转盘354的中心Θ的触摸输入旋转，导致虚拟转盘354的Θ的相等旋转。在另一个实施例中，虚拟转盘354的旋转可以追踪用户的手指围绕动态中心的旋转，使得手势能够偏离虚拟转盘354，如例如如果用户变得分神并且将视线从能够触摸的显示器352移开则可能发生的。在一些实施例中，这可以涉及例如基于当前手势曲率的估计来连续估计圆形手势的中心。类似地，可以基于反转的曲率和检测来估计旋转的方向。
[0080]在一些实施例中，虚拟转盘354可以在视觉上被表示为从能够触摸的显示器352的表面升起的盘。在一些实施例中，虚拟转盘354的外缘可以覆盖有刻度标记，并且其中心可以包括与虚拟转盘354的转动相关联的指示符。例如，在一个实施例中，虚拟转盘354的中心可以包括随着虚拟转盘354被转动而在颜色上变化的红色和蓝色弧线。在这样的实施例中，虚拟转盘354可以在该转盘在一个方向上被旋转时将颜色从亮蓝逐渐改变成灰色，然后在该转盘继续被旋转时逐渐变成红色。在这样的实施例中，转盘可以与用于温度控制的恒温器相关联，并且颜色指示可以与温度设置相关联。在其他实施例中，基于物理控制或抽象物，该视觉表示可以由转盘的其他描绘来代替。
[0081]在一些实施例中，虚拟转盘354可以包括有限的行程范围，例如有限旋转数(例如，四圈)。在这样的实施例中，当超过行程范围时，系统可以不再受虚拟转盘354控制(例如，温度、音量等不再改变)。进一步，在一些实施例中，当超过行程范围时，虚拟转盘354可以停止追踪手指的旋转。在一些实施例中，可以以不同方式在视觉上表示这种类型的停止。例如，在一个实施例中，虚拟转盘354能够被编程为当手指继续旋转超出限制时完全停止移动或稍微轻摆。在一个实施例中，后者可以通过将虚拟转盘354移动了可以作为过量手指旋转的函数振荡的角度量来完成。例如，在一个实施例中，“轻摆”的量可以被计算为Δ=θ模5，使得其当手指继续转动时反复地在再次下降到0°之前从0°增加到5°。
[0082]在一些实施例中，当达到运动范围的限制时，虚拟转盘354可以产生不同的反馈。在一些实施例中，这种触觉效果可以与是方形或正弦曲线的50-Hz周期时间信号相关联。在其他实施例中，可以在运动范围结束时输出其他时间或空间纹理。例如，在一些实施例中，运动范围的结束可以与密集的制动器阵列或更复杂的时间样式相关联。在一些实施例中，这种效果可以被调到模拟用户的手指触碰虚拟转盘354的视觉刻度标记的感觉。在另一个实施例中，这种类型的效果可以被调到模拟虚拟转盘354在其达到其限制时正发出咔嗒声的感觉。[0083]在一些实施例中，其他触觉效果可以与虚拟转盘354的移动相关联。例如，在一个实施例中，触觉效果可以与非线性映射相关联，以使虚拟转盘354看起来抵抗旋转，如同弹簧承载的。在一些实施例中，虚拟转盘354能够可选地在被释放时弹到分离刻度位置。在一些实施例中，从角运动到转盘位移的映射可以是非线性的，使得虚拟转盘354在视觉上看起来释放运动。在一些实施例中，这些类型的效果可以增强转盘的内部机制中的物理效果的假象。
[0084]在一些实施例中，用户可以在与虚拟转盘354交互时感觉到触觉效果。例如，当虚拟转盘354在其行程范围内时，计算设备351可以被配置成以静电反馈的短脉冲形式输出制动效果。在一个实施例中，这些脉冲可以作为角位移的函数来产生，导致空间ESF样式。例如，在一个实施例中，当虚拟转盘354旋转越过刻度时，能够产生延续7.2°的脉冲。更精确地，能够基于当前和先前角位移在每一个采样间隔产生波形，该波形产生这样的空间映射。在一些实施例中，这种类型的信号可以导致轻微呈现延迟。
[0085]进一步，在一些实施例中，计算设备351可以产生被配置成当虚拟转盘354被旋转时模拟不同的制动器的触觉效果。例如，在一个实施例中，计算设备351可以产生被配置成模拟虚拟转盘354每圈10个制动器的触觉效果。在一些实施例中，制动器的数量可以被调到与虚拟转盘354的视觉表示相匹配。例如，该数量能够等于视觉刻度标记的数量或其分数，以便建立清晰的物理模型。
[0086]在其他实施例中，在虚拟转盘的运动范围内的不同区域，其可以是连续的，可以与不同效果相关联。例如，在一个实施例中，ESF的矩形脉冲可以与虚拟转盘354的运动范围中的一个区域相关联。类似地，在这样的实施例中，正弦脉冲可以与虚拟转盘354的运动范围中的另一个区域相关联。在一些实施例中，矩形脉冲可能对用户来说感觉比正弦脉冲更尖锐。因此，例如，在一个实施例中，虚拟转盘354可以与温度控制相关联。在这样的实施例中，温暖温度可以与矩形脉冲相关联，并且正弦脉冲可以与寒冷温度相关联。在其他实施例中，可以使用其他脉冲类型来输出触觉效果，例如，改变强度、宽度、形状等的脉冲。
[0087]在其他实施例中，计算设备351可以被配置成输出与虚拟转盘354相关联的不同类型的触觉效果。例如，在一个实施例中，当虚拟转盘354在旋转中从一个刻度标记移动到下一个时，可以通过逐渐增加ESF输出来输出触觉效果。进一步，在这样的实施例中，当到达刻度时，可以突然地减小输出。这样的实施例可以模拟在每一个刻度处的突然改变。进一步，在一些实施例中，还可以基于虚拟转盘354的方位来调制诸如时间纹理(周期信号)或脉冲序列的触知效果的幅度。例如，在其中虚拟转盘354被配置成控制温度功能的实施例中，计算设备351可以被配置成在温度从中性点增加或降低时，增加脉冲的调制或强度。
[0088]现转到图4A，其图示了关于在ON (开)和OFF (关)状态之间交替的滑动切换开关的触觉反馈的使用的一个实施例，其中转换效果在开关的行程的50%处发生。在一些实施例中，这种算法还能够应用到在水平滚过图像轮转时的转换效果，图像轮转指示从一个图片转变到下一个(在下面参考图5更详细描述)。进一步，在一些实施例中，这种算法还能够应用到在电子书阅读器中的页面调换、或在智能电话操作系统中的主页的调换。
[0089]如图4A中所示，基于切换开关的当前方位和切换开关的过去历史来对周期驱动信号的振幅进行调制。如在(a)所示，切换在OFF状态开始，并且触觉输出被设置成最小振幅。接着，如在(b)所示，切换朝右滑动，并且触觉输出的振幅线性地增加。然后，在(C)，当触觉输出的振幅达到其最大值时，切换达到其阈值xT。接着，在(d)，触觉输出然后突然下降到最小值。然后，在(e)，在切换开关继续向右滑动时，触觉输出仍然处于最小值。在一些实施例中，如果在切换开关到达其最大行程之前，将切换开关朝左滑动回来，则将达到的最大X值用作为参考，触觉输出开始再次线性地增加。然后，在(f)，如果再次朝右移动切换，则振幅再次减小，遵循相同的振幅-方位曲线。如果切换移动低于阈值Xt，则切换转变回OFF状态，并且触觉输出降回到最小值。在一些实施例中，如果切换改变方向，则可以重复相似的过程。
[0090]现转到图4B，图4B示出了三组虚拟标题标签410、420和430。在一些实施例中，虚拟标题标签410、420和430可以包括替换导航标题的导航控件，以使得能使用滑动手势。进一步，在一些实施例中，图4B中所示的虚拟标题标签可以控制用户接口的不同功能面板的显示。在图4B中所示的实施例中,虚拟标题标签被表示为如果被折叠,则在底部有引人注意的条。在一些实施例中，可以通过在标题上任何地方的用户交互来激活这种类型的虚拟标题标签。例如，在一个实施例中，可以通过水平地滑动到预期标签，并且向下滑动以展开并激活标签的用户交互，来激活虚拟标题标签。在一些实施例中，当新选择的虚拟标题标签展开时，当前激活的虚拟标题标签可以逐渐折叠。这被演示为:气候标签从410中的方位、经过420中的方位、缓慢地展开到430中的方位，而同时，媒体标签从410中的方位、经过420中的方位、缓慢地折叠到430中的方位。在其他实施例中，标签可以在被释放时弹到相反的方位。
[0091]进一步，在一些实施例中，当用户与图4B中所示的虚拟标题标签中的一个或多个交互时，计算设备可以输出触觉效果。在一个实施例中，该触觉效果可以包括时间纹理。在一个实施例中，可以通过传输包括具有50%强度的200-Hz方波用于未激活的标签，以及以100%强度的50-Hz方波用于激活的标签的触觉信号，来输出该效果。在一些实施例中，可以将这种类型的触觉信号输出到被配置成模拟纹理或感知到的摩擦系数的变化的触觉输出设备。在一些实施例中，这种模拟的纹理可以在用户的手指在标签之间经过时终端，因此模拟转换效果。进一步，在一些实施例中，可以通过线性地减小纹理的强度并且在越过100个像素的距离再次增加，来产生触觉效果。在一些实施例中，与标签的交互可以触发振幅和频率的线性转换，将未激活纹理转变成激活纹理。进一步，在一些实施例中，一旦标签已完全伸展，就可以突然终止触觉输出，触发边缘效果。
[0092]在一些实施例中，可以以这样的方式来实现在上面关于图3A-4B描述的控件:它们能够在抵住屏幕滑动时被发现，而不激活它们。在一些实施例中，用户可以能够当在屏幕上在没有控件的位置处向下触摸时进入探索模式。在这样的实施例中，控件然后可以变成无响应的，但是计算设备301可以产生指示控件的方位的触觉效果。进一步，在一些实施例中，这种触觉效果可以与这些控件中的每一个的状态相关联。例如，在一些实施例中，当用户的手指进入或离开控件的边界区域时，可以发出脉冲。在一个实施例中，这种触觉效果可以包括50-ms方波信号。进一步，在一些实施例中，当用户的手指靠近控件的边界时，可以输出这种信号。在这样的实施例中，为了计算效率，可以简化控件的边界(例如，将控件放置在边界框或圈中)。
[0093]类似地，在一些实施例中，计算设备301还可以输出被配置成当用户的手指正在控件内滑动时，改变感知到的摩擦系数的纹理或效果。在一些实施例中，这种效果可以包括时间纹理，其在用户的手指正在控件上方滑动时可以与包括IOO-Hz正弦波的触觉信号相关联。此外，在一些实施例中，这种触觉效果可以随控件的状态而变化:例如，其是ON还是OFF、其是敏感还是不敏感的等。
[0094]现转到图5，图5图示带有可编程表面纹理的模式或状态意识的示例实施例。图5是图示包括计算设备501的系统500的外视图的图，计算设备501包括能够触摸的显示器502。在一些实施例中，计算设备501可以包括手持式设备，诸如智能电话、平板电脑、便携式记事簿、GPS接收器或本领域已知的其他手持式设备。
[0095]图5进一步描绘了三个不同的手势交互504、506和508。手势交互504、506和508中的每一个包括与能够触摸的显示器502的用户交互。例如，左/右滚动504包括其中用户跨过能够触摸的显示器502的表面向左或右划动其手指的交互。如本领域已知的，这样的手势可以使在能够触摸的显示器502上示出的屏幕向左或右滚动。类似地，上/下滚动506包括其中用户跨过能够触摸的显示器502的表面向上或下划动其手指的交互。这样的手势可以使计算设备501将在能够触摸的显示器502上示出的屏幕改变成向上或下滚动。最后，四手指捏拉508可以在用户使用四或五个手指在能够触摸的显示器502的表面上作出捏拉手势时发生。这样的手势可以使计算设备501在能够触摸的显示器502上显示“主页”屏幕。在其他实施例中，能够触摸的表面502所检测到的其他手势可以控制计算设备501。例如，一些已知手势可以是缩放的手势、改变程序的手势或返回的手势。
[0096]进一步，在图5中所示的实施例中，计算设备501可以输出触觉效果来确认对手势的接收。例如，当用户作出左/右滚动的手势时，计算设备501可以输出触觉效果来确认对这种手势的接收。在一些实施例中，这种触觉效果可以包括被配置成模拟在能够触摸的显示器502的表面上的纹理的触觉效果。在其他实施例中，这种触觉效果可以包括被配置成改变用户在移动其手指越过能够触摸的显示器502的表面时感觉到的摩擦系数的触觉效果。例如，在一个实施例中，触觉效果可以与包括200-Hz正弦波的触觉信号相关联。进一步，在这样的实施例中，可以在屏幕变成新页面的点或其附近，改变触觉信号的幅度。在一些实施例中，用户可以滚过例如照片相册。在这样的实施例中，当用户滚过每一个图片时，计算设备501可以随着用户向左或右划过每一个图片，输出渐增强度的模拟的纹理。进一步，当在能够触摸的显示器502上下一图片调换进入先前图片的位置时，计算设备501可以输出急剧制动。
[0097]类似地，在一些实施例中，可以输出另外的触觉效果来确认对诸如上/下滚动506或四手指捏拉508的手势的接收。在一些实施例中，这些触觉效果可以包括不同的触觉效果。在这样的实施例中，触觉效果可以允许用户知道设备已接收了手势。因此，用户可以能够快速地继续前进到另一个手势，因此能够更快速地控制计算设备501。例如，当用户忙于滚动到新页面的一个手势时，触觉确认可以允许用户快速地确定交互已被接收，并且继续前进到新的手势，例如与打开程序相关联的手势。进一步，触觉效果可以提供程序打开的确认，允许用户快速地继续前进到与在该程序中的操作相关联的手势。
[0098]在一些实施例中，可以使用在上面关于图5描述的手势来模拟显示器上的轮转。例如，在一个实施例中，相册显示允许通过一系列转换对相册封面的选择。在一些实施例中，这种原理可以更一般地应用于诸如图像的内容的轮转。
[0099]在一些实施例中，相册显示是利用水平划动手势在视觉上滚过一组相册封面的交互式控件。在一些实施例中，用户通过将手指放置在对象的表面上水平拖动相册封面来与该对象交互或“捕捉”该对象。在一些实施例中，相册封面的大小和阴影在其滑动进入焦点时被修改，并且相册在释放时快速弹进最近的方位。
[0100]在一些实施例中，计算设备501可以在相册被调换时产生渐变效果，以及在已达到限制时产生格状纹理。在一些实施例中，可以通过线性地增加被输出到触觉输出设备的200-Hz方波的强度，来产生转换效果，触觉输出设备被配置成模拟纹理直至转换发生，在该时间点强度突然。在这样的实施例中，如果反转路线或将下一相册滑动进入焦点，则强度可以再次增加。在一些实施例中，可以通过输出包括具有50像素节距的基于速度的格状纹理的效果，来产生限制效果。例如，在一些实施例中，可以通过基于触摸屏的表面上的对象(例如，手指或触针)的速度周期性地增加或减小输出到触觉输出设备的方波的频率，来产生这种效果。在一些实施例中，速度的测量可以部分基于用户的手指在给定时长经过的像素数。
[0101]在一些实施例中，可以利用其他类型的触觉效果扩增这种类型的交互。例如，在一个实施例中，简单脉冲例如可以在从一个相册封面转变成下一个时被感觉到。此外，在一些实施例中，触觉反馈可以被调到与允许相册被移动的机制的物理模型相匹配。例如，在一个实施例中，相册轮转可以包括被配置成模拟该轮转由传动装置操作的感觉的触觉效果。在一些实施例中，这可以通过在轮转中的内容滚动时输出制动器来模拟。
[0102]用于提供带有触觉效果的模拟物理交互的说明性方法
[0103]图6是示出用于提供带有触觉效果的模拟物理交互的说明性方法600的流程图。在一些实施例中，图6中的步骤可以以由处理器，例如通用计算机、移动设备或服务器中的处理器，执行的程序代码来实现。在一些实施例中，这些步骤可以由处理器组来实现。参考在上面关于图1中所示的系统100描述的组件描述了下面的步骤。
[0104]方法600在步骤602开始，那时，传感器108检测与触摸表面116的用户交互。传感器108可以包括本领域已知的多个传感器中的一个或多个，例如电阻式和/或电容式传感器可以被嵌入触摸表面116中并且用来确定触摸的位置和其他信息，诸如压力。作为另一个示例，可以使用具有触摸表面的视野的光学传感器来确定触摸方位。在还有的其他实施例中，传感器108和触摸表面116可以包括触摸屏显示器。进一步，当检测到第一交互时，传感器108可以将与该交互相关联的信号发送给处理器102。
[0105]在处理器102传输与用户交互相关联的传感器信号时,方法600继续。在一些实施例中，传感器信号可以包括用户交互的位置。例如，在触摸表面116的表面上的位置。此外，在一些实施例中，这个位置可以与上述类型的虚拟接口或“控件”相关联。类似地，在一些实施例中，传感器信号可以包括与用户交互的速度或力相关联的数据。例如，传感器信号可以指示用户的手指正移动得有多快、或用户是否正用力按在触摸表面116上。
[0106]在处理器102确定与用户交互相关联的特征时606，该方法继续。在一些实施例中，处理器102可以部分基于传感器信号来确定用户交互的方位。进一步，在一些实施例中，处理器可以确定用户交互与特征相关联，特征例如可以包括在前面段落中描述的类型的控件。例如，处理器102可以确定用户交互在控件顶部上方。在一些实施例中，控件可以包括按钮、开关、旋钮、虚拟桌面或在本文描述的其他类型的虚拟接口。进一步，处理器102可以基于用户交互的位置来确定用户正与控件交互。例如，处理器102可以确定用户交互在显示器上的控件的边界内或在控件的边界的某一距离内，并且基于该确定，确定用户正与该控件交互。
[0107]在处理器102控制与特征相关联的设备608时，该方法继续。在一些实施例中，该设备可以包括下述中的一个或多个:计算设备、移动设备、设备上的应用、汽车上的功能、巴士上的功能、飞机上的功能、或可以受传统接口，诸如按钮、开关、旋钮、转盘、滑块等，控制的某一其他功能。当用户与控件交互时，处理器102可以对受控件控制的系统的操作进行修改。例如，在一个实施例中，当用户转动与风扇相关联的旋钮时，处理器102可以发送被配置成修改风扇的速度的信号。类似地，在另一个实施例中，当用户与和音乐播放器应用相关联的控件交互时，处理器102可以对音乐播放器输出的音量或与音乐播放器相关联的某一其他功能(例如，轨选择、轨中的位置或音频输出设置)进行修改。
[0108]在处理器102修改显示信号610时，该方法继续。显示信号可以被输出到I/O组件112并且向用户显示。例如，在一些实施例中，I/O组件112可以包括显示器或触摸屏显示器。在这样的实施例中，显示器可以示出与模式相关联的图像。例如，在一个实施例中，显示器可以包括与在图3A-5中所示的系统中的一个相关联的图像。处理器102可以对显示信号中的一个或多个特征进行修改。例如，在一个实施例中，用户可以与诸如虚拟开关或虚拟旋钮的控件交互。在这样的实施例中，处理器102可以部分基于该用户交互来改变在与虚拟开关或虚拟旋钮相关联的位置处的显示信号。该显示信号然后可以被输出到I/O组件112，其向用户显示经修改的虚拟开关或虚拟旋钮。
[0109]在处理器102选择待生成的触觉效果612时，该方法继续。该处理器可以依赖于包含在触觉效果确定模块126中的编程来选择或确定触觉效果。例如，处理器102可以访问存储在存储器104中并且与特定触觉效果相关联的驱动信号。作为另一个示例，可以通过访问与效果相关联的已存储的算法和输入参数来生成信号。例如，算法可以基于振幅和频率参数来输出数据以供在生成驱动信号时使用。作为另一个示例，触觉信号可以包括被发送给致动器以由该致动器解码的数据。例如，致动器可以自身对指定诸如振幅和频率的参数的命令作出响应。在一些实施例中，触觉效果可以是多个可用纹理中的一个。例如，该多个纹理可以包括下述纹理中的一个或多个:水、草、冰、金属、沙子、砾石、砖、毛皮、皮革、皮肤、织物、橡胶、树叶或任何其他可用纹理，例如，与爆炸或火相关联的纹理。在一些实施例中，纹理可以与用户接口的特征相关联，诸如向用户显示的控件。例如，在一个实施例中，特定纹理可以与虚拟转盘相关联，例如沙子的纹理。进一步，在这样的实施例中，当用户例如通过修改虚拟转盘的角旋转来与虚拟转盘交互时，处理器102可以输出不同的纹理。例如，当用户转动虚拟转盘时，触觉效果可以被配置成模拟沙子的粗糙度的改变。因此，当用户在一个方向上转动虚拟转盘时，用户可以感觉到模拟砾石的触觉效果，并且当用户在另一个方向上转动虚拟转盘时，用户可以感觉到模拟粉末的感觉的触觉效果。
[0110]在步骤614，当处理器102将与触觉效果相关联的触觉信号传输给输出触觉效果的触觉输出设备118时，该方法继续。在一些实施例中，处理器102输出被配置成使触觉输出设备118生成触觉效果的触觉信号。在一些实施例中，触觉输出设备118可以包括被耦合到触摸表面116或在计算设备101内的其他组件的传统致动器，诸如压电致动器或电动机。在其他实施例中，触觉输出设备118可以包括被配置成使用静电场在触摸表面116上模拟纹理或改变感知到的摩擦系数的一个或多个静电致动器。
[0111]接着，处理器102确定第二触觉效果618。在一些实施例中，第二触觉效果可以包括已完成关于步骤608讨论的操作的确认。在其他实施例中，触觉效果可以包括没有完成在上面关于步骤608讨论的操作的警告。处理器可以依赖于包含在触觉效果确定模块126中的编程来确定第二触觉效果。例如，处理器102可以访问存储在存储器104中并且与特定触觉效果相关联的驱动信号。作为另一个示例，可以通过访问与效果相关联的已存储的算法和输入参数来生成信号。例如，算法可以基于振幅和频率参数来输出数据以供在生成驱动信号时使用。作为另一个示例，触觉信号可以包括被发送给致动器以由该致动器解码的数据。例如，致动器可以自身对指定诸如振幅和频率的参数的命令作出响应。在一些实施例中，触觉效果可以是多个可用纹理中的一个。例如，该多个纹理可以包括下述纹理中的一个或多个:水、草、冰、金属、沙子、砾石、砖、毛皮、皮革、皮肤、织物、橡胶、树叶或任何其他可用纹理。在一些实施例中，纹理可以与控件或控件内的特征相关联。例如，在一个实施例中，当控件被配置成控制音乐播放器时，特定纹理可以与该控件相关联，例如沙子的纹理。进一步，在这样的实施例中，不同音乐类型可以每一个包括可以被输出到控件的不同纹理。例如，当播放蓝草歌曲时，纹理可以包括与草相关联的纹理，并且在播放重金属时，纹理可以包括金属的纹理。
[0112]在处理器102将与第二触觉效果相关联的第二触觉信号传输给输出第二触觉效果的触觉输出设备118618时，方法600继续。在一些实施例中，处理器102输出被配置成使触觉输出设备118生成触觉效果的触觉信号。在一些实施例中，触觉输出设备118可以包括被耦合到触摸表面116或在计算设备101内的其他组件的传统致动器，诸如压电致动器或电动机。在其他实施例中，触觉输出设备118可以包括被配置成使用静电场来模拟纹理的一个或多个静电致动器。
[0113]用于带有触觉效果的模拟物理交互的系统的另外实施例
[0114]在本公开的一些实施例中，可以在除了使用户娱乐、分心或平静之外没有任何特定目的的情况下，在设备上使用物理交互。例如，在一个实施例中，例如“动态壁纸”的壁纸可以对用户的触摸作出反应。在本公开的一些实施例中，能够利用匹配的触觉效果，例如静电摩擦效果，来扩增物理交互。在一些实施例中，这些触觉效果那个完全替代其他效果来生成仅仅触知的体验。进一步，在一些实施例中，能够在触摸屏应用中使用类似的交互。例如，在一些实施例中，触摸屏应用可以包括使用户专注或分心的效果。
[0115]现转到图7，其图示了带有触觉效果的模拟物理交互的一个实施例。图7中所示的实施例包括在计算设备701的能够触摸的显示器702上的瓦片阵列704。在一些实施例中，当用户跨过能够触摸的显示器702的表面移动其手指时，用户可以与瓦片中的一个或多个交互。当用户与瓦片704交互时，瓦片704可能被手指的运动扰乱，被推进屏幕或倾斜。在一些实施例中，计算设备701可以输出与这种交互相关联的触觉效果。例如，在一个实施例中，计算设备701可以输出被配置成当用户的手指与瓦片中的一个或多个交互时，在能够触摸的显示器的表面上模拟纹理或改变感知到的摩擦系数的静电效果。例如，在这样的实施例中，当瓦片被推入时模拟的纹理可以下降，或在用户的手指擦碰跨过每一个瓦片时，可以输出另一个短暂效果。在另一个实施例中，当瓦片倾斜时可以输出动态效果，向用户触觉地传达了瓦片的不稳定性。
[0116]现转到图8，其图示了带有触觉效果的模拟物理交互的一个实施例。在本公开的一些实施例中，可以使用带有触觉效果的模拟物理交互来与模拟的三维效果和物理交互一起扩展流行的桌面比拟。图8中所示的实施例包括在计算设备801的能够触摸的显示器802上的虚拟桌面804的图像。在一些实施例中，当用户与虚拟桌面804的各种特征，诸如图标806、文档808、铅笔810或球812，交互时，用户可以感觉到在能够触摸的显示器802的表面上的相应触觉效果。
[0117]例如，在本公开的一个实施例中，虚拟桌面804可以包括文档808，其可以与一个或多个文档(例如，电子邮件、文本文件、电子表格、演示文档等)相关联。在这样的实施例中，文档808可以被置放在堆中，该堆能够通过手指在能够触摸的显示器802上针对该堆水平地划过而被推倒。在一些实施例中，可以利用与物理效果相匹配的触觉反馈，诸如静电反馈，来扩增这种交互。例如，在这样的实施例中，当手指碰撞文档808时，可以通过静电输出中的短暂增加来感觉到碰撞。类似地，在一些实施例中，然后，可以输出擦碰纹理和制动器来模拟文档808中的项相互滑动并且倒下的感觉。在一些实施例中，还可以通过基于振动的反馈来产生相似或另外的效果。
[0118]在本公开的另一个实施例中，用户可以通过针对文档808作出轻弹手势来跨过能够触摸的显示器802的屏幕扔掷文档808。在一些实施例中，可以通过静电输出的增加来模拟与文档的碰撞。在一些实施例中，还可以通过基于振动的反馈来产生这些效果或其他效果O
[0119]在本公开的另一个实施例中，用户可以通过利用5-手指手势将文档汇集在一起，来将文档聚组成堆。在这样的实施例中，计算设备801可以输出静电触觉效果来模拟在文档相互撞击并滑动成堆时文档的碰撞和擦碰。在一些实施例中，还可以通过基于振动的反馈来产生这些效果或其他效果。
[0120]在本公开的另一个实施例中，用户可以通过把其手指的长边挤压在能够触摸的显示器802上并且推压文档808来转移多个文档808。在这样的实施例中，可以使用静电反馈来模拟与多个文档的碰撞。类似地，可以使用静电反馈来模拟文档808擦碰虚拟桌面804的表面。在还有的其他实施例中，计算设备802可以基于文档的数量和类型对效果的强度进行调制。在一些实施例中，还可以通过基于振动的反馈来产生这些效果或其他效果。
[0121]进一步，在一些实施例中，当用户与图标806、铅笔810或球812交互时，可以输出类似的触觉效果。例如，计算设备801可以被配置成在用户使用铅笔810来绘画或书写时，输出与感知到的摩擦系数的变化相关联的触觉效果。类似地，计算设备801可以被配置成在用户跨过能够触摸的显示器802推动球812时，输出模拟碰撞的触觉效果。在一些实施例中，球812可能碰撞在虚拟桌面804内的其他对象，并且计算设备801可以被配置成输出与这些碰撞相关联的触觉效果。
[0122]在其他实施例中，可以将带有触觉效果的模拟物理交互合并入其他应用。例如，在一些实施例中，可以将带有触觉效果的模拟物理交互并入电子书，例如并入电子书中的文本或图形。
[0123]现转到图9，其包括计算设备901，计算设备901包括能够触摸的显示器902。如图9中所示，能够触摸的显示器902包括四个图形，其在图9中所示的实施例中是四个动物，绵羊904、狼906、鱼908和犰狳910。进一步，在一些实施例中，当用户跨过能够触摸的显示器902的表面移动其手指时，计算设备901可以被配置成输出与动物中的每一个相关联的触觉效果。在一些实施例中，该触觉效果可以包括被配置成改变(例如，增加或减小)感知到的摩擦系数的触觉效果。在其他实施例中，该触觉效果可以包括被输出到能够触摸的显示器902的表面的纹理。
[0124]在一些实施例中，四个动物中的每一个可以包括不同的触觉效果。进一步，在一些实施例中，用户可以仅当在能够触摸的显示器902上滑动其手指越过每一个动物时才感觉到与该动物相关联的触觉效果。进一步，在一些实施例中，用户可以仅在滑动其手指越过具有非零值的动物的部分时才感觉到触觉效果。例如，在一些实施例中，图形的阿尔法通道可以包括该图形的透明度。在这样的实施例中，可以仅在图形具有大于零的阿尔法值时才输出触觉效果。进一步，在一些实施例中，位图可以指定触觉效果是否应当被输出，以及触觉效果应当在图形内的什么位置被输出。类似地，在一些实施例中，该位图可以包括与触觉效果的振幅和频率相关联的数据。在一些实施例中，该位图可以包括与图形相关联的触觉数据。例如，在一些实施例中，触觉效果的振幅和频率可以与下述中的一个或多个相关联:颜色、对比度、亮度、清晰度、界定、样式、或与图形或图形的组成相关联的某一其他组成。进一步，在一些实施例中，可以将触觉信息嵌入图形中。因此，例如，当用户与图形内的位置交互时，可以输出例如纹理的触觉效果。在一些实施例中，这些触觉效果可以不与图形的外观相关联。例如，在一些实施例中，可以将包括与触觉效果相关联的触觉值的单元网格或阵列包括在图形的区域内。因此，当用户与和这些单元相关联的位置交互时，计算设备可以输出与触觉值相关联的触觉效果。在一些实施例中，这可以给予触觉设计者对可以在与图形相关联的区域中指定什么触觉效果更多的控制。
[0125]在一些实施例中，鱼908的身体可以包括纹理，但是鱼908的鱼鳍可以包括零值，因此不与纹理相关联。进一步，在一些实施例中，动物中的每一个可以包括与该动物的纹理相关联的触觉效果。例如，在一个实施例中，当用户与绵羊904交互时，计算设备901可以输出柔软的触觉效果。在一些实施例中，该触觉效果可以通过包括75Hz正弦波的触觉信号来输出。进一步，在这样的实施例中，狼906可以包括不同并且更粗的触觉效果。在一些实施例中，该触觉效果可以通过包括以50%幅度的300Hz周期方波和以50%幅度具有200Hz速率的随机波形的触觉信号来输出。进一步，在一些实施例中，鱼908可以包括与鱼鳞相关联的触觉效果。因此，用户可以在跨过鱼908的表面朝不同方向移动其手指时，感觉到不同的触觉效果。在一些实施例中，该触觉效果可以通过包括下述的触觉信号来输出:当跨过鱼908的表面向右移动时具有25像素节距的空间格栅(例如，基于用户移动来改变触觉效果的频率和/或振幅)以及当跨过鱼908的表面向左移动时以75%振幅的500-Hz周期方波。进一步，在这样的实施例中，犰狳910可以包括与其壳相关联的触觉效果。在一些实施例中，该触觉效果可以通过包括具有50像素节距的空间格栅的触觉信号来输出。
[0126]在上面关于图9描述的动物和触觉效果是示例。本领域技术人员将认识到，可以在能够触摸的显示器上示出任意多个对象(诸如动物、人类或其他类型的对象)。并且进一步，当用户与能够触摸的显示器的与这些对象中的每一个相关联的区域交互时，可以输出任意多个触觉效果。
[0127]现转到图10A-10B，其每一个包括计算设备1001，计算设备1001包括能够触摸的显示器1002。如图1OA中所示，能够触摸的显示器进一步显示霜冻1004的区域。当用户与霜冻1004的区域交互时，用户可以能够擦掉霜冻1004。在一些实施例中，当用户与能够触摸的显示器1002交互时，可以逐渐减少霜冻1004的量。进一步，在一些实施例中，当用户增加交互的速度时，除去霜冻的速率可以增加。例如，在一个实施例中，对于每一次用户交互(例如，用户的手指的每次划动)去除的霜冻量取决于从上次触摸事件开始的时间而从10%到30%线性变化。例如，在一个实施例中，当用户首次触摸霜冻1004时，可以从用户触摸的霜冻1004的区域去除具有50-像素半径和10%强度的盘面。进一步，在这样的实施例中，当用户随后触摸霜冻1004时，可以类似地在触摸位置以及在触摸的当前和先前方位之间的带去除盘面。在一些实施例中，去除的霜冻1004的强度从10%到30%变化。在一些实施例中，这可以确保在用户快速移动时，在清除的路径中没有间隙。
[0128]转到图10B，一旦用户已擦掉了足够的霜冻，用户就可以使另一个对象显露。在图1OB中所示的实施例中，用户已擦掉了霜冻来显露怪物1006。在一些实施例中，计算设备1001可以被配置成在用户与霜冻1004和怪物1006交互时，输出一个或多个触觉效果。在一些实施例中，该触觉效果可以包括被配置成改变(例如，增加或减小)感知到的摩擦系数的触觉效果。在其他实施例中，该触觉效果可以包括被输出到能够触摸的显示器1002的表面的纹理。在一些实施例中，与霜冻相关联的触觉效果可以是与具有随霜冻的当前程度(例如，用户已去除了多少霜冻)线性变化的幅度的200-Hz周期方波相关联的触觉效果。类似地，在擦掉霜冻1004之后，用户可以感觉到与怪物1006相关联的触觉效果。在一些实施例中，该触觉效果可以通过包括以50%幅度的300Hz周期方波和以50%幅度具有200Hz速率的随机波形的触觉信号来输出。
[0129]现转到图11A-11C，其每一个包括计算设备1101，计算设备1101包括能够触摸的显示器1102。图1lA进一步包括通过两个绳索悬挂的汽车1104。在图1lA中所示的实施例中，在左侧的绳索很细，而在右侧的绳索很粗。在这样的实施例中，可以通过划动手势来割断在左侧的细绳索。相比之下，在右边的绳索很粗，并且割断该绳索可能需要利用锯子图标反复来回手势。在一些实施例中，可以通过触摸能够触摸的显示器1102的与锯子图标相关联的区域来选择锯子图标。
[0130]在图1lA中所示的实施例中，用户正处于利用锯子图标来割断粗绳索的过程中。在一些实施例中，粗绳索可能具有与割断绳索所需的运动的像素数相关联的粗度。在一个实施例中，粗绳索可以包括1700的初始强度。在一些实施例中，这意味着为了弄断该绳索，用户必须利用锯子在绳索上进行1700像素的运动。在一些实施例中，这可以是利用锯子的10个全程。进一步，在这样的实施例中，每当锯子移动时，就从绳索的强度减去锯子所行进的距离。在这样的实施例中，当强度到达零时，锯子消失并且绳索逐渐消逝。在一些实施例中，这种逐渐消逝可以包括0.3秒的消逝时间来初始下降到60%的强度。
[0131]如图1lB中所示，一旦用户已割断了粗绳索，与该粗绳索相关联的汽车1104的右侧就跌落。进一步，在这样的实施例中，可以通过用户的手指在能够触摸的显示器1102的与细绳索相关联的部位上的单个划动来割断该细绳索。在一些实施例中，当细绳索被割断时，其然后以与粗绳索相同的方式消逝并释放汽车。
[0132]如图1lC中所示，一旦两个绳索均已被割断，汽车1104就跌落到地上。在一些实施例中，一旦汽车1104已跌落到地上，其可以仍然在能够触摸的显示器1102上显示一段时间。在一些实施例中，一旦经过了这段时间，汽车1104就可以向右或左移出屏幕。例如，在一个实施例中，当两个绳索均被割断时，汽车可以在以例如2000像素/秒的速度移开之前留在屏幕上0.5秒。[0133]在一些实施例中，绳索中的每一个包括计算设备1101在用户与能够触摸的显示器1102的与绳索相关联的部位交互时输出的相关联的触觉效果。进一步，在一些实施例中，当绳索被割断时或当汽车1104撞击地面时，可以输出单独的触觉效果。例如，在一些实施例中，当用户与粗绳索交互时，计算设备1101可以在使用锯子时输出与具有30像素节距的空间格栅相关联的触觉效果。进一步，在一些实施例中，当锯子的每一次划动经过绳索时，空间格栅的强度可以从100%线性地下降到40%。进一步，在一些实施例中，当每一个绳索被割断时，计算设备1101可以输出单独的效果。例如，在一个实施例中，当被割断时，两个绳索均可以与50-ms时间脉冲相关联。
[0134]现转到图12A-12B，其每一个包括计算设备1201，计算设备1201包括能够触摸的显示器1202。图12A包括交互式虚拟纸质书，虚拟纸质书包括标签1204。如图12A-12B中所示，用户可以与标签1204交互来移动对象(在图12A-12B中被示出为冲浪狗)。在一些实施例中，标签1204可以包括类似于虚拟冰棒棍的外观。在其他实施例中，标签1204可以包括不同的外观(例如，纸、金属、旋钮或某一其他对象)。
[0135]在一些实施例中，计算设备1201可以被配置成每次用户与标签1204交互时输出触觉效果。例如，在一个实施例中，计算设备1201可以被配置成每当用户与标签1204交互时，输出与包括50ms脉冲的触觉信号相关联的触觉效果。类似地，在一些实施例中，每当对象正在移动时，就输出另一个触觉效果。在一些实施例中，该触觉效果可以包括与改变(例如，增加或减小)感知到的摩擦系数相关联的触觉效果。类似地，在一些实施例中，触觉效果可以包括与纹理相关联的触觉效果。在一个实施例中，触觉效果可以包括与包括以50%幅度的IOO-Hz正弦波和以50%幅度的IOO-Hz随机效果的触觉信号相关联的效果。
[0136]现转到图13A-13B，其每一个包括计算设备1301，计算设备1301包括能够触摸的显示器1302。图13A包括交互式虚拟保险箱1304。在图13A中所示的实施例中，用户可以能够通过与虚拟保险箱1304交互来对虚拟保险箱1304解锁。在一些实施例中，这种交互可以包括转动虚拟保险箱1304的转盘。例如，在一个实施例中，用户可以在虚拟保险箱1304中录入密码组合，如基于标准转盘的锁那样(例如，通过向左和右旋转转盘至各种预设坐标)。在一些实施例中，计算设备1301可以被配置成显示箭头来提供与虚拟保险箱1304的密码组合有关的暗示。例如，在一个实施例中，每当用户正在错误方向上移动转盘来对虚拟保险箱1304解锁时，箭头可以逐渐淡入淡出来给予暗示。在一个实施例中，这些箭头可以当在错误方向上移动时以每秒5%的速率在不透明度上增加，并且当在正确方向移动时以每秒20%的速率消逝。
[0137]图13B示出其中用户已打开了虚拟保险箱1306的实施例。在这样的实施例中，用户可以能够通过推门，该门然后砰地关上的交互来关闭虚拟保险箱1306。进一步，在一些实施例中，用户可以能够通过旋转转盘来进一步锁住保险箱。
[0138]在一些实施例中，计算设备1301可以在用户与保险箱1304的不同组件交互时，输出不同的效果。例如，在一个实施例中，当用户与门交互时，计算设备可以输出与包括75Hz正弦波的触觉信号相关联的触觉效果。类似地，计算设备1301可以输出与打开或关闭保险箱相关联的不同触觉效果。进一步，当用户与保险箱的转盘交互时，计算设备1301可以被配置成输出与在上面关于图3A-3C所述的那些相似的触觉效果。
[0139]在一些实施例中，能够触摸的显示器可以包括图标，该图标可以被配置成控制是否将输出触觉效果。在一些实施例中，该图标可以包括用户可以与之交互来打开或关闭触觉效果的控件，诸如按钮、标志或图标。进一步，在一些实施例中，用户可以能够通过将图标设置在特定位置(例如，通过将虚拟开关推动到某一点或将虚拟标志拉动/推动到特定位置)来改变触觉效果的强度。在一些实施例中，计算设备可以被配置成在用户与该控件交互时，输出触觉效果。
[0140]在还有的其他实施例中，可以将带有触觉效果的模拟物理交互并入游戏中。例如，游戏通常涉及可以利用匹配的基于静电的效果来扩增的物理交互。例如，在一个实施例中，当用户在虚拟弹弓上向后拉时，其中虚拟弹弓例如是射击在另一组对象的一个对象的游戏中的弹弓，计算设备可以输出与阻力的增加相关联的效果。类似地，如果用户没有释放虚拟弹弓，并且替代地逐渐减小弹弓上的张力，则计算设备可以替代地输出被配置成模拟减小的张力的触觉效果。在一个实施例中，这种效果可以包括被配置成模拟减少的纹理或减小的摩擦系数的效果。例如，可以通过静电致动器或被配置成以超声波频率(例如，大于20kHz)振动的致动器来输出这样的触觉效果。
[0141]在其他实施例中，可以输出模拟切割的感觉的触觉效果。例如，在其中用户可以使用用户手指的划动手势来切开对象的触摸屏游戏中。在本公开的一些实施例中，可以利用基于静电或振动的效果来扩增这些交互，该基于静电或振动的效果输出与用户和对象的碰撞相关联的效果。进一步，在一些实施例中，可以输出第二效果来模拟在切开期间的对象纹理。
[0142]在还有的其他实施例中，可以输出模拟滑动的感觉的触觉效果。例如，在涉及针对屏幕或针对彼此滑动的对象的游戏中，可以输出模拟这种交互的触觉效果。例如，在一个实施例中，当沿着原木的长轴移动原木时，可以输出静电效果来模拟被配置成模拟原木针对彼此的擦碰的纹理。类似地，可以使用静电脉冲来复制一个原木撞击另一个原木或障碍物的碰撞。在其他实施例中，可以输出改变用户在跨过触摸屏的表面拖动其手指时所感知到的摩擦系数的静电效果。在其他实施例中，可以使用高频振动来输出类似效果。
[0143]在还有的其他实施例中，可以输出模拟在特定位置终止或“对接”的触觉效果。例如，在飞行模拟器游戏中，用于进港航班的用户追踪路径可以进一步包括向用户识别飞机在正确入口的触觉效果。在这样的实施例中，静电效果可以产生模拟的纹理或改变户感觉到的摩擦系数。类似地，触觉效果可以复制当飞机在跑道上着陆时的碰撞。
[0144]本公开的计算设备可以被配置成输出多个触觉效果中的一个或多个。在一些实施例中，这些触觉效果可以与纹理相关联。在一些实施例中，该纹理可以包括液体的纹理，例如水、油、油漆或某一其他类型的液体。在这样的实施例中，当用户的手指在能够触摸的显示器顶部上方移动时，该移动可以扰乱液体。在一个实施例中，这可以造成在能够触摸的显示器的表面上可见的波纹或其他扰动。进一步，在这样的实施例中，计算设备可以输出被配置成模拟波纹或扰动的触觉效果。例如，在一个实施例中，能够通过光滑的静电摩擦格栅来感觉到波纹。在另一个实施例中，可以输出被配置成在能够触摸的显示器的表面上模拟纹理或改变摩擦系数的触觉效果。该触觉效果可以模拟在液体中波纹或其他类型的扰动的存在。
[0145]在另一个实施例中，纹理可以包括与热或火相关联的纹理。在这样的实施例中，当用户的手指在能够触摸的显示器顶部上方移动时，该移动可以扰乱火焰。进一步，在一些实施例中，触觉效果可以模拟火焰的强度。例如，可以输出被配置成模拟纹理或改变摩擦系数的触觉效果来模拟火焰的存在。在一些实施例中，该触觉效果可以由静电致动器输出。在其他实施例中，其可以由以超声波频率振动的致动器输出。
[0146]在另一个实施例中，纹理可以包括与粒状材料，例如在计算设备的能够触摸的显示器上的沙子、卵石或粉末，相关联的纹理。在这样的实施例中，当用户的手指跨过能够触摸的显示器的表面移动时，该手指与粒状材料堆交互。当用户与粒状材料交互时，计算设备可以输出被配置成模拟交互的触觉效果。例如，在一个实施例中，粒状材料的滑动伴随有匹配的静电反馈，诸如粒状合成所生成的模拟的纹理。在其他实施例中，该触觉效果可以由以超声波频率振动的致动器输出。在一些实施例中，该触觉效果被配置成在能够触摸的显示器的表面上模拟在能够触摸的显示器的表面上的纹理。在其他实施例中，该触觉效果被配置成改变用户在能够触摸的显示器的表面上感觉到的摩擦系数。
[0147]在另一个实施例中，纹理可以与堆积物，例如在计算设备的能够触摸的显示器上的水或粉末，相关联。在这样的实施例中，当用户的手指跨过能够触摸的显示器的表面移动时，该手指与堆积物交互。在一个实施例中，当手指擦碰跨过表面时，可以使用静电效果来调制摩擦，例如，在底层玻璃表面显露时增加摩擦。在其他实施例中，可以使用另一种类型的致动器。在还有的其他实施例中，该触觉效果可以被配置成模拟在能够触摸的显示器的表面上的相关联的纹理。
[0148]上面实施例是带有触觉效果的模拟物理交互的实施例的示例。在其他实施例中，可以输出另外的效果。例如，可以使用本公开的实施例来模拟在能够触摸的显示器的表面上的解扰念珠。在这样的实施例中，可以使用静电摩擦来模拟念珠针对背景的滑动以及念珠的相互碰撞。在另一个实施例中，可以在显示器上示出气泡包装，并且用户可以能够通过与它们交互来使气泡破裂。在这样的实施例中，可以在用户的手指抵住每一个气泡滑动时输出触觉效果。
[0149]带有触觉效果的模拟物理交互的优点
[0150]带有触觉效果的模拟物理交互有大量优点。带有触觉效果的模拟物理交互可以允许用户在不必注视设备的情况下作出状态确定(例如，确定设备所处的模式)。因此，用户可以能够维持对其他任务的专注。例如，用户可以能够在不必在视觉上专注于显示器的情况下，关于在用户接口上的可用操作作出确定。类似地，触觉效果可以用作为操作可用、已被完成或是某一重要性级别的确认。
[0151]在其他实施例中，带有触觉效果的模拟物理交互可以使用户能够更有效地使用软件和用户接口。例如，用户可以能够在不必在视觉上专注于显示器的情况下，作出关于程序中的可用操作的确定。进一步，带有触觉效果的模拟物理交互可以允许触摸屏设备取代传统开关。这可以允许基于触摸屏的设备作为多功能控制器操作。可以进一步允许基于触摸屏的设备在先前未使用的场所中被使用。这可以减少成本，并且增加总体用户满意度。
[0152]总体考虑
[0153]上述方法、系统和设备是示例。各种配置可以视情况省去、替换或添加各种过程或组件。例如，在替选配置中，可以按照与描述的顺序不同的顺序执行方法，和/或可以添加、省去和/或组合各种阶段。并且，可以将关于某些配置描述的特征组合成各种其他配置。可以以类似方式组合配置的不同方面和元素。并且，科技演进，因此，许多元素是示例并且并不限制本公开或权利要求的范围。
[0154]在描述中给出了具体细节以提供对示例配置(包括实施方式)的全面理解。然而，可以在没有这些具体细节的情况下实践配置。例如，示出了众所周知的电路、过程、算法、结构和技术而没有不必要细节，以避免使配置模糊不清。该描述仅提供了示例配置，并且并不限制权利要求的范围、实用性或配置。更确切地，配置的前面描述将向本领域技术人员提供用于实现所描述的技术的使能描述。在不背离本公开的精神或范围的情况下，可以在元素的功能和布置方面作出各种改变。
[0155]并且，可以将配置描述为作为流程图或框图来描绘的过程。尽管每一个可以将操作描述为顺序的过程，然而，能够并行或同时执行许多操作。另外，可以重新排列操作的顺序。过程可以具有没有包括在附图中的额外步骤。此外，可以通过硬件、软件、固件、中间件、微代码、硬件描述语言或其任何组合来实现方法的示例。当以软件、固件、中间件或微代码来实现时，可以将执行必要任务的程序代码或代码段存储在诸如存储介质的非暂时性计算机可读介质。处理器可以执行所描述的任务。
[0156]已经描述了多个示例配置，可以在不背离本公开的精神的情况下，使用各种修改、替选构造以及等价物。例如，上述元素可以是更大系统的组件，其中其他规则可以优先于或另外修改本发明的应用。并且，在上述元素被考虑之前、期间或之后，可以着手多个步骤。因此，上述描述并不限制权利要求的范围。
[0157]在本文对“适于”或“被配置成”的使用意为开放且包容性的语言，其不排除适于或被配置成执行额外任务或步骤的设备。另外，对“基于”的使用意在是开放和包容性的，因为“基于” 一个或多个列举的条件或值的过程、步骤、计算或其他动作实际上可以基于超出所列举的那些的额外条件或值。包括在本文中的标题、列表和编号仅为了便于说明，并且并不意在限制。
[0158]能够以数字电子电路、以计算机硬件、固件、软件或以前述的组合来实现依照本主题的方面的实施例。在一个实施例中，计算机可以包括一个或多个处理器。处理器包括或有权访问计算机可读介质，诸如耦合到该处理器的随机存取存储器(RAM)。处理器执行存储在存储器中的计算机可读程序指令，诸如执行包括传感器采样例程、选择例程和其他例程的一个或多个计算机程序来执行上述方法。
[0159]这样的处理器可以包括微处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列(FPGA)以及状态机。这样的处理器可以进一步包括可编程电子器件，诸如PLC、可编程中断控制器(PIC)、可编程逻辑器件(PLD)、可编程只读存储器(PR0M)、电可编程只读存储器(EPR0M或EEPR0M)或其他类似器件。
[0160]这样的处理器可以包括介质或可以与介质通信，介质例如是有形的计算机可读介质，该介质可以存储指令，当由处理器执行该指令时，能够使该处理器执行在本文被描述为由处理器执行或协助的步骤。计算机可读介质的实施例可以包括但不限于能够向处理器，诸如web服务器中的处理器，提供计算机可读指令的所有电子、光、磁或其他存储设备。介质的其他示例包括但不限于:软盘、CD-ROM、磁盘、存储器芯片、ROM、RAM、ASIC、经配置的处理器、所有光介质、所有磁带或其他磁介质、或计算机处理器能够从其读的任何其他介质。并且，各种其他设备可以包括计算机可读介质，诸如路由器、专用或公用网络或其他传输设备。处理器和处理可以被描述为一个或多个结构，并且可以散布在一个或多个结构中。处理器可以包括用于执行在本文描述的方法中的一个或多个(或部分方法)的代码。
[0161]虽然已关于本主题的特定实施例详细地描述了本主题，然而，应当理解的是，本领域技术人员在获得对前述内容的理解时，可以容易地产生对这样的实施例的更改、变化以及等价物。因此，应当理解的是，本公开出于示例而非限制目的被呈现，并且并不排除包括对本领域技术人员显而易见的对本主题的这样的修改、变化和/或添加。
【权利要求】
1.一种系统，包括: 传感器，所述传感器被配置成检测与触摸表面的用户交互并且传输与所述用户交互相关联的传感器信号； 与所述传感器通信的处理器，所述处理器被配置成: 基于所述传感器信号来确定所述用户交互的方位， 确定与所述用户交互的所述方位相关联的特征， 控制与所述特征相关联的设备， 部分基于所述用户交互来修改显示信号， 至少部分基于用户交互和所述方位来选择待生成的触觉效果，所述触觉效果被选择来模拟所述特征，以及 传输触觉信号以生成所述触觉效果；以及 与所述处理器通信并且耦合到所述触摸表面的触觉输出设备，所述触觉输出设备被配置成接收触觉信号并且输出触觉效果。
2.根据权利要求1所述的系统，其中，所述触觉效果包括在所述触摸表面上的模拟的纹理或被配置成改变摩擦系数的效果。
3.根据权利要求1所述的系统，其中，所述触觉输出设备包括被配置成生成静电场的设备。
4.根据权利要求1所述的系统，其中，所述显示器包括所述传感器。
5.根据权利要求1所述的系统，其中，所述特征与虚拟桌面中的文件相关联。
6.根据权利要求5所述的系统，其中，所述触觉效果与移动所述文件相关联。
7.根据权利要求1所述的系统，其中，所述特征与游戏中的对象相关联。
8.根据权利要求7所述的系统，其中，所述触觉效果与所述对象的移动相关联。
9.根据权利要求1所述的系统，其中，所述特征与模拟的输入设备相关联。
10.根据权利要求9所述的系统，其中，所述模拟的输入设备包括下述中的一个或多个:虚拟开关、虚拟滑块、虚拟按钮、虚拟操纵杆、虚拟鼠标或虚拟转盘。
11.根据权利要求9所述的系统，其中，所述模拟的输入设备被配置成控制所述系统的功能。
12.—种方法,包括: 检测与触摸表面的用户交互； 传输与所述用户交互相关联的传感器信号； 确定与所述用户交互的方位相关联的特征； 控制与所述特征相关联的设备； 部分基于所述用户交互来修改显示信号； 至少部分基于用户交互和所述方位来选择待生成的触觉效果，所述触觉效果被选择来模拟所述特征；以及 将与所述触觉效果相关联的触觉信号传输给触觉输出设备。
13.根据权利要求12所述的方法，其中，所述触觉效果包括在所述触摸表面上的模拟的纹理或被配置成改变摩擦系数的效果中的一个。
14.根据权利要求12所述的方法，其中，所述特征与虚拟桌面中的文件相关联。
15.根据权利要求13所述的方法，其中，所述触觉效果与移动所述文件相关联。
16.根据权利要求12所述的方法，其中，所述特征与游戏中的角色相关联。
17.根据权利要求16所述的方法，其中，所述触觉效果与所述角色的移动相关联。
18.根据权利要求12所述的方法，其中，所述特征与模拟的输入设备相关联。
19.根据权利要求18所述的方法，其中，所述模拟的输入设备包括:虚拟开关、虚拟滑块、虚拟按钮、虚拟操纵杆、虚拟鼠标或虚拟转盘。
20.根据权利要求18所述的方法，其中，所述模拟的输入设备被配置成控制系统的功倉泛。
21.一种包括程序代码的非暂时性计算机可读介质，所述程序代码当由处理器执行时被配置成使所述处理器: 检测与触摸表面的用户交互； 传输与所述用户交互相关联的传感器信号； 确定与所述用户交互的方位相关联的特征； 控制与所述特征相关联的设备； 部分基于所述用户交互来修改显示信号； 至少部分基于所述用户交互来选择待生成的触觉效果，所述触觉效果被选择来模拟所述特征，以及其中，所述触觉效果包括在所述触摸表面上的模拟的纹理或被配置成改变摩擦系数的效果；以及 将与所述触觉效果相关联的触觉信号传输给触觉输出设备。
【文档编号】G06F3/041GK103838423SQ201310590718
【公开日】2014年6月4日 申请日期:2013年11月20日 优先权日:2012年11月20日
【发明者】文森特·莱韦斯克, 君·曼扭尔·克鲁斯-赫南德斯, 阿马亚·B·韦德尔, 大卫·M·比恩鲍姆 申请人:伊梅森公司