基于预测的接触的触觉效果的制作方法

一种实施例一般而言针对触觉效果，并且更具体而言，针对在设备上产生的触觉效果。

背景技术：

便携式/移动电子设备，诸如移动电话、智能电话、照相机电话、照相机、个人数字助理(“PDA”)等，通常包括输出机制以提醒用户关于设备发生的某些事件。例如，蜂窝电话通常包括用于听觉上通知用户到来电话呼叫事件的扬声器。可听到的信号可以包括特定的铃声、音乐片段、音效等。此外，蜂窝电话可以包括可用来视觉上通知用户到来电话呼叫的显示屏。

在一些移动设备中，也向用户提供动觉反馈(kinesthetic feedback)(诸如主动力和抵抗力反馈)和/或触感反馈(诸如振动、纹理和热度)，更一般地统称为“触觉反馈”或“触觉效果”。触觉反馈可以提供增强和简化用户界面的提示。具体而言，振动效果，或振动触觉效果可以有助于向电子设备的用户提供提示，以提醒用户特定的事件，或者在模拟的或虚拟的环境中提供逼真的反馈以产生更强烈的感官沉浸。

技术实现要素：

一种实施例是启用触觉的设备，其具有用户界面并且产生触觉效果。该设备基于用户在设备上的现有接触接收用户与用户界面的将来接触的指示，并且基于指示，预测接触的时间和位置。基于预测，系统确定响应性触觉效果，并且利用触觉输出设备产生该响应性触觉效果。

附图说明

图1是可以实现本发明的实施例的启用触觉的移动设备或系统的框图。

图2是根据实施例的当响应于物体将接触系统的预测而产生触觉效果时图1的系统的功能的流程图。

具体实施方式

一种实施例预测用户和移动设备的接触的时间和接触的位置。基于预测，在移动设备上产生触觉效果。

图1是可以实现本发明的实施例的启用触觉的移动设备系统或系统10的框图。系统10包括触摸敏感表面11或安装在外壳15内的其它类型的用户界面，并且可以包括机械式按键/按钮13。系统10内部是在系统10上产生触觉效果的触觉反馈系统。在一种实施例中，触觉效果在触摸表面11上或者在系统10的任何其它部分上产生。

触觉反馈系统包括处理器或控制器12。耦合到处理器12的是存储器20和驱动电路16，其中驱动电路16耦合到触觉输出设备18。处理器12可以是任何类型的通用处理器，或者可以是专门设计为提供触觉效果的处理器，诸如专用集成电路(“ASIC”)。处理器12可以是操作整个系统10的同一处理器，或者可以是单独的处理器。处理器12可以基于高层参数确定要播放什么触觉效果以及这些效果的播放顺序。一般而言，定义特定触觉效果的高层参数包括幅度、频率和持续时间。也可以使用诸如流式电动机命令的低层参数来确定特定的触觉效果。如果触觉效果包括在产生触觉效果时这些参数的一些变化或者这些参数基于用户交互的变化，那么触觉效果可以被认为是“动态的”。

处理器12向驱动电路16输出控制信号，其中驱动电路16包括用来向触觉输出设备18提供所需电流和电压(即，“电机信号”)以引起产生期望的触觉效果的电子部件和电路系统。系统10可以包括多于一个触觉输出设备18，并且每个触觉输出设备可以包括单独的驱动电路16，所有驱动电路耦合到共同的处理器12。存储器设备20可以是任何类型的存储设备或计算机可读介质，诸如随机存取存储器(“RAM”)或只读存储器(“ROM”)。存储器20存储由处理器12执行的指令，诸如操作系统指令。在指令当中，存储器20包括触觉效果产生模块22，它是当被处理器12执行时，基于预测的接触产生触觉效果的指令，如下面更详细公开的。存储器20也可以位于处理器12的内部，或者是内部和外部存储器的任意组合。

触觉输出设备18可以是产生触觉效果的任何类型的设备。在一种实施例中，触觉输出设备18是产生振动类型触觉效果的致动器。用于此目的的致动器可以包括诸如其中偏心质块被电动机移动的偏心旋转质块(“ERM”)的电磁致动器，其中附连到弹簧的质块被来回驱动的线性共振致动器(“LRA”)，或者诸如压电材料、电活性聚合物或形状记忆合金的“智能材料”。触觉输出设备18也可以是诸如静电摩擦(“ESF”)设备或超声表面摩擦(“USF”)设备的设备，或者是利用超声触觉换能器感应出声辐射压力的设备。其它设备可以使用触觉基板和柔性或可变形表面，并且设备可以提供投射的触觉输出，诸如利用空气喷嘴的一股空气，等等。

在具有触摸表面11的实施例中，触摸屏识别触摸，并且也可以识别触摸在表面上的位置和幅度。对应于触摸的数据被发送到处理器12，或系统10内的另一个处理器，并且处理器12解释触摸并且作为响应，产生触觉效果信号。触摸表面11可以利用任何感测技术感测触摸，包括电容式感测、电阻式感测、表面声波感测、压力感测、光学感测，等等。触摸表面11可以感测多点触摸接触并且可以能够区分同时发生的多个触摸。触摸表面11可以是产生和显示用于与用户交互的图像(诸如键、按钮、拨盘等)的触摸屏，或者可以是具有很少或没有图像的触摸板。

系统10可以是手持式设备或移动设备，诸如蜂窝电话、个人数字助理(“PDA”)、智能电话、计算机平板、游戏控制台等，或者可以是提供用户界面并且包括具有一个或多个致动器的触觉效果系统的任何其它类型的设备。用户界面可以是触摸敏感表面，或者可以是任何其它类型的用户界面，诸如物理按钮、鼠标、触摸板、微型操纵杆、滚轮、轨迹球、门把手、游戏垫或游戏控制器等。系统10可以是当物理操纵时产生触觉效果的柔性/可弯曲设备，在这种情况下，“用户界面”是设备自身的柔性/可弯曲部分。

系统10还包括耦合到处理器12的一个或多个传感器28。传感器28，与处理器12结合，预测用户将在何处以及何时在例如，触摸屏11的特定部分或特定物理键13上接触系统10。如果系统10是柔性/可弯曲设备，则预测的接触可以是对弯曲、挤压等的类型和量值的预测。预测可以是即将到来的其它类型的操纵，诸如对用户将要放下系统10的预测。

传感器10在一种实施例中是接近传感器。接近传感器检测何时手指(或触控笔)在触摸屏13或系统10的其它部分的附近但没有与其接触。接近传感器也可以检测手指相对系统10的位置(例如，x、y、z)、方向、速度和加速度、取向(例如，转动、俯仰、偏航)等。接近传感器可以使用允许手指或其它物体到系统10的接近被感测到的任何技术。例如，它可以基于包括电容式、电场、电感式、霍尔效应、簧片、涡流、磁阻式、光学阴影、光学可见光、光学IR、光学颜色识别、超声、声发射、雷达、热、声纳、导电式或电阻式等的感测技术。

在一种实施例中，传感器28包括一个或多个接近传感器，每个接近传感器在触摸屏11的上方产生感测场并且当物体干扰或截断(一个或多个)感测场时产生信号。每个感测场通常在被干扰时产生其自己的信号。在一种实施例中，使用单个感测场来覆盖整个触摸屏11的表面。在另一种实施例中，单个感测场仅覆盖触摸屏11的表面的一部分。在另一种实施例中，使用多个感测场来覆盖整个触摸屏11的表面。可以使用任何数量的感测场。在一些情况下，为了执行跟踪，感测场甚至可以分布为像素化的节点阵列。在一些实施例中，接近感测被限制为只当物体在相对于触摸屏较近的距离内时感测到接近，并且只对物体相对于触摸屏的移动响应。

在另一种实施例中，传感器28利用如例如在M.Noor等人的、“28 Frames Later:Predicting Screen Touches From Back-of-Device Grip Changes”，CHM 2014，2014年4月26日至5月1日，中所公开的设备后抓握(back-of-device grip)的变化来预测与系统10的接触，该文章的公开内容通过引用被结合于此。在该实施例中，传感器28是放置在系统10周围的多个低分辨率电容式触摸传感器，并且由处理器12实现可以以大约18mm的精确度预测接触之前大约200ms的触摸位置的机器学习方法。

在另一种实施例中，传感器28可以是以肌肉激活传感器的形式。例如，放置在用户前臂上的臂带可以感测前臂内的肌肉激活。可以使用肌肉激活来预测用户与系统10的将来接触。

在其它实施例中，传感器28可以是诸如来自微软公司的“Kinect”的三维照相机、电容感测或压力感测。例如，可以使用在例如M.Sato等人的在“Touché:Enhancing Touch Interaction on Humans,Screens,Liquids,and Everyday Objects”，2012年CHI论文集：ACM.pp.483-492中公开的、其公开内容通过引用被结合于此的“swept frequency capacitive sensing”来检测手针对物体的手势，诸如抵靠门把手的用户手指的数量或抓握的类型。可以使用这种类型的感测来检测手势或抓握的变化并且预测触摸。也可以使用分布的压力传感器来预测抓握的变化。诸如加速度计的其它传感器可能不足以单独地预测触摸输入，但是当与如前面描述的其它传感器一起使用时可以提高精确度。例如，实施例可以检测姿态的变化以及电话的相关运动，并且结合信息以更好地预测触摸输入。此外，眼睛跟踪器可以用于同样的目的，因为用户更可能注视触摸将落在的位置。

一般而言，通常直到手指或其它物体触摸触摸屏或按下按钮时，才产生触觉反馈或效果。但是，触摸手势可能在手指触摸界面之前就已开始，并且包括手指朝触摸表面或按钮的运动。如所描述的，可以在实施例中使用对触摸或其它接触的预测来在手指触摸控件之前产生触觉反馈，或者可以用作在手指触摸界面的确切时刻产生触觉反馈的准备。在一些实施例中，预测基于用户在设备上的现有接触，而不是利用非接触的移动或接近。

在一种实施例中，接触预测被用于空间呈现，其中当触摸手势发起时，在完成触摸输入之前，触觉反馈在保持设备的手中产生。触觉效果可以，例如，模拟从触摸屏出来的虚拟按钮的偏转，并且随着当触摸屏被触摸和按钮被激活时的点击达到高点。

在另一种实施例中，接触预测被用于预先启用的输出。例如，触觉致动器可以在触摸手势正在进行中时被激发，以便当手指触摸屏幕时处于最大强度。例如，ERM可以被提前激发，以便在触摸的时刻产生其峰值加速度。

在另一种实施例中，接触预测被用于预先计算。例如，产生触觉效果需要的任何计算都可以在触摸手势正在进行中时被预先计算，从而消除触觉反馈中的任何延迟。例如，碰撞检测算法可能需要运行以便确定触摸输入的效果和结果产生的触觉反馈。类似地，触觉效果可能需要以数字文件(例如，.wav文件或其它脉冲编码调制(“PCM”)数据)的形式进行计算，并且传送到单独的用于回放的设备，诸如可穿戴的手镯或与处理器12远程通信的任何类型的设备，以及包括其自己的用于产生触觉效果的触觉输出设备的设备。

在另一种实施例中，接触预测被用于动作预览，使得触觉反馈可以在触摸输入之前产生，以便指示输入的结果。例如，当手指接近“删除”按钮时，用户可以感觉到令人不愉快的振动。显示器也可以改变其形状，以便使输入更容易或更难。例如，柔性显示器可以弯曲以远离危险的触摸输入。

除触摸输入之外，在实施例中的动作预览也可以被用于其它类型的用户输入。例如：(1)针对诸如按钮、滑块或触发器的物理控件的动作；(2)手势的变化，诸如预测用户将要中断滑动手势并且抬离其手指；(3)另一种类型的输入的变化，诸如弯曲或挤压电话；或(4)设备的操纵，诸如用户将要放下其电话的事实。

图2是根据实施例的当响应于预测物体将接触系统10而产生触觉效果时图1的系统10的功能的流程图。在一种实施例中，图2的流程图的功能由存储在存储器或其它计算机可读或有形介质中、并且被处理器执行的软件来实现。在其它实施例中，功能可以由硬件(例如，通过使用专用集成电路(“ASIC”)、可编程门阵列(“PGA”)、现场可编程门阵列(“FPGA”)等)、或者硬件和软件的任意组合来执行。

在202，系统10基于用户的现有接触接收用户的将来接触或输入的指示(即，指示与系统10的该接触将要或者应该发生的用户的动作)。最终的接触可以包括对触摸屏的触摸、以及针对诸如按钮、触发器和滑块的物理控件的动作。最终的接触也可以包括正在进行的手势的变化，诸如预测何时用户将中断滑动手势并且抬离屏幕。它也可以包括与其它输入机制(诸如弯曲、扭转或挤压柔性设备)有关的抓握的变化。现有接触可以包括涉及与系统10的接触、系统10上的当前抓握等等的当前滑动手势或其它手势。

在204，基于指示，系统10利用来自传感器28的输入预测接触在系统10上的特定时间和位置。

在206，基于预测，系统10确定响应性触觉效果。响应性触觉效果可以基于触觉效果需要在输入被执行之前产生的确定。例如，振动效果的顺序可以在触摸输入之前和之后的特定时间产生。例如，增加强度的振动脉冲可以在输入之前100、75、50和25ms产生，随后跟着在输入的确切时间的强振动。

系统10也可以确定即将发生的触摸输入的结果并且产生让用户预览该信息的触觉效果。“危险”的操作(例如，删除文件)可以例如与触摸之前的令人不愉快的触觉效果相关联。

系统10也可以确定要在触摸输入时刻被播放的触觉效果并且提前激发致动器。例如，ERM可能需要略微早于输入被激活，使得它在正确的时间达到峰值加速度。

系统10可以类似地执行预先计算来确定要播放的触觉效果并且准备它。这可能包括模拟和其结果产生的触觉反馈的计算。3D模型，例如，可能需要计算碰撞和模拟结果产生的力。模拟针对所模拟的材料的涂刷的触觉效果可能需要计算摩擦和结果产生的振动。在一些情况下，触觉效果也可能需要在回放之前在相对较慢的通信信道上传送(例如，通过蓝牙发送.wav文件)。

在208，通过产生触觉效果信号并将其发送到触觉输出设备，系统10产生在206处确定的触觉效果。

在一些实施例中，为其预测接触的物体的检测范围相对较大。例如，在一些实施例中，物体不必靠近或接近(即，能够被接近传感器检测到)触摸屏来检测触摸手势的开始。此外，在一种实施例中，当物体从设备离开，并且在接近传感器的“视线”之外时，它可以被检测到。因此，一旦物体开始移动，实施例就可以施加或准备触觉效果，而不必等待其到达离触摸屏特定的距离。

此外，即使当不存在物体的移动时，实施例也可以预测手势。例如，在电话停靠在手上的情况下，实施例可以通过用户的手掌检测手势的变化来检测与触摸屏接触的手指将要抬离、或者滑动(即，抓握改变)。

作为使用和实现本发明的实施例的例子，假设当“Alice”正在忙于重要任务的工作时，在她的平板电脑上弹出令人困惑的对话框。她迅速地将她的手指朝“OK”按钮移动以取消对话框，但当她接近对话框时，感觉到强振动。她仔细观看，并且意识到她正要意外地关闭她的电量低的电话。

作为另一个例子，假设“Bob”正在利用虚拟按钮在他的智能电话上玩游戏。他将手指保持在其中一个按钮的上方，并且感觉到他的激光枪随着振动的上升在充电。一旦他感觉到枪被完全充电，他就完成该运动并且发射激光枪。

作为另一个例子，假设“Charles”正在玩控制台游戏，该控制台游戏在他穿戴的两个无线臂带上产生反馈。每当事件发生时，控制台就向臂带发送数字数据，诸如.wav文件，用于触觉效果播放。该过程花费几百毫秒，但是Charles从来没有注意到任何延迟，因为控制台预测何时他将触摸按钮并且提前发送触觉效果信号数据。

作为另一个例子，假设当“Dan”将要在他的智能手机上发送电子邮件时，他被短信打断。他回复短信并且开始将手机放在桌子上。但是，当他这样做时，手机轻微振动，以提醒他有未发送的电子邮件。他拿起电话并且点击发送按钮。

作为另一个例子，假设“Eric”使用柔性游戏控制器在他的电视上玩游戏。他正抓着控制器的侧面并且弯曲它以使鸟扇动其翅膀。他改变他的抓握，以替代地使用控制器的虚拟按钮。在他不知道的情况下，控制器检测到这一手势的变化并且预先加载触觉效果，使得他可以感觉到他的机器枪，而不是鸟的翅膀。

一般而言，一些平板计算机和其它手持设备可以用两只手来使用。但是，电容式触摸屏和接近感测的已知用途不能确定屏幕是在用一只手的手指触摸还是另一只手的手指触摸。作为对照，以上所公开的实施例(例如，利用设备后抓握的变化)可以做出接触预测，其包括确定哪只手将在到来的接触中被使用，并且可以作为响应相应地调整用户界面和触觉反馈。例如，利用绘画应用，不同的工具可以与不同的手指或手相关联。利用左手食指的触摸可以施加涂料，并且带有相匹配的触觉。利用右手食指的触摸可以擦除涂料，再一次，带有相匹配的触觉。

根据实施例的接触预测可以被用于其中用户甚至不希望触摸屏幕的情况。例如，外科医生可能由于卫生的原因更喜欢按按钮而不触摸屏幕。类似地，在键盘上键入或者在游戏控制器上点击，而无需必须直接触摸任何东西，可能更快。无论是否实际接触都产生触觉反馈的实施例可以增加缺少的确认反馈，诸如产生如施加到非触摸的手(例如，保持设备的手)的触觉反馈。

可以使用根据实施例的接触预测来自动地调整用户界面。在触摸屏上的按钮可以例如移动以被放置到基于预测用户将要触摸的地方。类似地，当玩家的手指接近屏幕时，游戏的内容可以切换，以增加或降低难度级别。

如所公开的，实施例可以检测到抓握的变化，并且因此预测将来的动作，诸如把电话放在桌子上、把电话放在口袋或包中、放下电话、倾斜电话等。一种实施例使用接触预测来检测何时用户将要改变电话的取向，并且如果被使用的应用不支持这种取向则产生触觉效果。例如，一些移动操作系统和应用允许屏幕的取向被锁定。例如，电子书应用在电话的取向被改变，但是应用的取向被锁定时可以产生触觉效果。

可以使用实施例来预测与除手持设备之外的其它物体的接触。例如，在汽车座位的后背上的传感器可以检测何时司机为了伸手并触摸触摸屏信息娱乐系统而移动其位置，并且作为响应施加触觉效果。

如所公开的，实施例预测移动设备上接触的时间和接触的位置。作为预测的结果，由移动设备产生更优化和与最终接触相关的触觉效果。

本文具体说明和/或描述了几种实施例。但是，应当理解，所公开的实施例的修改和变化被以上教导所涵盖并且在所附权利要求的范围之内，而没有脱离本发明的精神和期望范围。