用于使用触觉操控与计算设备交互的技术的制作方法

相关美国专利申请的交叉引用

本申请要求提交于2014年12月23日的、名称为“technologiesforinteractingwithcomputingdevicesusinghapticmanipulation”、序列号为14/580,754的美国实用新型专利申请的优先权。

背景技术：

计算设备以其所有种类在许多人的日常生活中是普遍的。一些计算设备允许广泛的用户交互，诸如智能电话或台式计算机；而其他计算设备允许仅有限的用户交互。为了促进这样的用户交互，许多计算设备包括某种类型的用户接口，诸如键盘、鼠标、触摸屏等等。取决于用户的当前活动，经由一些用户接口与计算设备交互可能是有挑战性的。

除用于接收用户输入的用户接口外，许多计算设备还包括一个或多个输出设备，诸如显示器。相对新兴的输出技术是使用触觉表面或设备作为用于某些计算设备的输出设备。触觉设备或表面给用户提供触觉反馈，以经由使用触觉促动器的阵列来创建触摸感测。例如，一些触觉表面或设备可以仿真轮廓、边缘或纹理。在一些情况下，触觉表面或设备集成到另一输出设备（诸如输出屏幕）中，以响应于与该输出设备的交互而给用户提供一定量的触觉反馈（例如，在计算设备的显示屏上按压虚拟按钮可以提供隆隆声（rumble）效果）。

附图说明

在附图中作为示例且不作为限制而图示本文描述的构思。为了图示的简明和清楚，图中所图示的元件不必按比例绘制。在被视为适当的情况下，已经在各图之间重复附图标记以指示对应或类似元件。

图1是用于计算设备的触觉操控的系统的至少一个实施例的简化图；

图2是图1的系统的计算设备的至少一个实施例的简化框图；

图3是图1的系统的触觉交互式设备的至少一个实施例的简化框图；

图4是用于管理可由图1和3的计算设备执行的触觉操控的方法的至少一个实施例的简化流程图；

图5是用于基于可由图1和3的触觉交互式设备执行的触觉操控来与计算设备交互的方法的至少一个实施例的简化流程图；以及

图6-9是在图4和5的方法的执行期间图1和2的计算设备以及图1和3的触觉交互式设备的对应输出的简化说明性图。

具体实施方式

尽管本公开的构思易受各种修改和可替换形式的影响，但是其具体实施例已经在附图中作为示例而示出且将在本文中详细描述。然而，应当理解，并不意图将本公开的构思限于所公开的特定形式，但相反，意图在于覆盖与本公开和所附权利要求一致的所有修改、等同物和可替换方案。

说明书中对“一个实施例”、“一实施例”、“说明性实施例”等的引用指示所描述的实施例可以包括特定特征、结构或特性，但每个实施例可以包括或可以不必包括该特定特征、结构或特性。此外，这样的短语不必然指代相同实施例。此外，当结合一实施例描述特定特征、结构或特性时，主张结合其他实施例实现这样的特征、结构或特性处于本领域技术人员的认知内，不论这些其他实施例是否被明确描述。附加地，应当领会，以“至少一个a、b和c”的形式在列表中包括的项目可以意指：（a）；（b）；（c）；（a和b）；（b和c）；（a和c）；或者（a、b和c）。类似地，以“a、b或c中的至少一个”的形式列出的项目可以意指：（a）；（b）；（c）；（a和b）；（b和c）；（a或c）；或者（a、b和c）。

在一些情况下，可以以硬件、固件、软件或其任何组合实现所公开的实施例。所公开的实施例还可以被实现为由一个或多个瞬变或非瞬变机器可读（例如，计算机可读）储存介质承载的指令或者存储在该储存介质上的指令，该指令可以由一个或多个处理器读取和执行。机器可读储存介质可以被体现为任何储存设备、机构、或者用于以机器可读的形式存储或传输信息的其他物理结构（例如，易失性或非易失性存储器、介质盘或其他介质设备）。

在附图中，可以按具体布置和/或排序示出一些结构或方法特征。然而，应当领会，这样的具体布置和/或排序可能不是必需的。相反，在一些实施例中，这样的特征可以以与说明性图中所示的方式和/或次序不同的方式和/或次序加以布置。附加地，结构或方法特征在特定图中的包括不意在暗示这样的特征在所有实施例中都是必需的，并且在一些实施例中，这样的特征可能不被包括或者可能与其他特征组合。

现在参照图1，用于管理计算设备的触觉操控的系统100包括计算设备102和触觉交互式设备104，它们在通信链路106上彼此通信。在使用中，如下面更详细讨论的那样，计算设备102在显示器132上将图像显示给用户110并跟踪用户110在图像上的注视。计算设备102基于用户110的注视（例如，基于用户110的注视在图像对象上的固定）来识别已由用户110选择的图像的图像对象。图像对象可以被体现为预定义虚拟对象（例如，虚拟按钮或控制设备、图片、或图像的组件）、被体现为图像的区域或区或者图像的其他组件、子组件或部分。计算设备102基于所识别的图像对象来生成触觉对象数据，并将触觉对象数据传输到触觉交互式设备104。触觉交互式设备104基于触觉对象数据来生成触觉对象，以允许用户110使用用户110的触摸传感器与触觉对象交互。触觉交互式设备104还监视用户110与触觉对象的交互并生成指示这样的交互的用户交互数据。例如，触觉交互式设备104可以生成指示下述各项的用户交互数据：用户110对触觉对象或触觉对象的组件的的删除、移动、旋转、翻转或其他交互（例如，可以在触觉交互式设备104上删除或修改触觉对象的部分）。触觉交互式设备104将用户交互数据传输到计算设备102，计算设备102基于用户交互数据来修改或更新图像对象。例如，计算设备102可以基于指示下述内容的用户交互数据来删除图像对象的组件：用户110对在触觉交互式设备104上生成的触觉对象的对应组件的删除。这样，用户110可以使用触觉交互式设备104和用户110的触摸感测来与计算设备102交互，这可以改进用户110的效率，这是因为用户110不需在经由触觉交互式设备104操控图像对象的同时将她的注视从计算设备102切换。

计算设备102可以被体现为能够跟踪用户的注视且执行本文公开的其他功能的任何类型的计算设备。例如，计算设备102可以被体现为或以其他方式包括但不限于头戴式显示器、智能眼镜、智能电话、智能手表、计算机、平板计算机、膝上型计算机、笔记本计算机、移动计算设备、蜂窝电话、手机、消息传递设备、分布式计算系统、多处理器系统、基于处理器的系统、消费电子设备、和/或能够将图像显示给用户且跟踪用户的注视的任何其他计算设备。如图1中所示，说明性的计算设备102包括处理器120、i/o子系统122、存储器124、数据储存器126、通信电路128和传感器130，传感器130包括一个或多个眼动跟踪传感器136。当然，在其他实施例中，计算设备102可以包括其他或附加组件，诸如通常在计算机中发现的那些组件（例如，各种输入/输出设备）。附加地，在一些实施例中，说明性的组件中的一个或多个可以被并入另一组件中或以其他方式形成另一组件的部分。例如，在一些实施例中，存储器124或其部分可以被并入处理器120中。

处理器120可以被体现为能够执行本文描述的功能的任何类型的处理器。例如，处理器120可以被体现为（一个或多个）单核或多核处理器、单插槽或多插槽处理器、数字信号处理器、微控制器、或者其他处理器或处理/控制电路。类似地，存储器124可以被体现为能够执行本文描述的功能的任何类型的易失性或非易失性存储器或数据储存器。在操作中，存储器124可以存储在计算设备102的操作期间使用的各种数据和软件，诸如操作系统、应用、程序、库和驱动器。存储器124经由i/o子系统122通信耦合到处理器120，i/o子系统122可以被体现为促进关于处理器120、存储器124以及计算设备102的其他组件的输入/输出操作的电路和/或组件。例如，i/o子系统122可以被体现为或以其他方式包括存储器控制器中枢、输入/输出控制中枢、固件设备、通信链路（即，点到点链路、总线链路、导线、线缆、光导、印刷电路板迹线等）、和/或促进输入/输出操作的其他组件和子系统。在一些实施例中，i/o子系统122可以形成片上系统（soc）的部分，且连同处理器120、存储器124以及计算设备102的其他组件一起并入单个集成电路芯片上。

数据储存器126可以被体现为被配置用于短期或长期地存储数据的任何类型的一个或多个设备。例如，数据储存器126可以包括任何一个或多个存储器设备和电路、存储器卡、硬盘驱动器、固态驱动器或其他数据储存设备。

通信电路128可以被体现为能够实现计算设备102与触觉交互式设备104之间的通信的任何通信电路、设备或其集合。为了这样做，通信电路128可以被配置成使用任何一个或多个通信技术和关联协议（例如，以太网、蓝牙（bluetooth®）、wi-fi®、wimax等）以实现这样的通信。

传感器130可以被体现为通常在具有跟踪用户的注视的能力的计算设备上发现的任何类型的传感器或传感器集合。例如，传感器130包括一个或多个眼动跟踪传感器136。眼动跟踪传感器136可以被体现为能够确定用户的注视的方向的任何一个或多个主动或被动传感器。例如，在一些实施例中，眼动跟踪传感器136可以使用主动红外发射器和红外检测器以随时间跟踪观看者的眼睛移动。眼动跟踪传感器136可以捕获从观看者的眼睛的各种内部和外部特征反射离开的红外光，且从而计算观看者的注视的方向。在其他实施例中，眼动跟踪传感器136可以被体现为能够记录用户的眼睛运动的视频相机。在一些实施例中，眼动跟踪传感器136可以收集用户的双眼的眼动跟踪数据，以改进跟踪准确度。在那些实施例中，眼动跟踪传感器136可以使用多于一个主动或被动传感器组件以跟踪用户的双眼。附加地，在一些实施例中，传感器130还可以包括二维和/或三维相机、麦克风阵列、和/或允许用户110经由计算设备102与由触觉交互式设备104生成的触觉对象交互的其他传感器。

显示器132可以被体现为能够将图像、数据和其他信息显示给用户110的任何类型的显示器，其包括但不限于液晶显示器（lcd）、发光二极管（led）、等离子体显示器、阴极射线管（crt）、或者其他类型的显示设备。附加地，（一个或多个）显示器132可以是任何大小或形状的，且具有任何合适分辨率、颜色和/或具有通常在显示器中发现的任何其他特征或质量。说明性地，显示器132是对计算设备102来说本地的，但在其他实施例中可以是对计算设备102来说远程的。在这样的实施例中，计算设备102通信耦合到显示器132，以执行本文描述的功能。附加地，在一些实施例中，一些或所有传感器130可以与显示器132协同定位或者远离显示器132定位（例如，位于与显示器132分离的设备中）。

在一些实施例中，计算设备102可以进一步包括一个或多个外围设备134。这样的外围设备134可以包括通常在计算机设备中发现的任何类型的外围设备，例如硬件键盘、输入/输出设备、外围通信设备和/或其他外围设备。

触觉交互式设备104可以被体现为能够生成用户110使用触摸感测而可检测到的触觉对象（例如，轮廓、高度、几何形状等）的任何类型的设备。说明性的触觉交互式设备104包括处理器140、i/o子系统142、存储器144、通信电路146、触觉控制器148和触觉输出表面150。处理器140、i/o子系统142、存储器144和通信电路146可以类似于计算设备102的对应组件，其描述适用于触觉交互式设备104的那些组件且在本文中为了描述的清楚而不重复。

触觉交互式设备104的触觉控制器148可以被体现为能够控制触觉输出表面150的操作的电气组件的任何电路或集合。例如，在一些实施例中，触觉控制器148可以包括用于控制触觉输出表面150的促动的比例积分微分（pid）控制器。触觉输出表面150可以被体现为能够生成对用户110的触摸感测的触觉型反馈的任何类型的触觉表面或结构。为了这样做，触觉输出表面150可以利用任何合适的技术以施加能够被用户110触觉型感测到的作用力、振动、运动或物理交替。例如，在一些实施例中，触觉输出表面150包括促动器的阵列，这些促动器由触觉控制器148控制以生成对用户110的期望触觉型反馈。如下面更详细讨论的那样，触觉控制器148被配置成基于从计算设备102接收的触觉对象数据来控制触觉输出表面150，以使触觉输出表面150生成能够被用户感觉到的触觉对象。

在一些实施例中，触觉交互式设备104可以包括用于接收用户输入的附加传感器，诸如相机和麦克风。在这样的实施例中，附加传感器允许用户110以除了通过触摸感测外的方式（诸如，经由例如语音命令或空中手势）与所生成的触觉对象交互。

通信链路106可以被体现为能够促进计算设备102与触觉交互式设备104之间的数据传递的任何类型的通信链路或连接。例如，在一些实施例中，通信链路106可以被体现为短距离通信链路，诸如但不限于蓝牙通信链路、近场通信（nfc）链路、zigbee®通信链路或其他短距离通信链路。然而，在其他实施例中，通信链路106可以被体现为长距离通信链路，诸如网络链路（例如，数据网络、蜂窝网络、互联网等）。

现在参照图2，在使用中，计算设备102可以建立环境200。说明性的环境200包括显示模块202、眼动跟踪模块204、触觉管理模块206和通信模块208。附加地，眼动跟踪模块204可以包括图像对象选择模块210，并且触觉管理模块可以包括触觉数据生成模块212和触觉交互模块214。环境200的模块和其他组件中的每一个可以被体现为固件、软件、硬件或其组合。例如，环境200的各种模块、逻辑和其他组件可以形成下述各项的部分或以其他方式由下述各项建立：处理器120；i/o子系统122、soc；或者计算设备102的其他硬件组件。由此，在一些实施例中，环境200的模块中的任何一个或多个可以被体现为电气设备的电路或集合（例如眼动跟踪电路、触觉管理电路等）。

显示模块202被配置成控制计算设备102的显示器132在其上显示图像。这样的图像可以被体现为通常由计算设备显示的任何类型的图像，包括但不限于游戏图像、应用图像、浏览器图像和/或其他图像。应当领会，这样的图像在一些实施例中可以不是静态的，且可以例如被体现为视频内容或被包括在视频内容中。如下面详细讨论的那样，在显示器132上显示的图像可以包括一个或多个图像对象，其可以由用户110通过将她的注视固定在期望图像对象上来选择。所显示的图像的图像对象可以被体现为离散虚拟对象，诸如虚拟按钮、控件、项目、图形、或者用户110可与之交互的其他虚拟构造。可替换地，图像对象可以被体现为图像的区、子区或区域，其可以包括或可以不包括一个或多个虚拟对象（例如，图像的中央部分、图像的左上角等）。

在一些实施例中，在显示器132上显示的图像可以被体现为用户110的本地环境的图像。例如，传感器130的相机可以捕获用户110的本地环境的图像，其随后被显示在显示器132上。这样，用户110可以与用户110的环境内的现实世界对象场所的虚拟表示交互。

眼动跟踪模块204被配置成使用眼动跟踪传感器136来跟踪用户110的注视。如上所讨论，眼动跟踪模块204可以利用任何合适的眼动跟踪技术和/或方法以基于例如眼动跟踪传感器136的类型来跟踪用户110的注视。例如，如上所讨论，眼动跟踪模块204可以通过分析指示从用户110的眼睛反射离开的红外光的跟踪数据、通过分析用户的眼睛的所捕获的图像等等来跟踪用户110的注视。

眼动跟踪模块204的图像对象选择模块210被配置成基于用户的注视来识别在显示器132上显示的图像的图像对象。为了这样做，图像对象选择模块210基于用户110的注视的位置来识别图像对象。图像对象选择模块210可以基于下述内容将图像对象识别为由用户110选择：用户110的注视在所识别的图像对象上的固定。例如，图像对象选择模块210可以响应于用户在图像对象上固定达参考时间段或更大时间段而推断用户110对图像对象的选择。由此，用户110可以通过看所显示的图像的特定图像对象达某个时间长度来选择该图像对象。如上所讨论，图像对象可以被体现为图像的离散虚拟对象或由显示模块202在显示器132上显示的图像的区或区域。

触觉管理模块206被配置成管理用户110与计算设备102的触觉交互。为了这样做，触觉数据生成模块212被配置成生成由图像对象选择模块210识别的图像对象的触觉对象数据。触觉对象数据可以被体现为下述任何类型的数据：触觉交互式设备104可使用该数据以生成与所选图像对象相对应的触觉对象。例如，如果用户从在显示器132上显示的图像中选择树的图像，则触觉数据生成模块212生成触觉对象数据，触觉交互式设备104可使用该触觉对象数据以（例如，通过生成树图像的轮廓或外形）生成触觉输出表面150上树的触觉表示。通信模块208控制通信电路128将触觉对象数据传输到触觉交互式设备104，以促进对应触觉对象的生成。

如下面更详细地讨论的那样，用户110能够操控由触觉交互式设备104生成的触觉对象、对其进行修改或以其他方式与其交互。触觉交互式设备104生成指示这样的交互的用户交互数据并将用户交互数据传输到计算设备102。作为响应，触觉管理模块206的触觉交互模块214被配置成基于用户交互数据来修改或更新与触觉对象相对应的图像对象。例如，参考回到树示例，用户110可以使用她的触摸感测来与触觉交互式设备104交互，以在触觉输出表面150上旋转树。作为响应，触觉交互模块214通过在显示器132上显示的图像上旋转树图像来修改或更新树的对应图像对象。触觉交互模块214可以基于用户交互数据来执行图像对象的任何数目或类型的修改、更新或其他操控。

现在参照图3，在使用中，触觉交互式设备104可以建立环境300。说明性的环境300包括通信模块302和触觉呈现模块304，触觉呈现模块304包括触觉对象生成模块306和触觉对象交互模块308。环境300的模块和其他组件中的每一个可以被体现为固件、软件、硬件或其组合。例如，环境300的各种模块、逻辑和其他组件可以形成下述各项的部分或以其他方式由下述各项建立：处理器140；i/o子系统142；触觉控制器148；soc；或者触觉交互式设备104的其他硬件组件。由此，在一些实施例中，环境300的模块中的任何一个或多个可以被体现为电气设备的电路或集合（例如通信电路、触觉对象生成电路等）。

通信模块302被配置成控制通信电路146与计算设备102通信。例如，如上所讨论，通信模块302响应于用户经由用户的注视选择图像对象而从计算设备102接收触觉对象数据。附加地，通信模块302将用户交互数据传输到计算设备102，该用户交互数据指示用户110与由触觉交互式设备104生成的触觉对象的交互。

触觉呈现模块304被配置成控制触觉控制器148和触觉输出表面150基于从计算设备102接收的触觉对象数据来生成触觉对象、监视用户110与所生成的触觉对象的交互以及生成指示用户与所生成的对象的交互的用户交互数据。为了这样做，触觉对象生成模块306被配置成控制触觉控制器148基于触觉对象数据来在触觉输出表面150上生成触觉对象。如上所讨论，触觉对象数据可以被体现为下述任何类型的数据：触觉对象生成模块306和/或触觉控制器148可使用该数据以生成与所选图像对象相对应的触觉对象。在一些实施例中，触觉对象数据可以被体现为具体控制指令，触觉控制器148可使用该具体控制指令以控制触觉输出表面150。在其他实施例中，触觉对象数据可以被体现为参考数据，触觉对象生成模块306可使用该参考数据以生成触觉控制器148可使用的具体控制指令。

触觉对象交互模块308被配置成监视用户与在触觉输出表面150上生成的触觉对象的交互。如上所讨论，用户110可以通过例如对触觉对象或触觉对象的组件进行移动、删除、旋转、移位、翻转或大小调整来与触觉对象交互。例如，触觉输出表面150的触摸敏感传感器可以感测来自用户110的触摸输入，其被触觉对象交互模块308解释为与触觉对象的交互。当然，在其他实施例中，用户110可以以其他方式与触觉对象交互。触觉对象交互模块308监视这样的交互，并生成指示用户110与触觉对象的交互的用户交互数据。用户交互数据可以被体现为能够定义或标识用户的交互的任何类型的数据。在说明性实施例中，用户交互数据被体现为计算设备102可使用以修改或更新图像数据的数据。由此，用户交互数据可以被体现为或以其他方式包括空间数据、像素数据、向量数据、指令数据、原始图像数据、或者计算设备102可根据其来推断或确定用户与在显示器132上显示的图像对象的期望交互的任何其他类型的数据。在一些实施例中，触觉交互式设备104可以包括用于接收用户输入的附加传感器（诸如相机和麦克风），因此，用户可以例如通过语音命令和空中手势来与触觉对象交互。

现在参照图4，在使用中，计算设备102可以执行用于管理触觉操控的方法400。方法400开始于框402，其中计算设备102在显示器132上显示图像。如上所讨论，图像可以被体现为静止图像或视频的图像、流送内容或其他移动图像。在框404中，计算设备102跟踪用户110的注视。如上所讨论，计算设备102的眼动跟踪传感器136可以利用任何合适的技术以跟踪用户110的注视。在一些实施例中，计算设备102可以将视觉反馈提供给用户110，该视觉反馈指示用户正在看的图像的当前区域或位置。例如，计算设备102可以在图像上显示圆形或其他指示符，对图像的图像对象进行高亮或着色，或者以其他方式给用户110提供用户当前正在看或以其他方式固定于其上的位置的指示。

在框408中，计算设备102确定用户110是否已经选择图像对象。为了这样做，如上所讨论，计算设备102可以确定用户110的注视是否固定于在显示器132上显示的图像的图像对象上。如上所讨论，图像对象可以被体现为离散虚拟对象、特征或结构，或者可以被体现为图像的区或区域。在一些实施例中，计算设备102可以响应于用户将她的注视固定在特定图像对象上达参考时间阈值，确定用户110期望选择该图像对象（例如，用户110可以通过盯着图像对象达两秒或更多秒或者某其他时间阈值来选择该对象）。如果计算设备102确定用户110尚未选择图像对象，则方法400循环回到框404，其中计算设备102继续跟踪用户的注视。

然而，如果计算设备102基于用户110的注视确定用户已经选择图像的图像对象，则方法400前进到框410，其中计算设备102基于所选图像对象来生成触觉对象数据。如上所讨论，触觉对象数据可以被体现为下述任何类型的数据：触觉交互式设备104可使用该数据以生成与所选图像对象相对应的触觉对象。在框412中，计算设备102将触觉对象数据传输到触觉交互式设备104。方法400随后循环回到框404，其中计算设备102继续监视用户的注视，以用于选择在显示器132上显示的图像的不同图像对象。

在计算设备102已经在框412中传输触觉对象数据之后，方法400附加地前进到框414，其中计算设备102监视用户110与触觉交互式设备104的交互。应当领会，框414可以是与框404的执行并行或以其他方式同时执行的。

为了监视用户110与触觉交互式设备104的交互，计算设备102可以执行子方法416。子方法416开始于框418，其中计算设备102监视来自触觉交互式设备104的通信。如上所讨论，触觉交互式设备104传输指示用户110与在触觉交互式设备104上生成的触觉对象的交互的用户交互数据。如果计算设备102尚未接收到来自触觉交互式设备104的任何通信，则子方法416循环回到框418以继续监视来自触觉交互式设备104的通信。然而，如果计算设备102确定已经从触觉交互式设备104接收到通信，则子方法416前进到框420，其中计算设备102接收由触觉交互式设备104传输的用户交互数据。

在框422中，计算设备102基于所接收到的用户交互数据来更新或修改所选图像对象。如上所讨论，用户交互数据可以指示用户110与触觉对象的任何种类的交互，其可以适用于图像对象。例如，如果用户交互数据指示用户已经移动触觉对象，则计算设备102在框422中移动图像对象。类似地，如果用户交互数据指示用户已经删除触觉对象的部分，则计算设备102在框422中删除图像对象的对应部分。这样，用户可以经由使用触觉交互式设备104来修改在显示器132上显示的图像对象或与在显示器132上显示的图像对象交互。

现在参照图5，在使用中，触觉交互式设备104可以执行用于基于触觉操控来与计算设备102交互的方法500。方法500开始于框502，其中触觉交互式设备104确定是否已经从计算设备102接收到任何触觉对象数据。如上所讨论，触觉对象数据可以被体现为下述任何类型的数据：触觉交互式设备104可以从该数据生成与由用户110选择的图像对象相对应的触觉对象。如果尚未从计算设备102接收到通信，则方法500循环回到框502，其中触觉交互式设备104继续监视来自计算设备102的触觉对象数据。

然而，如果在框502中已经从计算设备102接收到触觉对象数据，则方法500前进到框504，其中触觉交互式设备104基于所接收到的触觉对象数据来生成触觉对象。为了这样做，如上所讨论，触觉呈现模块304和/或触觉控制器148可以控制触觉输出表面150基于所接收到的触觉对象数据来生成与所选图像对象相对应的触觉对象。再一次，如上所讨论，触觉对象数据可以被体现为具体控制指令和/或参考数据，触觉控制器148可使用该具体控制指令以控制触觉输出表面150，触觉对象生成模块306可使用该参考数据以生成触觉控制器148可使用的具体控制指令。

在已经在触觉输出表面150上生成对应触觉对象之后，方法500前进到框506，其中触觉交互式设备104监视由用户110与触觉对象的交互。如上所讨论，用户110可以以任何方式与触觉对象交互，该方式包括但不限于对触觉对象或触觉对象的组件进行移动、删除、旋转、移位、翻转或大小调整。如果触觉交互式设备104未检测到用户交互，则方法500循环回到框506，其中触觉交互式设备104继续监视用户交互。

然而，如果触觉交互式设备104在框506中确定用户已经与触觉对象交互，则方法500前进到框508，其中触觉交互式设备104基于用户110的交互来生成用户交互数据。再一次，如上所讨论，用户交互数据可以被体现为能够定义或标识用户的交互的任何类型的数据。例如，用户交互数据被体现为计算设备102可使用以修改或更新图像对象的数据，且可以被体现为或以其他方式包括空间数据、像素数据、向量数据、指令数据、原始图像数据、或者下述任何其他类型的数据：如上所讨论，计算设备102可以根据该数据来推断或确定用户与在显示器132上显示的图像对象的期望交互。

随后，在框510中，触觉交互式设备104在框510中将在框508中生成的用户交互数据传输到计算设备102。在框512中，触觉交互式设备104确定是否已经从计算设备102接收到新的触觉对象数据。如果否，则方法500循环回到框506，其中触觉交互式设备104继续监视与目前触觉对象的进一步用户交互。然而，如果已经接收到新的触觉对象数据，则方法500循环回到框504，其中触觉交互式设备104基于新的触觉对象数据来生成新的触觉对象。这样，触觉交互式设备104可以基于用户的当前选择的图像对象来更新或改变所生成的触觉对象。

现在参照图6-9，示出了在方法400和500的执行期间计算设备102和该触觉交互式设备104的示例输出。在图6中，计算设备102已经在显示器132上显示图像600。图像600说明性地包括三个图像对象602、604、606的集合。图像对象602是狗的说明性图片，图像对象604是孩子的说明性图片，并且图像对象606是帽子的说明性图片。应当领会，尽管说明性图像对象602、604、606中的每一个被体现为离散虚拟对象，但在其他实施例中，如上所讨论，图像对象602、604、606可以被体现为图像600的区或区域。

用户110可以通过如上所讨论的那样将她的注视固定在期望图像对象602、604、606上来选择图像对象602、604、606之一。在一些实施例中，计算设备102可以高亮某其他形式的视觉反馈或将该视觉反馈提供给用户110，以指示用户已经选择和/或当前正在看哪个图像对象602、604、606。

在说明性示例中，用户110已经通过将她的注视固定在图像对象602上来选择图像对象602。作为响应，计算设备102生成与所选图像对象602相对应的触觉对象数据，并将该触觉对象数据传输到触觉交互式设备104。触觉交互式设备104随后基于所接收到的触觉对象数据来在触觉输出表面150上生成触觉对象700。如上所讨论，触觉对象700是所选图像对象602的触觉表示，用户110能够经由触摸触觉输出表面150来感测该触觉表示。

触觉交互式设备104监视用户110与触觉对象700的交互。如上所讨论，用户110可以以任何传统方式（例如，移动、删除、大小调整、旋转、翻转等）操控触觉对象700。在说明性示例中，用户110已经如图8中所示的那样删除在触觉对象700中表示的狗尾巴的部分。作为响应，触觉交互式设备104生成指示用户110对狗尾巴的删除或移除的用户交互数据，并将用户交互数据传输到计算设备102。

计算设备102从触觉交互式设备104接收用户交互数据，并基于用户交互数据来更新图像对象602。例如，如图9中所示，计算设备102已经将图像对象602更新成反映在图像对象602中表示的狗尾巴的移除。这样，计算设备102和触觉交互式设备104的用户可以经由触觉对象的触觉操控来与计算设备102交互。

示例

下面提供本文公开的设备、系统和方法的说明性示例。该设备、系统和方法的实施例可以包括下面描述的示例中的任何一个或多个以及其任何组合。

示例1包括一种用于管理触觉操控的计算设备，所述计算设备包括：显示器；显示模块，在所述显示器上显示图像；眼动跟踪模块，跟踪用户在所述图像上的注视并基于用户的注视来识别所述图像的图像对象；触觉管理模块，基于所述图像对象来生成触觉对象数据，其中所述触觉对象数据要使触觉交互式设备能够生成所述图像对象的触觉对象表示；以及通信模块，将所述触觉对象数据传输到所述触觉交互式设备，以促进基于所述触觉对象数据来生成触觉对象。

示例2包括示例1的主题，并且其中所述触觉管理模块进一步要监视用户与所述触觉对象的交互。

示例3包括示例1和2中任一项的主题，并且其中监视用户与所述触觉对象的交互包括：从所述触觉交互式设备接收用户交互数据，其中所述用户交互数据指示在所述触觉交互式设备上用户与所述触觉对象的交互；以及基于所述用户交互数据来修改在所述显示器上显示的图像的图像对象。

示例4包括示例1-3中任一项的主题，并且其中监视所述图像对象包括：删除在所述显示器上显示的图像的图像对象的组件；在所述显示器上显示的图像上移动所述图像对象；从在所述显示器上显示的图像中删除所述图像对象；改变在所述显示器上显示的图像的图像对象的取向；在所述显示器上显示的图像的所显示图像上翻转所述图像对象；对在所述显示器上显示的图像的图像对象进行大小调整；或者旋转在所述显示器上显示的图像的图像对象。

示例5包括示例1-4中任一项的主题，并且其中所述用户交互数据指示用户对所述触觉对象的组件的选择，并且其中修改所述图像对象包括修改与所述触觉对象的所选组件相对应的所述图像对象的组件。

示例6包括示例1-5中任一项的主题，并且其中监视用户与所述触觉对象的交互包括：从所述触觉交互式设备接收用户交互数据，其中所述用户交互数据指示在所述触觉交互式设备上所述触觉对象的移动；以及基于所述触觉对象的移动来解释用户与所述图像对象的交互。

示例7包括示例1-6中任一项的主题，并且其中所述图像对象包括所述图像的区。

示例8包括示例1-7中任一项的主题，并且其中识别所述图像的图像对象包括基于用户的注视在所述图像对象上的固定来识别所述图像的图像对象。

示例9包括示例1-8中任一项的主题，并且其中基于用户的注视的固定来识别所述图像对象包括：基于用户的注视固定于所述图像对象上的时间长度来识别所述图像对象。

示例10包括示例1-9中任一项的主题，并且其中显示图像包括显示包括多个图像对象的图像；并且识别所述图像的图像对象包括基于用户的注视在所选图像对象上的固定来识别所述多个图像对象中的所选图像对象。

示例11包括示例1-10中任一项的主题，并且其中所述眼动跟踪模块进一步要将所识别的图像对象的视觉反馈提供给用户。

示例12包括示例1-11中任一项的主题，并且其中所述眼动跟踪模块要在所述计算设备的显示器上高亮所识别的图像对象以提供所述视觉反馈。

示例13包括示例1-12中任一项的主题，并且其中识别所述图像的图像对象包括基于用户的注视来识别所述图像的第一图像对象和第二图像对象；基于所述图像对象来生成触觉对象数据包括生成第一触觉对象数据和第二触觉对象数据，其中所述第一触觉对象数据要使所述触觉交互式设备能够生成所述第一图像对象的第一触觉对象表示，并且所述第二触觉对象数据要使所述触觉交互式设备能够生成所述第二图像对象的第二触觉对象表示；并且传输所述触觉对象数据包括将所述第一触觉对象数据和所述第二触觉对象数据传输到所述触觉交互式设备，以促进所述第一触觉对象和所述第二触觉对象的生成。

示例14包括示例1-13中任一项的主题，并且其中所述触觉管理模块进一步要：从所述触觉交互式设备接收用户交互数据，其中所述用户交互数据指示在所述触觉交互式设备上用户对所述第一触觉对象和所述第二触觉对象的相对位置的重新布置；以及基于所述第一触觉对象和所述第二触觉对象的相对位置的重新布置来解释用户与所述第一图像对象或所述第二图像对象的交互。

示例15包括一种用于基于触觉操控与计算设备交互的触觉交互式设备，所述触觉交互式设备包括：触觉输出表面；通信模块，响应于用户在由计算设备显示的图像的对应图像对象上的注视固定，从所述计算设备接收触觉对象数据；触觉呈现模块，基于所述触觉对象数据来在所述触觉输出表面上生成触觉对象以及基于用户与所述触觉对象的交互来生成用户交互数据，其中所述触觉对象包括所述图像对象的触觉对象表示；其中所述通信模块进一步要向所述计算设备传输指示用户与所述触觉对象的交互的用户交互数据。

示例16包括示例15的主题，并且其中生成所述用户交互数据包括生成指示用户的下述意图的用户交互数据：删除所述图像对象的组件；移动所述图像对象；删除所述图像对象；修改所述图像对象的取向；翻转所述图像对象；对所述图像对象进行大小调整；或者旋转所述图像对象。

示例17包括示例15和16中任一项的主题，并且其中生成用户交互数据包括生成指示用户对所述触觉对象的组件的选择的用户交互数据。

示例18包括示例15-17中任一项的主题，并且其中所述触觉对象数据对应于由所述计算设备显示的所述图像的区。

示例19包括示例15-18中任一项的主题，并且其中接收触觉对象数据包括响应于用户在第一图像对象和第二图像对象上的注视固定，从所述计算设备接收第一触觉对象数据和第二触觉对象数据，其中所述第一触觉对象数据对应于所述第一图像对象，并且所述第二触觉对象数据对应于所述第二图像对象，生成触觉对象包括基于所述第一触觉对象数据来生成第一触觉对象以及基于所述第二触觉对象数据来生成第二触觉对象，其中所述第一触觉对象包括所述第一图像对象的触觉对象表示，并且所述第二触觉对象包括所述第二图像对象的触觉对象表示。

示例20包括示例15-19中任一项的主题，并且其中生成用户交互数据包括生成指示在所述触觉交互式设备上用户对所述第一触觉对象和所述第二触觉对象的重新布置的用户交互数据。

示例21包括一种用于管理计算设备的触觉操控的方法，所述方法包括：由所述计算设备在所述计算设备的显示器上显示图像；由所述计算设备跟踪用户在所述图像上的注视；由所述计算设备基于用户的注视来识别所述图像的图像对象；由所述计算设备基于所述图像对象来生成触觉对象数据，其中所述触觉对象数据要使触觉交互式设备能够生成所述图像对象的触觉对象表示；以及将所述触觉对象数据传输到所述触觉交互式设备，以促进基于所述触觉对象数据来生成触觉对象。

示例22包括示例21的主题，且进一步包括：由所述计算设备监视用户与所述触觉对象的交互。

示例23包括示例21和22中任一项的主题，并且其中监视用户与所述触觉对象的交互包括：从所述触觉交互式设备接收用户交互数据，其中所述用户交互数据指示在所述触觉交互式设备上用户与所述触觉对象的交互；以及基于所述用户交互数据来修改在所述显示器上显示的图像的图像对象。

示例24包括示例21-23中任一项的主题，并且其中修改所述图像对象包括下述各项中的至少一个：删除在所述显示器上显示的图像的图像对象的组件；在所述显示器上显示的图像上移动所述图像对象；从在所述显示器上显示的图像中删除所述图像对象；改变在所述显示器上显示的图像的图像对象的取向；在所述显示器上显示的图像的所显示图像上翻转所述图像对象；对在所述显示器上显示的图像的图像对象进行大小调整；或者旋转在所述显示器上显示的图像的图像对象。

示例25包括示例21-24中任一项的主题，并且其中所述用户交互数据指示用户对所述触觉对象的组件的选择，并且其中修改所述图像对象包括修改与所述触觉对象的所选组件相对应的所述图像对象的组件。

示例26包括示例21-25中任一项的主题，并且其中监视用户与所述触觉对象的交互包括：从所述触觉交互式设备接收用户交互数据，其中所述用户交互数据指示在所述触觉交互式设备上所述触觉对象的移动；以及基于所述触觉对象的移动来解释用户与所述图像对象的交互。

示例27包括示例21-26中任一项的主题，并且其中所述图像对象包括所述图像的区。

示例28包括示例21-27中任一项的主题，并且其中识别所述图像的图像对象包括基于用户的注视在所述图像对象上的固定来识别所述图像的图像对象。

示例29包括示例21-28中任一项的主题，并且其中基于用户的注视的固定来识别所述图像对象包括：基于用户的注视固定于所述图像对象上的时间长度来识别所述图像对象。

示例30包括示例21-29中任一项的主题，并且其中显示图像包括显示包括多个图像对象的图像；并且识别所述图像的图像对象包括基于用户的注视在所选图像对象上的固定来识别所述多个图像对象中的所选图像对象。

示例31包括示例21-30中任一项的主题，且进一步包括：由所述计算设备将所识别的图像对象的视觉反馈提供给用户。

示例32包括示例21-31中任一项的主题，并且其中提供视觉反馈包括：在所述计算设备的显示器上高亮所识别的图像对象。

示例33包括示例21-32中任一项的主题，并且其中识别所述图像的图像对象包括基于用户的注视来识别所述图像的第一图像对象和第二图像对象；基于所述图像对象来生成触觉对象数据包括生成第一触觉对象数据和第二触觉对象数据，其中所述第一触觉对象数据要使所述触觉交互式设备能够生成所述第一图像对象的第一触觉对象表示，并且所述第二触觉对象数据要使所述触觉交互式设备能够生成所述第二图像对象的第二触觉对象表示；并且传输所述触觉对象数据包括将所述第一触觉对象数据和所述第二触觉对象数据传输到所述触觉交互式设备，以促进所述第一触觉对象和所述第二触觉对象的生成。

示例34包括示例21-33中任一项的主题，且进一步包括：从所述触觉交互式设备接收用户交互数据，其中所述用户交互数据指示在所述触觉交互式设备上用户对所述第一触觉对象和所述第二触觉对象的相对位置的重新布置；以及基于所述第一触觉对象和所述第二触觉对象的相对位置的重新布置来解释用户与所述第一图像对象或所述第二图像对象的交互。

示例35包括一种用于基于触觉操控与计算设备交互的方法，所述方法包括：由触觉交互式设备响应于用户在由计算设备显示的图像的对应图像对象上的注视固定，从所述计算设备接收触觉对象数据；由所述触觉交互式设备基于所述触觉对象数据来生成触觉对象，其中所述触觉对象包括所述图像对象的触觉对象表示；由所述触觉交互式设备基于用户与所述触觉对象的交互来生成用户交互数据；以及由所述触觉交互式设备且向所述计算设备传输指示用户与所述触觉对象的交互的用户交互数据。

示例36包括示例35的主题，并且其中生成所述用户交互数据包括生成指示用户的下述意图的用户交互数据：删除所述图像对象的组件；移动所述图像对象；删除所述图像对象；修改所述图像对象的取向；翻转所述图像对象；对所述图像对象进行大小调整；或者旋转所述图像对象。

示例37包括示例35和36中任一项的主题，并且其中生成用户交互数据包括生成指示用户对所述触觉对象的组件的选择的用户交互数据。

示例38包括示例35-37中任一项的主题，并且其中所述触觉对象数据对应于由所述计算设备显示的所述图像的区。

示例39包括示例35-38中任一项的主题，并且其中接收触觉对象数据包括响应于用户在第一图像对象和第二图像对象上的注视固定，从所述计算设备接收第一触觉对象数据和第二触觉对象数据，其中所述第一触觉对象数据对应于所述第一图像对象，并且所述第二触觉对象数据对应于所述第二图像对象，生成触觉对象包括基于所述第一触觉对象数据来生成第一触觉对象以及基于所述第二触觉对象数据来生成第二触觉对象，其中所述第一触觉对象包括所述第一图像对象的触觉对象表示，并且所述第二触觉对象包括所述第二图像对象的触觉对象表示。

示例40包括示例35-39中任一项的主题，并且其中生成用户交互数据包括生成指示在所述触觉交互式设备上用户对所述第一触觉对象和所述第二触觉对象的重新布置的用户交互数据。

示例41包括一个或多个机器可读储存介质，其包括存储于其上的多个指令，所述多个指令响应于执行而使计算设备执行示例21-40中任一项的方法。

示例42包括一种用于管理触觉操控的计算设备，所述计算设备包括：用于在所述计算设备的显示器上显示图像的装置；用于跟踪用户在所述图像上的注视的装置；用于基于用户的注视来识别所述图像的图像对象的装置；用于基于所述图像对象来生成触觉对象数据的装置，其中所述触觉对象数据要使触觉交互式设备能够生成所述图像对象的触觉对象表示；以及用于将所述触觉对象数据传输到所述触觉交互式设备以促进基于所述触觉对象数据来生成触觉对象的装置。

示例43包括示例42的主题，且进一步包括：用于监视用户与所述触觉对象的交互的装置。

示例44包括示例42和43中任一项的主题，并且其中用于监视用户与所述触觉对象的交互的装置包括：用于从所述触觉交互式设备接收用户交互数据的装置，其中所述用户交互数据指示在所述触觉交互式设备上用户与所述触觉对象的交互；以及用于基于所述用户交互数据来修改在所述显示器上显示的图像的图像对象的装置。

示例45包括示例42-44中任一项的主题，并且其中用于修改所述图像对象的装置包括下述各项中的至少一个：用于删除在所述显示器上显示的图像的图像对象的组件的装置；用于在所述显示器上显示的图像上移动所述图像对象的装置；用于从在所述显示器上显示的图像中删除所述图像对象的装置；用于改变在所述显示器上显示的图像的图像对象的取向的装置；用于在所述显示器上显示的图像的所显示图像上翻转所述图像对象的装置；用于对在所述显示器上显示的图像的图像对象进行大小调整的装置；或者用于旋转在所述显示器上显示的图像的图像对象的装置。

示例46包括示例42-45中任一项的主题，并且其中所述用户交互数据指示用户对所述触觉对象的组件的选择，并且其中用于修改所述图像对象的装置包括用于修改与所述触觉对象的所选组件相对应的所述图像对象的组件的装置。

示例47包括示例42-46中任一项的主题，并且其中用于监视用户与所述触觉对象的交互的装置包括：用于从所述触觉交互式设备接收用户交互数据的装置，其中所述用户交互数据指示在所述触觉交互式设备上所述触觉对象的移动；以及用于基于所述触觉对象的移动来解释用户与所述图像对象的交互的装置。

示例48包括示例42-47中任一项的主题，并且其中所述图像对象包括所述图像的区。

示例49包括示例42-48中任一项的主题，并且其中用于识别所述图像的图像对象的装置包括用于基于用户的注视在所述图像对象上的固定来识别所述图像的图像对象的装置。

示例50包括示例42-49中任一项的主题，并且其中用于基于用户的注视的固定来识别所述图像对象的装置包括：用于基于用户的注视固定于所述图像对象上的时间长度来识别所述图像对象的装置。

示例51包括示例42-50中任一项的主题，并且其中用于显示图像的装置包括用于显示包括多个图像对象的图像的装置；并且用于识别所述图像的图像对象的装置包括用于基于用户的注视在所选图像对象上的固定来识别所述多个图像对象中的所选图像对象的装置。

示例52包括示例42-51中任一项的主题，且进一步包括：用于将所识别的图像对象的视觉反馈提供给用户的装置。

示例53包括示例42-52中任一项的主题，并且其中用于提供视觉反馈的装置包括：用于在所述计算设备的显示器上高亮所识别的图像对象的装置。

示例54包括示例42-53中任一项的主题，并且其中用于识别所述图像的图像对象的装置包括用于基于用户的注视来识别所述图像的第一图像对象和第二图像对象的装置；用于基于所述图像对象来生成触觉对象数据的装置包括用于生成第一触觉对象数据和第二触觉对象数据的装置，其中所述第一触觉对象数据要使所述触觉交互式设备能够生成所述第一图像对象的第一触觉对象表示，并且所述第二触觉对象数据要使所述触觉交互式设备能够生成所述第二图像对象的第二触觉对象表示；并且用于传输所述触觉对象数据的装置包括用于将所述第一触觉对象数据和所述第二触觉对象数据传输到所述触觉交互式设备以促进所述第一触觉对象和所述第二触觉对象的生成的装置。

示例55包括示例42-54中任一项的主题，且进一步包括：用于从所述触觉交互式设备接收用户交互数据的装置，其中所述用户交互数据指示在所述触觉交互式设备上用户对所述第一触觉对象和所述第二触觉对象的相对位置的重新布置；以及用于基于所述第一触觉对象和所述第二触觉对象的相对位置的重新布置来解释用户与所述第一图像对象或所述第二图像对象的交互的装置。

示例56包括一种用于基于触觉操控与计算设备交互的触觉交互式设备，所述触觉交互式设备包括：用于响应于用户在由计算设备显示的图像的对应图像对象上的注视固定而从所述计算设备接收触觉对象数据的装置；用于基于所述触觉对象数据来生成触觉对象的装置，其中所述触觉对象包括所述图像对象的触觉对象表示；用于基于用户与所述触觉对象的交互来生成用户交互数据的装置；以及用于向所述计算设备传输指示用户与所述触觉对象的交互的用户交互数据的装置。

示例57包括示例56的主题，并且其中用于生成所述用户交互数据的装置包括用于生成指示用户的下述意图的用户交互数据的装置：删除所述图像对象的组件；移动所述图像对象；删除所述图像对象；修改所述图像对象的取向；翻转所述图像对象；对所述图像对象进行大小调整；或者旋转所述图像对象。

示例58包括示例56和57中任一项的主题，并且其中用于生成用户交互数据的装置包括用于生成指示用户对所述触觉对象的组件的选择的用户交互数据的装置。

示例59包括示例56-58中任一项的主题，并且其中所述触觉对象数据对应于由所述计算设备显示的所述图像的区。

示例60包括示例56-59中任一项的主题，并且其中用于接收触觉对象数据的装置包括用于响应于用户在第一图像对象和第二图像对象上的注视固定而从所述计算设备接收第一触觉对象数据和第二触觉对象数据的装置，其中所述第一触觉对象数据对应于所述第一图像对象，并且所述第二触觉对象数据对应于所述第二图像对象，用于生成触觉对象的装置包括用于基于所述第一触觉对象数据来生成第一触觉对象以及基于所述第二触觉对象数据来生成第二触觉对象的装置，其中所述第一触觉对象包括所述第一图像对象的触觉对象表示，并且所述第二触觉对象包括所述第二图像对象的触觉对象表示。

示例61包括示例56-60中任一项的主题，并且其中用于生成用户交互数据的装置包括用于生成指示在所述触觉交互式设备上用户对所述第一触觉对象和所述第二触觉对象的重新布置的用户交互数据的装置。