触觉渲染的制作方法

触觉渲染


背景技术：

1.虚拟现实(vr)显示系统使用户沉浸在占据整个视野的虚拟图像中。这样的显示系统可以以逼真的方式表示虚拟体验的视觉和听觉方面。


技术实现要素：

2.提供本发明内容是为了以简化的形式介绍概念，概念将在下文的具体实施方式中被进一步描述。本发明内容不旨在确定要求保护的主题的关键特征或者必要特征，也不旨在用于限制要求保护的主题的范围。此外，要求保护的主题不限于解决本公开任何部分中指出的任何或者所有缺点的实现。
3.公开了与触觉渲染相关的示例。所公开的一个示例提供了触觉渲染设备，其包括展示拉胀行为的图案化层，以及被配置为移动图案化层的多个致动器，每个致动器是单独地可控制的以在二维中协同地改变图案化层的曲率。
附图说明
4.图1示出了示例显示系统的方面，其中触觉渲染设备模拟与所显示的虚拟对象的触觉交互。
5.图2示出了示例触觉渲染设备，其中图案化层被移动以表达凸山形。
6.图3示意性地示出了针对图2的触觉渲染设备的示例图案化层。
7.图4示出了针对图2的触觉渲染设备的示例致动器组件。
8.图5示出了示例插座连接，在该插座连接处，图2的触觉渲染设备的图案化层可以被连接到致动器。
9.图6示出了具有可选的约束板的图4的示例致动器组件。
10.图7示意性地示出了两个致动器的相对位置的几何表示。
11.图8示出了图2的示例触觉反馈系统，并且描绘了以凹碗形状配置的图案化层。
12.图9示出了图2的示例触觉反馈系统，并且描绘了以鞍形配置的图案化层。
13.图10示出了图2的示例触觉反馈系统，并且描绘了以凹入的圆柱形状配置的图案化层。
14.图11是图示操作触觉渲染设备的示例方法的流程图。
15.图12示出了表示在用不同曲率渲染特定形状时参与者的分类响应的实验结果。
16.图13示出了表示当用不同曲率渲染特定形状时参与者的所感知的曲率响应的实验结果。
17.图14是图示示例计算系统的框图。
具体实施方式
18.尽管vr显示系统可以以高保真度渲染视觉和听觉刺激，但是可能难以提供真实地表示与虚拟图像的物理交互的触觉反馈。
19.一些显示系统可以被配置为经由与用户交互的接地机器人渲染力反馈。作为一个示例，显示系统可以包括被配置为由用户抓握的手柄形状机器人，其中机器人由在六个自由度上移动机器人的链条(linkage)控制。作为另一示例，显示系统可以包括手动安装的机器人，诸如，手套装置，被配置为选择性地限制手指运动和/或启动手指以渲染表面正常或者有纹理的触感。然而，这样的机制仅在当用户执行特定姿势(例如，抓握手柄)或者佩戴其他设备时向用户提供触觉反馈。
20.在vr体验中，用户的周围真实世界环境的视觉被不透明的显示器遮挡。因此，用户在使用期间可能感知不到触觉设备。鉴于此，vr显示系统可以利用更复杂和/或更大的设备以渲染触觉体验，而不是将触觉反馈机制隐藏在可穿戴设备或者接地机器人的表面内。这引导了接触式触觉的发展，其中用户可以触摸移动或者改变形状的物体或者表面。
21.产生形状改变设备是机器人系统，其试图针对人类产生形状和表面以供其接触、触摸和操纵，并且因此可以被用于在vr体验中提供接触式触觉体验。形状改变设备也可以被用于ar(增强现实)应用(包括mr(混合现实))以及各种其他触觉反馈应用中的人机交互。为了表达一般形式，形状改变装置可以具有合理地高数量的自由度和将致动转换成一些形式的受约束的表面的机械结构。这种形状改变装置可以被配置为支持全手交互，或者被配置为其他形状因素(例如，用于拇指或者手指上的表面交互)。
22.一种类型的形状改变设备采用铰接的表面的形式，其中二维元件经由铰链连接，当被致动时，使得铰接的表面折叠成不同的形状。另一类型的形状改变设备包括可拉伸的表面和表面内致动器，当被致动时，通过拉伸使表面变形。另一类型的形状改变设备利用销阵列，其中销被致动以形成三维表面的近似。这些形状改变设备中的每个形状改变设备都通过一组分立的元件来表示形状。为了实现合适的高分辨率，这样的设备可以包括密集排列的分立元件(铰链、表面内致动器、销)。然而，每个分立元件可以由单独的电机控制，这随着尺寸的增加而增加了系统的成本、复杂性和维护。尽管这样的设备可以充分地传达大体形状，但是用户在触摸这样的设备时可能会体验到表面不连续性。例如，用户可能感觉到销阵列的销之间的松脱、铰接表面的元件之间的铰接或者表面内致动器之间的间距。
23.进一步的，在形状改变设备表示比形状改变设备更大的虚拟显示对象(例如，大象、汽车等)的形状的实例中，触摸形状改变设备的用户对虚拟显示对象的没有被触摸的任何部分在触觉上是盲的。用户可以通过沿着形状改变设备移动手部来体验虚拟显示对象的其他部分。然而，分立元件(诸如，上下移动的销)可能会对手部沿着形状改变设备滑动产生不良的提示，因为用户将会感觉到销的边缘之间的阶梯式的过渡。
24.为了产生更光滑表面的印象，这样的形状改变设备可以包括在分立元件(销、铰链、致动器等)上拉伸的弹性膜，如上所述。然而，弹性膜不会改变用户通过触觉探索可能感知的分立元件的频率。进一步的，弹性膜可能不能准确地插入形状。相反，弹性膜可以在每个分立元件处快速改变方向，并且线性延伸到下个分立元件。进一步的，当用户在销(或者其他分立元件)之间的位置触摸膜时，弹性可能导致用户的手指使膜变形，这可能模糊由形状改变设备所表达的形状。
25.附加地，各种其他形状改变设备可以操纵可展的表面，其不能内插各种类型的表面。
26.因此，本文公开的示例涉及一种触觉渲染设备，其可以解决形状改变设备的上述
问题。简而言之，所公开的示例利用被配置为由展示拉胀行为的材料形成的形状移位层。该层在本文中也可以被称为拉胀层。拉胀层独立地在两个方向中弯曲，以提供一系列不同的高斯曲率，包括正负高斯曲率，而不是一定在垂直于其表面的力的作用下是易弯的。当一些材料在垂直于施加的拉伸力的方向上变薄时，拉胀材料或者保持其宽度，或者在垂直于施加的拉伸力的方向上变厚，因此具有负的或者零的泊松比。
27.所公开的示例不是使用天然的拉胀材料，而是利用结构工程方法由非拉胀材料形成展示拉胀行为的图案化层。图案化结构被设计以沿二维弯曲和拉伸，并且可以被移动以产生各种表面形状。多个单独地可控制的致动器可以被定位以移动图案化层，从而在二维中协同地改变图案化层的曲率，以产生各种表面形状。图案化层还可以被配置为对触摸具有刚性，同时可以由致动器移动以改变形状。在一些示例中，触觉渲染设备可以在图案化层的表面上包括触觉层，以产生期望的触摸体验。
28.图1示出了被配置为向用户102渲染虚拟现实或者增强现实(例如混合现实)体验的示例显示系统100的方面。显示系统100包括头戴式显示(hmd)设备104和触觉渲染设备106。hmd设备104包括被配置为在用户的视野中显示虚拟图像(由虚线110指示)的近眼显示器108。在一些示例中，近眼显示器108是不透明的，提供了完全沉浸式虚拟现实。在其他一些示例中，近眼显示器108包括透明的显示器，使得现实世界和虚拟图像能够在用户的视野110中被混合，用于增强或者混合现实体验。在hmd设备104中，对虚拟显示图像进行编码的信号经由板上计算设备112发送到近眼显示器108。板上计算设备包括至少一个处理器114和存储器116，其示例将在下文参考图14被描述。hmd设备104还包括使用户102能够体验沉浸式音频的扬声器，并且还可以包括其他输入和/或输出设备。
29.利用布置在hmd设备104中的通信部件，计算设备112可以经由网络被通信地耦合到一个或多个板外计算设备。因此，在一些示例中，用户102所看到的虚拟显示图像可以由非板上计算设备构成和/或渲染，并且无线发送到计算设备112。在其他一些示例中，虚拟显示图像可以在板上合成和渲染。
30.触觉渲染设备106被配置为向用户的手部118提供可遇到的触觉体验。触觉渲染设备106移动拉胀层以模拟所显示的虚拟对象的形状，从而将触觉输出映射到所显示的虚拟图像。在该示例中，hmd设备104显示虚拟狗120，并且还显示用户102经由其真实手部118的移动控制的虚拟手部122。当用户102跨触觉渲染设备106移动其手部118时，触觉渲染设备106基于用户的手部118与虚拟狗120交互的位置处的虚拟狗120的轮廓改变形状，从而“渲染”虚拟狗120的表面形状。由于用户102与触觉渲染设备106所交互的表面是平滑的，所以当用户102跨设备移动其手部118时，用户102不会感觉到触觉渲染设备106的致动器之间的不连续性。在一些情况下，触觉渲染设备106被配置为静止设备，用户跨静止设备移动他们的手部以体验不同的表面形状。在其他实例中，触觉渲染设备106可以被配置为类似于计算机鼠标的可移动设备，用户跨真实世界表面(例如，桌面124)移动，并且触觉渲染设备106的表面根据该移动进行适配。在任何实例中，触觉渲染设备106可以提供对象的连续感觉，使得由手部118感觉到的表面被感知为同一虚拟表面的延续。
31.显示系统100可以使用hmd设备104的坐标系以计算视觉模型和物理模型之间的注册，例如，通过测量触觉渲染设备106的表面上的点以及该表面上的对应虚拟点。由此，刚性的仿射变换可以被计算，以将所显示的视觉形状注册为渲染的物理形状。
32.在一些示例中，显示系统100还可以获得关于与触觉渲染设备106交互的身体部位的位姿(位置和/或方向)和/或运动的信息，其可以被用于控制虚拟手部122的位姿和/或运动。在一些示例中，与hmd设备104集成在一起或者位于其外部的一个或多个图像传感器(深度和/或二维)可以被配置为获取触觉渲染设备106和与触觉渲染设备106交互的身体部位(诸如，手部或者手指)的图像数据。各种分类技术可以被用于标识图像数据中的手部118(或者其他身体部位)。备选地或者附加地，用户可以佩戴与hmd设备104通信地耦合的光学和/或惯性跟踪设备，其可以被用于跟踪身体部位的位姿。在一些实例中，图像数据可以与限定已知位姿和姿势的一个或多个过滤器比较，以确定身体部位是否正在执行已知位姿或者姿势。对应于图像数据中所标识的身体部位的像素或者体素的位置也可以在图像帧之间进行比较，并且与移动阈值进行比较，以确定身体部位是否在图像帧之间移动。进一步的，触觉渲染设备106可以可选地包括感测身体部位和触觉渲染设备106之间的交互的集成传感器(例如，一个或多个电容式触摸传感器)。进一步的，触觉渲染设备106可以可选地包括惯性运动传感器，以跟踪用户对触觉渲染设备106的移动。
33.为了修改由触觉渲染设备106渲染的形状，针对用户环境内的一个或多个虚拟对象的对象信息可以由板上计算设备112、触觉渲染设备106和/或与hmd设备104或者触觉渲染设备106通信的远程计算机维护。对象信息可以包括关于虚拟环境中的每个虚拟对象的位置(绝对和/或相对)、方向和形状的信息。基于身体部分118相对于虚拟显示对象的位姿，可以控制触觉渲染设备106以匹配身体部分118(或者虚拟身体部分122)与虚拟显示对象120交叉或者被预测可能与虚拟显示对象120交叉的位置处的虚拟显示对象的曲率。
34.触觉渲染设备106可以附加地或者备选地被配置为基于触觉渲染设备106在使用环境中的移动(诸如，沿着图1中的桌子124的表面)以修改所表达的形状。例如，桌子124的表面可以利用显示的地形被注册，并且当用户102沿着桌子表面124移动触觉渲染设备106时，触觉渲染设备124可以改变形状以匹配所显示的地形
35.图2描绘了示例触觉反馈系统200，其包括可用作图1中的触觉渲染设备106的触觉渲染设备201。触觉渲染设备201包括展示拉胀行为的图案化层202，以及被配置为赋予图案化层202曲率的机电致动系统204。图案化层202经由材料中所赋予的图案被设计以在两个方向中弯曲和拉伸，而不遵循用户触摸。
36.图案化层202由非拉胀材料形成，该非拉胀材料在结构上被设计成具有类似于天然的拉胀材料的行为，并且因此展示拉胀行为。适合于形成图案化层202的材料的示例包括聚合物、金属和复合材料，其具有能够承受赋予图案的制造过程(例如，激光喷射切割和/或水喷射切割)的韧性和刚性。当未由致动器支撑时，这样的材料也可以被选择以防止下垂。在一个具体示例中，图案化层202包括聚碳酸酯片。进一步的，在一些示例中，图案化层202可以包括导电材料，其可以实现电容触摸感测和/或其他嵌入式感测应用(例如，通过按压图案化层202以操纵虚拟对象的压力感测)。
37.附加地或者备选地除移除过程(经由水喷射、激光切割等进行加工)之外，附加过程可以被用于形成图案化层202。适用于形成图案化层202的示例附加过程包括模制、铸造和/或三维印刷。在任何实例中，图案通过形成图案化层202的材料的整个厚度而被形成，使得形成图案化层202的材料保持连续。这允许图案化层202以弯曲成不可展开的形状。如下文更详细描述的，机电致动系统204中机械固定装置的间距可以影响针对图案化层202所选
择的材料、尺寸和图案。
38.图3描绘了可用的以向非拉胀材料提供拉胀行为的示例图案300(从用户与图2中的图案化层202交互的表面206观察)。图案300是重复的螺旋图案——在该示例中，重复的阿基米德螺旋302——其可以被用于向平板提供双曲率。图案300的空间填充曲线包括重复螺旋302之间的连接304，其可以向甚至更强并且有些不灵活的结构(例如，5-10毫米厚的聚碳酸酯板)提供灵活性。在该示例中，每个螺旋302占据10平方毫米，但是在其他一些示例中，可以包括其他大小或者不同大小。图案300还保持了图案被切割的大部分表面区域，并且因此可以为可选的触觉层提供支撑，这将在下文中详细描述。
39.除图案300之外的各种图案可以被用于形成图案化层202。由于图案提供了图案化层202展示的拉胀行为，因此能够实现该拉胀行为的任何图案或形状可以被使用。示例图案包括包括大量空隙空间的图案，诸如40％到60％体积的空隙空间，其可以允许图案化层202在二维中弯曲。进一步的，在一些示例中，图案包括对称。在任何实例中，经由图案，形成图案化层202的材料获得未图案化的材料中未发现的灵活性和拉伸性。
40.当弯曲时，图案化层202可以在形成图案化层202的材料和图案的空隙空间之间的界面处提高表面特征。为了防止对这些表面特征的感知，如上所述，触觉渲染设备201可以在表面206处包括可选的触觉层，用户在该触觉层处与触觉渲染设备201进行交互。触觉层可以包括可拉伸的并且灵活的结构，该结构可以是连续的或者不连续的。适合用作触觉层的材料的示例包括软弹性材料、织物材料和金属材料(例如，布置在表面206上的多个金属片)。进一步的，在一些示例中，触觉层可以在表面206的不同位置包括不同的材料，以提供不同的触觉体验。例如，在vr/mr/ar应用中，用户可以被导向触摸表面206的不同部分以体验不同的纹理、硬度等。
41.在一些示例中，触觉层包括附着或者以其他方式附接于表面206的材料层。在其他一些示例中，触觉层可以在图案化层202周围被模制、铸造、注射或者以其他方式形成，从而填充或者部分填充空隙空间。在一些示例中，形成触觉层可以包括在图案化层的多个表面上形成触觉层。在一个具体示例中，形成触觉层包括在表面206上模制30a肖氏硬度的硅橡胶，部分固化材料，并且然后在图案化层202的与表面206相对的表面208上模制30a肖氏硬度的硅橡胶。回到图3中所示的示例，图案化材料306可以是光学透明的，而填充物308(例如，填充空隙空间的触觉层)可以是漫反射的。在其他一些示例中，图案化材料和可选的填充剂都可以是光学透明的、不透明的和/或具有任何其他合适的外观。在一些实例中，通过在图案化层的表面(206和/或208)上漆或者通过形成图案化层202和触觉层的索引匹配材料，图案300的分辨力(discernibility)可以被模糊。
42.形成图案化层202的材料的类型和厚度以及图案化层202的图案可以被选择，以获得如下刚度：允许图案化层202形成各种形状同时在致动器接触图案化层202的点之间具有足够的刚性以插入致动器之间的区域。当用户触摸表面206时，根据机电致动系统204的运动，用户可以感知各种类型的单曲率和双曲率。
43.图4描绘了适合用作机电致动系统204的示例机电致动系统400。在k个点接触图案化层的下侧(图2中的208)的数量k的致动器可以被选择，以针对给定应用生成表面的足够词汇，并且使得k个点之间的图案化层的区域能够物理地接近由多个致动器限定的表面。在所描述的示例中，机电致动系统400包括九个致动器402a-402i，其允许触觉渲染设备在二
402d和402f-402i在由将致动器连接到框架404的机械耦合器406限定的平面内旋转。在该示例中，每个周长致动器402a-402d和402f-402i的旋转平面穿过通过中心致动器中心的垂直直线，并且旋转地对称。
49.经由所公开的触觉渲染设备用于渲染三维表面的模拟可以基于，例如，反映物理结构的几何代理。在一些示例中，这样的模拟可以被使用游戏引擎开发。初始简化假设(表面不可以沿着从中心到致动器的径向线延伸)可以被作出，并且控制系统从表面点的目标高度的(3
×
3)矩阵(或者其他大小矩阵，取决于所使用的致动器的数量)开始。在一个虚拟原型中，这些高度通过混合代表简单形状(诸如，碗、山、鞍和圆柱体)的目标高度集来控制。目标致动器长度然后可以被确定，例如，如下。首先，由于中心致动器402e可以被配置为在纯垂直方向上移动，中心致动器402e的致动器长度可以简单地为目标高度。沿框架边缘定位的四个边缘致动器402b、402d、402f、402h然后可以由图7所示的结构设定，其中：
[0050][0051][0052]
并且其中c是中心致动器的长度(以毫米为单位，先前已确定)，h是边缘连接点(例如，球窝接头)从中心跨图案化层的间距(固定在90毫米)，a是致动器从中心跨底座的间距(固定在60毫米)，t是目标高度(以毫米为单位)，并且e是待确定的边缘致动器长度(以毫米为单位)。
[0053]
上述高斯函数基于如上所述首先确定的中心致动器长度c。接下来，四个角致动器402a、402c、402g和402i的长度可以通过类似的方法被确定，其中h和a现在乘以在图4所描绘的示例中，线性致动器各自具有50毫米的范围，并且因此具有130毫米到180毫米的在图案化层上的耦合的长度的范围。
[0054]
在一些示例中，触觉渲染设备可以从远程源接收用于每个致动器表达特定形状的指令。在其他一些示例中，触觉渲染设备可以接收关于待渲染的形状的指令，并且将指定的形状转换成致动器命令，以控制多个致动器协同地表达指定的形状。任何合适的控制电路可以被用于控制多个致动器402a-402i。在一个特定示例中，多个致动器可以由与主计算机(例如，hmd设备或者其他计算设备)通信地耦合的多信道伺服控制器被单独地控制。
[0055]
在使用期间，控制器210可以发送命令，以在相关联的vr、ar或者mr应用的帧速率(例如，90hz)内更新由触觉渲染设备所表达的形状。尽管控制器可能在微小的时间段内接收和执行控制指令，致动器可能需要更长的时间移动到下个位置。因此，在一些实例中，显示系统(例如，显示系统100)可以被配置为当用户“触摸”被观察到或者用户触摸新的虚拟表面被预测到时，预测性地设置触觉渲染设备的初始状态。该预期可以基于，例如，经由眼睛跟踪摄像机所确定的用户的注视方向。一旦用户接触虚拟对象，并且直到用户断开接触，触觉渲染设备可以响应于用户的手部/手指在虚拟对象上的任何连续移动而逐渐改变形状。控制器210还可以被配置为基于手部运动向量、眼睛跟踪和/或其他信息预测所显示的形状的变化。
[0056]
在图2中，图案化层202被致动以表达具有正高斯曲率的山形。图8至图10中示出了可由触觉反馈系统200实现的其他形状的示例。在图8中，触觉反馈系统200致动图案化层
202以表达碗形800，碗形800也具有正高斯曲率。图9中所表达的鞍形900具有负高斯曲率。在图10中，触觉反馈系统200致动图案化层以表达圆柱形1000——也可以由非拉胀行为材料形成的形状。图2和图8至图10中所示的每种形状均由比使用销阵列实现适当的相似的分辨率形状所使用的更少数量的致动元件实现(例如，9个致动器与约1000个销相比)。为了提高通过减少致动元件的数据所提供的成本和可靠性，本文公开的示例性触觉反馈系统提供了表面的连续感觉，因此与分立表面相比，具有潜在的更真实的触摸和感觉。
[0057]
图11示出了流程图，流程图图示操作触觉渲染设备(诸如触觉渲染设备201)的示例方法1100。方法1100可以被实现为由触觉渲染设备的控制器(例如，控制器210)可执行的存储指令。
[0058]
在1102处，方法1100包括接收关于要由触觉渲染设备渲染的形状的信息。在一些示例中，接收信息可以包括从hmd设备接收关于所显示的虚拟对象的形状的信息，如在1104所示。接收信息还可以包括从hmd设备接收关于手部相对于所显示的虚拟对象的位姿的信息，如在1106所示。在其他一些示例中，接收信息可以包括接收指定要对一个或多个致动器进行的调整的致动器命令。
[0059]
基于所接收的信息，方法1100包括，在1108处，控制触觉渲染设备的一个或多个致动器移动触觉渲染设备的图案化层，并且由此在二维中协同地改变图案化层的曲率。在一些示例中，触觉渲染设备的致动器可以包括线性致动器，并且控制一个或多个致动器可以包括改变线性致动器的延伸长度，如在1110所示。
[0060]
前述描述的任何方面均不应当被理解为限制性的，因为许多变化也被考虑。尽管所描绘的图案化层202的大小被设计成支持全手交互，但是在各种示例中，触觉渲染设备也可以包括更大或者更小的形状因素。在一些示例中，触觉渲染设备可以可选地包括致动器层级，以在图案化层的一个或多个部分提供更详细的触觉反馈，例如，提供比手掌更精细的针对指尖的交互。此外，触觉渲染设备可以可选地包括集成的触摸和/或压力传感器，并且可以控制一个或多个致动器以响应于感测到的触摸和/或压力输入来修改形状。
[0061]
尽管所描绘的示例示出了具有可修改表面(图案化层202)的触觉渲染设备，但是触觉渲染设备也可以被配置为具有多个可移动的表面和在对象内部中的致动器的三维对象，诸如，立方体或者球体。作为另一示例，触觉渲染设备可以包括两个相对的图案化层，其被配置为被握在双手之间，以模拟握持虚拟对象或者围绕虚拟对象移动双手的触觉体验。此外，本文所述的触觉渲染设备可以是另一种结构的部件，例如跟随用户的手部在使用环境中移动的机器人手臂。
[0062]
实验结果
[0063]
触觉反馈系统200通过检查用户探索和感知物体曲率的能力被测试。
[0064]
实验1
[0065]
为了验证触觉渲染设备201渲染不同类型对象的能力，一项研究被进行，其中十七名参与者(n＝17)选择了四种形状中的一种(图2中所示的凸山、图8中所示的凸管、图10中所示的凹碗和凹圆柱)。图案化层202的三个不同的曲率水平(曲率半径(r)＝25毫米、10毫米，和5毫米)被测试。当触觉渲染设备201渲染r＝25mm毫米之上的曲率时，参与者具有80％的总体准确性，当曲率是r＝5毫米时，准确性降到42％。
[0066]
成对的佛利德曼分析示出，并非所有测试的形状均被同样地识别(χ2＝13.6，df＝
3，p＝0.033)。参考图12，最可识别的表面是凸山，具有跨所有曲率的75％精度，针对超过10毫米的曲率的精度达到80％。利用邦弗朗尼调整p《0.001的康诺弗(conover)测试，凸山形明显比两个凹形更容易识别。凸山和凸柱之间的识别率没有显著的不同(p＝0.09)。在92％的识别率下，曲率最大为25毫米，凸柱也显示出66％的高准确性分数。这些结果验证了触觉渲染设备作为不同曲率形状的触觉感知的代理的能力。渲染凸形的形状特别容易被识别，这可能部分与人手的解剖形状有关。
[0067]
实验2
[0068]
实验2追求更好地理解触觉渲染设备201的分辨率。参与者在vr使用环境中遭受了强制的配对的测试，在测试中，每个用户选择他们感知展示较高曲率的两种形状中的一种。为了避免与分辨率无关的其他类型的误差，本实验选择了凸山形(在实验1中的最准确地标识的形状)。参与者被渲染在具有不同高度的凸山上。所体验的最低高度是5.5毫米的曲率的半径，并且最引人注目的高度是25毫米的曲率的半径。为了避免参与者的评估存在偏差，完全平坦的形状没有被渲染。
[0069]
在成对比较的每次迭代中，其中一个曲率总是在最小高度(5.5毫米)处。曲线被第一个或者第二个渲染的分配是随机的。如果参与者正确地选择了具有更大曲率的形状，实验将降低即将进行的成对比较的曲线水平。当参与者犯错误时，实验将曲率向上移动三级。参与者总共可以犯三个错误。参与者犯错误的水平被视为参与者的感知阈值。
[0070]
该实验包括三个不同的条件，用于确定哪种形状展示较高的曲率。给定触觉渲染设备201的大小，参与者可以决定用单个手指、多个手指或者全掌触摸表面。为了测试这样的可变性，参与者在以下探索条件下进行了曲率评估，并且使用拉丁方阵进行了平衡：一个手指——参与者仅用他们的食指触摸表面后进行评估；两个手指——参与者使用他们的食指和中指触摸和评估表面曲率；全手——参与者利用全手探索表面。
[0071]
手部的位置使用附接到手腕的无线跟踪设备被跟踪，并由虚拟现实hmd设备跟踪。手指级跟踪不被包括，以减少跟踪不匹配错误，并允许不受阻碍地手动探索触觉渲染设备。参与者观察到虚拟手部与将在腕部移动的条件匹配。
[0072]
计算了由三次尝试中每个参与者达到的平均阈值，结果在图13中被示出。非参数配对康诺弗测试也被进行。利用两个手指进行的探索显示，与使用单个手指或者全手相比，对曲率的检测更差(配对康诺弗测试p＝0.022)。一个手指或者单手的准确性无显著差异(p＝1)。阈值准确性与置信度研究相结合。给定实验设计，认为参与者达到阈值的次数越多，对阈值为实际阈值的置信度就越大。使用非参数配对康诺弗测试，发现全手是最有信心的探索形式(对单个手指p＝0.04，并且对两个手指p＝002)，而参与者对一个手指或者两个手指的阈值没有明显更有信心。
[0073]
视觉控制实验
[0074]
与实验2相结合的对照实验被进行，以确保参与者不能基于虚拟现实中所渲染的视觉形状确定实验1和实验2中所渲染的形状的曲率或者形状。
[0075]
在该对照实验中，参与者不被允许触摸表面，并且仅被要求通过视觉提示进行评估。形状显示的vr设置和渲染是通过多次迭代和引导设计的，目的是尽可能视觉地模糊形状的曲率。因此，在任务期间的评估需要基于触觉输入而不是视觉输入。该控制条件将解释该假设，并且验证在先前的实验中，评估仅基于触摸触觉渲染设备的触觉体验。
[0076]
给定配对测试的非参数性质，配对佛利德曼分析被进行。不同条件之间的显著差异(χ2＝12.9，df＝3，p＝0.004)被发现。结果显示，视觉评估不足以完成曲率任务(实验2)。仅使用视觉提示，阈值仅达到平均15
±
5sd(标准偏差)mm的曲率，与参与者被允许用全手(9
±
2sd mm)、单个手指(8.5
±
1sd mm)和两个手指(9.5
±
3sd mm)探索曲率时所获得的结果相差甚远(在邦弗朗尼调整p《0.002的情况下的配对康诺弗测试)。参与者平均达到1.5次计数的平均阈值。
[0077]
与其他形状改变设备不同，本文所描述的示例显示了形状的平滑表示和形状之间的过渡，而非高频位移或者曲率的突然变化。进一步的，表面方向影响曲率感知。当图案化层在致动位置之间平滑内插时，所公开的示例在局部地正确地渲染曲率。上述实验可以表明，触觉渲染设备的双向曲率即使在很小的曲率下也是可检测的。这些结果还表明，眼睛和手部可能比单独的眼睛更好地确定微小的形状变化，这表明了在利用触觉反馈的各种模拟应用中的潜在用途。
[0078]
在一些实施例中，本文所描述的方法和过程可以被绑定到一个或多个计算设备的计算系统。特别地，这样的方法和过程可以被实现为计算机应用程序或者服务、应用程序接口(api)、库和/或其他计算机程序产品。
[0079]
图14示意性地示出了计算系统1400的非限制性实施例，该计算系统1400可以实施一个或多个上述方法和过程。计算系统1400以简化形式被示出。计算系统1400可以采取一个或多个个人计算机、服务器计算机、平板计算机、家庭娱乐计算机、网络计算设备、游戏设备、移动计算设备、移动通信设备(例如智能电话)和/或其他计算设备的形式。
[0080]
计算系统1400包括逻辑机1402和存储机1404。计算系统1400可以可选地包括显示子系统1406、输入子系统1408、通信子系统1410和/或图14中未示出的其他部件。
[0081]
逻辑机1402包括被配置为执行指令的一个或多个物理设备。例如，逻辑机可以被配置为执行作为一个或多个应用、服务、程序、例程、库、对象、部件、数据结构或者其他逻辑结构的一部分的指令。这样的指令可以被实现为执行任务、实现数据类型、转换一个或多个部件的状态、实现技术效果或者以其他方式达到所期望的结果。
[0082]
逻辑机1402可以包括被配置为执行软件指令的一个或多个处理器。附加地或者备选地，逻辑机可以包括被配置为执行硬件或者固件指令的一个或多个硬件或者固件逻辑机。逻辑机的处理器可以是单核或者多核的，并且在其上执行的指令可以被配置用于顺序、并行和/或分布式处理。逻辑机的单个部件可选地可以分布在两个或者多个单独的设备中，这些设备可以位于远程和/或被配置用于协同处理。逻辑机的各方面可以由配置在云计算配置中的远程可访问的联网计算设备虚拟化和执行。
[0083]
存储机1404包括一个或多个物理设备，其被配置为保存由逻辑机可执行的指令，以实现本文描述的方法和过程。当实施这些方法和过程时，存储机1404的状态可以被转换，例如，以保存不同的数据。
[0084]
存储机1404可以包括可移动和/或内置设备。存储机1404可以包括光学存储器(例如，cd、dvd、hd-dvd、蓝光光盘，等)，半导体存储器(例如，ram、eprom、eeprom，等)，和/或磁性存储器(例如，硬盘驱动器、软驱、磁带驱动器、mram，等)，等等。存储机1404可以包括易失性、非易失性、动态、静态、读/写、只读、随机访问、顺序访问、位置可寻址、文件可寻址和/或内容可寻址设备。
[0085]
应当理解，存储机1404包括一个或多个物理设备。然而，本文所描述的指令的方面也可以通过通信介质(例如，电磁信号、光信号，等)传播，针对有限时间没有由物理设备持有。
[0086]
逻辑机1402和存储机1404的方面可以一起被集成到一个或多个硬件逻辑部件中。例如，这样的硬件逻辑部件可以包括现场可编程门阵列(fpgas)、程序和应用专用集成电路(pasic/asics)、程序和应用专用标准产品(pssp/assps)、片上系统(soc)和复杂可编程逻辑器件(cplds)。
[0087]
术语“程序”和“引擎”可以被用于描述以执行特定功能所实现的计算系统1400的方面。在某些情况下，程序或者引擎可以经由执行存储机1404保存的指令的逻辑机1402来实例化。应当理解，不同的程序和/或引擎可以从相同的应用程序、服务、代码块、对象、库、例程、api、函数等被实例化。同样地，相同的程序和/或引擎可以由不同的应用程序、服务、代码块、对象、例行程序、api、函数等被实例化。术语“程序”和“引擎”可以包括单个或者成组的可执行的文件、数据文件、库、驱动程序、脚本、数据库记录，等。
[0088]
应当理解，本文所使用的“服务”是可以跨多个用户会话可执行的应用程序。服务可以被用于一个或多个系统部件、程序和/或其他服务。在一些实施方式中，服务可以在一个或多个服务器计算设备上运行。
[0089]
当包括显示子系统1406时，显示子系统1406可以被用于渲染由存储机1404保存的数据的可视表示。该视觉表示可以采用图形用户界面(gui)的形式。由于本文所描述的方法和过程改变了存储机所保存的数据，并且因此改变了存储机的状态，显示子系统1406的状态同样可以被转换以可视地表示基础数据的变化。显示子系统1406可以包括一个或多个使用几乎任何类型技术的显示设备。这样的显示设备可以与逻辑机1402和/或存储机1404被组合在共享的外壳中，或者这样的显示设备可以是外围显示设备。
[0090]
当包括输入子系统1408时，输入子系统1408可以包括一个或多个用户输入设备或者与一个或多个用户输入设备接口，诸如，键盘、鼠标、触摸屏或者游戏控制器。在一些实施例中，输入子系统可以包括选定的自然用户输入(nui)部件或者与之接口。这样的部件可以是集成的或者外围的，并且输入动作的转换和/或处理可以在机内或者机外进行。示例nui部件可以包括用于语音和/或语音识别的麦克风；用于机器视觉和/或姿势识别的红外、彩色、立体和/或深度相机；用于运动检测和/或意图识别的头部跟踪器、眼睛跟踪器、加速度计和/或陀螺仪；以及用于评估大脑活动的电场感测部件。
[0091]
可以被配置为将计算系统1400与一个或多个其他计算设备通信地耦合。通信子系统1410可以包括与一个或多个不同通信协议兼容的有线和/或无线通信设备。作为非限制性示例，通信子系统可以被配置为经由无线电话网络、有线或者无线局域网或者广域网进行通信。在一些实施例中，通信子系统可以允许计算系统1400经由，网络(诸如，互联网)向和/或从其他设备发送和/或接收消息。
[0092]
另一示例提供了触觉渲染设备，其包括展示拉胀行为的图案化层和被配置为移动图案化层的多个致动器，每个致动器是单独地可控制的，以在二维中协同的地改变图案化层的曲率。在该示例中，图案化层可以附加地或者备选地包括阿基米德螺旋图案。在该示例中，图案化层可以附加地或者备选地包括金属材料、聚合物材料或者复合材料。在该示例中，图案化层可以附加地或者备选地包括40％到60％体积的空隙空间。在该示例中，触觉渲
染设备可以附加地或者备选地包括填充空隙空间的弹性材料。在该示例中，多个致动器可以附加地或者备选地包括被配置为在图案化层的中心移动图案化层的中心致动器，并且可以附加地或者备选地包括被配置为在图案化层的周长移动图案化层的一个或多个致动器。在该示例中，多个致动器可以附加地或者备选地包括多个线性致动器。在该示例中，一个或多个致动器可以分别在第一端处经由球窝接头附加地或者备选地附接到图案化层。在该示例中，触觉渲染设备可以附加地或者备选地包括在用户与触觉渲染设备交互的表面处被附接到图案化层的触觉层。
[0093]
另一示例提供了触觉反馈系统，包括：触觉渲染设备，其包括展示拉胀行为的图案化层；多个致动器，其被配置为移动图案化层以及附接到图案化层的触觉层，每个致动器是单独地可控制的；以及控制器，被配置为选择性地控制致动器移动图案化层并且赋予图案化层曲率。在这样的示例中，控制器可以附加地或者备选地被配置为从远程计算设备接收控制指令，并且基于控制指令控制致动器。在这样的示例中，控制指令可以附加地或者备选地包括关于要由触觉渲染设备渲染的对象的形状的信息。在这样的示例中，图案化层可以附加地或者备选地由非拉胀材料形成。在这样的示例中，非拉胀材料可以附加地或者备选地包括金属材料、聚合物材料或者复合材料。在该示例中，图案化层可以附加地或者备选地包括40％-60％的空隙空间，并且触觉层可以附加地或者备选地包括填充空隙空间的弹性材料。在这样的示例中，触觉层可以附加地或者备选地包括在用户与触觉渲染设备交互的表面处被附接到图案化层的织物材料。
[0094]
另一示例提供了操作触觉渲染设备的方法，该触觉渲染设备包括展示拉胀行为的图案化层，并且还包括多个致动器，多个致动器是单独地可控的，以协同地改变图案化层的曲率，该方法包括接收关于将由触觉渲染设备渲染的形状的信息，并且基于所接收到的信息，控制触觉渲染设备的一个或多个致动器来移动图案化层，并且由此在二维中改变图案化层的曲率。在这样的示例中，接收信息可以附加地或者备选地包括从头戴式显示设备接收关于所显示的虚拟对象的形状的信息。在这样的示例中，接收信息可以附加地或者备选地包括从头戴式显示设备接收关于手部相对于所显示的虚拟对象的位姿的信息。在这样的示例中，控制一个或多个致动器可以附加地或者备选地包括，针对一个或多个线性致动器中的每个致动器，改变线性致动器的延伸长度。
[0095]
应当理解，本文所描述的配置和/或方法本质上是示例性的，并且这些具体实施例或者示例不应当被认为是限制性的，因为许多变化是可能的。本文所表示的特定例行程序或者方法可以代表任何数量的处理策略中的一个或多个。因此，所图示和/或所描述的各种动作可以以所图示和/或所描述的顺序、以其他顺序、并行或者省略的方式执行。同样，上述过程的顺序可以被改变。
[0096]
本公开的主题包括本文所公开的各种过程、系统和配置以及其他特征、功能、动作和/或属性的所有新颖和非显而易见的组合和子组合，以及其任何和所有等同物。