用于操纵虚拟环境的系统和方法与流程

技术特征：

1.一种用于操纵在虚拟环境内的虚拟对象的系统，包括：

外壳；

第一触摸传感器区域，所述第一触摸传感器区域包括：

第一触摸传感器表面，所述第一触摸传感器表面跨越所述外壳的外部的第一区域延伸；

第一感测电极阵列，所述第一感测电极阵列在基板上被图案化；以及

第一电阻层，所述第一电阻层介于所述第一触摸传感器表面与所述第一感测电极阵列之间、与所述第一感测电极阵列接触、并且包括响应于施加到所述第一触摸传感器表面的力的变化呈现局部电阻变化的材料；

第二触摸传感器区域，所述第二触摸传感器区域包括：

第二触摸传感器表面，所述第二触摸传感器表面跨越所述外壳的外部的与所述第一区域相对的第二区域来延伸；

第二感测电极阵列；以及

第二电阻层，所述第二电阻层介于所述第二触摸传感器表面与所述第二感测电极阵列之间、与所述第二感测电极阵列接触并且包括所述材料；

控制器，所述控制器耦合到所述外壳并被配置为：

在扫描周期期间扫描所述第一感测电极阵列和所述第二感测电极阵列；

基于所述第一感测电极阵列中的感测电极的子集的电阻值的改变，检测在所述第一触摸传感器表面上的第一定位处的第一力大小的第一输入；

基于所述第二感测电极阵列中的感测电极的子集的电阻值的改变，检测在所述第二触摸传感器表面上的第二定位处的第二力大小的第二输入；

对于所述扫描周期生成限定所述第一输入的所述第一定位和所述第一大小以及所述第二输入的所述第二定位和所述第二大小的触摸图像。

2.根据权利要求1所述的系统：

其中，所述第一感测电极阵列包括感测电极和驱动电极对的集合；

其中，所述第一电阻层响应于在感测电极和驱动电极对的子集上对所述第一触摸传感器表面施加力而呈现在所述感测电极和驱动电极对的子集上的电接触电阻的变化；以及

其中，所述控制器基于在所述感测电极和驱动电极对的子集中的感测电极和驱动电极上测量的电阻的改变来检测在所述第一触摸传感器表面上的所述第一输入，并且基于在所述感测电极和驱动电极对的子集中的感测电极和驱动电极上测量的电阻的改变的大小来确定所述第一输入的力大小。

3.根据权利要求1所述的系统，其中，所述外壳限定圆柱形节段；并且其中所述第一触摸传感器表面和所述第二触摸传感器表面包括跨越所述外壳的圆柱形表面的连续的触摸传感器表面。

4.根据权利要求1所述的系统，其中，所述第一触摸传感器表面限定在所述外壳的第一侧上的第一平面区域，并且其中所述第二触摸传感器表面限定在所述外壳的与所述外壳的第一侧相对的第二侧上的第二平面区域。

5.根据权利要求1所述的系统，还包括计算机系统，所述计算机系统被配置为：

接收来自所述控制器的与一系列采样周期相对应的一系列触摸图像；

跨所述一系列触摸图像跟踪所述第一输入和所述第二输入；以及

跨所述一系列触摸图像将所述第一输入和所述第二输入的力大小的增加、所述第一输入的第一定位的向上移位以及所述第二输入的第二定位的向上移位解释为在所述外壳的未感测表面上的第三输入，所述未感测表面在所述第一触摸传感器表面和所述第二触摸传感器表面之上并且基本上垂直于所述第一触摸传感器表面和所述第二触摸传感器表面。

6.根据权利要求5所述的系统，其中，所述计算机系统远离所述外壳；并且还包括布置在所述外壳内并被配置为将所述一系列触摸图像发送到所述计算机系统的发射器。

7.根据权利要求5所述的系统，其中，所述计算机系统基于所述第一输入和所述第二输入的力大小、所述第一输入的所述第一定位的向上移位的大小、以及所述第二输入的所述第二定位的向上移位的大小，估计所述外壳的所述未感测表面上的所述第三输入的第三力大小。

8.根据权利要求1所述的系统，还包括套筒，所述套筒限定被配置为暂时地容纳所述外壳的容器、限定超出所述容器的外表面并且被配置为当所述外壳安装在所述容器中时将所述外表面上的力传递到所述第一触摸传感器表面中。

9.根据权利要求8所述的系统，其中，所述套筒限定手持人体工学覆盖物；并且所述系统还包括第二套筒，所述第二套筒限定被配置成暂时地容纳所述外壳的第二容器、限定超出所述第二容器的第二外表面、被配置为当所述外壳安装在所述第二容器中时将所述第二外表面上的力传递到所述第一触摸传感器表面中，以及限定对应于在虚拟环境内的虚拟工具的工具的形式。

10.根据权利要求8所述的系统，其中，所述套筒包括：

第一硬度的刚性插入物；以及

小于所述第一硬度的第二硬度的柔性基板，所述柔性基板插入在所述容器与所述刚性插入物之间、被配置为响应于在所述刚性插入物上朝向所述容器施加力而变形，并且被配置为将施加到所述刚性插入物的力传递到所述第一触摸传感器表面中。

11.根据权利要求1所述的系统，其中，所述第一触摸传感器区域包括所述第一感测电极阵列，并且所述第二触摸传感器区域包括在所述基板上被图案化的所述第二感测电极阵列；并且其中所述基板被组装成在所述外壳内的三维结构以面对所述第一触摸传感器表面和所述第二触摸传感器表面。

12.根据权利要求1所述的系统，还包括从所述外壳延伸且被配置为将所述外壳耦合到用户的手的条带。

13.根据权利要求1所述的系统，还包括光学发射机，所述光学发射机耦合到所述外壳并且被配置为广播由外部跟踪系统可检测的光信号以确定所述外壳在真实空间内的位置和取向。

14.一种用于操纵在虚拟环境内的虚拟对象的方法，包括：

接收来自手持设备的触摸图像，所述触摸图像包括到集成到所述手持设备中的触摸传感器中的离散输入的表示；

从所述触摸图像中提取在所述手持设备的第一侧上的第一定位处的第一输入的第一力大小；

从所述触摸图像中提取在所述手持设备的第二侧上的第二定位处的第二输入的第二力大小，所述手持设备的第二侧与所述手持设备的第一侧相对；

将所述第一输入和所述第二输入转换成手势；

基于所述第一力大小为所述手势分配大小；以及

基于所述手势的类型和大小来操纵在虚拟环境内的虚拟对象。

15.根据权利要求14所述的系统：

还包括从所述触摸图像中提取在所述手持设备的所述第二侧上的第三定位处的第三输入的第三力大小；

其中，将所述第一输入和所述第二输入转换成所述手势包括：

基于所述第一力大小接近所述第二力大小与所述第三力大小之和，将所述第一输入标记为预期输入；

丢弃所述第二输入和所述第三输入；以及

生成对应于分配给所述手持设备的包括所述第一定位的区域的命令的手势；以及

其中，操纵在所述虚拟环境内的所述虚拟对象包括根据所述命令将所述虚拟对象转换到与所述第一力大小相关的程度。

16.根据权利要求14所述的系统，

其中，提取所述第一输入的所述第一力大小和所述第一定位以及所述第二输入的所述第二力大小和所述第二定位包括跨一系列触摸图像跟踪所述第一输入和所述第二输入；

其中，将所述第一输入和所述第二输入转换为手势包括：

将所述第一输入和所述第二输入的力大小的增加、所述第一输入的所述第一定位的向上移位以及所述第二输入的所述第二定位的向上移位解释为在所述手持设备的未感测表面上的第三输入，所述未感测表面在所述手持设备的所述第一侧和所述第二侧之上并且基本上垂直于所述手持设备的所述第一侧和所述第二侧；

将所述第三输入标记为所述手持设备上的预期输入；

丢弃所述第一输入和所述第二输入；以及

生成对应于分配给所述手持设备的包括所述未感测表面的区域的命令的手势；

其中，向所述手势分配大小包括基于所述第一输入和所述第二输入的力大小、所述第一输入的所述第一定位的向上移位的大小、以及所述第二输入的所述第二定位的向上移位的大小来向所述外壳的所述未感测表面上的所述第三输入分配第三力大小；以及

其中，操纵在所述虚拟环境内的所述虚拟对象包括响应于所述第三力大小超过阈值力大小而根据所述命令选择所述虚拟对象。

17.根据权利要求14所述的系统：

其中，将所述第一输入和所述第二输入转换为所述手势包括基于所述第一定位和所述第二定位的通过所述手持设备的同轴接近度来生成抓握手势；

其中，向所述手势分配大小包括将与所述第一力大小和所述第二力大小之和相关的抓握大小写入所述手势；以及

其中，操纵在所述虚拟环境内的所述虚拟对象包括根据所述手势的所述抓握大小将虚拟工具耦合到所述虚拟对象。

18.根据权利要求17所述的系统：

还包括跟踪所述手持设备在真实空间内的位置；

其中，操纵在所述虚拟环境内的所述虚拟对象包括：

当所述第一输入的所述第一力大小和所述第二输入的所述第二力大小之和超过上限阈值力大小时，根据所述手持设备在真实空间内的位置的改变来在所述虚拟环境内移动所述虚拟对象和所述虚拟工具；

响应于所述第一输入的所述第一力大小与所述第二输入的所述第二力大小之和下降到低于下限阈值力大小，在所述虚拟环境内将所述虚拟工具与所述虚拟对象分离；以及

响应于所述第一输入的所述第一力大小与所述第二输入的所述第二力大小之和落入在所述上限阈值力大小和所述下限阈值力大小之间的力大小范围内，根据摩擦模型在所述虚拟环境内相对于所述虚拟工具来滑动所述虚拟对象。

19.根据权利要求14所述的系统，

其中，提取所述第一输入的所述第一力大小和所述第一定位以及所述第二输入的所述第二力大小和所述第二定位包括：

识别所述触摸图像中的离散输入区域的集合；以及

将所述离散输入区域的集合中的每个离散输入区域标记为手的手掌、第一指、第二指、第三指、第四指和第五指中的一者；

其中，将所述第一输入和所述第二输入转换成所述手势包括基于所述离散输入区域的集合中的每个离散输入区域的定位和标记来生成限定虚拟手模型的每个虚拟手指的内收和外展位置的手势；

其中，向所述手势分配大小包括基于所述离散输入区域的集合中的每个离散输入区域的力大小以所述虚拟手模型的每个虚拟手指的屈曲的大小来增强所述手势；以及

其中，操纵在所述虚拟环境内的所述虚拟对象包括根据所述手势中限定的所述内收和外展位置以及屈曲的大小来在所述虚拟环境中转换所述虚拟手模型。

20.根据权利要求14所述的系统，其中，将所述第一输入和所述第二输入转换为所述手势包括将所述第一输入和所述第二输入转换为与暂时安装在所述手持设备上的套筒覆盖物相对应的类型的手势。

21.根据权利要求14所述的系统，

还包括从所述触摸图像中提取在所述手持设备的所述第二侧上的第三定位处的第三输入的第三力大小；

其中，将所述第一输入和所述第二输入转换为所述手势包括：根据所述手持设备的所述第二侧上的所述第二定位和所述第三定位之间的、跨越在所述手持设备的所述第一侧上的所述第一定位的横向分离来生成弯曲手势；

其中，向所述手势分配大小包括基于所述第一力大小、所述第二力大小和所述第三力大小将弯矩的大小分配给所述手势；以及

其中，操纵在所述虚拟环境内的所述虚拟对象包括根据分配给所述手势的所述弯矩虚拟地弯曲所述虚拟对象。

22.一种用于操纵在虚拟环境内的虚拟对象的方法，包括：

在第一时间处确定触摸传感器在真实空间内的第一位置，所述触摸传感器包括触摸传感器表面；

基于在所述第一时间处所述触摸传感器在真实空间内的所述第一位置，在通过在所述触摸传感器表面的区域上的输入可操控的所述虚拟环境内界定虚拟对象的虚拟表面；

生成第一力矢量，所述第一力矢量包括与第一输入在所述触摸传感器表面上的力大小相关的大小和与在所述第一时间处所述触摸传感器在真实空间内的取向相关的方向；

基于所述触摸传感器表面上的所述第一输入的第一定位和所述触摸传感器在真实空间内的所述第一位置来在所述虚拟环境内定位所述第一力矢量的原点；以及

根据所述第一力矢量来操纵所述虚拟环境内的所述虚拟对象的所述虚拟表面。

23.根据权利要求22所述的方法，还包括将表示在所述虚拟环境内的所述虚拟对象的所述虚拟表面的操纵的一系列的数字帧提供给虚拟现实头戴设备。

24.根据权利要求22所述的方法，

其中，在所述虚拟环境内定位所述第一力矢量的原点包括将所述第一输入在所述触摸传感器表面上的所述第一定位投影到所述虚拟表面的子区域上；以及

其中，操纵在所述虚拟环境内的所述虚拟表面包括：

在所述虚拟环境内将表示包括所述触摸传感器的手持设备的虚拟工具虚拟地耦合到所述虚拟表面的所述子区域；

在所述虚拟环境内将所述虚拟工具的轴定向到所述第一力矢量的方向；以及

根据所述第一力矢量的大小将所述虚拟工具耦合到所述虚拟对象。

25.根据权利要求24所述的方法，

其中，根据所述第一力矢量的大小将所述虚拟工具对接到所述虚拟对象上包括将所述虚拟工具在所述虚拟表面中按下到与所述第一力矢量的大小相关的深度；和

所述方法还包括：

在所述第一时间之后的第二时间处，确定所述触摸传感器在真实空间内的第二位置；

生成第二力矢量，所述第二力矢量包括与移动到所述触摸传感器表面上的第二定位的所述第一输入的力大小相关的大小和与在所述第二时间处所述触摸传感器在真实空间内的取向相关的方向；

基于所述第一输入的所述第二定位和所述触摸传感器在真实空间内的所述第二位置来在所述虚拟环境内定位所述第二力矢量的原点；

将所述第一输入在触摸传感器表面上的所述第二定位投影到所述虚拟表面的第二子区域上；

将所述虚拟工具的所述轴定向到所述第二力矢量的方向；

在与所述第一定位和所述第二定位之间的距离相关的所述虚拟表面的长度上拖动所述虚拟工具；以及

根据所述第二力矢量的大小在所述虚拟表面的所述长度上使所述虚拟对象变形。

26.根据权利要求22所述的方法，其中，界定所述虚拟对象的所述虚拟表面包括：根据所述触摸传感器在真实空间内的位置和取向将与所述触摸传感器表面的平面区域对应的矩形参考边界投影到三维虚拟对象的虚拟表面上；并且通过对所述触摸传感器的操纵并通过在所述触摸传感器表面上的输入来实现对由所述矩形参考边界在所述虚拟对象上的投影所界定的所述虚拟表面的控制。

27.根据权利要求26所述的方法，还包括：

响应于所述触摸传感器在真实空间内相对于用户在第一方向上的移动，增加所述矩形参考边界的比例；以及

响应于所述触摸传感器在真实空间内在与所述第一方向相对的第二方向上的移动，减小所述矩形参考边界的比例。

28.根据权利要求22所述的方法：

其中，在所述虚拟环境内定位所述第一力矢量的原点包括将所述第一力矢量投影到所述虚拟对象的所述虚拟表面上的点上；以及

其中，操纵在所述虚拟环境内的所述虚拟表面包括根据在所述第一力矢量的方向上作用于所述虚拟表面上的所述点上的所述第一力矢量的大小而在所述虚拟环境内在三维中移动所述虚拟对象。

29.根据权利要求28所述的方法，其中，在所述虚拟环境内在三维中移动所述虚拟对象包括基于与所述虚拟对象相关联的运动模型在所述虚拟环境内在三维中移动所述虚拟对象并根据所述第一力矢量的大小和方向暂时地使所述虚拟对象的接近所述点的所述虚拟表面变形。

30.根据权利要求22所述的方法，还包括：

在所述第一时间之前的初始时间处，提示用户向所述触摸传感器表面施加主观定性值的力；

记录响应于所述提示而施加到所述触摸传感器表面的初始力的大小；以及

基于所述初始力的大小来缩放所述第一力矢量的大小。

31.根据权利要求22所述的方法，其中，确定在所述第一时间处所述触摸传感器在真实空间内的所述第一位置包括在所述第一时间处：

在真实空间中对包括所述触摸传感器表面和布置在所述触摸传感器表面下方的感测元件阵列的手持设备进行扫描；以及

基本上在所述第一时间处向所述手持设备查询所述触摸传感器表面上的每个离散输入区域的横向位置、纵向位置和力大小，所述每个离散输入区域的力大小在由所述感测元件阵列可感测的力大小的范围内。

32.根据权利要求31所述的方法，其中，生成所述第一力矢量包括：在基本上所述第一时间处将与在所述触摸传感器表面上的峰值力大小相关的虚拟大小写到所述第一力矢量；其中，定位所述第一力矢量的原点包括基于在所述触摸传感器表面上的所述峰值力大小的定位来定位所述第一力矢量在所述虚拟表面上的原点；并且其中，操纵所述虚拟对象的所述虚拟表面包括基于所述第一力矢量的所述虚拟大小来修改所述虚拟表面的靠近所述第一力矢量的原点的表面几何形状。

33.根据权利要求22所述的方法，还包括：

在所述触摸传感器处，基本上在所述第一时间处检测在所述触摸传感器表面上的所述第一定位处的所述第一输入；

在所述触摸传感器处，基本上在所述第一时间处检测与在所述触摸传感器表面上偏离所述第一输入的第二定位处的第二输入；

响应于所述第二输入相对地朝向所述第一输入移动，将所述第一输入和所述第二输入标记为抓握输入；

基于所述触摸传感器的所述第一位置在所述虚拟环境内靠近所述虚拟对象定位虚拟工具；

基于在所述触摸传感器表面上所述第一输入的所述第一定位、所述第二输入的所述第二定位以及所述第一力矢量的方向，将与所述虚拟工具邻接的两个虚拟元件放置在所述虚拟对象的相对侧上；以及

根据所述第一力矢量的大小经由所述两个虚拟元件将所述虚拟对象耦合到所述虚拟工具。

34.根据权利要求33所述的方法：

其中，在所述虚拟环境内定位所述虚拟工具包括：根据所述触摸传感器表面的所述第一位置，在所述虚拟环境内将包括虚拟拇指和虚拟食指的虚拟手定位在靠近所述虚拟对象的定位处；

其中，将所述两个虚拟元件放置在所述虚拟对象的相对侧上包括：在所述虚拟环境内，将所述虚拟拇指元件与所述第一力矢量的方向和原点对齐，将所述虚拟拇指定位在所述虚拟对象的第一侧上，以及将所述虚拟食指定位在所述虚拟对象的相对侧上；以及

其中，经由所述两个虚拟元件将所述虚拟对象耦合到所述虚拟工具包括利用与所述第一输入的力大小相关的虚拟抓握力在所述虚拟拇指与所述虚拟食指之间虚拟地抓握所述虚拟对象。

35.根据权利要求33所述的方法，其中，操纵在所述虚拟环境内的所述虚拟表面包括：

在所述第一输入的力大小和所述第二输入的第二力大小保持在阈值力大小之上时，根据所述触摸传感器在真实空间内的位置的改变来在所述虚拟环境内移动所述虚拟对象和所述虚拟工具；以及

响应于所述第一输入的力大小下降到所述阈值力大小以下而在所述虚拟环境内将所述虚拟工具与所述虚拟对象分离。

36.根据权利要求35所述的方法，其中，将所述虚拟工具与所述虚拟对象分离包括：响应于所述第一输入的力大小下降到与所述虚拟对象的虚拟重量相关的阈值力大小以下，在所述虚拟环境内将所述虚拟工具与所述虚拟对象分离。

37.一种用于操纵在虚拟环境内的虚拟对象的方法，包括：

跟踪触摸传感器在真实空间内的位置，所述触摸传感器包括触摸传感器表面；

基于所述触摸传感器在真实空间中的所述位置在所述虚拟环境内在三维中全局地定位虚拟对象；

根据输入在所述触摸传感器表面上移动的轨迹在所述虚拟环境内沿着第一轴和第二轴局部地平移所述虚拟对象，所述第一轴与所述触摸传感器表面的宽度相关，并且所述第二轴垂直于所述第一轴并且与所述触摸传感器表面的高度有关；以及

根据所述输入在所述触摸传感器表面上的力大小在所述虚拟环境内沿着第三轴局部地平移所述虚拟对象，所述第三轴垂直于所述第一轴和所述第二轴并且与所述触摸传感器表面的深度有关。

38.根据权利要求37所述的方法，其中，跟踪所述触摸传感器的位置包括：在真实空间中对手持设备进行扫描，所述手持设备包括所述触摸传感器表面以及布置在所述触摸传感器表面下方的感测元件阵列；以及向所述手持设备查询在所述触摸传感器表面上的离散输入区域的横向位置、纵向位置和力大小，所述离散输入区域的力大小在由所述感测元件阵列可感测的力大小的范围内。

39.根据权利要求37所述的方法，其中，在所述虚拟环境内沿着所述第三轴平移所述虚拟对象包括：

响应于所述输入的力大小超过阈值力大小，在所述虚拟环境中在第一方向上将所述虚拟对象移动第一距离，其中，所述第一距离与在所述力大小与所述阈值力大小之间的差值相关；以及

响应于所述阈值力大小超过所述输入的力大小，在所述虚拟环境中在与所述第一方向相反的第二方向上将所述虚拟对象移动第二距离，其中，所述第二距离与在所述输入的力大小与所述阈值力大小之间的差值相关。

40.根据权利要求37所述的方法，其中，在所述虚拟环境内在三维中全局地定位所述虚拟对象包括：根据所述触摸传感器在真实空间内的位置和取向的改变，在所述虚拟环境内平移且旋转所述虚拟对象；并且其中，在所述虚拟环境内沿着所述第三轴平移所述虚拟对象包括：在与在所述触摸传感器表面上的所述输入的位置对应的定位处、且以与在所述触摸传感器表面上的所述输入的力大小相关的程度使所述虚拟对象的表面局部地变形。

41.根据权利要求40所述的方法：

其中，在所述虚拟环境内在三维中全局地定位所述虚拟对象包括：根据所述触摸传感器在真实空间内的位置和取向的改变，在所述虚拟环境内平移且旋转包括虚拟手的所述虚拟对象；

其中，在所述虚拟环境内沿着所述第三轴平移所述虚拟对象包括：沿所述第三轴在所述虚拟手上将虚拟手指局部地移动与在所述触摸传感器表面上的所述输入的力大小对应的距离；以及

其中，在所述虚拟环境内沿着所述第一轴和所述第二轴局部地平移所述虚拟对象包括：根据所述输入在所述触摸传感器表面上的轨迹，沿所述第一轴且沿所述第二轴在所述虚拟手上平移所述虚拟手指。