从触摸表面设备向虚拟现实设备的输入的制作方法

背景技术：

虚拟现实(vr)系统是允许用户体验人工世界的可穿戴的交互系统。用户可以通过vr系统的显示器在视觉上看到计算机生成的世界。vr系统可以提供娱乐、模拟等。例如，人工世界可以是用于娱乐的视频游戏的一部分。在另一个示例中，vr世界可以是模拟，以对员工进行公司环境中的程序或过程的培训。

附图说明

图1是具有本公开的触摸表面设备的虚拟现实系统的示例的框图；

图2示出了本公开的虚拟现实系统的框图；

图3示出了本公开的虚拟现实系统的虚拟现实显示器中的触摸表面设备的示例显示；

图4是用于将虚拟现实设备连接到触摸表面设备以从触摸表面设备接收输入的示例方法的流程图；以及

图5是存储有由本公开的处理器执行的指令的示例非暂态计算机可读存储介质的框图。

具体实施方式

本文描述的示例提供了可以连接到触摸表面设备并从触摸表面设备接收输入的虚拟现实(vr)系统。如上所述，vr系统是允许用户体验人工世界的可穿戴的交互系统。用户可以通过vr系统的显示器在视觉上看到计算机生成的世界。

在某些实例中，在vr系统的人工世界中，使用触摸屏设备提供输入可以比使用手势更有效。但是，当用户佩戴vr系统的头戴式显示器(hmd)时，用户可能无法看到现实世界的周围环境(可能包括触摸屏设备)。

本文的示例提供了一种vr系统，当用户参与vr系统的人工世界时，该vr系统可用于自动定位附近的触摸表面设备。因此，用户可以在vr系统的人工世界中定位触摸屏设备，自动连接到触摸屏设备，并使用触摸屏设备提供输入。换句话说，用户不需要移除vr系统的hmd即可找到并连接到触摸屏设备。

图1示出了本公开的vr系统100的框图。在一个示例中，vr系统100可以包括头戴式显示器(hmd)102、手戴式接口104和触摸屏设备106。vr系统100可以包括处理器108，该处理器108可以经由有线或无线连接通信地耦接至手戴式接口104。在一个示例中，处理器108可以位于hmd102的外部。在一个示例中，如图1所示，处理器108可以被集成为hmd102的部分。如下所述，处理器108可以执行存储在存储器中的各种指令和/或功能。

如上所述，有时使用触摸屏设备可以是比经由手戴式接口104使用手势更准确的向hmd102提供输入的方式。然而，当hmd102是激活的并且以虚拟现实(vr)模式在显示器112上显示计算机生成的人工世界时，用户可能无法看到触摸屏设备106位于何处。

在一个示例中，触摸屏设备106可以具有可由hmd102和/或手戴式接口104检测到的标记120。当激活vr模式时，除了标记120之外，房间中的其他对象都不会出现在显示器112中。

在一个示例中，标记120可以是可以由耦接至hmd102的相机110(例如，红、绿、蓝(rgb)摄像机、红外相机等)检测到的预定义的动态标记。例如，用户可以使用hmd102环视房间，以查看预定义的动态标记是否出现在显示器112中。与静态或固定代码相反，预定义的动态标记可以是不断变化的标记或代码。预定义的动态标记的形状可以周期性地改变，预定义的动态标记的颜色可以周期性地改变，预定义的动态标记内的代码可以周期性地改变，等等。

在一示例中，标记120可以是特定波长的光的发射。例如，相机110可以是红外相机，并且可以检测由触摸屏设备106发射的人眼不可见光的红外波长，从而不会分散vr系统100的非用户的注意力。光的红外波长可以允许vr系统100的非用户将触摸屏设备106用作传统设备，同时允许相机110定位触摸屏设备106。可以在显示器112上示出光的红外波长，使得用户可以朝触摸屏设备106移动。

在一示例中，触摸屏设备106可以向vr系统100的处理器108注册。因此，vr系统100可以知道触摸屏设备106的显示器的尺寸。hmd102或手戴式接口104可以发射信号以唤醒触摸屏设备106。标记120可以是触摸屏设备106的显示器的辉光。然后，相机110可以通过搜索从屏幕发出的光来识别触摸屏设备106，该屏幕具有与向vr系统100注册的触摸屏设备106相同的尺寸。

在一个示例中，手戴式接口104可以用于在没有标记120的情况下定位触摸屏设备106。在一个示例中，手戴式接口104可以包括发射器114。发射器114可以是广播无线信号的无线发射器。

当触摸屏设备106接收无线信号时，触摸屏设备106可以发送由接收器116接收的响应信号。接收器116可以是从触摸屏设备106接收响应信号的无线接收器。这样的无线链路的示例可以包括蓝牙、射频识别(rfid)、近场通信(nfc)等。在一个示例中，可以基于从触摸屏设备106接收响应信号的时间来计算到触摸屏设备106的距离。当接收到响应信号时，可以在显示器112中示出触摸屏设备106的形象化符号(avatar)。随着用户进一步远离或靠近触摸屏设备106，该形象化符号可以变得更小或更大。

在一个示例中，手戴式接口104可以包括触觉反馈118。触觉反馈118可以是当手戴式接口104位于触摸屏设备106上方或预定距离(例如几英寸)内时提供反馈(例如，振动或嗡嗡声)的部件。在一示例中，触觉反馈的强度可以变化并且与检测到的设备接近度成比例。因此，当触觉反馈118提供恒定反馈时，用户可以定位并抓住触摸屏设备106。

在一示例中，在用户完成使用触摸屏设备106之后，用户可以将触摸屏设备106放置在某个位置。vr系统100可以记住触摸屏设备106被放置的位置，使得下次用户想要定位和使用触摸屏设备106时，可以更快地定位触摸屏设备106。

一旦定位触摸屏设备106，就可以拿持触摸屏设备106。相机110可以用于检测触摸屏设备106的取向。在一示例中，触摸屏设备106可以具有可以检测触摸屏设备106的取向的传感器。触摸屏设备106的取向可以被传送至处理器108用于显示。在触摸屏设备106被定位，由用户拿持并且检测到取向之后，触摸屏设备106可以通信地耦接至hmd102。触摸屏设备106还可以以检测到的取向显示在计算机生成的人工世界中，如下面进一步详细讨论的。然后，触摸屏设备106可以用于向显示器112上显示的计算机生成的人工世界提供输入。

图2示出了vr系统200的框图。vr系统200可以包括与图1所示的vr系统100类似的部件。在一个示例中，hmd102可以通信地耦接至处理器108。当hmd102以vr模式运行时，hmd102可以显示计算机生成的人工世界。换言之，当用户穿着hmd102并在vr模式下与计算机生成的人工世界互动时，用户可能无法看到他或她的周围环境。

处理器108还可以通信地耦接至手戴式接口104。如上所述，处理器108可以经由有线或无线连接与手戴式接口104通信。手戴式接口104可以被戴在用户的手的背部周围，以向处理器108提供运动检测、姿势检测等。

处理器108也可以通信地耦接至无线通信接口202。无线通信接口202可以建立和触摸屏设备106的无线连接204。然后，处理器108可以通过无线连接204从触摸屏设备106接收输入。

在一个示例中，如上所述，触摸屏设备106可以向由处理器108执行的vr应用程序注册。在一个示例中，与用户相关联或由用户拥有的多个不同的触摸屏设备106可以被注册到vr系统100。例如，用户可以有在计算机生成的人工世界中使用的触摸屏电话和触摸屏平板设备。

除了了解触摸屏设备106的尺寸之外，该注册过程还可用于在以hmd102的vr模式工作的触摸屏设备106上下载应用程序。例如，当触摸屏设备106被定位时，该应用可以允许触摸屏设备106自动建立与处理器108的无线连接204。

该应用程序还可以允许触摸屏设备106追踪显示器的哪些位置(例如，x-y坐标)被触摸并将位置信息发送到处理器108。处理器108然后可以识别在计算机生成的人工世界中显示的触摸屏设备106的形象化符号上显示的触摸输入。触摸输入可以与功能相关联，并且可以在hmd102的vr模式期间在计算机生成的人工世界中执行该功能。

图3示出了vr系统100的hmd102中的触摸屏设备106的形象化符号306的示例显示器112。例如，在定位了触摸屏设备106并且接收到用户正在握住触摸屏设备106的指示之后，显示器112可以示出触摸屏设备106的形象化符号306。形象化符号306可以在用户握住触摸屏设备106的取向上示出触摸屏设备106。形象化符号306还可以示出图形用户界面(gui)308的触摸输入310、312和314。

形象化符号306的尺寸可以类似于触摸屏设备106的尺寸。gui308的大小可以类似于将在触摸屏设备106上显示的gui的大小。触摸输入310、312和314的数量和大小可以是触摸屏设备106的大小或尺寸的函数。

如图3所示，触摸屏设备106可以被驱动并且是激活的，但是显示空白屏幕。换言之，触摸屏设备106尽管被激活并连接到hmd102，但是可能不显示任何信息或gui。在一些示例中，触摸屏设备106可以是没有显示器的触摸屏设备。由于触摸屏设备106不显示任何信息，因此可以与vr系统100一起使用没有显示器的触摸屏设备。

然而，在示出计算机生成的人工世界的显示器112中，形象化符号306可以显示具有触摸输入310、312和314的gui308。应当注意，尽管在图3中示出了三个触摸输入，但是，可以在形象化符号306中显示任意数量的触摸输入。在计算机生成的人工世界中，用户可能想要选择触摸输入310。用户可以触摸触摸屏设备106上与形象化符号306中的触摸输入310的位置相关联的位置。触摸屏设备106可以检测触摸并且记录被触摸的位置。可以经由无线连接204将该位置发送到hmd102的处理器108。

在一个示例中，触摸屏设备106可以显示与由触摸屏设备106执行的应用或操作系统相关联的图像。触摸屏设备106上的图像可以被发送到处理器108以在显示器112上显示。因此，具有触摸输入310、312和314的gui308可以是在触摸屏设备106上显示的内容。换言之，显示器112可以显示由触摸屏设备106实际显示的内容。这可以允许用户在计算机生成的人工世界中使用触摸屏设备106时在触摸屏设备106上查看消息、通知等。

处理器108可以基于从触摸屏设备106接收的位置信息来确定选择了哪个触摸输入。例如，处理器108可以基于从触摸屏设备接收的位置信息确定选择了触摸输入310。

然后，处理器108可以确定与触摸输入310相关联的功能。例如，触摸输入310、312和314可以与可以在计算机生成的世界中执行的不同功能相关联。例如，计算机生成的世界可能是建筑模拟。每个触摸输入310、312和314可以是触摸输入，以使用不同的工具、使用不同的车辆、构建不同的结构等。触摸输入310可以与拆除结构的功能相关联。处理器108可以确定触摸输入310被选择以拆除一个结构。处理器108然后可以提示用户在计算机生成的人工世界中选择结构，并基于触摸输入310的选择而拆除选择的结构。

应当注意，输入310、312和314可以与不同应用中的其他功能相关联。例如，计算机生成的人工世界可以是视频游戏，旅行模拟器等，并且输入310、312和314可以在不同的计算机生成的人工世界中执行不同的功能。

因此，vr系统100可以允许用户在使用hmd102的同时定位触摸屏设备106。因此，用户不需要停用vr模式并移除hmd102来定位触摸屏设备106。另外，触摸屏设备106可以连接到hmd102，并用于在计算机生成的人工世界中提供触摸输入。例如，触摸屏设备106的形象化符号306可以被显示在计算机生成的人工世界中，并且被用来与计算机生成的人工世界交互或执行不同的功能。

图4示出了用于将虚拟现实设备连接至触摸表面设备以从触摸表面设备接收输入的示例方法400的流程图。在一个示例中，方法400可以由虚拟现实系统100或图5所示的并在下文所述的装置500执行。

在框402处，方法400开始。在框404处，方法400接收到定位的触摸屏设备被拿持的指示。例如，用户可能想要使用触摸屏设备来向虚拟现实系统中的虚拟现实世界提供输入。当在虚拟现实世界中时，用户可能无法看到他或她在现实世界中的周围环境。

因此，可以使用上述方法之一来定位触摸屏设备。在一示例中，指示可以是在定位和/或拿持触摸屏设备时触发的触觉反馈。在一示例中，指示可以是当触摸屏设备被定位和/或拿持时的听觉指示。例如，可以在虚拟现实系统的音频中播放提示音或音调。在一示例中，指示可以是当触摸屏设备被定位和/或拿持时的视觉指示。例如，触摸屏设备的轮廓可以闪烁，或者可以在虚拟现实系统中显示触摸屏设备。

在框406处，方法400在计算机生成的人工世界中生成触摸屏设备的形象化符号，并使该形象化符号显示在虚拟现实(vr)系统的头戴式显示器(hmd)中，该显示器显示计算机生成的人工世界。例如，可以在vr系统的hmd中生成并显示触摸屏设备的图形表示。

在一个示例中，触摸屏设备的形象化符号可以显示在真实触摸屏设备上未示出的图像或界面。例如，现实中的触摸屏设备可能已打开电源，但显示空白屏幕。然而，触摸屏设备的形象化符号可以显示具有可以选择的不同按钮的菜单。vr系统可以通过注册过程了解触摸屏设备的尺寸。该注册过程还可以包括在与vr系统一起工作的触摸屏设备上下载应用程序，以使触摸屏设备可以识别触摸屏设备的某些区域的选择并将该选择传达给vr系统。

因此，vr系统可以了解如何在触摸屏设备的形象化符号中确定菜单和按钮的大小和位置。按钮在触摸屏设备的形象化符号中的位置可以对应于真实触摸屏设备上的相同位置。

在框408处，方法400建立和触摸屏设备的无线连接。触摸屏设备可以与虚拟现实系统无线通信以交换数据、输入和输出。在一个示例中，无线连接可以是蓝牙低功耗(ble)连接、wi-fi连接、局域网(lan)连接等。当触摸屏设备被定位并确认被拿持时，vr系统可以自动启动配对过程或建立无线连接过程。

在框410处，方法400在计算机生成的人工世界中接收对触摸屏设备的形象化符号上的触摸输入的选择。例如，用户可能正在计算机生成的人工世界中玩游戏。触摸屏设备可以用于在游戏中进行选择。用户可以通过与计算机生成的人工世界中的触摸屏设备的形象化符号的交互来触摸实际触摸屏设备的屏幕的区域。

真实触摸屏设备可以检测用户触摸真实触摸屏设备的显示器的位置。该位置可以被发送到vr系统。vr系统可以将触摸屏设备的形象化符号上的触摸输入与被触摸的真实触摸屏设备的位置相关联。

在框412处，方法400执行与计算机生成的人工世界中的触摸输入相关联的功能。在一个示例中，触摸屏设备的形象化符号中的每个按钮可以与计算机生成的人工世界内的功能相关联。当在框410中接收到触摸输入的选择时，vr系统可以识别与所选择的触摸输入相关联的功能。使用上面的游戏示例，在计算机生成的人工世界中选择触摸输入可以配备特定的武器。因此，当在计算机生成的人工世界中选择武器触摸输入时，特定的武器可以被装备在计算机生成的人工世界中。在框414处，方法400结束。

图5示出了装置500的示例。在一个示例中，装置500可以是虚拟现实系统100。在一个示例中，装置500可以包括处理器502和非暂态计算机可读存储介质504。非暂态计算机可读存储介质504可以包括指令506、508、510、512和514，它们在由处理器502执行时使处理器502执行各种功能。

在一个示例中，指令506可以包括在虚拟现实(vr)系统的头戴式显示器(hmd)显示计算机生成的人工世界的同时定位触摸屏设备的指令。指令508可以包括建立和触摸屏设备的无线连接的指令。指令510可以包括在计算机生成的人工世界中显示触摸屏设备的形象化符号的指令，其中，该形象化符号显示与在触摸屏设备上显示的触摸输入不同的触摸输入。指令512可以包括用于接收在形象化符号上显示的触摸输入的选择的指令。指令514可以包括用于执行与计算机生成的人工世界中的触摸输入相关联的功能的指令。

将意识到，上述公开以及其他特征和功能的变型或其替代可以组合成许多其他不同的系统或应用。本领域技术人员可以随后进行其中各种目前无法预见或无法预料的替换、修改、变化或改进，这些替换、修改、变化或改进也将由所附权利要求书涵盖。