用于虚拟工程的系统和方法与制造工艺

本公开一般涉及虚拟实景，并且特别涉及与虚拟环境的用户互动。更特别地，本公开涉及用于增强用户与虚拟环境互动时的眼手协调水平的方法和系统。

背景技术：
虚拟实景（VR）是可以用于以虚拟环境的形式模拟真实环境或假想环境的技术。虚拟环境是能够模拟真实环境或假想环境中的实际存在的计算机模拟环境。通常，虚拟环境作为二维环境或三维环境在视觉上呈现给用户。在一些情况下，除了虚拟环境的视觉呈现之外，诸如声音的感觉信息可以被呈现给用户。不同类型的虚拟实景系统可以为用户提供不同水平的沉浸。如本文所用，由虚拟实景系统提供的“沉浸”水平是用户感觉在由虚拟实景系统创建的虚拟环境中存在的程度。当用户体验到感知沉浸和认知沉浸两者时，用户可以完全沉浸在虚拟环境中。当用户具有实际上存在于虚拟环境中的感觉时，用户可以体验到感知沉浸。例如，该用户可以感觉他或她的手存在于虚拟环境中。当用户具有在虚拟环境中正在发生的事情正实际发生的感觉时，用户可以体验到认知沉浸。换句话说，用户的思想可能沉浸在虚拟环境中。此外，当用户认知地沉浸在虚拟环境中时，用户的动作可能对虚拟环境有影响，并且虚拟环境中的事件可能影响用户的感觉。当该用户认知地沉浸在虚拟环境中时，用户可以如实际发生那样接受对虚拟环境的影响和对用户感觉的影响。一些当前可用的虚拟实景系统可能不能提供期望的沉浸水平。例如，一些当前可用的虚拟实景系统可能不能以期望的精确度水平模拟虚拟环境内的人类运动。特别地，这些虚拟实景系统可能不能以期望的精确度水平模拟人类骨骼组件围绕铰接接头的旋转，而不使虚拟实景系统的尺寸和/或重量增加多于期望值。例如，陀螺仪可能能够测量人类骨骼组件围绕铰接接头的旋转。然而，测量这种类型旋转所需要的陀螺仪的配置可能比期望的更大和/或更重。此外，陀螺仪的这种配置可能对陀螺仪附连到的人体部分施加不期望的作用力。例如，附连到手部的陀螺仪在测量手部的运动时可能对手部施加不期望的作用力。这些不期望的作用力可能使得手部以不期望的方式运动。一些当前可用的虚拟实景系统可以使用位移估算技术追踪例如用户手指的运动。然而，这些位移估算技术可能以小于期望的精确度追踪用户手指的运动。以此方式，一些当前可用的虚拟实景系统可能不能以期望的精确度水平模拟人体和/或人体部分的运动。因此，这些当前可用的虚拟实景系统可能不能为用户提供允许用户在虚拟环境内感到期望的沉浸水平所需要的眼手协调水平。如果没有在虚拟环境内提供期望的沉浸水平所需要的眼手协调水平，则用户不能如期望的那样快速和/或有效地在虚拟环境内执行某些任务。因此，可能期望具有考虑至少一些上述问题以及其他可能问题的系统和方法。

技术实现要素：
在一个说明性实施例中，提供了用于生成虚拟环境的虚拟图像的方法。虚拟实景管理器从手部系统接收用户的至少一只手的手部位置数据。虚拟实景管理器从头部安装系统接收用户头部的头部位置数据。虚拟实景管理器使用对应于当前时间的目标图像识别针对当前时间的基于图像的位置数据和当前参照系。虚拟实景管理器使用手部位置数据、头部位置数据、基于图像的位置数据和当前参照系生成针对当前时间的虚拟图像控制数据。该虚拟图像控制数据被配置为由虚拟图像应用使用。在另一个说明性实施例中，虚拟实景系统包含头部安装系统和虚拟实景管理器。头部安装系统被配置为戴在用户头部上。虚拟实景管理器与头部安装系统关联。虚拟实景管理器被配置为从手部系统接收用户的至少一只手的手部位置数据。虚拟实景管理器被配置为从头部安装系统中的传感器系统接收用户头部的头部位置数据。虚拟实景管理器被配置为使用对应于当前时间的目标图像识别针对当前时间的基于图像的位置数据和当前参照系。虚拟实景管理器被配置为使用手部位置数据、头部位置数据、基于图像的位置数据和当前参照系生成针对当前时间的虚拟图像控制数据。虚拟图像控制数据被配置为由虚拟图像应用使用。在又一个说明性实施例中，一种计算机包含总线、连接到该总线的非瞬时存储装置以及连接到该总线的处理器单元。非瞬时存储装置包括程序代码。处理器单元被配置为执行程序代码，从而从手部系统接收用户的至少一只手的手部位置数据，从头部安装系统接收用户头部的头部位置数据，使用对应于当前时间的目标图像识别针对当前时间的基于图像的位置数据和当前参照系，以及使用手部位置数据、头部位置数据、基于图像的位置数据和当前参照系生成针对当前时间的虚拟图像控制数据。该虚拟图像控制数据被配置为由虚拟图像应用使用。这些特征和功能可以在本公开的不同实施例中独立获得，或者可以在其他实施例中进行组合，其中进一步的细节能够参考下面的描述和附图看出。附图说明在随附的权利要求中阐述了说明性实施例的相信具有新颖性特征的特性。然而，当结合附图阅读时，参考本公开的说明性实施例的以下详细描述将会更好地理解说明性实施例以及优选使用方式、进一步目的及其特征，其中：图1以方框图的形式示出根据说明性实施例的虚拟实景系统；图2以方框图的形式示出根据说明性实施例的手部系统；图3以方框图的形式示出根据说明性实施例的头部安装系统；图4以方框图的形式示出根据说明性实施例的数据协调器；图5以方框图的形式示出根据说明性实施例的虚拟实景系统的工作状态；图6示出根据说明性实施例使用虚拟实景系统的用户；图7以流程图的形式示出根据说明性实施例用于与虚拟工程环境互动的方法；图8以流程图的形式示出根据说明性实施例用于与虚拟工程环境互动的方法；和图9示出根据说明性实施例的数据处理系统。具体实施方式不同的说明性实施例认识到并考虑到不同的考虑因素。例如，不同的说明性实施例认识到并考虑到虚拟环境可能对执行不同类型的工程任务有用。这些工程任务可以包括例如但不限制于设计车辆、管理用于产品设计的数据、测试用在飞行器中的结构、测试用于天线系统的配置的操作、检查系统、执行对结构的维护、控制车辆的运行、控制生产设施中的生产设备、控制外层空间中的结构以及其他合适类型的工程任务。其他类型的工程任务可以包括例如但不限制于与计算机程序互动、运行位于不能接近的环境中的电气机械装置、在极端天气条件和/或温度条件下运行运动平台以及更多其他合适类型的工程任务。作为一个说明性示例，模拟具有选定测试条件的测试环境的虚拟环境可以用于在这些选定条件下测试车辆的部件的特定配置的操作。在该说明性示例中，该部件的特定配置的模型被引入该虚拟环境。与在真实测试环境中测试真实部件相比，在虚拟环境中使用模型测试部件的特定配置的操作可能是更廉价的、更不耗时的和/或更有效率的。此外，与部件的实体测试相比，部件的这种类型的虚拟测试可能需要更少的资源和/或工作人员。然而，不同的说明性实施例认识到并考虑到如果虚拟实景系统不提供期望的眼手协调水平，用户可能不能使用由虚拟实景系统创建的虚拟环境来执行某些类型的工程任务。如本文所用，“眼手协调”是眼睛运动和手部运动的协调控制。眼手协调是使用视觉输入引导手部的运动并使用手部的本体感受引导眼睛的运动。某些类型的工程任务可能比其他类型的工程任务需要更高的眼手协调水平。作为一个说明性示例，操作包含不同类型的控制、开关、按钮和用户界面的虚拟飞行器可能比在虚拟环境中把门推开需要更高的眼手协调水平。不同的说明性实施例认识到并考虑到提供期望的眼手协调水平可能需要以期望的精确度水平识别用户的手部和用户的头部相对于虚拟环境的参照系的位置。另外，不同的说明性实施例认识到并考虑到提供期望的眼手协调水平可能需要基本实时地以期望的精确度水平模拟用户的手部和手指在虚拟环境内的运动。如本文所用，“基本实时”意味着没有用户可察觉的时间延迟。因此，不同的说明性实施例提供一种用于在用户与虚拟环境互动时提高用户的眼手协调水平的方法和系统。特别地，不同的说明性实施例提供一种虚拟实景系统，其被配置为协调用户的手部位置数据和头部位置数据并且使该数据相对于时间同步，从而在虚拟环境内为用户提供期望的眼手协调水平。现在参考图1，其根据说明性实施例描述了方框图形式的虚拟实景系统的示例。在这些说明性示例中，虚拟实景系统100被配置为在视觉上将虚拟环境102呈现给用户104。此外，用户104可以使用虚拟实景系统100与虚拟环境102互动。在这些说明性示例中，虚拟环境102是环境101的模拟。环境101可以是真实环境或假想环境。例如，环境101可以是实体环境或抽象环境。在一个说明性示例中，环境101采取工程环境103的形式。工程环境103可以选自例如但不限于设计环境、制造环境、计算机环境、测试环境、数据管理环境、检查环境、操作环境或一些其它合适类型的工程环境中的一个。当虚拟环境102是工程环境103的模拟时，用户104可以使用虚拟实景系统100与虚拟环境102互动以执行一个或更多工程任务。例如，用户104可以使用虚拟实景系统100在虚拟环境102内设计物体，诸如飞行器或飞行器的零件。在另一个说明性示例中，用户104可以使用虚拟实景系统100来执行与空中交通管制有关的任务。例如，虚拟环境102可以是领空区域的模拟。用户104可以使用虚拟环境102中的飞行器的模型来使用虚拟实景系统100控制该领空区域中的飞行器的操作和/或与该飞行器交换信息。此外，在又一个说明性示例中，虚拟环境102可以是计算机程序的用户界面的模拟。用户104可以使用虚拟实景系统100与虚拟用户界面互动从而与计算机程序互动。例如，计算机程序可以是数据库管理程序。用户104可以使用虚拟实景系统100与该数据管理应用的虚拟用户界面互动。如上所述，虚拟实景系统100包含虚拟实景管理器106、头部安装系统108和许多外围系统110。在这些说明性示例中，虚拟实景管理器106可以使用硬件、软件或者两者的组合来实现。例如，虚拟实景管理器106可以在数据处理系统105中实现。在这些说明性示例中，数据处理系统105与头部安装系统108关联。当一个部件与另一个部件“关联”时，在这些示例中该关联是实体关联。例如，通过紧固到第二部件、黏合到第二部件、安装到第二部件、焊接到第二部件、系牢到第二部件、电连接到第二部件和/或以其他合适方式连接到第二部件，诸如数据处理系统105的第一部件可以被视为与诸如头部安装部件108的第二部件关联。第一部件也可以使用第三部件连接到第二部件。通过被形成为第二部件的一部分和/或第二部件的延伸部分，第一部件也可以被视为与第二部件关联。在这些说明性示例中，数据处理系统105被视为是头部安装系统108的一部分。当然，在其他说明性示例中，虚拟实景管理器106可以在处理器单元中实现，该处理器单元与头部安装系统108分离，但是被配置为与头部安装系统108无线通信。头部安装系统108被配置为被戴在用户104的头部112上。例如，头部安装系统108可以被戴在用户104的头部112的上方和/或上面。头部安装系统108可以采取许多不同的形式。例如，头部安装系统108可以采取头盔、护目面罩、帽子、眼镜、护目镜或者一些其他合适类型的装置的形式，这些装置被配置为被戴在用户104的头部112的上方和/或上面。在一个说明性示例中，头部安装系统108采取眼镜114的形式。任何数量的不同部件可以与头部安装系统108关联。例如，显示装置116和传感器系统118可以与头部安装系统108关联。当头部安装系统108采取眼镜114的形式时，显示装置116和传感器系统118可以被附连到眼镜114、作为眼镜114的一部分和/或以其他方式与眼镜114关联。虚拟实景管理器106被配置为在显示装置116上将虚拟环境102可视地呈现给用户104。在一个说明性示例中，显示装置116可以是眼镜114中的透镜。虚拟实景管理器106可以在这些透镜上可视地呈现虚拟环境102，以便当用户104佩戴眼镜114时在用户104的眼睛前方可视地呈现虚拟环境102。以此方式，用户104可以感到存在于虚拟环境102中。当然，在其他说明性示例中，显示装置116可以采取其它形式。例如，显示装置116可以包含被配置为由用户104佩戴的一个或两个隐形眼镜。传感器系统118可以包括一个或更多传感器。传感器系统118中的传感器可以包括例如但不限于任何数量的微电子机械传感器（MEMS）、纳米电子机械传感器（NEMS）、运动传感器、角度传感器、速度感传器、加速度传感器、位置传感器、照相机、摄像机、图像传感器和/或其他合适类型的传感器。头部安装系统108被配置为使用传感器系统118生成头部位置数据120。在这些说明性示例中，虚拟实景系统100中的许多外围系统110中的每个外围系统都可以被配置为生成并发送数据给虚拟实景管理器106。如本文所用，诸如许多外围系统110之一的“外围系统”是这样的系统，其被配置为与头部安装系统108通信，但其不被视为是头部安装系统108的一部分。此外，如本文所用，“许多”个项目的意思是一个或更多项目。例如，许多外围系统110可以是一个或更多外围系统。在这些说明性示例中，许多外围系统110中的每个外围系统都可以被配置为生成关于用户104的特定身体部分的数据。例如，许多外围系统110中的外围系统可以被配置为生成关于手部、脚部、臂部、腿部、躯干、手指、脚趾或用户104的其他身体部分的数据。在一个说明性示例中，许多外围系统110包括手部系统131。手部系统131被配置为生成手部位置数据133。手部位置数据133可以形成由许多外围系统110生成的外围位置数据132的至少一部分。如本文所用，“至少一部分”的意思是一些或全部。外围位置数据132可以包括关于用户104的任何数目的身体部分随时间的位置的数据。手部位置数据133可以包括关于用户104的左手124和右手126中至少一个的数据。例如，手部系统131可以包含左手系统121和右手系统122中的至少一个。左手系统121可以生成关于用户104的左手124的数据，而右手系统122可以生成关于用户104的右手126的数据。在这些说明性示例中，左手系统121可以采取被配置为供用户104的左手124使用的左侧手套128的形式，而右手系统122可以采取被配置为供用户104的右手126使用的右侧手套130的形式。左侧手套128和右侧手套130可以是分别被配置为生成关于左手124和右手126随时间的位置的数据的手套。特别地，当用户104分别戴上左侧手套128和右侧手套130时，左侧手套128生成左手124的左手位置数据134，而右侧手套130生成右手126的右手位置数据136。左手位置数据134和右手位置数据136可以包括分别关于左手124和右手126随时间的位置的数据以及关于对应于这些手的腕部和手指随时间的位置的数据。虚拟实景管理器106被配置为从许多外围系统110接收外围位置数据132并且从头部安装系统108中的传感器系统118接收头部位置数据120。特别地，虚拟实景管理器106基本实时地接收手部位置数据133和头部位置数据120。换句话说，在生成位置数据而没有可察觉的延迟的情况下，虚拟实景管理器106接收该位置数据。在这些说明性示例中，虚拟实景管理器106可以使用手部位置数据133和头部位置数据120生成虚拟图像控制数据135。虚拟图像控制数据135可以是被配置为由虚拟图像应用137用于控制虚拟环境102的虚拟图像的数据。例如，虚拟图像应用137是被配置为创建虚拟环境102的虚拟图像的计算机软件。如本文所用，诸如虚拟环境102的虚拟环境的“虚拟图像”是至少一部分虚拟环境的图像。在一些情况下，虚拟图像应用137可以被配置为创建虚拟环境102。在其它情况下，虚拟图像应用137可以被配置为使用由另一个应用创建的虚拟环境102。虚拟实景管理器106可以被配置为使用例如但不限制于云端139与虚拟图像应用137通信。云端139可以是包含应用、计算机程序、装置、服务器、客户端计算机和/或彼此连接的其他计算部件的网络。虚拟实景管理器106可以被配置为使用例如但不限制于因特网访问云端139并由此访问虚拟图像应用137。在这些说明性示例中，虚拟图像应用137被配置为生成虚拟环境102的虚拟图像138的序列。如本文所用，诸如虚拟图像138的序列的“图像的序列”是相对于时间排序的一个或更多图像。以此方式，虚拟图像138的序列中的每个虚拟图像对应于特定的时间。在一些说明性示例中，虚拟图像138的序列也可以被称为虚拟帧的序列。虚拟图像应用137使用由虚拟实景管理器106生成的虚拟图像控制数据135生成虚拟图像138的序列中的每个虚拟图像。例如，虚拟图像应用137可以使用虚拟图像控制数据135更新先前生成的虚拟环境102的虚拟图像。该更新的虚拟图像可以被发送回虚拟实景管理器106。然后虚拟实景管理器106可以在显示装置116上显示该更新的虚拟图像。以此方式，随着从虚拟图像应用137接收虚拟图像，虚拟实景管理器106可以在显示装置116上显示由虚拟图像应用137生成的虚拟图像138的序列中的虚拟图像。虚拟实景管理器106在显示装置116上显示虚拟图像138的序列，从而在显示装置116上向用户104可视地呈现虚拟环境102。虚拟图像140是虚拟图像138的序列中的虚拟图像的示例。虚拟图像140可以是二维图像或三维图像，这取决于实施方式。虚拟图像140对应于时间141。使用在时间141内生成的部分手部位置数据133和部分头部位置数据120生成虚拟图像140。例如，时间141可以是瞬时时间或者一段时间。特别地，在时间141内生成的部分手部位置数据133和部分头部位置数据120被用于形成对应于时间141的虚拟图像控制数据135。对应于时间141的虚拟图像控制数据135可以由虚拟图像应用137使用以形成虚拟图像140。进一步地，虚拟实景管理器106可以使用头部位置数据120和/或由传感器系统118生成的其他数据识别虚拟图像140的参考系146。参照系146是虚拟图像140相对于虚拟环境102的坐标系。特别地，参考系146是在虚拟图像140内获取的虚拟环境102的部分。参考系146是基于用户104的头部112的位置识别的。换句话说，参考系146是基于用户104的头部112朝向的方向识别的。在这些说明性示例中，虚拟实景管理器106被配置为使用参照系146并且通过协调手部位置数据133和头部位置数据120生成虚拟图像控制数据135。虚拟实景管理器106可以通过使得手部位置数据133和头部位置数据120相对于时间同步来协调手部位置数据133和头部位置数据120。这种类型的同步可以增加提供给用户104的眼手协调水平。例如，手部位置数据133和头部位置数据120相对于时间141的同步可以产生具有期望精确度水平的虚拟图像控制数据135。当虚拟图像控制数据135具有期望的精确度水平时，由虚拟图像应用137生成的虚拟环境102的虚拟图像138的序列可以表示用户104在虚拟环境102内的运动和存在的基本实时模拟。进一步地，虚拟实景管理器106可以被配置为基本实时显示虚拟图像138的序列。通过允许基本实时地在虚拟环境102内模拟用户104在虚拟环境102中的运动和用户104在虚拟环境102中的存在，虚拟实景管理器106可以允许用户104在虚拟环境102内以期望的精确度、速度和效率执行一个或更多任务。在这些说明性示例中，虚拟图像140包括虚拟左手142和虚拟右手144中的至少一个。虚拟左手142可以是表示用户104在虚拟图像140中的左手124的图像。虚拟右手144可以是表示用户104在虚拟图像140中的右手126的图像。虚拟图像应用137可以使用虚拟图像控制数据135确定虚拟左手142和虚拟右手144在虚拟图像140内的位置。另外，在这些说明性示例中，虚拟图像控制数据135也可以使用用户数据145生成。用户数据145可以包括关于用户104的数据。特别地，用户数据145可以包括关于用户104的一个或更多身体部分的几何形状的数据。例如，用户数据145可以包括关于用户104的左手124、右手126和头部112中的至少一个的数据。关于用户104的手部诸如左手124或右手126的数据可以包括例如但不限于手部尺寸的测量值、对应于手部的腕部的测量值、手部上的手指的测量值、手部上一个或更多手指的运动范围的测量值、静止和/或活动中的手部上的手指之间的距离的测量值和/或其他合适类型的数据。可以使用由成像系统152生成的一组用户图像150来识别用户数据145。如本文所用，“一组”项目的意思是一个或更多项目。例如，一组用户图像150的意思是一个或更多用户图像。在这些说明性示例中，成像系统152不是虚拟实景系统100的一部分。在一个说明性示例中，成像系统152可以是三维激光扫描系统。在该说明性示例中，一组用户图像150是用户104的一组三维激光扫描，其获取用户104的左手124和右手126的几何形状。进一步地，该组三维激光扫描也可以获取用户104的腕部和手指的几何形状。在一个说明性示例中，虚拟实景管理器106可以被配置为接收一组用户图像150并且使用该组用户图像150识别用户数据145。在另一个说明性示例中，用户数据145可以被直接上传到虚拟实景管理器106中。在另一个说明性示例中，用户数据145可以是一组用户图像150。当在显示装置116上向用户104显示虚拟图像140时，用户104看到虚拟左手142和虚拟右手144。特别地，用户104看到在虚拟图像140中分别对应于左手124和右手126的真实位置的位置处的虚拟左手142和虚拟右手144。以此方式，用户104可以感到存在于虚拟环境102中。在一些说明性示例中，头部安装系统108中的许多外围系统110和/或传感器系统118可以生成除了位置数据以外的附加数据154。附加数据154可以用于生成虚拟图像控制数据135。例如，附加数据154可以用于生成能够被虚拟图像应用137使用以控制虚拟环境102中的一个或更多互动控制的数据。在一个说明性示例中，附加数据154可以包括左手124和右手126上的手指的压力数据。在其他说明性示例中，附加数据154可以包括图像数据。当然，在更多其他说明性示例中，附加数据154可以包括其他类型的传感器数据。在一些说明性示例中，虚拟实景管理器106也可以被配置为使用云端139与一组虚拟实景系统156通信。该组虚拟实景系统156中的每个虚拟实景系统都可以包含能够以类似于虚拟实景管理器106的方式实现的虚拟实景管理器。云端139可以允许不同的虚拟实景管理器同时与虚拟图像应用137互动。在一些情况下，云端139可以允许不同...