用于在交通工具中操作虚拟现实头戴设备的方法和控制设备与流程

用于在交通工具中操作虚拟现实头戴设备的方法和控制设备
1.本发明涉及一种用于在交通工具中操作虚拟现实头戴设备的方法和控制设备。
2.虚拟现实头戴设备，通常也称为虚拟现实眼镜或虚拟现实头盔，是一种旨在让用户看到虚拟现实的头戴式显示器。它们主要用于计算机和仿真游戏，并且旨在给玩家尽可能真实的游戏感觉(沉浸感)。
3.这种虚拟现实头戴设备也可被用在交通工具中，例如汽车或其他交通工具，以便交通工具乘员能在旅途中享受虚拟内容。通常，当使用这种虚拟现实头戴设备时，用户可以将自己沉浸在一种虚拟环境中，该虚拟环境是借助于显示器等来显示的。通常情况下，佩戴虚拟现实头戴设备的用户的头部移动或多或少地一对一地转换成所显示的虚拟环境上的对应虚拟视角变化。尤其是在移动中的交通工具中，可能很难可靠、精确且以所需分辨率捕获佩戴此类虚拟现实头戴设备的用户的头部移动。
4.因此，本发明的任务是提供一种解决方案，通过该解决方案，当用户在交通工具内佩戴虚拟现实头戴设备时，可以实现对用户头部移动的特别精确且高分辨率的捕获。
5.该任务通过一种用于在具有独立权利要求的特征的交通工具中操作虚拟现实头戴设备的方法和控制设备来解决的。在从属权利要求、说明书和附图中指示了本发明的进一步可能的发展和配置。
6.在根据本发明的用于在交通工具中操作虚拟现实头戴设备的方法中，捕获并提供至少部分地表征交通工具相对于固定世界参考系的姿态和/或移动的交通工具定位数据。换言之，该交通工具定位数据描述了交通工具在静止地锚定到外部世界的坐标系中的位置、取向和/或移动。例如，可以借助于固定地附连到交通工具的惯性测量单元(简称imu)、全球定位系统等来捕获交通工具定位数据。交通工具定位数据至少可以包括刚性地附连到交通工具的imu的输出(即线加速度和角速度数据)和/或作为交通工具的传感器融合的输出的取向数据。此外，借助于布置在虚拟现实头戴设备上的惯性测量单元(imu)来持续地确定虚拟现实头戴设备的至少即时取向。至少部分地基于此，对借助于虚拟现实头戴设备所显示的虚拟环境上的虚拟视角进行仿真。当所述虚拟环境通过虚拟现实头戴设备显示时，附连到虚拟现实头戴设备的惯性测量单元至少持续捕获虚拟现实头戴设备的即时方向，并从而与交通工具定位数据相结合，虚拟现实头戴设备的取向或姿态(并且因此也是佩戴虚拟现实头戴设备的用户坐在交通工具中时的头部的取向或姿态)。虚拟现实头戴设备的头部移动以及因而相关用户的头部移动在所显示的虚拟环境中被一对一地转换成对应的视角变化。附连到虚拟现实头戴设备的惯性测量单元捕获或测量虚拟现实头戴设备相对于外部世界的移动，即本地重力矢量。然而，该惯性测量单元本身无法区分交通工具静止时虚拟现实头戴设备的移动、虚拟现实头戴设备相对于交通工具静止时交通工具的移动以及两者的组合，而只能捕获或测量交通工具相对于外部世界(即固定世界参考系)的移动与虚拟现实头戴设备相对于交通工具(具体而言是交通工具内部)的移动的叠加。通过将来自附连到虚拟现实头戴设备的惯性测量单元的数据与交通工具定位数据相结合，可以隔离(即确定)虚拟现实头戴设备相对于交通工具内部的移动。例如，可以从附连到虚拟现实头戴设备的惯性测量单元所捕获或测得的数据或由此描述的移动或取向中——简言之——减去交通
工具定位数据或其描述的交通工具移动。
7.本发明还基于如下洞察：在使用此类惯性测量单元时，可能会发生所谓的漂移。惯性测量单元通常测量加速度和角速度，它们可被整合以确定在空间中的取向，即3个自由度(dof)。具体而言，这可意味着，虚拟现实头戴设备的旋转或转动移动是借助于惯性测量单元来按如下方式整合的：在一定时间后，检测到的虚拟现实头戴设备对准，并且因而虚拟现实头戴设备佩戴者的头部的对准，不再与实际对准相对应。惯性测量单元可以包括例如若干惯性传感器的空间组合，诸如线加速度传感器和角速率传感器。
8.为了抵消这种所谓的漂移，根据本发明的方法规定，借助于使用布置在虚拟现实头戴设备上的光学捕获设备的视觉或光学追踪，以预定的时间间隔来确定虚拟现实头戴设备相对于交通工具内部的相对布置。光学追踪确定虚拟现实头戴设备内部的布置，即相对于交通工具内部的布置。例如，可以规定，惯性测量单元以与光学捕获设备确定虚拟现实头戴设备相对于交通工具内部的相对布置相比显著更高的速率来确定虚拟现实头戴设备的即时取向。然而，归因于来自惯性测量单元的数据有随时间漂移的趋势，并且因为光学追踪可以依赖于不随时间漂移的固定参考，所以基于光学追踪确定的相对布置可以比仅由惯性测量单元确定的即时取向更精确和/或更可靠。
9.基于来自附连到虚拟现实头戴设备的惯性测量单元的数据和交通工具定位数据来确定的虚拟现实头戴设备的即时取向，以及通过光学追踪确定的虚拟现实头戴设备的相对布置被融合在一起。例如，这两个数据都可以被提供作为滤波器(具体而言是卡尔曼滤波器，更具体而言是误差状态扩展卡尔曼滤波器(eskf))的输入。这意味着在借助于惯性测量单元确定的取向和借助于光学捕获设备确定的虚拟现实头戴设备的取向之间的比较被有效地进行。由此作为结果，无论交通工具是否正在移动，都可以确定虚拟现实头戴设备相对于交通工具内部的取向。基于此，借助于虚拟现实头戴设备所显示的虚拟环境上的虚拟视角被仿真。由于光学追踪通过融合来自惯性测量单元和光学捕获设备的两个数据源或数据流来提供可靠(即正确)的数据，因此来自惯性测量单元的任何漂移或不精确性都会被平滑地校正。换言之，至少得自数据融合的所确定取向，并且因此虚拟视角被拉向正确的值，而在所显示的虚拟环境或虚拟环境上的虚拟视角中没有任何跳跃或中断。
10.虚拟现实头戴设备的取向可以基于融合或滤波器的输出(在其变得可用时)持续或重复地确定。在从
–
低频
–
光学追踪的诸更新之间，至少虚拟现实头戴设备的取向只能或主要基于惯性测量单元来确定。这可能发生，直至借助于光学捕获设备再次确定虚拟现实头戴设备相对于交通工具内部的即时相对布置，之后，该通过光学确定的布置可再次被馈送入滤波器或数据融合过程以自动校正至少虚拟现实头戴设备的取向，并随后校正虚拟视角的仿真。
11.因此，取决于光学追踪的频率，以指定的间隔反复执行来自惯性测量单元的数据的所述校正，以便可以抵消惯性测量单元的之前提到的漂移。这使得能够确保，尤其是在移动的交通工具中，能够始终可靠且精确地确定虚拟现实头戴设备的即时取向并且因而确定虚拟现实头戴设备佩戴者头部的即时取向，并且能够将虚拟现实头戴设备佩戴者的头部移动正确地转换成虚拟环境中的视角的对应变化。这为虚拟现实头戴设备的佩戴者带来了特别沉浸式的体验，并可有助于避免或限制晕车症状。
12.通过根据本发明的方法，尤其可以以特别稳健和高分辨率的方式确定虚拟现实头
戴设备的相应对准，并且因而确定虚拟现实头戴设备佩戴者的头部对准。惯性测量单元可以持续确定虚拟现实头戴设备的即时取向，并且因而以非常高的时间分辨率确定头部对准。例如，如果光学捕获设备无法确定虚拟现实头戴设备与对应时钟频率或时间分辨率的对准，则同时可能的是，仅使用或主要使用来自惯性测量单元的信息(如适用，结合交通工具定位数据)来作为对虚拟环境的虚拟视角进行仿真的基础。每当借助于光学捕获设备再次确定了虚拟现实头戴设备相对于交通工具内部的至少相对取向时，如果必要，则借助于该数据中所描述的融合来执行所述校正。为了使光学捕获设备的捕获范围尽可能大，它可以在虚拟现实头戴设备的不同位置附连各种光学传感器。
13.附连到虚拟现实头戴设备的惯性测量单元可以提供虚拟现实头戴设备在3个取向自由度上的取向。借助于光学捕获设备的光学追踪可另外地提供一个或多个(具体而言是最多3个)位置自由度，例如取决于光学追踪和/或用于光学追踪的光学参考的复杂性和精确性。通过这些附加的自由度，可以描述虚拟现实头戴设备在空间中的位置，例如在固定到交通工具内部的给定参考系或坐标系中的位置或相对于该给定参考系或坐标系的位置。因此，理想情况下，可以确定虚拟现实头戴设备在6个自由度(dof)下的完整姿态，即其取向和位置。然后，描述虚拟现实头戴设备在3个以上自由度中的姿态的姿态或对应姿势数据可被用作输入以用于数据融合，即用于校正或抵消惯性测量单元的漂移。随后可不仅基于虚拟现实头戴设备的所确定取方向，而且还基于描述虚拟现实头戴设备在空间中在一个或多个自由度中的位置的任何或所有附加所确定位置数据，来仿真所显示虚拟环境上的虚拟视角。
14.如果光学追踪或其中使用的任何光学或视觉参考缺乏必要的复杂性、定义、分辨率和/或置信度来确定虚拟现实头戴设备的完整姿态，即没有提供足够的约束来完全确定取向和位置，则只确定和提供虚拟现实头戴设备在4或5个自由度(即3个取向自由度和任何可用的位置自由度)中的姿态数据。通过校正或限制来自惯性测量单元的数据的可能漂移至少在相应自由度中的影响，这仍然有利于提供或造成经改进的精确度和可靠性。如果从光学捕获设备获得的数据缺乏精确性或具有相对低的置信度值，则可以对它应用对应的较低权重，以便与来自附连到虚拟现实头戴设备的惯性测量单元的数据进行融合。一般而言，光学追踪可被用作参考或用于校正1到6个自由度。这意味着光学追踪可被用于为惯性测量单元所覆盖的不同自由度和/或惯性测量单元所覆盖的一个或多个自由度提供附加数据。例如，光学追踪可以提供用于至少一个方向的参考，最有利的是虚拟现实头戴设备的相应佩戴者或用户所占据的座椅的前向方向，并从而针对至少一个方向或取向或角度来校正惯性测量单元提供的取向数据。
15.总而言之，惯性测量单元和光学追踪的组合可以提供该方法和相应系统或设备的经改进的稳健性，同时包含交通工具定位数据可以使得即使是在移动的交通工具中也能够正确地仿真虚拟视角。例如，当用于光学追踪的光学或视觉参考不在光学捕获设备的当前视野中，和/或光学捕获设备捕获的图像数据无效时——例如，归因于黑暗、运动模糊，等等，可以至少在一段时间内依靠来自惯性测量单元的数据来继续确定或追踪虚拟现实头戴设备的取向，直到光学捕获设备的有效图像数据变得再次可用。
16.本发明的一种可能的配置规定，视觉或光学参考被布置在交通工具组件上，特别是在头枕的后侧，其中捕获设备识别视觉参考，并基于此来确定虚拟现实头戴设备相对于
交通工具组件以及由此相对于交通工具内部的相对布置。如果虚拟现实头戴设备的佩戴者坐在交通工具后部，例如机动车的后座上，他前面通常都有一个头枕。该头枕可用于反复校正来自惯性测量单元的数据或虚拟现实头戴设备的取向或姿态，所述视觉参考被布置在头枕的后部，以便捕获设备能够识别该视觉参考，并基于此来确定虚拟现实头戴设备相对于交通工具组件(即头枕)以及由此相对于交通工具内部的相对布置。视觉参考尤其可以按如下方式设计：捕获设备能够特别容易且毫无疑义地识别视觉参考，并从而能够将其与交通工具内部的其他元素区分开。这使得能够以一种特别简单且可靠的方式借助于捕获设备来确定虚拟现实头戴设备相对于交通工具内部的相对布置，以便在必要时在此基础上校正来自惯性测量单元的数据。
17.目前，每当提及交通工具或交通工具组件时，相应的特征、开发或过程可被应用于交通工具的多个组件或整个交通工具内部。
18.本发明的另一可能配置规定，徽标或二维码(尤其是april标签或qr码)或以预定光图案操作的光源被用作视觉参考。徽标、二维码(例如，以april标签或二维码的形式)可以借助于捕获设备特别容易且可靠地识别，以便确定虚拟现实头戴设备相对于交通工具内部的相对布置。例如，将一个或多个led附连到所述交通工具组件，例如附连到头枕的后部，也是可能的，所生成的特定光图案可以由捕获设备特别容易且可靠地识别，以基于此来确定虚拟现实头戴设备相对于交通工具内部的相对布置。如果只使用一个led，这可足以确定虚拟现实头戴设备在一个或两个自由度中的姿态。可以提供更多led，以便允许确定虚拟现实头戴设备在更多自由度中的姿态。为此，多个led可以按预定模式或布置来被布置，例如在不同的相邻led对之间具有相异或不同的距离。每一led是可以唯一地标识的，例如通过分别发射的光的个体唯一颜色、唯一的闪烁模式和/或频率等。闪烁模式，即个体led的打开和关闭方式，例如可以对分配给每一led的重复二进制数进行编码。这些适配可以使led的图案或阵列的姿态能从捕获设备的不同视角且在不同取向下更可靠且更精确地标识。
19.根据本发明的另一可能配置，规定视觉参考是磷光和/或背光或被照亮的。如果视觉参考本身无法被照亮，则这尤其有用。在这种情况下，即使在恶劣的照明条件下，也可以借助于捕获设备可靠地识别视觉参考，以便基于此，可以随时确定虚拟现实头戴设备相对于交通工具内部的相对布置。
20.本发明的又一可能配置是，捕获设备本身识别给定的交通工具组件，并基于此确定虚拟现实头戴设备相对于交通工具组件的相对布置。交通工具组件可以是前面提到的交通工具组件，也就是说，例如头枕。或者，在交通工具内部安装其他类型的交通工具组件也是可能的。在这种情况下，捕获设备因此被配置成识别所述交通工具组件本身，即无需将特定视觉参考附连到交通工具组件上。因此，对于交通工具乘员而言，相关交通工具组件具有其通常的外观，因为其上没有附连视觉参考等。
21.在本发明的又一可能实施例中，提供了交通工具组件的数字模型，捕获设备通过与数字模型的比较来识别交通工具组件。数字模型可以是一种网格或网格模型或另一种数字模型，尤其是3d模型。数字模型可能相对稀疏以减少对应数据的量，或相对尽可能密集以提供交通工具组件的更精确和详细表示。通过提供交通工具组件的数字模型，使用捕获设备可以通过与数字模型进行比较，以特别简单且可靠的方式检查交通工具内部的光学捕获元件，并在必要时识别它们是否是相关交通工具组件的一部分，以再次确定虚拟现实头戴
设备相对于交通工具内部的相对位置。作为模型或其元数据的一部分，可以提供交通工具组件在交通工具内部之中且相对于交通工具内部的固定姿态。
22.本发明的又一可能配置提供了以因交通工具而异的方式创建数字模型。例如，如果交通工具组件是头枕，则安装在特定交通工具型号中的头枕将被提供作为数字模型。为此，例如，可以对相关交通工具型号执行一次内部扫描等，以生成相关交通工具组件的数字模型。该规程的优点是，数字模型至少基本上或甚至完全等同于要捕获的交通工具组件。这使得捕获设备能够特别容易地识别相关交通工具组件，并基于此确定虚拟现实头戴设备相对于交通工具的交通工具内部的相对布置。
23.本发明的又一可能实施例规定，数字模型被创建为非因交通工具而异的模型。因此，代替为每一交通工具型号或交通工具组件型号创建非常精确的数字模型，还可以规定创建和提供非因交通工具而异或非因交通工具组件型号而异的通用或标准或默认数字模型。例如，如果交通工具组件是所述头枕，则可以假定头枕通常具有某些共同特征。这些共同特征可被合并入非因交通工具而异或非因交通工具组件而异的数字模型中。这意味着无需提供每一交通工具内部或相关交通工具组件的精确数字模型。相反，提供非因交通工具而异或非因组件而异的数字模型可以是足够的，捕获设备仍然足以能够基于数字模型识别相关交通工具组件，以确定虚拟现实头戴设备相对于交通工具内部的相对布置。由于所提供的预制模型与特定交通工具中的实际交通工具组件之间可能存在一些差异，因此可以应用在存在误差或异常值的情况下进行模型匹配的预定方法，诸如ransac或迭代闭合点(icp)方法。因此，可以计算对应的变换，以用于将所提供的数字模型与借助于捕获设备捕获的相应实际交通工具组件的图像或者根据图像或图像序列构建的相应实际交通工具组件的数字模型对准。尽管与所提供的通用数字模型不完全一致，但这便于更精确且可靠地识别相关的实际交通工具组件。
24.所提供的模型可以预先构建，即作为用于执行根据本发明的方法的系统或设备的一部分提供，例如交通工具或虚拟现实头戴设备的首次交付。或者，所提供的模型可以从附连到虚拟现实头戴设备的捕获设备所捕获的图像日期来自动生成，例如在初始化过程中，当虚拟现实头戴设备首次打开或首次在该交通工具或一交通工具中使用时。可以使用对交通工具组件或交通工具内部的一部分的第一次观察作为所提供的数字模型，然后所有后续观察(即捕获设备拍摄的图像)可以与之匹配。
25.如果当前图像或由捕获设备进行的观察与所提供的数字模型的匹配太不精确，即如果其具有大于预定阈值的对准误差，则对虚拟现实头戴设备的追踪可降级到3个自由度，即其取向。交通工具组件的数字模型随后仍然可以用作视觉参考，以确定相关于交通工具内部的至少一个方向，尤其是实际前向方向，假定虚拟现实头戴设备的用户或佩戴者在交通工具内的位置是已知的。这仍然可以在抵消惯性测量单元的漂移方面提供显著的益处，尤其是因为前向方向通常是虚拟视角的仿真的最相关方向。
26.本发明的又一可能配置规定，捕获交通工具内部的一部分的一系列图像，在该系列图像的若干个体图像中检测到交通工具内部的至少一个特征，并确定该特征在各个体图像上的位置变化，并基于此来确定虚拟现实头戴设备相对于交通工具内部的相对布置。这一规程可以称为帧-到-帧的视觉追踪。以此方式，可以执行特征的检测或提取，尤其是特征提取、不同个体图像之间的特征匹配以及各个体图像之间的特征追踪。具体而言，还可以规
定测量一次相关交通工具内部的相关特征，提供与该特征在相关交通工具坐标系中的位置有关的数据。如果随后假设所讨论的特征在交通工具内的位置是固定的，则通过监测检测到的特征在各个体图像上的位置变化，相对容易地确定捕获设备以及因而虚拟现实头戴设备是如何移动的。以此方式，可以非常精确地确定虚拟现实头戴设备在任何给定时刻是任何实际取向的，并且这一信息随后可以按先前描述的方式被用来在必要时校正惯性测量单元的漂移。该方法还可以提供位置信息，以便可以确定虚拟现实头戴设备在3个以上取向自由度上的姿态，尤其是其在6个自由度上的完整姿态，即翻滚、俯仰、偏航、x、y和z，后者表示在交通工具坐标系中的空间中的位置。
27.在这一办法中，不必提供用于光学追踪的特定固定参考。然而，环路闭合可被用于补偿与来自惯性测量装置的数据相组合的帧-到-帧视觉追踪(即在相应数据融合结果中)中的漂移。
28.在本发明的又一可能配置中，规定忽略位于距捕获设备预定距离处的对象。因此，例如，可以规定，在捕获和评估一系列图像时，完全不考虑距捕获设备几厘米的对象。以此方式，尤其可以确保完全不考虑位于交通工具外部的对象，尤其是因为可以假设交通工具外部的所有对象通常都比所述交通工具组件(具体而言是所述头枕，其将被识别)更远，并且可能会独立于交通工具移动，这可能会干扰精确追踪。该规程还可被用于确保例如无需注意坐在虚拟现实头戴设备佩戴者旁边或至少在同一交通工具内某处的其他乘客。在评估各个体图像时，完全不考虑距捕获设备超过所述预定距离(例如在40cm、50cm或类似距离处)的对象的事实意味着可以实现特别可靠的结果。这意味着借助于光学捕获设备确定的虚拟现实头戴设备的实际对准特别精确。
29.本发明的又一可能配置规定卷积神经网络(cnn)被用于检测，即提取特征。具体而言，使用此类神经网络，还可以标记不同的图像像素，以确定这些像素与交通工具内部还是交通工具外部的组件有关。例如，可以使用卷积神经网络屏蔽与交通工具外部环境以及交通工具乘员相关的像素，以便在一系列图像中的每一个体图像中仅存在交通工具内部的相关点。然后，只能使用这些像素或点来以前述方式以特定的精度确定虚拟现实头戴设备当前如何实际对准。可以使用所提供的训练数据(即各种正确标记的图像)来训练神经网络。基于对交通工具内部通常都是大多单色的洞察，训练数据可以自动或半自动地生成。因此，可以实现自动或半自动过程，基于像素颜色区分属于交通工具内部的像素和属于外部环境或乘客的像素。对于特定交通工具，交通工具内部的主色可被提供作为输入参数，或者它可被自动确定。这种为神经网络自动或半自动生成经标记训练数据的过程可以极大地提高创建经训练神经网络的速度并减少所需的工作量。
30.根据本发明的用于在交通工具中操作虚拟现实头戴设备的控制设备是如下配置的：基于虚拟现实头戴设备的借助于布置在虚拟现实头戴设备上的惯性测量单元持续确定的至少一个即时取向以及所提供的至少部分地表征或描述交通工具相对于固定世界参考系的姿态和/或移动的交通工具定位数据，对借助于虚拟现实头戴设备显示的虚拟环境上的虚拟视角进行仿真。此外，控制设备是基于虚拟现实头戴设备相对于交通工具内部的相对布置来配置的，该相对布置是通过借助于布置在虚拟现实头戴设备上的光学捕获设备执行的光学追踪以预定的时间间隔来确定的。此外，控制设备被配置成基于虚拟现实头戴设备的至少一个取向，对虚拟现实头戴设备所显示的虚拟环境上的虚拟视角进行仿真，该取
向是借助于虚拟现实头戴设备的至少所确定的即时取向与通过光学确定的相对布置的融合而持续或重复地确定的。所描述的根据本发明的方法的配置将被视为控制设备的可能配置，反之亦然，其中控制设备尤其具有用于执行根据本发明的方法的过程步骤的装置。
31.本发明的其他特征可从附图的以下描述以及附图中导出。在不脱离本发明的范围的情况下，在本说明书中以上提及的特征和特征组合以及在附图的以下描述和/或单独在附图中示出的特征和特征组合不仅可以用于每一情形中指示的组合，还可以用于其他组合或单独使用。
32.附图在单个附图中示出了机动车的示意表示，佩戴虚拟现实头戴设备的用户坐在其中。
33.机动车1在图1被示为高度示意性的表示。机动车中坐着人2，他佩戴了虚拟现实头戴设备3。虚拟现实头戴设备3还包括用于控制虚拟现实头戴设备3的控制设备4、惯性测量单元5和捕获设备6。惯性测量单元5和捕获设备6都附连到虚拟现实头戴设备3。在人2前面还示意性地示出了头枕7，视觉参考8被施加到该头枕。机动车1固定地配备有交通工具定位系统10，该系统可以例如通过无线数据连接向控制设备4提供描述机动车10在外部世界中(即相对于固定世界参考系或坐标系)的姿态和/或移动的交通工具定位数据。
34.下面说明操作虚拟现实头戴设备3的规程。在借助于虚拟现实头戴设备3显示虚拟环境的同时，惯性测量单元5持续地确定虚拟现实头戴设备3的即时取向。由于惯性测量单元5没有测量虚拟现实头戴设备相对于汽车的取向，而是相对于外部固定世界参照系的取向，所以其数据可以与交通工具定位系统10提供的交通工具定位数据相组合。这使得能够确定虚拟现实头戴设备3相对于机动车1(尤其是其交通工具内部9，即与机动车1一起移动的交通工具坐标系)的即时取向的取向。将表征虚拟现实头戴设备3的至少相应即时取向以及还可能表征其位置的对应数据传送到控制设备4。基于这些数据，控制设备4在虚拟现实头戴设备3当前显示的虚拟环境上对人2的虚拟视角进行仿真。例如，虚拟环境可以是计算机游戏中的场景。如果佩戴虚拟现实头戴设备3的人2转动头部(例如向左或向右)，则计算机游戏中显示的虚拟视角相应地改变。在所显示的虚拟环境中，人2也相应地向左或向右移动头部。具体而言，人2的头部转动移动因此或多或少地被一对一地转换在所显示的虚拟环境中。当然，也可以相应地实现人2头部的平移移动。
35.利用这样的惯性测量单元5，如果借助于例如惯性测量单元5的加速度传感器、角速度传感器和/或其他传感器获得的数据在整合时提供明显轻微的不正确数据，即人2的实际头部取向或虚拟现实头戴设备3的实际取向不再被精确地再现，则可能会随时间出现所谓的漂移的问题。
36.因此，规定借助于布置在虚拟现实头戴设备3上的光学捕获设备6，以预定的时间间隔确定虚拟现实头戴设备3相对于机动车1的交通工具内部9的相对布置，尤其是姿态。因此，光学捕获设备6可以确定虚拟现实头戴设备3的对准或取向，并相对于交通工具内部9来确定对准或取向。借助于惯性测量单元5并借助于捕获设备6确定的虚拟现实头戴设备3的分别确定的取向或姿态被熔合在一起，特别是通过将它们作为输入馈送到作为控制装置4的一部分提供的误差状态扩展卡尔曼滤波器中。这提供了作为滤波器的输出的、针对惯性测量单元5的漂移被平滑地校正的虚拟现实头戴设备3的经校正取向或姿态。在此，假设借助于光学捕获设备6所确定的虚拟现实头戴设备3的对准或布置是正确的对准。然后，借助
于虚拟现实头戴设备3所显示的虚拟环境上的虚拟视角被适配，即基于经校正的取向或姿态来被仿真。以指定的时间间隔，光学捕获设备6再次执行其自己的规程，以确定虚拟现实头戴设备3相对于交通工具内部9的取向或姿态，以便基于由此获得的数据——必要时——通过对相应数据的融合可以再次对惯性测量单元5的漂移进行先前描述的平滑校正。一方面从惯性测量单元5和交通工具定位系统10获得的数据与另一方面来自光学捕获设备6的数据的融合(即组合或比较)是通过以下来启用的：使用交通工具定位数据来从借助于惯性测量单元5检测到的总移动中隔离出这一移动的、虚拟运动头戴设备3相对于交通工具内部9的分量。
37.例如，光学捕获设备6可以被配置成识别头枕7上的视觉参考8，并基于此来确定虚拟现实头戴设备3相对于头枕7以及交通工具内部9的相对布置。视觉参考8可以是徽标或二维码，例如以所谓的april标签或qr码的形式。视觉参考8还可以是例如以特定光图案操作的一个或多个led，使得光学捕获设备6可以特别容易地检测该光图案或相关led。
38.具体而言，如果视觉参考8不是某种形式的光源，则可规定视觉参考8是磷光和/或背光或被照亮。以此方式，即使在恶劣的照明条件下，光学捕获设备6也可以随时容易地识别视觉参考8。
39.代替在头枕7上提供视觉参考8，还可以规定捕获设备6被配置成识别头枕7本身，并基于此来确定虚拟现实头戴设备3相对于头枕7以及交通工具内部9的相对布置。为此，例如，可以提供头枕7的精确数字模型，以便光学捕获设备6可以通过与该数字模型的比较来识别头枕7。为了不必为不同的机动车1或不同的头枕7提供不同的特定数字模型，还可以规定提供对所有交通工具或头枕而言都有效的数字模型，其中提供某些典型的头枕特征，诸如特定边缘或几何特性。在这种情况下，光学捕获设备6还可以借助于与相关数字模型的比较来识别相应的头枕7，并从而确定虚拟现实头戴设备3相对于头枕7以及因而相对于交通工具内部9的对准。
40.捕获设备6还可捕获交通工具内部9的一部分的一系列图像，在该系列图像的若干个体图像中检测到交通工具内部8的至少一个特征，并确定该特征在各个体图像上的位置变化，并基于此来确定虚拟现实头戴设备3相对于交通工具内部9的相对布置。例如，该特征可以是头枕7的一部分，或者是交通工具内部9中完全不同的组件。这种所谓的帧-到-帧视觉追踪还使得能够借助于光学捕获设备6以指定的间隔来确定虚拟现实头戴设备3相对于交通工具内部9的精确对准或布置，以便——在必要的情况下——基于该数据进行对惯性测量单元5所提供的取向或姿态数据的校正。在这一上下文中，尤其可以规定忽略位于距捕获设备6超过预定距离处的任何对象。例如，如果要借助于光学捕获设备6识别头枕7，当交通工具乘员坐在后座上的情况下头枕7距捕获设备6的最大距离为70cm，则可以指定完全不考虑距捕获设备6超过70cm的所有对象。以这种方式，可以排除追踪或检测例如位于机动车1外部的对象或此处未示出的其他交通工具乘员。以此方式，可以确保借助于光学捕获设备6以特别精确的方式确定虚拟现实头戴设备3的实际对准。作为替换或补充，例如，也可以使用卷积神经网络来检测所述特征。例如，借助于此类神经网络，可以对各个体图像像素进行分类，并基于此来识别哪些像素属于交通工具内部9以及哪些不属于交通工具内部9。例如，可以屏蔽不属于交通工具内部9的像素。
41.借助于所描述的用于操作虚拟现实头戴设备3的方法，可以以特别可靠的方式非
常精确地确定虚拟现实头戴设备3的对准，并从而确定人2的头部对准，以便在虚拟现实头戴设备3所显示的虚拟环境中实现人2的相应头部对准或头部移动。
42.附图标记列表
43.1 机动车
44.2 人
45.3 虚拟现实头戴设备
46.4 控制设备
47.5 惯性测量单元
48.6 捕获设备
49.7 头枕
50.8 视觉参考
51.9 交通工具内部
52.10 交通工具定位系统