用于调节虚拟环境的呈现中的视向的方法与流程

实施例涉及虚拟环境的呈现。尤其是，实施例涉及用于调节虚拟环境的呈现中的视向的方法。

背景技术：

虚拟现实(vr)是指计算机生成的互动虚拟环境及其物理特性的呈现及同时的感知。为了产生沉浸其中的感受，向使用者呈现虚拟环境例如可以通过固定在使用者头部上的显示装置来实现。这样的装置被称为头戴式显示器(hmd)、头戴式显示器单元或者头戴式单元(hmu)。该显示装置将虚拟环境呈现在例如眼前的屏幕上，或者将其直接投影到使用者的视网膜上。虚拟环境的呈现中的取向(即视向)此时通过绕虚拟环境的呈现的横轴(nickachse，俯仰轴)的转动、绕虚拟环境的呈现的纵轴(rollachse，横滚轴)的转动和/或绕虚拟环境的呈现的偏航轴(vertikalachse、hochachse，立轴、竖轴)的转动进行调节。所述横轴、纵轴和偏航轴在此相互垂直。

为了使虚拟环境的呈现匹配使用者的运动，即为了根据使用者的运动通过虚拟环境来导航，可以检测使用者头部的位置。例如可以确定真实环境(即真实世界)中使用者头部的位置和取向，以匹配虚拟环境的呈现。相应地，可以减轻在真实环境中对自己的感知，并且可以增强对虚拟环境的认同。为了检测使用者头部的位置，例如可以利用从使用者头部上的一个单独发射器至多个远处接收器的无线电信号的传播时间。因此例如可以通过到达时差(tdoa)方法以个位厘米级的精度根据通过发射器发送无线电信号与通过各接收器接收无线电信号之间的不同时间差来确定使用者头部的位置。发射器在此例如可以被集成到固定在使用者头部上的显示装置中或者与固定在使用者头部上的显示装置无关地安装在使用者头部上。使用者因此例如可以通过在真实环境内的自由运动来改变在虚拟环境中所呈现的位置。另选地，例如可以通过基于照相机的方法、渡越时间(tof)方法、往返时间(rtt)方法或者惯性测量单元(inertialmeasurementunit,imu)来检测使用者头部的位置。

使用者头部的取向例如可以通过固定在使用者头部上的显示装置的相应传感器装置(例如陀螺仪、磁强计、加速计)来确定。当固定在使用者头部上的显示装置例如具有移动通信设备(如智能手机)以及用于将移动通信设备固定在使用者头部上的固定装置时，可以利用已经存在于该移动通信设备中的传感器装置来确定使用者头部的取向。使用者因此例如可以通过在真实环境中转动或倾斜头部来改变在虚拟环境中的视向。当在真实环境中转动头部时，例如在虚拟环境中的视向通过绕虚拟环境的呈现的偏航轴的转动而改变。例如可以采用磁强计来足够稳定地确定在真实环境中的取向。对于真实环境中的封闭区域，例如可以制作磁场图，从而可以利用相应校准的磁强计来确定使用者头部在真实环境中的取向。

但是，通过借助上述传感器装置的使用者头部取向的确定可能导致取向错误。因此，磁强计有时会提供错误的测量值，使得所测得的头部取向未与在真实环境中的感知头部取向重合。借助陀螺仪与加速计的测量值的结合来近似确定头部的取向也可能因为单独的传感器元件的测量误差而导致所测得的或所确定的头部取向与真实环境中的感知头部取向之间的不一致。因此，例如在较长期间内的有误测量值的组合和积累可能导致所确定的头部取向与真实环境中的感知头部取向之间的差异。传感器装置转动率的频繁强烈变化(例如在头部的缓慢转动与快速转动之间切换)也因而可能导致所确定的头部取向与真实环境中的头部感知取向之间的显著差异，其中，误差随着转动率变化的程度而增大。相应地，基于测量值的虚拟环境的呈现的取向也会失真。

虚拟环境的呈现中的视向绕虚拟环境的呈现的偏航轴的达到约±15°的转动偏差此时通常不会被使用者感知。如果使用者例如在真实环境中笔直移动，则因此当在虚拟环境的呈现中的视向与之相差达到约±15°(即，视向绕偏航轴向左或向右转动达到约15°)时，他有时并未意识到。换句话说，使用者在到达某个角度前都可能不会意识到，不同于真实环境，他在虚拟环境中不是笔直运动而是斜向运动。但是较大的差异会被使用者察觉并减轻沉浸感。因为传感器装置有时会存在测量误差，因此可能出现在虚拟环境的呈现中的视向的这种不希望的较大的转动偏差。尤其在使用者利用虚拟环境的呈现较长时间时，可能会因为有误测量值的积累而出现在虚拟环境的呈现中的视向的显著偏移。因此，在虚拟环境的呈现中的视向的可感知差异也可能导致使用者的身体不适。

因此存在提供用于修正在虚拟环境的呈现中的视向的可能性的需求。

技术实现要素：

用于调节在虚拟环境的呈现中的视向的方法的实施例能够满足该需求。在此，该方法包括利用摄录装置摄录在真实环境中的已知物体的影像(例如图像、视频或同声摄像)。该方法还包括基于物体影像、真实环境中的摄录装置的已知位置以及在虚拟环境的呈现中的当前视向来确定在虚拟环境的呈现中的视向绕该虚拟环境的呈现的偏航轴的转动偏差。该方法还包括使在虚拟环境的呈现中的视向转动该转动偏差。

摄录装置可以在空间上紧邻使用者布置。例如可以将摄录装置固定在使用者身体(比如头部)上。根据物体影像和摄录装置在真实环境中的已知位置可以确定摄录装置在真实环境中的取向，其因此可以被近似认为是使用者头部在真实环境中的取向。由此，可以在考虑关于在虚拟环境的呈现中的当前视向的信息的情况下，确定在虚拟环境的呈现中的视向绕该虚拟环境的呈现的偏航轴的转动偏差，并且对该虚拟环境的呈现进行相应修正。因此，该虚拟环境的呈现可以匹配使用者头部在真实环境中的实际位置和取向。因此，所提出的方法的实施例使得能够对在虚拟环境的呈现中的视向进行校准。因此对于使用者，可以产生更好的沉浸感。

其它实施例涉及用于调节在虚拟环境的呈现中的视向的第二种方法。该方法在此包括利用摄录装置摄录真实环境中的已知物体的影像(如图像、视频或者同声摄像)。该方法还包括基于物体影像以及虚拟环境的呈现中的当前视向来确定在虚拟环境的呈现中的视向绕该虚拟环境的呈现的偏航轴的转动偏差。另外，该方法还包括使在虚拟环境的呈现中的视向转动该转动偏差。

可以根据物体影像确定摄录装置在真实环境中的取向。如果摄录装置在空间上紧邻使用者布置(例如固定在使用者头部上)，则可以将摄录装置在真实环境中的取向近似认定为使用者头部在真实环境中的取向。由此可以结合关于在虚拟环境的呈现中的当前视向的信息来确定在虚拟环境的呈现中的视向绕该虚拟环境的呈现的偏航轴的转动偏差，并且对所述虚拟环境的呈现进行相应修正。因此该虚拟环境的呈现可以匹配使用者头部在真实环境中的实际位置和取向。因此，所提出的方法的实施例使得能够对虚拟环境的呈现中的视向进行校准。因此对于使用者，可以产生更好的沉浸感。

其它实施例涉及用于调节在虚拟环境的呈现中的视向的第三种方法。该方法在此包括利用固定在使用者头部上的摄录装置在第一时刻和晚些的第二时刻摄录在真实环境中安置在使用者身体上的物体(例如图像、视频或同声摄像)。该方法还包括基于在第一时刻和第二时刻的物体影像以及至少一个另外固定在使用者头部上的传感器的测量值来确定在虚拟环境的呈现中的视向绕该虚拟环境的呈现的偏航轴的转动偏差。该方法还包括使在虚拟环境的呈现中的视向转动该转动偏差。

根据在第一时刻和在第二时刻的物体影像以及至少一个另外固定在使用者头部上的传感器的测量值，可以分别确定在第一时刻与第二时刻之间的摄录装置绕使用者头部的偏航轴的有效转动。摄录装置绕使用者头部的偏航轴的转动的两个确定值之差可以被近似认为是在虚拟环境的呈现中的视向绕该虚拟环境的呈现的偏航轴的转动偏差。由此可以对该虚拟环境的呈现进行相应修正。因此，该虚拟环境的呈现可以匹配使用者头部在真实环境中的实际位置和取向。因此，所提出的方法的实施例使得能够对在虚拟环境的呈现中的视向进行校准。因此对于使用者，可以产生更好的沉浸感。

在另一方面，实施例包含程序，其具有用于在其在计算机、处理器或者可编程硬件部件上运行时执行所提出的方法的程序代码。

附图说明

下面参照附图来详细描述实施例，在附图中：

图1示出了用于调节在虚拟环境的呈现中的视向的方法的示例；

图2示出了在真实环境中的物体与物体影像之间关系的示例；

图3a示出了针对物体的第一示例；

图3b示出了针对物体的第二示例；

图3c示出了针对物体的第三示例；

图3d示出了针对物体的第四示例；

图4示出了物体中的示例性特征；

图5示出了物体的特征在真实环境中的位置与各特征在物体影像中的位置的对应关系的示例；

图6示出了所确定的摄录装置在真实环境中的取向的柱形图的示例；

图7示出了同一物体的一连串相对转动的影像；

图8示出了另一种用于调节在虚拟环境的呈现中的视向的方法的示例；

图9a示出了针对物体的第五示例的影像；

图9b示出了对应于图9a所示的影像的二进制影像；

图9c示出了针对物体的第六示例的影像；

图9d示出了对应于图9b所示的影像的二进制影像；

图10示出了另一种用于调节在虚拟环境的呈现中的视向的方法的示例；

图11a示出了使用者的运动矢量、使用者的实际视向和在第一时刻根据至少一个另外固定在使用者头部上的传感器的测量值确定的在虚拟环境的呈现中的视向之间的关系的示例；

图11b示出了使用者的运动矢量、使用者的实际视向和在第二时刻根据至少一个另外固定在使用者头部上的传感器的测量值确定的在虚拟环境的呈现中的视向之间的关系的示例。

具体实施方式

现在，明确参照其中示出了多个实施例的附图来描述各个不同的实施例。在附图中为了清楚起见而可能夸大地示出线、层和/或区域的厚度尺寸。

在以下对仅示出几个实施例的附图的说明中，相同的附图标记可以标示相同的或相似的元件。此外，相关的附图标记可以被用于多次出现在一个实施例或一幅图中但就一个或多个特征而言被共同说明的元件和物体。用相同的或相关的附图标记来描述的元件或物体可以在单独的、多个或所有的特征例如其尺寸设定方面被设计成是相同的，但或许也可以设计成是不同的，除非说明书另有明示或暗示。

虽然能以不同的方式改动和修改实施例，但在附图中举例示出了实施例并且在此加以明确说明。但要说明的是，并不想将实施例限制到各自公开的形式，而是实施例相反应该涵盖在本发明范围内的所有在功能和/或结构上的改动、等同和替代。相同的附图标记在所有的附图说明中标示相同的或相似的元件。

注意，被称为与另一个元件“相连”或“相接合”的一个元件可以与该另一个元件直接连接或接合，或者可能有中间件。而当一个元件被称为与另一个元件“直接连接”或“直接接合”时，没有中间件。为了描述元件之间的关系所用的其它术语应该按照相似的方式来解读(例如“在...之间”相对于“直接在...之间”、“邻接”相对于“紧邻”，诸如此类)。

本文所用的术语仅用于描述特定实施例，不应该限制实施例。如本文所使用的，单数形式“一个”、“一”和“该”、“所述”也应该包含复数形式，除非上下文明确另有说明。还要说明的是，在此所用的表述例如“包含”、“包括”、“具有”和/或“具备”表明存在所提到的特征、整数、步骤、工作过程、元件和/或组成部分，但并未排除存在或添加一个或更多个特征、整数、步骤、工作过程、元件、组成部分和/或其组合。

除非另有规定，否则本文所使用的所有术语(包含技术术语和科学术语)都具有实施例所属领域的普通技术人员所赋予的相同含义。还要说明的是，表述例如在常用字典中所定义的表述应被解读为其具有与其在相关技术的上下文中的含义一致的含义，除非本文另有明确规定。

图1示出了用于调节在虚拟环境的呈现中的视向的方法100。虚拟环境是计算机生成的可以被例如输出给使用者的具备预定的物理性能的互动世界。在此，在虚拟环境的呈现中的视向对应于在虚拟环境的呈现中示出的虚拟环境局部在该虚拟环境中的取向(对准方向)。该虚拟环境的呈现例如可以从人机角度或我的角度呈现虚拟环境，即该虚拟环境以就像使用者实际上在虚拟环境中运动时将会看到它的方式来呈现。相应地，当使用者实际上在虚拟环境中运动时，在虚拟环境的呈现中的视向对应于该使用者的视向。在此，在虚拟环境的呈现中的视向通过绕虚拟环境的呈现的横轴的转动、绕虚拟环境的呈现的纵轴的转动和/或绕虚拟环境的呈现的偏航轴的转动来进行调节。

方法100在此包括利用摄录装置摄录102真实环境(即真实世界)中的已知物体。该已知物体不仅可以是专门针对所提出的方法安放在真实环境中的物体，也可以是已经存在于真实环境的物体。例如该物体可以安放在使用者在其中运动的真实环境中的一个区域内，或者是该区域中的已有元素。物体不仅可以是基本两维(面状)的物体(即基本上只在两个空间方向上延伸的物体)，也可以是三维物体(即以相似的数量级在所有三个空间方向上延伸的物体)。如果使用者在真实环境中(例如在房间或大厅内运动)，则该已知物体例如可以是该房间或大厅的物体，如该房间或大厅的窗、照明装置、门、柱、梁、家具或者其它元素。另选地，该物体例如可以是专门针对所提出的方法被安放在该房间或大厅里的海报、投影、声源或其它元素。

所述摄录例如可以是静止影像(即单独的影像)、视频(即一连串的图像)或同声影像，即录音(例如噪音、音调、音乐或话语)。相应地，所述摄录装置可以包括静像照相机、录像照相机、(立体)同声摄像机或它们的组合。

此外，方法100还包括基于物体的影像、摄录装置在真实环境中的已知位置和在虚拟环境的呈现中的当前视向来确定104在虚拟环境的呈现中的视向绕该虚拟环境的呈现的偏航轴的转动偏差。摄录装置可以在空间上紧邻使用者布置。作为摄录装置的位置，于是例如可以采用在vr系统的常规操作中所测得的使用者在真实环境中的位置。如果如上所述例如通过渡越时间测量确定了使用者的位置，则发射机例如可以安置在使用者头部上，而摄录装置在空间上靠近其布置，以便尽量准确地识别摄录装置在真实环境中的位置。在虚拟环境的呈现中的当前视向例如可以由向使用者输出(可选地，计算)虚拟环境的呈现的显示装置(例如hmd、hmu)或者计算虚拟环境的计算机(例如vr系统的后台)接收。

根据物体影像和摄录装置在真实环境中的已知位置，可以确定摄录装置在真实环境中的取向，其可以被近似认为是使用者或其头部在真实环境中的取向。由此可以在考虑与在虚拟环境的呈现中的当前视向相关的信息的情况下，确定在虚拟环境的呈现中的视向绕该虚拟环境的呈现的偏航轴的转动偏差。在下面的说明中详细描述针对摄录装置在真实环境中的取向的确定以及在虚拟环境的呈现中的视向的转动偏差的确定的几个示例。

方法100还包括使在虚拟环境的呈现中的视向转动106所述转动偏差。换句话说，在虚拟环境的呈现中的视向通过绕该虚拟环境的呈现的偏航轴的转动来进行修正，其中所述转动的方向和程度通过该转动偏差来确定。因此以转动偏差来修正该虚拟环境的呈现。由此，该虚拟环境的呈现可以匹配使用者头部在真实环境中的实际位置和取向。因此，方法100使得能够对虚拟环境的呈现中的视向进行校准。尤其是，可以利用方法100来修正被错误确定的在真实环境中的取向或者在虚拟环境的呈现中的视向的偏差，该偏差由于常被用来确定使用者(头部)的位置和取向的传感器装置的测量误差而引起。

如上所述，在几个实施例中，方法100还可以包括将虚拟环境的呈现输出给使用者。将虚拟环境的呈现输出给使用者在此例如可以通过固定在使用者头部上的还包括摄录装置的显示装置来实现。在这样布置的情况下，摄录装置在真实环境中的取向可以近似被认为是使用者头部在真实环境中的取向。

在几个实施例中，固定在使用者头部上的显示装置包括移动通信设备(例如智能手机)。如上所述，在vr系统的常规操作中，已存在于移动通信设备中的传感器装置(例如陀螺仪、磁强计、加速计)可以被用来确定使用者头部在真实环境中的取向。通过将移动通信设备的照相机用作摄录装置，可以修正因移动通信设备的传感器装置的测量误差所引起的在虚拟环境的呈现中的视向绕该虚拟环境的呈现的偏航轴的转动偏差。因此，为了对虚拟环境的呈现进行校准，可以使用已由移动通信设备提供的资源。换句话说，方法100可以直接(即在线)在移动通信设备上执行。因此，方法100可以在无需附加硬件部件的情况下实现对虚拟环境的呈现的校准。另选地，例如可以通过移动通信设备来执行方法100的一部分，方法100的另一部分(诸如在虚拟环境的呈现中的视向绕该虚拟环境的呈现的偏航轴的转动偏差的确定104)可以通过使用者所使用的vr系统的已有后台来执行(即离线)。所确定的转动偏差于是可以例如从后台被发送给移动通信设备，从而可以使在虚拟环境的呈现中的视向转动所述转动偏差。前述功能例如可以通过用于vr系统的一个或更多个现有的软件部件(例如用于移动通信设备的软件或用于后台的软件)的更新来实现。

在几个实施例中，在虚拟环境的呈现中的视向绕该虚拟环境的呈现的偏航轴的转动偏差的确定104可以包含基于物体的影像和摄录装置在真实环境中的已知位置来确定摄录装置在真实环境中的取向(下面将描述其示例性方法)。此外，转动偏差的确定104可以包含基于摄录装置在真实环境中的取向确定在虚拟环境的呈现中的理论视向。例如可以将所确定的摄录装置在真实环境中的取向提供给用于计算虚拟环境的呈现的算法，该算法基于此来计算虚拟环境的呈现。尤其当将摄录装置安置在使用者头部上时，在虚拟环境中的理论视向可以对应于在虚拟环境中对应于使用者头部在真实环境中的实际位置和取向的视向。例如该摄录装置可以沿使用者在真实环境中的笔直视向或垂直于它地进行取向。所算出的在虚拟环境的呈现中的视向因此可以被视为理论视向。

现在根据实施例，根据在虚拟环境的呈现中的理论视向和在虚拟环境的呈现中的当前视向来确定在虚拟环境的呈现中的视向绕该虚拟环境的呈现的偏航轴的转动偏差。这例如可以通过将在虚拟环境的呈现中的理论视向与当前视向相比较来完成。换句话说，要确定在虚拟环境的呈现中的当前视向相对于在虚拟环境的呈现中的理论视向绕虚拟环境的呈现的偏航轴转动了多大程度。

虚拟环境的呈现例如可以通过固定在使用者头部上的(例如包含移动通信设备的)显示装置来提供。针对时刻t0的理论视向的确定例如可以通过vr系统的后台来执行并随后发送至固定在使用者头部上的移动通信设备。根据针对时刻t0的在虚拟环境的呈现中的理论视向和在时刻t0的在虚拟环境的呈现中的当前视向，移动通信设备于是可以确定在时刻t0的视向绕虚拟环境的呈现的偏航轴的转动偏差。假定在时刻t0与晚些时刻t1之间在虚拟环境的呈现中的视向的进一步偏移将被忽略，则移动通信设备例如可以使针对时刻t1的在虚拟环境的呈现中的视向转动在时刻t0的视向的转动偏差，即修正。相应地，可以将具有正确视向的虚拟环境的呈现输出给使用者。

上述方法可以在vr系统使用期间被反复执行。因此，例如可以修正在时刻t0和晚些时刻t1之间的在虚拟环境的呈现中的视向的进一步偏移。该方法也可以在成功修正之后至少部分再次执行，以验证先前的修正。

在图2中示例性示出了摄录装置在真实环境中的取向可以如何依据已知物体220的影像210和摄录装置在真实环境中的已知位置c来确定。物体220可以被理解为时空点m的集合。影像210可以被理解为像点m的集合。

摄录装置的取向和进而在影像210中的视角通过可以根据变换来确定，该变换将物体220的时空点m转为影像210的相应的像点m。通常，所述变换可表示为：

m＝kr[i|-c]m(1)，

其中，i表示单位矩阵，以及k和r表示摄录装置的相机矩阵的分解，其中，k表示本征矩阵，其代表焦长、相机主点以及图像坐标系的轴相对于假定的正交性的偏差(轴倾斜)，r表示常见的旋转矩阵。在此，r可以被表示为围绕相互正交的单元方向x、y和z的三个旋转矩阵rx、ry和rz的乘积。从真实环境中的规定原点起，例如x可以朝右，y朝上(即朝向天空)，而z朝向深度(即向前)。因此，单位方向y对应于偏航轴(竖轴)，即绕该轴的转动使影像水平移动。虚拟环境坐标系的轴可以选择为不同于相互垂直的单位方向x、y和z。于是，在真实环境中的位置可以通过坐标变换而转变为在虚拟环境中的位置。相应地，公式(1)可以变换为：

m＝krxryrz[i|-c]m(2)

这三个旋转矩阵rx、ry和rz在此可以取决于角度α，其表示在真实环境中的摄录装置的想要的水平取向。换句话说，角度α限定摄录装置在由x和z限定的平面内的取向(定向)。旋转矩阵rx、ry和rz如常见的被定义为：

假定rx(α)、rz(α)、k和c是已知的，ry(α)根据相应的配对来确定。rx(α)和rz(α)例如可以借助已存在于移动通信设备内的传感器装置来确定(例如通过重力矢量)。此时该系数可从如下的公式(3)中概括：

cp＝rx[i-c](8)

相应地，公式(3)可以表示如下：

cqm＝rycpm(9)

或者

y＝ryx(10)，

其中，y＝cqm并且x＝cpm。

相应地，公式(10)可以变换为：

从公式(11)的乘法中得到以下的公式系统：

1＝1(14)

该方程组可以根据角度分解如下：

u′·(cosα-u·sinα)＝u·cosα+sinα(15)

u′·cosα-u′·u·sina＝u·cosα+sinα(16)

u′·cosα-u·cosα-u′·u·sinα-sinα＝0(17)

cosα·(u′-u)-sinα·(u′·u+1)＝0(18)

sinα·(-u′·u-1)+cosα·(u′-u)＝0(19)

伴随(-u′·u-1)＝a和(u′-u)＝b而得到：

a·sinα+b·cosα＝0(20)

根据公式(21)得到：

u′和u可以分别针对每个对应的配对来确定，从而可以针对每一对来确定角度α。

下面在图3a至图3d中示出了针对可能的物体的几个示例。在此，图3a示出了具有不同灰度的无定形的图案310，图3b示出了具有不同尺寸的圆圈的图案320，图3c示出了树木的图像330，图3d示出了符号(例如词或数字)序列的拼图340。如图3a至图3d所示，物体可能是多种多样的。如图3a至图3d所示的图案例如可以被应用于真实环境中的一个竖向平面上(例如借助海报或投影)。例如如图3a至图3d所示的图案可以在房间或大厅的侧壁上以海报或投影的形式被示出。但该物体并不局限于图3a至图3d的示例。在下面的说明中还示出了可能物体的其它示例。

根据实施例，摄录装置在真实环境中的取向的确定包括确定使已知物体影像的至少一部分与比对影像的至少一部分重合的变换。比对影像可以提供与已知物体在真实环境中的位置相关的信息。例如提供一个具有比对影像的数据库，所述比对影像从不同的视角示出各个不同的物体或者一个物体。在此，针对每个比对影像还附加提供关于其上所示物体在真实环境中的位置的信息。对应于图2的示例中的时空点m的所述信息可以被用于根据图2的示例所示的原理来确定摄录装置在真实环境中的取向。在下面的图4至图7中举例说明用于基于变换的确定来确定摄录装置在真实环境中的取向的两种不同做法，所述变换使已知物体影像的至少一部分与比对影像的至少一部分重合。

为了说明第一做法，在图4中作为物体示例示出了呈应用于真实环境的壁上的海报400形式的具有不同尺寸的圆圈和灰度的图案。该图案包括多个特征410-1、410-2…410-n。可以通过特征提取法来确定所述特征410-1、410-2…410-n。特征提取法的示例例如是尺度不变特征转换(sift)算法、加速稳健特征(surf)算法或者二进制稳健独立基元特征(brief)算法。这些特征可以作为比对特征存储在数据库中，即，数据库的这些比对特征可以包含各种不同的物体特征。同样，数据库内的比对特征可以源于同一物体的不同影像，因为所述特征可能根据比对影像中的视向的不同而不同。因此，只在影像的某个视角下通过特征提取法识别出特征。如果现在在带有图案的示例性海报400情况下已经知道了该海报400的四个角401、402、403、404在真实环境中的位置，则也可以给数据库的单独比对特征分别配属在真实环境中的一个位置。在图4中，海报400的每个角401、402、403、404分别配属有与真实环境相关的一个示例性三维坐标(例如对于角401，x＝16.58，y＝3.19，z＝30.35)，那么也可以针对每个特征410-1、410-2…410-n分别确定在真实环境中的一个位置。相应地，每个比对特征连同其对应的位置都被存在该数据库内。

该比对特征现在可以被用于基于物体影像和摄录装置在真实环境中的已知位置来确定摄录装置在真实环境中的取向。现在利用摄录装置首先从已知位置完成物体摄录，即在图4的示例中拍摄带有图案的海报400。例如该摄录装置是固定在使用者头部上的用于输出虚拟环境的呈现的显示装置的组成部分，从而通过在vr系统的使用中对使用者头部位置的测量也近似(基本)知道了摄录装置的位置。

在影像中识别该物体的至少一个特征。为此，将一种特征提取方法(例如上述算法之一)应用到所述影像上。此外，在物体影像本身中确定特征的位置。即，确定在该影像的坐标系中的特征坐标。另外，从数据库的许多比对特征中识别出一个对应于影像中的所述物体特征的比对特征。如上所述，这些比对特征此时分别对应于真实环境中的一个位置。为了进行识别，例如可以采用已知的图像配准方法。为了能尽量快速高效地从数据库的许多比对特征中识别出该比对特征，例如采用最邻近方法，其获得特征在物体影像中的位置、这些比对特征在真实环境中的位置以及摄录装置在真实环境中的已知位置作为输入参数。

根据摄录装置在真实环境中的已知位置、特征在影像中的位置以及对应于所识别出的比对特征在真实环境中的位置，现在可以根据图2所示的原理来确定摄录装置在真实环境中的取向。关于图2所示的用于确定摄录装置在真实环境中的取向的方法，已知位置(从该位置拍摄海报400)对应于摄录装置在真实环境中的已知位置c。特征在影像中的位置对应于一个像点m，对应于所识别出的比对特征的在真实环境中的位置对应于一个时空点m。因此可以根据图2所示的原理来确定变换，该变换使特征在影像中的位置与对应于所识别出的比对特征在真实环境中的位置重合。相应地，可以确定摄录装置在真实环境中的取向。

如已从图4看出的，可以在一个物体的一幅影像中识别多个特征。换句话说，当确定摄录装置在真实环境中的取向时，可以识别该物体的多个特征。相应地，可以针对多个所识别出的物体特征从数据库中识别出多个比对特征。针对多个所识别出的物体特征，可以分别确定摄录装置在真实环境中的取向。

图5示出了影像中的物体特征与比对特征的示例性对应关系500。图5分别示出了已知的物体特征在物体影像中的位置(像点)和对应于各识别出的比对特征的在真实环境中的位置(时空点)。所述位置此时分别以任意单位(arbitraryunits)被示出。对应的像点和时空点在图5中用直线相连。如图5所示，除了直线501-507外的各直线的斜率是大致相似的。对于像点与时空点的对应配属，例如可以采用基于布鲁特力(brute-force)或近似最近邻快速库(flann)的算法。如已经从图5的基本平行的直线中看出的，因此针对多个所识别出的物体特征确定了摄录装置在真实环境中的基本相同的或相似的取向。

这从图6所示的柱形图600变得更清晰，在柱形图中标示出针对多个所识别出的物体特征所确定的摄录装置在真实环境中的取向的频率。以角度α的形式画出了这些取向，该角度表明绕影像竖轴的转动。关于具有空间方向x、y、z的上述示例，角度α因此对应于摄录装置在由x和z限定的平面内的取向(定向)，即绕y的转动。以对数形式画出了频率。

如图6所述，针对几个所识别出的物体特征的角度α被确定为约-65°，针对几个所识别出的物体特征的角度α被确定为约60°，针对几个所识别出的物体特征的角度α被确定为约64°，针对所识别出的多许多的物体特征的角度α被确定为约90°，针对所识别出的更多物体特征的角度α被确定为约91°。

根据实施例，现在将针对多个所识别出的物体特征确定的摄录装置在真实环境中的取向中的满足质量标准的取向确定为摄录装置在真实环境中的取向。关于图6的示例，例如可以选择柱形图中具有最多项的1度宽间隔(条)。因此，质量标准例如可以是摄录装置在真实环境中的取向是最频繁确定的取向。除此之外，还可以考虑其它的质量标准。例如可以要求所选间隔必须具有最少的项，或者所选的条必须代表多个所识别出的物体特征中的至少预定的一部分(即，该条必须至少对于多个所识别出的物体特征的至少一部分代表分别针对其确定的取向)。

在图6的示例中，针对90°和91°的频率在一个相似区域内是占优势且绝对的，从而两个取向都能满足所选的质量标准。相应地，在相邻或相似的取向(即在相邻的条或仅通过少量位于其间的条分隔开的条)的情况下也可以将这两个取向的平均值确定为摄录装置在真实环境中的取向。可选地，也可以(例如根据其频率)取相邻或相似的取向的权重。

在对图7的说明范围内，下面描述用于基于确定使已知物体影像的至少一部分与比对影像的至少一部分重合的变换方式来确定摄录装置在真实环境中的取向的第二做法。

在该第二做法中，摄录装置在真实环境中的取向的确定包括从数据库的许多比对影像中确定比对影像。从数据库的这些比对影像中确定比对影像在此基于摄录装置在真实环境中的已知位置。换句话说，从数据库中选择这样的比对影像，对于该比对影像，因为摄录装置的位置而存在很大的如下可能性，该比对影像完全示出物体或者说从相似的或相同的立体视角示出物体。至少所选比对影像在真实环境中的取向在此是已知的。显然，在数据库中也可以针对这些比对影像中的每一个分别存储其在真实环境中的取向。

另外，摄录装置在真实环境中的取向的确定包括确定物体影像相对于比对影像的转动。即，执行物体影像相对于比对影像的图像配准。为此可以采用已知的图像配准方法，如增强相关系数(ecc)算法。为此，例如可以将物体影像相对于比对影像逐步转动，就像通过在图7中的一连串影像701-710所示的那样。在影像701-710中分别画出了一个天窗作为在使用者所运动的真实环境中的一个物体的示例。该影像此时从左到右始终逆时针转动1°。ecc算法针对每次转动确定与比对图像的关系。随后选择最佳关系并且确定相应的变换矩阵。于是可以根据该变换矩阵确定物体影像相对于比对影像的取向(即转动)。

另外，根据比对影像在真实环境中的取向和物体影像相对于该比对影像的转动确定摄录装置在真实环境中的取向(通过两个信息的组合)。

如图7所示，第二做法例如可以被用于只在竖向上在使用者上方延伸的物体。例如可以在将虚拟环境的呈现输出给使用者期间将摄录装置定向成垂直于使用者在真实环境中的笔直视向。换句话说，摄录装置可以在真实环境中对准天空或使用者在其中运动的房间或大厅的天花板。物体可以相应地例如是在该房间或大厅的天花板上的照明装置、(天)窗、梁、条木。相应地，这些比对影像可以在数据库内例如包含房间或大厅的天花板的各种影像。另选地，该摄录装置在真实环境中也可以对准使用者在其中运动的房间或大厅的地面方向。物体于是可以是例如置于地面中的光源(激光器、led)或标记(例如紧急状况标识)，如箭头(例如发光箭头)。通常，根据本公开的物体也可以是专门标识的物体，如特殊着色的物体(色度键控chromakeying)。

如果还是通过固定在使用者头部上的显示装置来实现向使用者输出虚拟环境的呈现，则该显示装置还可以包括摄录装置。此时该显示装置还可以包括移动通信设备以及用于将该移动通信设备固定在使用者头部上的固定装置。由此，移动通信设备的照相机可以被用作摄录装置。因此，可以无需附加硬件部件地实现对虚拟环境的呈现的校准。为了能利用移动通信设备的照相机拍摄房间或大厅的天花板或地面，例如可以采用潜望镜式(periskopartig)装置，其一个开口对准天花板或地面，其另一个开口对准移动通信设备的照相机的镜头。通过潜望镜式装置内的反光镜或棱镜，入射光线可以从初始入射方向(垂直于第一开口)被偏转向期望的出射方向(垂直于第二开口)。

为了简化图像配准和进而减小所需的计算能力，这些比对影像可以是二进制影像。相应地，物体影像相对于比对影像的转动的确定包括将物体影像转换为二进制物体影像以及确定该二进制物体影像相对于比对影像的转动。为了确定二进制物体影像相对于比对影像的转动，又可以采用上述的图像配准方法。

另外，可以对所述多个比对影像的分辨率进行限制(例如限制到320x240像素)以节省计算能力。相应地，该方法可以包括缩放物体影像，即将初始分辨率缩放至目标分辨率(例如，从1920x1080像素至320x240像素)。如图所示，目标分辨率可以低于初始分辨率。物体影像中的像素数量的减少可以节约计算时间。

代替将整个影像与参考影响对比，也可以确定该影像中的物体取向并且将其与参考方向对比(例如根据关于图9a至图9d所述的方法)，以确定摄录装置在真实环境中的取向。

下面，在图8中示出了根据本公开第二方面的用于调节在虚拟环境的呈现中的视向的方法800。

该方法800在此包括利用摄录装置摄录802真实环境中的已知物体，如上所述。即，该摄录可以是例如静止影像、视频或同声摄像。相应地，该摄录装置可以包括静像照相机、摄像机、同声摄像机或它们的组合。

另外，方法800还包括基于物体影像和在虚拟环境的呈现中的当前视向确定804在虚拟环境的呈现中的视向绕该虚拟环境的呈现的偏航轴的转动偏差。在虚拟环境的呈现中的当前视向例如可以由向使用者输出(可选地，计算)虚拟环境的呈现的显示装置(例如hmd、hmu)或者计算虚拟环境的计算机(例如vr系统的后台)接收。

在此，如上所述，该摄录装置可以在空间上紧邻使用者布置(例如固定在使用者头部上)。根据物体影像，可以确定摄录装置在真实环境中的取向，其可以被近似认定为使用者头部在真实环境中的取向。由此，可以在考虑关于在虚拟环境的呈现中的当前视向的信息的情况下，确定在虚拟环境的呈现中的视向绕该虚拟环境的呈现的偏航轴的转动偏差。在下面的说明中详细描述针对摄录装置在真实环境中的取向的确定以及在虚拟环境的呈现中的视向的转动偏差的确定的几个示例。

方法800还包括使在虚拟环境的呈现中的视向转动806所述转动偏差。换句话说，在虚拟环境的呈现中的视向通过绕虚拟环境的呈现的偏航轴的转动来进行修正，在此，通过该转动偏差来确定所述转动的方向和程度。因此，以该转动偏差来修正虚拟环境的呈现。由此，该虚拟环境的呈现可以匹配使用者头部在真实环境中的实际位置和取向。因此，方法800也使得能够对在虚拟环境的呈现中的视向进行校准。尤其也可以利用方法800来修正被错误确定的在真实环境中的取向或者在虚拟环境的呈现中的视向的偏差，该偏差由于常用来确定使用者(头部)的位置和取向的传感器装置的测量误差而引起。

就像方法100，方法800在几个实施例中也还可以包括将虚拟环境的呈现输出给使用者。将虚拟环境的呈现输出给使用者在此例如可以通过固定在使用者头部上的还包括摄录装置的显示装置来实现。在这样的布置的情况下，摄录装置在真实环境中的取向可以近似被认为是使用者头部在真实环境中的取向。

在几个实施例中，固定在使用者头部上的显示装置包括移动通信设备(如智能手机)。如前所述，在vr系统的常规操作中，已经存在于移动通信设备内的传感器装置(例如陀螺仪、磁强计、加速计)可被用来确定使用者头部在真实环境中的取向。通过将移动通信设备的照相机用为摄录装置，可以对由于移动通信设备的传感器装置的测量误差而引起的在虚拟环境的呈现中的视向绕该虚拟环境的呈现的偏航轴的转动偏差进行修正。因此，为了对虚拟环境的呈现进行校准，可以使用已由移动通信设备提供的资源。换句话说，可以直接(即在线)在移动通信设备上执行该方法800。因此，方法800也可以在无需附加的硬件部件的情况下实现对虚拟环境的呈现的校准。另选地，例如可以通过移动通信设备执行方法800的一部分，而方法800的另一部分(如在虚拟环境的呈现中的视向绕该虚拟环境的呈现的偏航轴的转动偏差的确定804)可以通过使用者所使用的vr系统的已有后台来执行(即离线)。所确定的转动偏差于是例如可以从后台被发送至移动通信设备，从而可以使在虚拟环境的当前呈现中的视向转动所述转动偏差。前述的功能例如可以通过用于vr系统的一个或更多个已有软件部件(例如用于移动通信设备的软件或用于后台的软件)的更新来实现。

在几个实施例中，在虚拟环境的呈现中的视向绕该虚拟环境的呈现的偏航轴的转动偏差的确定804可以包括基于物体影像和参考方向确定摄录装置在真实环境中的取向(下面将描述其示例性方法)。该参考方向是在真实环境中的如下方向，其取向相对于物体取向是已知的。换句话说，人们利用对物体取向相对于参考方向的了解来确定摄录装置在真实环境中的取向。另外，转动偏差的确定804可以包含基于摄录装置在真实环境中的取向确定在虚拟环境的呈现中的理论视向。例如可以将所确定的摄录装置在真实环境中的取向提供给用于计算虚拟环境的呈现的算法，其基于此来计算虚拟环境的呈现。尤其当摄录装置安置在使用者头部上时，在虚拟环境中的理论视向可以是在虚拟环境中的如下视向，其对应于使用者头部在真实环境中的实际位置和取向。例如摄录装置可以被定向成垂直于使用者在真实环境中的笔直视向。在所计算出的虚拟环境的呈现中的视向因此可以被视为理论视向。

现在根据实施例，根据在虚拟环境的呈现中的理论视向和在虚拟环境的呈现中的当前视向，确定在虚拟环境的呈现中的视向绕该虚拟环境的呈现的偏航轴的转动偏差。这例如可通过将在虚拟环境的呈现中的理论视向与当前视向相比较来完成。换句话说，要确定在虚拟环境的呈现中的当前视向相对于在虚拟环境的呈现中的理论视向绕该虚拟环境的呈现的偏航轴转动多大程度。

在下面的图9a至图9d中，举例说明用于基于影像中的物体取向和参考方向确定摄录装置在真实环境中的取向的两种不同做法。

为了说明第一做法，在图9a中示出了在真实环境中的使用者在其中运动的大厅的天花板的影像900。该影像900此时示出了表示示例性物体的长条形照明装置910的一部分。但在此该物体不局限于长条形照明装置。该物体例如也可以是在使用者在其中运动的真实环境中的大厅或概括讲房间的天花板上的窗、梁或图案。通常，该物体可以是在竖向上只在使用者上方延伸的物体。相应地，该摄录装置可以被定向成垂直于使用者在真实环境中的笔直视向，即该摄录装置可以对准天空或天花板。或者，在真实环境中的摄录装置也可以对准使用者在其中运动的房间或大厅的地面。于是，物体例如可以是置于地面中的光源(激光器、led)或者标记(例如紧急情况标识)，如箭头(例如发光箭头)。如果通过固定在使用者头部上的、同时又包括移动通信设备以及用于将移动通信设备固定在使用者头部上的固定装置的显示装置来实现将虚拟环境的呈现输出给使用者，则该移动通信设备的照相机可以被用作摄录装置。因此，可以在无需附加的硬件部件的情况下实现对虚拟环境的呈现的校准。为了能利用移动通信设备的照相机来完成对房间或大厅的天花板或地面的摄录，例如可以采用潜望镜式装置，其一个开口对准天花板或地面，其另一个开口对准移动通信设备的照相机的镜头。

根据第一做法，摄录装置在真实环境中的取向的确定包括将物体影像转换为二进制物体影像。对应于影像900的二进制影像900‘如图9b所示。为了产生二进制影像，可选地，例如可以求出或定义用于分割二进制影像中的两个可能状态的与环境相关的阈值。该方法还包括在二进制物体影像中识别物体的候选者。在二进制影像900‘中，该候选者是对应于长条形照明装置910的区域910‘。虽然图9b所示的二进制影像900‘仅示出了一个物体候选者910‘，但可以根据所完成的摄录也识别出该影像或对应的二进制影像中的两个、三个、四个或更多的物体候选者。为此，可以可选地首先确定各自的大或小的主轴还有候选者的重心。

该方法还包括确定物体候选者的各自(线性)偏心率e。即，针对每个已知候选者确定一个偏心率。所确定的线性偏心率使得能够估算可能的候选者是否是一个更接近圆形(e≈0)的或更接近长条形的(e≈1)物体。因此针对二进制影像900‘确定作为图像中的唯一候选者的区域910‘的偏心率。因为该区域910‘是长条形的，因此对其确定几乎为1的偏心率值。

另外，该方法还包括确定以下候选者的主轴的取向作为影像中的物体取向，其偏心率高于阈值并且其主轴比具有高于阈值的偏心率的其它物体候选者的主轴长。因此，对于所有候选者，将其所确定的偏心率与阈值相比较，以确定代表长条形物体的那个候选者。例如，阈值因此可以为0.5、0.55、0.6、0.65、0.7、0.75、0.8、0.85或者0.9。从余下的物体候选者中选择主轴最长的候选者。该影像中的候选者取向被确定为该影像中的物体取向。

影像中的候选者取向例如可以基于辅助矢量920来确定，其中，该辅助矢量920表示使用者的笔直视向。沿使用者的笔直视向定义辅助矢量920可以使得能够将摄录装置的取向视为基本与真实环境中的使用者的取向相同。相应地，可以根据所确定的摄录装置的取向来将在虚拟环境中的下述视向确定为在虚拟环境的呈现中的理论视向，其对应于使用者头部在真实环境中的实际位置和取向。对于区域910‘，因此可以确定其主轴的取向930相对于辅助矢量920包夹形成89°角度。即，区域910‘的主轴朝向辅助矢量920转动89°。因此，区域910‘的主轴的取向930被确定为影像中的物体取向。

与参考方向信息一起，可以根据物体在该影像中的取向来确定摄录装置的取向。如上所述，参考方向是在真实环境中的方向，其相对于物体取向的取向是已知的。换句话说，相对于参考方向的物体取向(定向)是已知的。参考方向例如可以针对已知的环境进行确定或者根据参考影像来确定。如果使用者在真实环境中(例如在具有基本呈矩形的地面的大厅内)运动，则地面一角可以被定义为原点。从该原点起可以定义(类似于图2的示例)三个正交的空间轴x、y和z。从在该地面一角处的所定义的原点起，例如x可以朝右(即，基本沿地面的第一边界延伸)，y朝上(即朝向天空)(即，基本垂直于地面)，z朝向深度方向(即向前)(即基本上沿着地面的第二边界延伸，第二边界垂直于地面的第一边界)。单位方向y因此对应于偏航轴，即绕该轴的转动使影像水平移动。于是，作为参考方向例如可以选择空间轴z，其基本沿地面的第二边界延伸。相对于参考方向的物体取向并因此在图9a的示例中是长条形照明装置910的取向是已知的。例如长条形照明装置910可以垂直于参考方向z延伸，即反推地平行于空间方向x。

根据所确定的物体在影像中取向和物体相对于参考方向的已知取向，现在可以确定摄录装置的取向。因此在上面的示例中确定了辅助矢量920在真实环境中的取向。因此，可以确定摄录装置在由空间方向x和z定义的平面内的取向。

为了节约计算能力，可以对待分析的影像的分辨率进行限制(例如限制到320x240像素)。相应地，该方法可以包括缩放物体影像，即，将初始分辨率缩放至目标分辨率(例如从1920x1080像素至320x240像素)。如图所示，目标分辨率可以低于初始分辨率。物体影像中的像素数量的减少可以节约计算时间。

在针对图9c和图9d的说明范围内，下面描述用于基于物体在影像中的取向和参考方向确定摄录装置在真实环境中的取向的第二做法。

为了说明第二做法，在图9c中示出了真实环境中使用者在其中运动的大厅的天花板的影像940。该影像900在此表示圆形照明装置951、952、953的(线性)布置，其是示例性物体。但该物体在此不局限于圆形照明装置的布置。该物体通常可以是在使用者在其中运动的真实环境中的大厅或概括讲房间的天花板上的圆形物体的任何布置。该物体通常是在竖向上只在使用者的上方延伸的物体。另选地，摄录装置在真实环境中也可以被定向为沿使用者在其中移动的房间或大厅的地面方向。物体于是例如可以是置于地面中的光源(激光器、led)或者标记，如箭头。相应地，摄录装置可以被定向成垂直于使用者在真实环境中的笔直视向，即摄录装置可以对准天空(即天花板)或地面。如果通过固定在使用者头部上的、同时又包含移动通信设备以及用于将该移动通信设备固定在使用者头部上的固定装置的显示装置将虚拟环境的呈现输出给使用者，则该移动通信设备的照相机可以被用作摄录装置。因此，可以在无需附加的硬件部件的情况下实现对虚拟环境的呈现的校准。为了能够利用移动通信设备的照相机来完成对房间或大厅的天花板或地面的摄录，例如可以采用潜望镜式装置，其一个开口对准天花板或地面，其另一个开口对准移动通信设备的照相机的镜头。

确定摄录装置在真实环境中的取向根据第二做法又包括将物体的影像转化为物体的二进制影像。对应于影像940的二进制影像940‘如图9d所示。为了产生二进制影像，可选地，例如可以求出或定义用于分割二进制影像中的两个可能状态的与环境相关的阈值。

另外，该方法包括识别在二进制物体影像中的圆形物体。该圆形物体的各自的半径此时包含在预定数值范围内。换句话说，仅识别其半径数值大于第一阈值且小于第二阈值的圆形物体。在此，阈值可以基于与使用者在其中运动的真实环境相关的信息(例如天花板距地面的高度或照明装置距地面的距离、照明装置的尺寸)来进行选择。为了识别二进制影像中的圆形物体，例如可以采用基于圆霍夫变换(cht)的算法。相应地，在二进制影像中识别出以下这样的圆形物体951‘、952‘、953‘，其对应于影像940中的圆形照明装置951、952、953的布置。而在二进制影像940‘中的临近952‘、953‘的亮区952“、953“不作为圆形物体，因为它们不满足半径准则。在二进制影像940‘中的临近952‘、953‘的亮区952“、953“对应于影像940中的光学作用954、955，因此不是真实环境中的物体。因此，可以借助半径准则有效地排除用于确定摄录装置取向的其它方法的光学干扰。

另外，该方法还包括确定圆形物体彼此之间的距离。为此，可以确定例如圆形物体951‘、952‘、953‘的中心并确定这些中心之间的距离。在确定间距时也可以考虑圆形物体各自的半径。

另外，根据第二做法，摄录装置在真实环境中的取向的确定包括基于圆形物体的相互间距确定物体在该影像中的取向。根据圆形物体的间距可以确定几个圆形物体的相互关系。在此，例如还可以利用与使用者在其中运动的真实环境相关的信息。在如图9c和图9d所示的示例中，例如在真实环境中线性布置的圆形照明装置951、952、953的各照明装置之间的间距以及圆形照明装置951、952、953的线性布置与另外的圆形照明装置的线性布置(图9c未示出)之间的间距可以被纳入考虑。通常，与可以通过摄录装置采集的在真实环境中的区域(例如房间或大厅的天花板)的形状和特性相关的信息可以被纳入多个单独物体的相互关系的确定中。

在图9d中，针对圆形物体951‘、952‘、953‘的相互间距确定了，其对应于照明装置在真实环境中的线性布置的间距并且圆形物体951‘、952‘、953‘因此代表在真实环境中的已知物体。相应地，根据圆形物体951‘、952‘、953‘在二进制影像中的各个位置确定由圆形物体951‘、952‘、953‘代表的物体在该影像中的方向矢量970。为此例如可以使直线适配(匹配)到圆形物体951‘、952‘、953‘的中心。

在影像中的方向矢量970(即物体)的取向例如又可以依据例如表示使用者笔直视向的辅助矢量960来确定。因此针对方向矢量970可以确定物体取向相对于辅助矢量960包夹形成35°角度。即，由方向矢量970代表的圆形照明装置951、952、953线性布置相对于辅助矢量960转动35°。因此，方向矢量970的取向被确定为物体在该影像中的取向。

与参考方向信息一起，可以根据物体在该影像中的取向来确定摄录装置的取向。如上所述，参考方向是在真实环境中的方向，其相对于物体的取向是已知的。参照在图9b的描述中举例引入的坐标系xyz，作为参考方向例如又可以选择空间轴z，其基本沿着地面的第二边界延伸。相对于参考方向的物体取向以及因而在图9c中是圆形照明装置951、952、953的线性布置是已知的。例如圆形照明装置951、952、953的线性布置可以垂直于参考方向z延伸，即反推平行于空间方向x。

现在，根据已知物体在该影像中的取向以及已知物体相对于参考方向的取向可以确定摄录装置的取向。因此，在以上示例中确定辅助矢量960在真实环境中的取向。因此，可以确定摄录装置在由空间方向x和z限定的平面内的取向。

为了节省计算能力，可以对待分析的影像的分辨率进行限制(例如限制到320x240像素)。相应地，该方法可以包括物体影像的缩放，即将初始分辨率缩放至目标分辨率(例如从1920x1080像素至320x240像素)。如图所示，目标分辨率可以低于初始分辨率。物体影像中的像素数量的减少可以节约计算时间。

在与图9c和图9d相关地描述的做法中假定，摄录装置完成了在一个基本垂直于使用者所运动的平面的平面内的摄录。例如，到访者在大厅里运动并且摄录装置以相对于大厅天花板基本为90°的角度完成了对其的摄录。但摄录装置也可以相对于天花板倾斜(例如当摄录装置被固定在使用者头部上并且他完成点头或歪头动作时)。为了在这种情况下也能正确确定圆形物体在二进制影像中的间距，除了摄录装置在真实环境中的已知位置(如通过vr系统确定的使用者在真实环境中的位置)外，还可以利用例如移动通信设备的陀螺仪和/或加速计的当前测量值，该移动通信设备被用作用于虚拟环境的显示装置以及摄录装置。

被用作用于虚拟环境的显示装置以及摄录装置的移动通信设备的陀螺仪和/或加速计的当前测量值也可以是完全通用的(即在本文的所有实施例中通用)，以便确定是否存在适于完成摄录的时刻。例如可以确定摄录装置仅在测量值的某个数值范围内完成摄录。借此可以阻止对因摄录装置在真实环境中的取向而具有模糊或其它图像失真的影像的分析。因此可以避免确定摄录装置在真实环境中的错误取向，并因此防止使虚拟环境中的视向转动错误的转动偏差。

在几个实施例中，通过固定在使用者头部上的包含摄录装置的显示装置来实现对安置在使用者身体(例如腹部、裤腰)上的光源的摄录。例如可以在使用者的身体上安置激光器，其沿使用者的笔直运动方向(即，基本沿使用者的笔直视向)发射激光。因此，该光源或者激光器是已知物体，其被摄录装置摄录。根据摄录装置的当前位置和该摄录装置的在至少一个在先时刻的已知位置，确定身体在真实环境中的取向(即在摄录时刻的运动矢量被视为身体的取向)。换句话说，将身体在真实环境中的取向作为参考方向。现在，根据激光在影像中的取向来确定摄录装置相对于激光的取向。激光在该影像中的取向例如可以根据关于图9a和图9b所述的方法来确定。因为激光的方向对应于参考方向，因此可以根据激光的影像确定摄录装置在真实环境中的绝对取向。相应地，可以根据在真实环境中的绝对取向来确定在虚拟环境的呈现中的理论视向，从而通过与在虚拟环境的呈现中的当前视向的比较又可以确定在虚拟环境的呈现中的视向绕该虚拟环境的呈现的偏航轴的转动偏差。于是可以使在虚拟环境的呈现中的视向转动该转动偏差，即得以修正。

图10示出了另一种用于调节在虚拟环境的呈现中的视向的方法1000。

该方法1000在此包括利用安置在使用者头部上的摄录装置在第一时刻t0和晚些的第二时刻t1摄录1002在真实环境中安置在使用者身体上的物体。该物体例如可以是安置在使用者身体(例如腹部或裤腰)上的光源。例如可以在使用者身体上安置激光器，其沿使用者的笔直运动方向(即基本沿使用者的笔直视向)发射激光。

使用者可以通过绕头部横轴的转动、绕头部纵轴的转动和/或绕头部偏航轴的转动使其头部运动。所述头部的横轴、纵轴和偏航轴此时相互垂直。因为该摄录装置安置在使用者头部上，因此它也可以绕所述头部的横轴、纵轴和偏航轴运动。

如上所述，将虚拟环境的呈现输出给使用者可以通过固定在使用者头部上的显示装置实现。于是，可以在vr系统的常规使用中例如采用存在于显示装置(hmd)中的传感器装置(例如陀螺仪、磁强计、加速计)来确定使用者头部在真实环境中的取向。因此，尤其可以确定头部绕其偏航轴的转动位置。但是，如上所述地利用现有传感器装置来确定头部取向可能存在误差。因此除了上述传感器装置(即至少一个另外的传感器)外，该显示装置还可以包括摄录装置。因此，方法1000还包括基于在第一时刻t0和在第二时刻t1的物体影像以及固定在使用者头部上的至少一个另外的传感器的测量值来确定1004在虚拟环境的呈现中的视向绕该虚拟环境的呈现的偏航轴的转动偏差。

在虚拟环境的呈现中的视向绕虚拟环境的呈现的偏航轴的转动偏差此时对应于摄录装置绕使用者头部的偏航轴的转动偏差。这通过将根据在时刻t0和t1的影像所确定的摄录装置绕使用者头部的偏航轴的转动与根据固定在使用者头部上的至少一个另外的传感器在时刻t0和t1之间的测量值所确定的摄录装置绕使用者头部的偏航轴的转动进行比较来确定。由此可以确定在虚拟环境的呈现中的视向绕虚拟环境的呈现的偏航轴的转动偏差，而无需确定摄录装置或使用者头部在真实环境中的绝对取向。相反，仅确定该摄录装置或hmd绕头部偏航轴的相对转动偏差就足够了。

因此，方法1000还包括使在虚拟环境的呈现中的视向转动1006所述转动偏差。换句话说，在虚拟环境的呈现中的视向通过绕虚拟环境的呈现的偏航轴的转动而得以修正，在这里，该转动的方向和程度通过该转动偏差来确定。因此，利用该转动偏差对虚拟环境的呈现进行修正。因此，虚拟环境的呈现可以匹配使用者头部在真实环境中的实际位置和取向。因此，方法1000也可以包括对在虚拟环境的呈现中的视向的校准。尤其可以利用方法1000来修正被错误确定的在真实环境中的取向或者在虚拟环境的呈现中的视向的偏差，该偏差由于通常用来确定使用者(头部)的位置和取向的传感器装置的测量误差而引起。

根据几个实施例，在虚拟环境的呈现中的视向绕虚拟环境的呈现的偏航轴的转动偏差的确定1004包括基于在第一时刻t0和第二时刻t1的物体影像来确定摄录装置在第一时刻t0和第二时刻t1之间绕使用者头部的偏航轴的第一转动。在此，针对第一时刻t0，根据在第一时刻t0的激光的影像确定摄录装置相对于激光的取向。例如激光可以被定向成沿使用者的笔直运动方向，并且使用者笔直向前看，从而摄录装置相对于激光绕头部偏航轴的0°转动被确定为第一取向。针对第二时刻t1，根据第二时刻t1的激光影像确定摄录装置相对于激光的取向。如果使用者在时刻t1将其头部例如转向侧面，则确定激光在该影像中的不同于第一取向的第二取向，即摄录装置相对于激光绕头部偏航轴的非0°的转动。激光在该影像中的取向例如可以根据关于图9a和图9b所述的方法来确定。即，根据两个影像来确定在第一时刻t0的头部取向与在第二时刻t1的头部取向之间的绕头部偏航轴的相对转动角度。

另外，在虚拟环境的呈现中的视向绕虚拟环境的呈现的偏航轴的转动偏差的确定1004在此实施例中包括基于固定在使用者头部上的至少一个另外的传感器的测量值来确定摄录装置在第一时刻t0和第二时刻t1之间绕使用者头部的偏航轴的第二转动。换句话说，作为比较值，根据在时刻t0和t1之间的固定在使用者头部上的至少一个另外的传感器的测量值来确定绕头部偏航轴的有效(总)转动。即，根据所述测量值来确定在第一时刻t0的头部取向和在第二时刻t1的头部取向之间的绕头部偏航轴的相对转动角度。但因为该显示装置的传感器装置有测量误差，因此根据所述测量值确定的绕头部偏航轴的转动可能存在误差。而因为它在vr系统中被用于确定在虚拟环境的呈现中的视向，因此在虚拟环境的呈现中的视向(即绕虚拟环境的呈现的偏航轴的转动)也可能存在误差。

因此，在虚拟环境的呈现中的视向绕虚拟环境的呈现的偏航轴的转动偏差的确定1004在此实施例中还包括将在第一转动和第二转动之间的绕头部偏航轴的转动偏差确定为在虚拟环境的呈现中的视向绕虚拟环境的呈现的偏航轴的转动偏差。换句话说，在第一转动和第二转动之间的绕头部偏航轴的转动偏差表示根据物体影像确定的第一转动与根据所述至少一个另外的传感器的测量值确定的第二转动之间的差异(即区别)。即，因此借助对显示装置相对于使用者身体上的物体(例如激光)的转动的准确确定来确定因显示装置(即hmd)的传感器装置的测量误差所引起的绕使用者头部偏航轴的转动偏差。摄录装置或hmd绕头部偏航轴的相对转动偏差因此可以被认为是在虚拟环境的呈现中的视向绕虚拟环境的呈现的偏航轴的转动偏差，从而它可相应地利用摄录装置或hmd绕头部的偏航轴的转动偏差来进行修正。

在下面的图11a和图11b中，举例示出了使用者1000在真实环境中的运动矢量、使用者1100在真实环境中的实际视向vreal和根据安置在使用者110的头部1102上的至少一个另外的传感器的测量值确定的在虚拟环境的呈现中的视向vvr之间的关系。在图11a和图11b中，使用者1100在第一时刻t0与晚些的第二时刻t1之间沿着运动矢量p运动，该运动矢量例如可以通过在两个时刻t0和t1的位置测量m(t0)和m(t1)来确定。

图11a在此示出了在第一时刻t0的情况。在该时刻，使用者1100笔直向前看，即看向其运动矢量p的方向。针对第一时刻t0，借助安置在使用者1100的头部1102上的hmd1104所包含的摄录装置来确定使用者头部的实际取向。如上所述，借助该摄录装置来实现对安置在使用者1100的身体1106上的物体(例如光源、发射激光的激光源)的第一摄录，并由此针对第一时刻t0确定头部相对于物体的相对取向。该物体相对于使用者1100的身体1106(例如躯体)的取向此时是已知的。例如激光可以可以被定向成沿使用者1100的笔直运动方向，从而摄录装置相对于激光绕头部偏航轴的0°转动被定为第一取向。因为激光对准使用者1100的笔直运动方向，因此该激光的方向基本对应于使用者1100的运动矢量p，从而摄录装置相对于使用者110的运动矢量p绕头部偏航轴的转动θ是已知的，在这里，即0°转动。因为运动矢量是已知的，因此摄录装置以及进而使用者1100的头部1102在真实环境中的的绝对取向是已知的。

在vr系统的正常使用中，也借助hmd1104所包含的至少一个另外的传感器(例如陀螺仪、磁强计、加速计)来确定使用者1100的头部1102在真实环境中的取向，由此确定在虚拟环境的呈现中视向vvr的取向。现在，针对第一时刻t0，根据安置在使用者1100的头部1102上的至少一个另外的传感器的测量值确定的使用者1100在真实环境中的视向与根据所述影像确定的使用者1100在真实环境中的实际视向vreal相同。因此，在虚拟环境的呈现中的视向vvr也基本对应于使用者1100的运动矢量p，从而使用者1100在真实环境中的实际视向vreal与虚拟环境的呈现中的视向vvr之间可以认为基本为0°的转动θ。换句话说，绕虚拟环境的呈现的偏航轴的转动偏差基本为0°。

在图11b中现在示出了第二时刻t1时的情况。在第二时刻t1，使用者1100也笔直向前看，即基本沿其运动矢量p的方向。因此，根据安置在使用者身体1106上的物体(例如激光器)在第二时刻t1的第二影像，又确定摄录装置相对于例如激光器绕头部偏航轴的0°转动作为第二取向，即，摄录装置相对于使用者1100的运动矢量p绕头部偏航轴的转动θ又为0°。现在，针对第二时刻t1，根据安置在使用者1100的头部1102上的至少一个另外的传感器的测量值确定的使用者1100在真实环境中的视向因为测量误差而不等于根据第二影像确定的使用者1100在真实环境中的实际视向vreal。因此，在虚拟环境的呈现中的视向vvr也有误地基本上不对应于使用者1100的运动矢量p，从而使用者1100在真实环境中的实际视向vreal与虚拟环境的呈现中的视向vvr之间存在不为0°的转动θ。换句话说，绕虚拟环境的呈现的偏航轴的转动偏差不为0°。不为0°的绕虚拟环境的呈现的偏航轴的转动偏差的结果就是，使用者在虚拟环境中没有基本上沿运动矢量p运动，而是相对于它倾斜运动。例如使用者在真实环境中笔直向前移动，而他在虚拟环境中倾斜地向前移动。

现在为了修正在虚拟环境的呈现中的视向，如上所述(参见关于图11的描述)地可以利用根据两个影像确定的转动与根据至少一个另外的传感器的测量值确定的转动之间的绕使用者1100的头部1102的偏航轴的相对转动偏差。另选地，可以利用摄录装置(因而头部1102)在真实环境中的绝对取向(其可以在知晓摄录装置相对于已知运动矢量的相对取向的基础上进行确定)，以确定在虚拟环境的呈现中的理论视向并将在虚拟环境的呈现中的视向修正(即绕虚拟环境的呈现的偏航轴转动)在虚拟环境的呈现中的理论视向与当前视向之间的转动偏差。因此可以实现对在虚拟环境的呈现中的视向的校准。

在之前的描述、以下的权利要求书以及附图中公开的特征不仅可以单独地实现，也可以以对于以其各种不同的设计实现实施例来说是有意义的任何组合的形式来实现。

虽然已经描述了与装置相关的许多方面，但显然这些方面也是对相应方法的说明，因此，装置的单元或构件也应该是指相应的方法步骤或方法步骤的特征。与此相似地，关于方法步骤或作为方法步骤所描述的方面也是对相应装置的相应的单元或细节或特征的说明。

根据一些实施要求，本发明的实施例能以硬件或软件的方式实现。所述实现可以在采用存有电子可读控制信号的数字存储介质例如软盘、dvd、蓝光盘、cd、rom、prom、eprom、eeprom或者闪存、硬盘或其它磁存储器或光存储器的情况下进行，电子可读控制信号可以与可编程硬件部件合作或与之协作，从而执行相应的方法。

可编程的硬件部件可以由处理器、计算机处理器(cpu＝中央处理单元)、图形处理器(gpu＝图形处理单元)、计算机、计算机系统、专用集成电路(asic＝专用集成电路)、集成电路(ic＝集成电路)、片上系统(soc)、可编程逻辑元件或者带有微处理器的现场可编程门阵列(fpga＝现场可编程门阵列)构成。

因此，数字存储介质可以是机器可读的或计算机可读的。即，许多实施例包括数据载体，其具有电子可读控制信号，它们能够与可编程的计算机系统或者可编程的硬件部件合作，从而执行本文所描述的一种方法。因此，一个实施例是数据载体(或者数字存储介质或可计算机读取的介质)，其上记录有用于执行本文所描述的方法的程序。

通常，本发明的实施例能够以程序、固件、具有程序代码的计算机程序或计算机程序产品或者数据的形式来实现，其中该程序代码或数据可操作以当该程序在处理器或者可编程的硬件部件上运行时能执行其中一种所述方法。所述程序代码或数据例如也可以被存储在机器可读的载体或数据载体上。所述程序代码或数据尤其能够以源代码、机器代码或比特代码以及其它中间代码的形式存在。

此外，另一个实施例是作为用于执行在此所述方法的程序的数据流、信号系列或一连串信号。所述数据流、信号系列或一连串信号例如可以被配置成能够通过数据通信连接如互联网或其它网络来传送。因此，实施例也是表示适用于经网络或者数据通信连接传输的信号序列的数据，在此所述数据是所述程序。

根据一个实施例的程序可以在其运行时例如如此实现其中一种所述方法，该程序读取存储单元或者在其中写入一个或更多个数据或，由此或许在晶体管结构、放大器结构或者其它的电气、光学、磁性或者根据其它的功能原理工作的元器件中引起切换过程或其它过程。因此，可以通过读取存储单元，由程序检测、确定或测量数据、数值、传感器值或其它程序信息。因此，程序可以通过读取一个或更多个存储单元来检测、确定或测量参数、数值、测量值和其它的信息，并且可以通过写入一个或更多个存储单元来引起、促成或执行一项行动以及控制其它的设备、机器和部件。

上述实施例仅用于说明本发明的原理，应当理解，本文所述的布置和细节的修改和变化对于本领域普通技术人员来说是显而易见的。因此，意图是本发明仅受所附权利要求的范围限制，而不是由本文实施例的描述和解释中呈现的具体细节限制。