计算机图形显示系统及方法
【专利说明】
[0001]【背景技术】和现有技术
[0002]本发明总体上涉及用于计算机模拟环境或所谓的虚拟现实(VR)环境的计算机图形。更具体地，本发明涉及一种根据权利要求1的前序部分所述的计算机图像显示系统，以及一种根据权利要求9的前序部分所述的方法。本发明还涉及一种根据权利要求17所述的计算机程序产品以及一种根据权利要求18所述的计算机可读介质。
[0003]VR环境通常以高度可视的三维(3D)方式来模拟用户处于现实世界或虚幻世界的实际存在。大多数当前的VR环境主要是在计算机屏幕上或通过特定的立体显示器进行显示的视觉体验。然而，有些模拟包括附加感觉信息，例如通过扬声器或麦克风的声音。例如用于医疗或游戏应用的触觉系统还可以包括众所周知的为力反馈的触觉信息。用户可以通过标准的输入装置(如键盘和鼠标)与VR环境进行交互。在更高级的应用中，可以使用诸如有线手套(或数据手套)之类的多模式设备。
[0004]优选地采用头戴式显示(HMD)系统来为用户提供真实的视觉体验。在此，根据用户如何移动他/她的头部，显示器呈现图形数据，该图形数据表现用户在VR环境中从特定位置以及在特定方向上所看到的视场。因此，HMD系统需要高度精确地跟踪用户的头部移动情况。如今，为了这个目的，将各种形式的加速计和陀螺仪集成到HMD系统。然而，该方法存在许多冋题。
[0005]首先，必须定义一个中立或原始位置，该位置与VR环境中用户的视场的特定位置和方向相关联。然后，必须对从原始位置在每个方向上的每次运动以及每个旋转进行跟踪，以确定应当如何改变显示给用户的视场，以便维持VR环境连续且真实的效果。这是一个非常有挑战性的任务，因为必须对具有六个自由度(例如，三个空间坐标和三个角坐标)的参数保持最新。当然，随着时间的推移，错误会积累，最终使得:通过图形数据显示给用户的视场与实际上本该显示的视场之间存在不可接受的较大不一致。例如，如果用户快速地向上/下、左/右、后/前和/或有角度地摇动他/她的头部，则这些影响变得特别明显。然而，如果由于某些原因造成移动跟踪的丢失，则系统需要重置。即，用户必须返回到原始位置。在游戏应用中，这可能仅仅令人烦恼，而在医疗应用(例如，远程手术)中，结果确实会非常严重。
[0006]如今，实际上还不存在上述加速计/陀螺仪(这需要对用户头部的所有位置和角度变化进行重复更新和记录)技术的替代技术用于将控制数据提供给计算机，使得计算机可以生成用于例如通过HMD系统以真实的方式将VR环境显示给用户。
[0007]然而，在完全不同的技术领域中，存在如下技术方案:依靠其他类型的信号来对物理环境中实际位置和方向进行配准，即与投射光图案相关的光信号。
[0008]JP 2005-017203描述了一种用于配准如何在一段时间间隔期间定位商店中的各个顾客的系统。在这里为每个顾客提供了一个照明灯，该照明灯将具有指定几何形状的光学标记投影到商店的墙或天花板上。通过经由商店中的至少一个摄像机对从墙或天花板反射的间接光的研究来计算在给定的时间每个顾客的位置。此外，通过研究来自顾客的光学标记的形状如何变化，可以获得顾客的三维坐标。
[0009]US 2005/0213081公开了一种用于控制机器人的解决方案，其中，固定光源将光图案投影到机器人在其中进行操作的房间的天花板上。在此，机器人通过经由布置在该机器人上的摄像机获取图像数据来进行导航。更准确地，基于通过摄像机配准的特定光图案，机器人确定平面上的二维位置(X，y)和方向(Θ )。
[0010]与现有技术相关的问题
[0011]因此，公知的HMD系统中的基于加速计/陀螺仪的技术存在如下需求问题:定义原始位置、错误积累，以及由于位置和/或方向更新过程中的任何中断所引起的故障。
[0012]上面所提及的基于光学的解决方案能够分别确定一个实体的完整的空间位置或者二维位置和一维方向。然而，这些参考文献都没有提供与生成计算机图形相关的任何提不ο
【发明内容】
[0013]本发明的目的在于减轻上述问题，并且因此提供适合于为用户显示VR环境的增强型计算机图形显示。
[0014]根据本发明的一个方面，通过最初描述的计算机图像显示系统解决了上述目的，其中，头戴式结构包括配置成将第一轮廓分明的光图案投影到反光面的第一光源。数据处理单元与被配置成记录表示第一轮廓分明的光图案的图像数据的图像配准单元相连。数据处理单元被布置成基于图像数据计算图形数据。这里的图形数据表示用户从虚拟现实环境中的特定位置处沿着特定方向所看到的视场。
[0015]该计算机图像显示系统是有利的，因为该系统能够以高成本效益、可靠、健壮的方式将视场显示给与VR环境进行交互的用户。
[0016]根据本发明的这个方面的一个优选实施例，数据处理单元被配置成基于单一时刻由图像配准单元所记录的图像数据实时计算图形数据。因此，确定视场并不需要任何历史位置和/或方向数据。即，基于关于用户所在房间的某些假设，第一轮廓分明的光图案的图像提供了关于头戴式结构的位置和朝向的绝对参考。基于此，然后可以产生合适的视场。
[0017]根据本发明的该方面的另一优选实施例，计算机图形显示系统包括至少一个输入单元，该输入单元被配置成由用户操作，并且作为用户操作的响应产生用于影响数据处理单元所实现的虚拟现实环境的控制命令。例如，第一输入单元可以是键盘、动作按钮、滚轮、鼠标、触摸板、操纵杆、和/或操纵球。此外，由此产生的控制命令指定:在虚拟现实环境中的至少一个维度上移动将视场显示给用户的位置；围绕虚拟现实环境中的至少一个轴旋转将视场显示给用户的方向和/或操作虚拟现实环境中的至少一个对象。因此，显示给用户的视场和图形对象可能受到除头戴式结构的位置与方向以外因素的影响。因此，可以通过相对简单的方式快速地(dramatically)操作VR环境，并且用户可以通过头戴式结构便利地查看所有这样的操作情况。
[0018]根据本发明的这个方面的又一优选实施例，计算机图形表示系统包括至少一个输入单元，该输入单元(类似于头戴式结构)设置有被配置成将第二轮廓分明的光图案投影到反光面上的光源。图像配准单元还可以被配置成记录表示第二轮廓分明的光图案的图像数据；并且还基于表示第二轮廓分明的光图案的图像数据计算对虚拟现实环境的影响。例如，输入单元可以包括被配置成，作为输入单元如何定位和/或朝向的响应产生控制命令的指向设备。所生成的控制命令指定了虚拟现实环境中的对象的各种操作方式。换句话说，输入单元可以执行VR环境中的枪，通过枪可以瞄准目标并且进行射击。所提出的与输入装置相关联的第二轮廓分明的光图案使得其可以以极低的边际成本非常准确地模拟复杂的交互形式。
[0019]根据本发明的这个方面的又一实施例，光源被配置成发射红外光谱中的光线。因此，所投影的光图案可以是人肉眼不可见的。
[0020]根据本发明的这个方面的又一实施例，光源可以被配置成发射连续光。这是有利的，因为通过这种方式图像配准单元不需要与光源同步，并且因此该设计具有成本效率和鲁棒性。
[0021]根据本发明的另一方面，通过最初描述的方法实现了上述目的，其中，假定头戴式结构包括第一光源，并且数据处理单元与图像配准单元相连。该方法还涉及:通过第一光源将第一轮廓分明的光图案投影到反光面；通过图像配准单元记录表示第一轮廓分明的光图案的图像数据；以及基于该图像数据计算图形数据。该图形数据表示用户从虚拟现实环境中的特定位