用于将数字信息投影到真实环境中的真实对象上的方法和系统的制作方法

用于将数字信息投影到真实环境中的真实对象上的方法和系统的制作方法
【专利说明】用于将数字信息投影到真实环境中的真实对象上的方法和 系统
[0001] 本发明涉及用于将数字信息投影在真实环境中的真实对象上的方法和系统。此 外，本发明涉及包括软件代码部分的计算机程序产品，该软件代码部分在计算机系统上运 行时用于执行该方法。
[0002] 增强现实（AR)系统可以通过借助于计算机生成的数字信息直接视觉上增强真实 环境来加强真实环境。例如，这样的数字信息是用于增强真实环境的视觉印象的虚拟信息。 诸如在参考文献[1]中提及的，典型的应用被称为，例如，所谓的基于投影仪的AR，投影式 AR或空间AR。该数字信息可以是任何类型的视觉可感知的数据，诸如对象、文本、绘图、视 频或它们的组合。真实环境的直接增强可以通过使用投影仪将计算机生成的数字信息投影 到真实环境或真实环境的一部分的真实对象的表面上来实现。
[0003] 投影式AR具有许多应用，诸如如参考文献[2]中描述的用于架构设计的原型，和 如参考文献[3]中描述的汽车制造，如参考文献[4]中描述的用于新型计算机用户界面开 发的普适计算，如参考文献[5]中描述的信息显示，或者如参考文献[6]中描述的鞋的设 计。
[0004] 为了在投影的视觉数字信息与将在真实环境中增强的真实对象之间具有所需的 对准，必须已知真实对象和投射数字信息的投影仪之间的空间变换。为此，经常进行校准程 序以基于2D-2D、2D-3D、或3D-3D对应性来估计空间变换，这是用于建立投影式AR系统的挑 战性步骤。对于这样的校准程序通常需要相机。
[0005] 已经提出和开发许多校准方法以计算投影仪和真实对象之间的空间变换。例如， Jundt等人在参考文献[3]中描述了使用相机和投影仪在汽车表面上显示关于汽车的视觉 数据的方法。相机和投影仪应该刚性地耦接，以便对它们进行一次校准，然后假设根据由相 机获取的处理视频数据所计算的投影仪-车的外部特征（即，相对的空间位置和方位）。相 机检测连接至汽车的视觉标记，以便估计相机和汽车之间的空间变换。以这种方式，可以确 定投影仪和汽车之间的空间变换。该方法的问题是，必须预先测量该标记相对于汽车的坐 标系的位置和方位。
[0006] 在参考文献[6]中描述的扩展3D是一种商业投影式AR系统，其基于刚性地连接 至投影仪的相机传感器来跟踪一组标记。这两个开发的系统具有一些限制。校准不能由独 立的实体检查。必须频繁地执行相机和投影仪之间的额外的校准程序。该程序不能在任意 对象上进行，而是需要呈现平坦的表面或类似物。此外，视觉标记本身需要事先与汽车配 准，这引入了额外的误差源。
[0007] Raskar等人在参考文献[2]中开发了一种用于支持构架设计的投影式AR系统。 他们提出了用于多台投影仪的校准方法，以确保几何对齐投影的图像。他们的系统需要手 动调节投影图像的纹理坐标以与物理模型（真实对象）视觉对齐。
[0008] Kurz等人在参考文献[6]中提出了一种校准方法，用于基于使用与相机刚性耦接 的激光指示器来建立投影仪与室内物理场景（即真实对象）之间的空间变换。相机和激光 系统安装在机器人云台装置（自动云台装置，roboticpan-tiltapparatus)中，使得可以 控制相机和激光器的运动以用于扫描室内环境并且利用室内环境校准投影仪。然而，机器 人云台装置很昂贵，并且难以实现相机和激光系统的受控运动。这主要是因为该系统需要 云台与相机的非常精确的手眼校准，其提供相机相对于云台单元的位置和方位。并且，利用 激光器对环境取样花费大量的时间，因为每次可以感测仅一个点。
[0009] Fuchs等人在参考文献[7]中描述了使用来自投影仪的结构光来收集后面可视化 中待使用的深度信息。它们不在真实对象上投影虚拟信息，而是使用头戴式显示器。
[0010]Lim在参考文献[8]中采用多台投影仪和一台相机用于现场重建。它们基于相机 和每个投影仪之间已知的变换校准多个投影仪之间的空间关系。在校准过程中，它们需要 在板上的投影，这意味着它们不能通过在任何感兴趣的对象上投影来校准。它们需要额外 的校准，以便能够估计校准数据和感兴趣对象的坐标系中的变换。参考文献[8]的目标是 重建环境。它没有提出任何校准方法来计算投影仪和真实对象之间的空间变换。
[0011] 为了校准投影仪和真实对象之间的空间关系并且估计投影式AR应用程序或系统 中投影仪的固有参数，所有先前的方法需要复杂的程序和/或昂贵的硬件设备。这肯定减 小了投影式AR应用程序或系统的可用性和效率。
[0012] 因此，有益的是，开发一种方法和系统，其能够使投影式AR系统精确地将数字信 息投影在真实对象上而无需昂贵的硬件设备并且不需要进行冗长的校准程序。
[0013] 根据一个方面，提供了一种将数字信息投影在真实环境中的真实对象上的方法， 包括：利用可见光投影仪将数字信息投影在真实对象或真实对象的一部分上，使用相机捕 获具有投影的数字信息的真实对象的至少一个图像，提供与相机配准（register)的深度 传感器，所述深度传感器捕获该真实对象或该真实对象的一部分的深度数据，以及基于所 述至少一个图像和深度数据计算可见光投影仪与真实对象之间的空间变换。
[0014] 根据另一个方面，提供了一种用于将数字信息投影在真实环境中的真实对象上的 系统，包括：适于将数字信息投影在真实环境中的真实对象或真实对象的一部分上的可见 光投影仪，适于捕获具有投影的数字信息的真实对象的至少一个图像的相机，以与相机配 准并且适于捕获该真实对象或该真实对象的一部分的深度数据的深度传感器，以及布置成 基于所述至少一个图像和深度数据来计算可见光投影仪与真实对象之间的空间变换的处 理单元。
[0015] 根据一个特定实施方式中，在一个优选的实施例中，该方法包括基于所述真实物 体的已知3D模型来估计RGB-D相机系统与真实对象之间的空间变换并且基于利用投影仪 将一个或多个视觉图案投影在真实对象或真实对象的一部分的一个或多个表面上来计算 投影仪的固有参数和投影仪与真实对象之间的空间变换。
[0016] 根据一个实施例，该方法进一步包括使用深度数据来估计数字信息的深度。
[0017] 具体地说，该方法可以进一步包括使用深度数据和所述至少一个图像来估计数字 信息的3D位置。
[0018] 在一个优选的实施方式中，深度传感器和相机被组合以形成子系统，在该子系统 中所述深度传感器和相机是相互关联的（即，在它们之间具有已知的变换），该方法还包括 计算深度传感器和相机的子系统与真实对象之间的空间变换的步骤。
[0019] 例如，计算深度传感器和相机的子系统与真实对象之间的空间变换是基于真实对 象或真实对象的一部分的3D几何模型和真实对象或真实对象的一部分的3D描述，其来自 由深度传感器和相机的子系统捕获的真实对象的一个或多个图像和深度数据。
[0020] 具体地说，该方法可以进一步包括使用真实对象或真实对象的一部分的3D几何 模型和深度传感器和相机的子系统与真实对象之间的经计算的空间变换来估计数字信息 的深度，以获得第二深度数据。
[0021] 根据一个实施例，该方法进一步包括以下步骤：使用可见光投影仪将至少一个视 觉图案作为数字信息投影到所述真实对象的表面上，并且使用深度传感器和相机捕获投影 的视觉图案的深度数据。
[0022] 根据一个实施例，该方法进一步包括以下步骤：计算所述可见光投影仪与深度传 感器和相机的子系统之间的空间变换，计算或提供可见光投影仪的固有参数，并且基于可 见光投影仪与深度传感器和相机的子系统之间的空间变换、深度传感器和相机的子系统与 真实对象之间的空间变换，以及优选地基于可见光投影仪的固有参数来计算可见光投影仪 与真实对象之间的空间变换。
[0023] 根据另一个实施例，该方法进一步包括以下步骤：基于深度传感器和相机的子系 统与真实对象之间的空间变换，将投影的视觉图案的深度数据从深度传感器和相机的子系 统的坐标系变换到真实对象的对象坐标系，计算或提供可见光投影仪的固有参数，以及基 于变换的深度数据，以及优选地基于可见光投影仪的固有参数来计算可见光投影仪与真实 对象之间的空间变换。
[0024] 例如，深度传感器和相机的子系统是RGB-D相机系统，其中相机是RGB(RGB=红/ 绿/蓝）相机（其中D代表深度传感器）。
[0025] 具体地，深度传感器捕捉真实对象或真实对象的一部分的深度数据，而不依赖于 可见光投影仪。
[0026] 根据一个实施例，使用深度传感器和相机的子系统与可见光投影仪之间的空间变 换和可见光投影仪的固有参数，并且将一项数字信息（其从相机的图像中提取）投影在真 实对象上来创建第三深度数据。
[0027] 例如，以下在本文中，由深度传感器捕获的深度数据被称为第一深度数据，并且所 述方法还包括计算第一深度数据、第二深度数据和第三深度数据的任何组合之间的差异的 步骤。
[0028] 根据一个实施例，如果确定可见光投影仪到所述真实对象的一定距离被达到或超 过，则通知用户需要校准，或者自动开始校准程序。
[0029] 根据另一个实施例，使用可视光投影仪将所述可见光投影仪到所述真实对象的距 离作为视觉数据显示在所述真实对象上。
[0030] 根据一个实施例，该方法包括使用深度传感器和相机的子系统来跟踪真实对象的 步骤。
[0031] 例如，一个或多个视觉标记被添加到真实环境中以支持追踪。
[0032] 在一个优选的实施例中，如在下面更详细地提及的，迭代最近点（称为ICP)算法 被用于初始化深度传感器的姿态。
[0033] 根据一个实施方式，可见光投影仪的姿态数据被用来设置投影仪的特定参数，诸 如焦距或放大倍数或亮度。
[0034] 特别地，如果投影仪更接近真实对象，则可见光投影仪的亮度可能变得更小。
[0035] 特别地，可见光投影仪的变焦在离得更近时增加投影仪的视场，并且当移动得更 远时减小视场。
[0036] 根据进一步的实施例，该方法进一步包括以下步骤：使用深度传感器和相机的子 系统在真实对象的