专利名称：利用机动车的显示器产生增强现实的方法和系统的制作方法
技术领域：
本发明的各种实施例涉及用于利用机动车的显示器产生增强现实的方法和系统。
背景技术：
EP I 720 131 BI示出了带有真实标记物体识别的增强现实(augmentedreality)系统。图4在简化的图示中示意性地示出了其增强现实系统100。系统100包括用于从真实环境120中收集图像数据的摄像机110。真实环境120表示任何适当的区域，如房屋的房间、特定地形的一部分或任何其它相关场景。在图4中，真实环境120表示起居室，该起居室包括例如以墙壁124和家具121、122和123形式的多个真实物体121、…、124。此外，真实环境120还包括被认为是标记物体125、126的真实物体,所述标记物体125、126具有任何适当的配置，以便容易地被自动化的图像处理算法所识别。例如，标记物体125、126上面已形成可以被容易地识别的显著图案，其中标记物体125、126的形状可被设计，以便允许从多个不同视角来对其识别。标记物体125、126也表示大体上二维的配置，其中此类配置上面已形成相应的识别图案。系统100还包括用于基于由摄像机110提供的图像数据来识别标记物体125、126的装置130。识别装置130可包括用于比较图像数据与表示标记物体125、126的预定义的模板的公知的图案识别算法。例如，识别装置130可在其中已实现用于基于预定义的照度阈值将由摄像机110获取的图像转换为黑白图像的算法。算法还被配置来将图像分成预定义的片段(如方块)以及在每个片段中搜索预定的图案模板，其中模板表示标记物体125、126的显著部分。首先，基于光照阈值将实时视频图像转换成黑白图像。然后，搜索此图像中的方块区域。软件找到二进制图像中的所有方块，其中很多不是跟踪标记，如物体125、126。对于每个方块，将方块内的图案与某些预定的图案模板进行匹配。如果存在相配的情况，则软件已找到一个跟踪标记 ，如物体125、126。然后，软件使用已知的方块大小和图案方向来计算真实摄像机相对于物理标记(如物体125、126)的位置。然后，用摄像机相对于所识别的标记的真实世界坐标来填充3X4矩阵。然后，使用此矩阵来设置虚拟摄像机坐标的位置。由于虚拟和真实摄像机坐标相同，所以精确绘制的计算机图形在指定位置叠加真实标记物体。此后，使用渲染弓I擎来设置虚拟摄像机坐标并绘制虚拟图像。图4的系统100还包括用于将从摄像机110接收的图像数据与从物体数据产生器150获取的物体数据组合的装置140。组合装置140包括跟踪系统、距离测量系统和渲染系统。通常，组合装置140被配置来针对对应地识别的标记物体并入从产生器150获取的图像数据，以便生成表示环境120以及对应于标记物体125、126的附加的虚拟物体的三维图像的虚拟图像数据。据此，组合装置140被配置来确定真实环境120内的标记物体125、126的相应位置并且还跟踪标记物体125、126相对于环境120中的任何静态物体和相对于由摄像机110界定的视点之间的相对运动。图4的系统100还包括被配置来提供虚拟图像数据的输出装置160，所述虚拟图像数据包括由产生器150产生的虚拟对象，其中在优选的实施例中输出装置160还被配置来提供图像数据之外的其它类型的数据，如音频数据、嗅觉数据、触觉数据等。在操作中，摄像机110生成环境120的图像数据，其中该图像数据对应于环境120的动态状态，该动态状态通过仅相对于环境120移动摄像机110或通过提供环境内的可移动物体(例如，标记物体125,126或物体121、…、123中的一个或多个物体可移动)来表示。通过在环境120内移动摄像机110来改变环境120的视点，从而允许从不同角度观察特别是标记物体125、126，以便使得能够从不同视点来评估由产生器150生成的虚拟物体。由摄像机110提供的不断更新的图像数据由识别装置130来接收，所述识别装置130识别标记物体125、126并使得一旦识别了标记物体125、126便能够跟踪它们，即使图案识别被通过例如移动摄像机110或标记物体125、126来不断改变视点所妨碍。在识别与图像数据内的标记物体125、126相关的预定义的图案之后，识别装置130向组合装置140通知指定的图像数据区域内存在标记物体，然后装置140基于此信息持续跟踪由用于识别标记物体125、126的图像数据表示的对应物体(假定标记物体125、126不会随着时间推移而消失)。识别标记物体125、126的过程被大体上持续地执行或被定期地重复，以便确认标记物体125、126的存在并还验证或提高组合装置140的跟踪准确性。基于由识别装置130提供的环境的图像数据和信息，组合装置140生成三维图像数据并叠加从物体产生器150接收的对应的三维图像数据，其中基于装置140的跟踪操作来永久更新三维物体数据。例如，装置140可基于识别装置130的信息来计算摄像机110相对于标记物体125、126的位置并使用此坐标信息来确定虚拟摄像机的坐标,从而允许用标记物体125、126的图像数据精确地“覆盖”由产生器150传输的物体数据。坐标信息也包括有关标记物体125、126相对于摄像机110的相对方向的数据，从而使组合装置140能够正确地调适虚拟物体的方向。最后，由输出装置160提供以任何适当的形式的组合三维虚拟图像数据。例如，输出装置160可包括适当的显示装置，以便将包括与标记物体125、126相关的虚拟物体的环境120形象化。当操作系统100时，有利的是预置至少一个标记物体125、126的识别条件，以便允许大体上可靠的实时图像处理。此外，相应的标记物体和一个或多个虚拟物体之间的关联可在操作系统100之前建立，或被设计以便允许虚拟物体到标记物体的分配的交互定义。例如，在用 户请求时，最初分配到标记物体125的虚拟物体被分配到标记物体126且反之亦然。此外，多个虚拟物体被分配到单个标记物体且多个虚拟物体中的相应一个被用户通过软件应用来选择。
发明内容
根据一个方面，通过一种具有独立权利要求1的特征的方法来描述对在机动车中产生增强现实的改进。各种改良是从属权利要求的主题并且包括在说明书中。相应地，提供一种用于在机动车中产生增强现实的方法。在该方法中，可以图像数据的形式来记录机动车的环境的图像。根据图像数据可以确定虚拟空间。在该方法中，可在图像数据中检测真实物体。可在虚拟空间中确定真实物体的第一坐标范围。在该方法中，可将具有第二坐标范围的虚拟元素添加到虚拟空间。可基于用户输入来控制虚拟元素。在该方法中，可在输出图像中以组合的形式输出环境和受控制的虚拟元素。当真实物体的第一坐标范围和受控制的虚拟元素的第二坐标范围形成相交区域时，可修改输出图像。可通过机动车的显示器来输出输出图像。由于一个实施例，实现了驾驶者可交互地选择车辆的环境中的物体的表示的优势。可暂时显示物体，以便在驾驶过程中为驾驶者提供帮助。因此，驾驶者可以专注于当前的交通状况，并查看后来被与当前的环境状况混合的物体，如交通标志。由于一个实施例，实现了以下优势:可将在乘机动车旅行时的当前环境状况与人工视频游戏世界混合，并且从而将车辆外面的事件并入当前的游戏事件，从而允许用户与来自环境的真实物体进行交互。在这种情况下，环境可以是机动车的真实环境，可使用例如光学系统来记录机动车的真实环境，光学系统能够输出对应的数字图像数据。另外，可使用红外摄像机或雷达系统。根据图像数据确定的虚拟空间可为具有至少三维的多维空间。在图像数据中检测到的真实物体可为从机动车中至少临时可见的道路标志或小汽车等。可通过图像处理系统的算法的方式来检测物体。可通过跟踪算法来跟踪物体在三维空间内的移动。真实物体的第一坐标范围可为道路标志的表面几何形状以及该表面几何结构在虚拟空间中的位置。道路标志也可以具有厚度。可产生虚拟元素及其第二坐标范围，且优选地可由算术单元来控制其在虚拟空间中的位置和方向。可根据借助于输入单元(如操纵杆或触摸屏)的输入来控制虚拟元素。为了组合到输出图像中的目的，可在图像数据前面或在真实环境前面的平面上显示受控制的虚拟元素。另一方面，通过独立权利要求7的特征描述了增强现实系统的改进。各种改良包括在说明书中。从而提供一种机动车的增强现实系统。该增强现实系统可具有图像捕获装置，该图像捕获装置可被配置来以图像数据的形式记录机动车的环境的图像。该增强现实系统可具有算术单元，该算术单元可连接到图像捕获装置。该增强现实系统可具有控制单元，该控制单元可连接到算术单元。该增强现实系统可具有显示器，该显示器可连接到控制单元，以便显示输出图像。算术单元可被配置来根据图像数据确定虚拟空间。算术单元可被配置来检测图像数据中的真实物体。算术单元可被配置来确定真实物体在虚拟空间中的第一坐标范围。算术单元可被配置来向虚拟空间添加具有第二坐标范围的虚拟元素。算术单元可被配置来基于用户输入通过控制单元的方式来控制虚拟元素在虚拟空间中的第二坐标范围。算术单元可被配置来在输出图像中组合环境和受控制的虚拟元素并在真实物体的第一坐标范围和受控制的虚拟元素的第二坐标范围形成相交区域时修改输出图像。在一个实施例中，该增强现实系统可被实现为机动车的信息娱乐系统，该信息娱乐系统例如通过电缆连接到图像捕获装置。图像捕获系统可以是用于记录图像数据的光学系统。图像捕获装置可具有多个摄像机，如CMOS或C⑶摄像机。可将摄像机定位用于立体记录。算术单元可为处理器，具体来说，可为CPU或DSP。控制单元可具有输入电路。可将操纵杆或触摸屏或游戏手柄连接到该输入电路。显示器可为LCD显示器或用于将输出图像投影具体来说在窗玻璃上的投影仪。下文描述的实施例涉及上述方法和增强现实系统两者。根据一个实施例，可对虚拟元素在虚拟空间中进行三维控制。可控制虚拟空间内的虚拟飞行元素，如虚拟飞机。可使用虚拟元素来控制飞行物的轨迹，例如球的投掷。或者，受控制的虚拟元素可为虚拟车辆，如在赛车游戏中。在一个实施例中，可基于环境中交通道路的几何形状以三维确定虚拟空间。可基于作为交通道路的路的几何形状来查明距离，并且检测到的物体可位于虚拟空间内查明的距离。根据一个实施例，可通过用虚拟物体补充或替换真实物体的物体图像数据来修改输出图像。虚拟物体可以黑点等形式显示命中标记。可通过根据真实物体的物体图像数据产生虚拟物体并在输出图像中输出该虚拟物体来修改输出图像。看上去就像真实物体一样的虚拟物体可沿着一个轨迹在虚拟空间中飞行或分成多个部分。在一个实施例中，可通过针对观察者位置来调适图像数据和虚拟元素来控制虚拟空间内的观察者位置。可从驾驶者的角度或从乘客的角度来控制观察者位置。也可以将观察者位置置于机动车的上面，并将机动车本身作为虚拟物体添加到输出图像。上文描述的实施例以单个以及组合方式都特别有利。可将所有实施例彼此组合。在附图中的示例性实施例的描述中说明了某些可能的组合。然而，在那里示出的用于组合实施例的这些可能性不是不可更改的。
下文基于附图中示出的示例性实施例更详细地说明了本发明。在附图中:图1示出了用于在机动车中产生增强现实的方法的示意图；图2示出了增强现实系统的示意性表示；图3a和图3b示出了输出图像的示意图；并且图4示出了根据现有技术的增强现实系统的示意图。
具体实施例方式图1示出了用于在机动车中产生增强现实的方法的示意图。下文针对实现视频游戏说明了此方法。可在车辆中建立视频游戏的技术要求，例如以便为后座的乘客提供视频游戏。与PC和控制台上可用的传统的2D和3D游戏相比，可以图1中的流程图实现与当前现实的融合。可将车辆的环境融入到当前的游戏事件中。所谓的第一人称射击游戏可以在(例如在头戴式显示器71上的)完全计算的三维空间中表示图像和声音。在图1的流程图中，在第一步10中，可首先借助于多个摄像机记录来自机动车的环境的图像数据11。在第二步20中，可借助于识别算法识别图像数据11中的多个真实物体24、25、26、27。此外，可基于几何形状(例如交通路线的走向32)来检测环境。还可基于其它传感器(例如近程雷达系统)来确定环境。还可基于车辆的当前位置和道路数据来确定环境。例如，可借助于GPS卫星信号来确定当前位置。在第三步30中，可根据确定的环境和检测到的物体24、25、26、27产生三维虚拟空间31。三维虚拟空间31可基于例如借助于图像数据处理被评估以便获得三维虚拟空间31的测量数据。在第四步40中，可将多个虚拟物体52、53添加到三维虚拟空间31以形成虚拟现实41。虚拟物体52、53中的至少一个可为在虚拟空间31内被控制的虚拟元素52。在图1中的一个实施例中，受控制的虚拟元素52可实施为十字准线，其在虚拟空间31内的位置可由用户控制。第五步50可为用户输入50。在图1中的一个实施例中,可基于通过操纵杆51的输入来计算用户的交互。作为替代或以组合方式，其它输入也是可能的，例如通过鼠标、触摸屏或姿势的输入。在第六步60中，可将记录的现实的图像数据11与虚拟现实41组合，以形成输出图像61。可通过渲染形成包括记录的图像数据11的输出图像61。在输出图像61中，记录的图像数据11和虚拟现实41的融合可由例如程序或用户控制。可以简化或改变输出图像61中车辆的周围环境。例如，房屋可能被置于其原位置，但外观被改变例如为鬼屋。在图1中的一个实施例中，可借助于显示镜71来输出上述的输出图像61。为了将记录的现实的图像数据11与虚拟现实41组合，可将多个虚拟元素/物体52、53、56显示在图像数据11前面的平面上，从而部分地覆盖图像数据U。也可以至少部分地将多个虚拟物体56临时隐藏在检测到的物体24、25、26、27的后面。例如，可仅在位置改变和/或观察者的视角改变和/或被隐藏的虚拟物体56移动和/或检测到的物体24、25、26、27移动之后能够查看被隐藏的虚拟物体56。为了使得能够与检测到的物体24、25、26、27交互，在真实物体24、25、26、27的第一坐标范围和受控制的虚拟元素52的第二坐标范围形成相交区域时，可以修改输出图像61。在图1中的一个实施例中，受控制的虚拟元素52可具有十字准线52，其可由用户在虚拟空间41中定位。此外，受控制的虚拟元素52还可具有根据用户输入50以飞行物的轨迹在虚拟空间41内投掷的虚拟球。可控制投掷位置和/或投掷方向和/或投掷力量。如果虚拟球击中检测到的物体24，则可指示此命中。可通过显示虚拟物体56来指示命中。可借助于虚拟现实41使用户能够在输出图像61内动作并且具体来说能够与检测到的物体24、25、26、27交互。可基于游戏思想来解释此交互，属于游戏思想的物体将使用虚拟球击打某些道路标志。借助于车辆的多个摄像机，以360°角度记录整个环境，并通过信号处理的方式将其组合到有结合力的环境中。在此环境中，可检测道路标志，并且可确定其在虚拟空间31内的位置。借助于虚拟现实41，可以任何方式光学地修改或专门地突出显示道路标志。结果为在显示单元71上提供到用户的视频数据流。用户现在可具有通过输入装置51控制十字准线52并瞄准道路标志的选项。输入装置51上的射击功能释放虚拟球,该虚拟球飞向道路标志，并击中或错过道路标志。这意味着虚拟十字准线52和虚拟球(未在图1中示出)被叠加在图像数据11上并显示在其中。虚拟现实41的使用可扩展到任何游戏情形、游戏思想、显示单元和输入装置。可将应用和硬件集成例如到机动车的后座系统。图2示出了机动车的增强现实系统200的一个实施例的示意性表示。增强现实系统200具有图像捕获装置210，其可被配置来以图像数据11的形式记录机动车的环境。增强现实系统200具有算术单元220，其可连接到图像捕获装置210。另外，增强现实系统200可具有控制单元230，其可连接到算术单元220并允许用户输入50。图2中的控制单元230可为游戏手柄230或触摸感应表面230或摄像机230等。增强现实系统200可具有显示器240，其可连接到控制单元230，以便显示输出图像61。图2中的一个实施例以不使用固定显示单元而产生显示240的方式提供虚拟现实41的增强效果。在使用3D显示镜的情况下，这是可能的。为此，可通过头部跟踪器的方式来检测头部的旋转，并且可针对头部方向来调适视频内容。从而，对用户来说，就好像他/她正从车窗向外看，而在那一刻虚拟现实41被直接集成到现实中。可通过双声道技术和头部跟踪器的方式来调整声效。在一个实施例中，通过将显示240投影到机动车的窗玻璃上来实现显示240。可投影到机动车的窗玻璃上的输出图像61可仅从某些角度可见。驾驶者从而可以不受干扰的驾驶，并且后座的用户仍可以在车窗上获得虚拟现实41，由此虚拟现实41和环境的组合又可以作为游戏元素和现实的叠加被产生而不将图像数据11用于融合。此实施例也可用于后座系统。图3a和图3b中描述了一个实施例，其中使用增强现实系统的功能来辅助驾驶。图3a示出输出图像62a，其中道路标志28可示出为图像数据中的真实物体28。指针54可为虚拟元素54，其可由驾驶者控制。图3a示出真实物体28的第一坐标范围和受控制的虚拟元素54的第二坐标范围形成相交区域。如图3b所示，可相应地修改输出图像62b。可临时在前景中显示虚拟物体55，以便向驾驶者提供短暂存储的信息。虚拟物体55可从属于物体28的图像数据的一部分中产生。本发明不限于图1至图3b所示的实施例。例如，可以在机动车的环境中检测其它物体，如人等。同样地，可针对现有的需求来调适虚拟物体和通过用户输入的交互的类型。根据图2的增强现实系统200的功能可特别有利地用于机动车的信息娱乐系统。附图标记列表10、20、30、40、50、60、70 步骤11图像数据24、25、26、27、28 真实物体31虚拟空间32交通路线几何形状41虚拟现实52、53、54受控制的虚拟物体55、56虚拟物体6l、62a、62b 输出图像71、240显示器/显示200增强现实系统210图像捕获装置220算术单元230、51控制单元
权利要求
1.一种用于利用机动车的显示器产生增强现实的方法，其包括以下步骤: -以图像数据(11)形式记录所述机动车的环境的图像； -根据所述图像数据(11)确定三维虚拟空间(31)； -检测所述图像数据(11)中的真实物体(24、25、26、27、28)； -确定所述三维虚拟空间(31)中的所述真实物体(24、25、26、27、28)的第一坐标范围； -向所述三维虚拟空间(31)添加虚拟元素(52、53、54)，所述虚拟元素(52、53、54)具有第二坐标范围； -基于用户输入(50)来控制所述三维虚拟空间(31)中的所述虚拟元素(52、53、54)；-在输出图像^l、62a、62b)中以组合形式输出所述环境和所述受控制的虚拟元素(52、53、54)； -当所述真实物体(24、25、26、27、28)的所述第一坐标范围和所述受控制的虚拟元素(52、53、54)的所述第二坐标范围形成相交区域时，修改所述输出图像^l、62a、62b)； -通过所述机动车的所述显示器(71、240)输出所述输出图像^l、62a、62b)。
2.如权利要求1所述的方法， -其中所述虚拟元素(52、53、54)在所述三维虚拟空间(31)中在三个维度下被控制。
3.如前述权利要求中的一项所述的方法， -其中基于交通路线的几何形状(32)在三个维度下确定所述三维虚拟空间(31)。
4.如前述权利要求中的一项所述的方法， -其中通过使用虚拟物体(56)来补充或替换所述真实物体(24、25、26、27、28)的物体图像数据来修改所述输出图像^l、62a、62b)。
5.如前述权利要求中的一项所述的方法， -其中通过根据所述真实物体(28)的物体图像数据产生虚拟物体(55)并在所述输出图像^2b)中输出所述虚拟物体(55)来修改所述输出图像^2a)。
6.如前述权利要求中的一项所述的方法， -其中通过针对观察者位置来调适所述图像数据(11)和所述受控制的虚拟元素(52、53,54)来控制所述三维虚拟空间(31)内的所述观察者位置。
7.—种机动车的增强现实系统(200)，包括: -图像捕获装置(210)，其被配置成以图像数据(11)的形式记录所述机动车的环境的图像； -算术单元(220)，其连接到所述图像捕获装置(210)； -控制单元(230)，其连接到所述算术单元(220)； -显示器(71、240)，其连接到所述算术单元(220)，显示输出图像^l、62a、62b)， 其中所述算术单元(220)被配置成 -根据所述图像数据(11)确定三维虚拟空间(31)； -检测所述图像数据(11)中的真实物体(24、25、26、27、28)； -确定所述三维虚拟空间(31)中的所述真实物体(24、25、26、27、28)的第一坐标范围； -向所述三维虚拟空间(31)添加具有第二坐标范围的虚拟元素(52、53、54)；-基于用户输入(50)通过所述控制单元(230)来控制所述三维虚拟空间(31)中的所述虚拟元素(52、53、54)的所述第二坐标范围； -在所述输出图像^l、62a、62b)中组合所述环境和所述受控制的虚拟元素(52、53、54)； -当所述真实物体(24、25、26、27、28)的所述第一坐标范围和所述受控制的虚拟元素(52、53、54)的所述第 二坐标范围形成相交区域时，修改所述输出图像^l、62a、62b)。
全文摘要
本发明提供了一种利用机动车的显示器产生增强现实的方法和系统，包括以下步骤以图像数据(11)的形式记录机动车的环境的图像；根据图像数据(11)确定三维的虚拟空间(31)；检测图像数据(11)中的真实物体(24、25、26、27、28)；确定三维虚拟空间(31)中的真实物体(24、25、26、27、28)的第一坐标范围；向三维虚拟空间(31)添加虚拟元素(52、53、54)，虚拟元素(52、53、54)具有第二坐标范围；基于用户输入(50)来控制三维虚拟空间(31)中的虚拟元素(52、53、54)；在输出图像(61、62a、62b)中以组合形式输出环境和受控制的虚拟元素(52、53、54)；当真实物体(24、25、26、27、28)的第一坐标范围和受控制的虚拟元素(52、53、54)的第二坐标范围形成相交区域时，修改输出图像(61、62a、62b)；通过机动车的所述显示器(71、240)输出上述修改后的输出图像(61、62a、62b)。
文档编号G06T15/00GK103177470SQ20121055714
公开日2013年6月26日 申请日期2012年12月20日 优先权日2011年12月21日
发明者T.芒奇, P.希莫德尔, C.本兹, A.柯纳 申请人:哈曼贝克自动系统股份有限公司