用于在车辆显示器上整合虚拟对象的方法

用于在车辆显示器上整合虚拟对象的方法
【专利摘要】本发明涉及用于使用由至少一个摄像机记录的所定义的真实3D对象空间的数字图像在车辆显示器中显示虚拟对象的方法，其中在第一步骤中，通过获取来自所定义的真实3D对象空间的数字图像的透视信息生成虚拟的道路布局（10），并且在第二步骤中，生成预定的虚拟3D对象（20），其中在第三步骤中，依据根据所定义的真实3D对象空间的虚拟道路布局的透视和正确位置调整（30）虚拟3D对象，以及在第四步骤中将调整的虚拟3D对象整合到所定义的真实3D对象空间的虚拟道路布局中（40）。本发明另外涉及用于实施上述方法的装置（100）。借助所述装置，可以采用借助透视正确整合的虚拟3D对象，例如附加信息，对环境区域的图像进行补充。
【专利说明】用于在车辆显示器上整合虚拟对象的方法

【技术领域】
[0001]本发明涉及用于在2D显示装置上透视显示人工或虚拟生成的3D对象的方法和装置。

【背景技术】
[0002]如今在大量应用中借助计算机系统显示三维几何形状或者三维对象或场景发挥着非常重要的作用。借助三维显示可以模拟真实场景，例如在飞行模拟器中。另一个三维显示应用实例在建筑学上是普遍的，其中借助于三维空间模拟能够在虚拟建筑物中描绘场地。
[0003]从实用新型文件DE20305278U1中可知一种用于在2D显示装置上显示3D对象的装置，其中可以考虑相对于2D显示装置可变的观察者位置来显示3D对象。通过位置检测装置可以确定观察者位置。使用多个摄像机以检测观察者或被观察的对象的位置。因此向实际2D显示提供真实的空间印象。
[0004]计算机支持的现实感知增强概括为术语“增强现实”，其中借助覆盖采用计算机生成的附加信息或虚拟对象补充图像或视频。
[0005]此外现在还可以采用提供附加信息的正确透视的整合虚拟对象来增强2D图像。这一新发展也与增强现实相关地实施。最初的研究雏形以及可销售的整合在智能手机上的解决方案在一定程度上实现了该发展。作为这些现有解决方案的一部分，取决于摄像机的空间位置和地点将附加信息覆盖在视频图像中。
[0006]然而，采用单独基于2D信息的图像合成使用正确级别的覆盖无缝整合虚拟对象是不可能的。一方面，覆盖的透视通常不匹配摄像机图像的透视，另一方面，即使真实的对象相比覆盖更接近，覆盖的虚拟对象也永久覆盖摄像机图像的背景显示。换句话说，在显示装置的再现图像上真实对象和虚拟对象并未正确叠加。


【发明内容】

[0007]本发明的目的是提供将虚拟3D对象逼真地整合到2D对象中所采用的方法和装置。
[0008]通过具有权利要求1的特征的方法以及具有权利要求10的特征的装置来实现该目的。
[0009]如已提及的，采用单独基于2D信息的图像合成使用正确级别的覆盖无缝整合虚拟3D对象是不可能的。真实3D对象和虚拟3D对象的正确合成只能经由在三维空间中的对象融合来完成，其中虚拟3D对象和真实3D对象相互采用正确级别的覆盖显示。
[0010]为了显示虚拟3D对象，例如在车辆显示器中，依据本发明的方法采用定义的真实3D对象空间的所记录的数字图像以及每个属于所记录的数字图像的像素的深度信息。
[0011]深度信息包含车辆周围环境的三维描述。在根据本发明的方法中，在第一步骤中这使得能够从所定义的真实3D对象空间的数字图像中获取透视信息。这例如通过诸如正被识别的道路走向和正被生成的道路的虚拟走向的对象产生。
[0012]为了采用附加信息来丰富场景，在该方法的第二步骤中生成至少一个预定的虚拟3D对象。这例如可以是方向箭头，路标或交通信息等。随后在该方法的第三步骤中透视所产生的虚拟3D对象并在场景中的位置准确地放置在定义的真实3D对象空间中。这例如可以取决于已知对象完成，诸如道路的虚拟走向。在虚拟3D对象的空间取向之外，进行虚拟3D对象的透视和符合比例的调整。
[0013]有利地，在优选实施方式中，道路的虚拟走向在虚拟3D对象产生期间用作用于确定要覆盖的虚拟3D对象的空间位置的定向或参考系统。
[0014]在该步骤中，将用于在显示装置上的随后叠加/显示的位置坐标分配给各个像素，这些像素表示所生成的虚拟3D对象。此外将深度值分配给表示所生成的虚拟3D对象的各个像素。
[0015]随后在该方法的第四步骤中将调整的虚拟3D对象整合到真实3D对象空间的所记录的图像中。
[0016]借助两个车辆摄像机可以特别简单地记录车辆关于在其周围环境中的对象的相对位置。例如在有利实施方式中，因此可以透视正确地生成用于导航的方向箭头并且在道路上标记，其中方向箭头作为在位于与道路平行的平面上的平面对象覆盖在车辆前面，例如作为“红地毯”。另外，在特别有利的实施方式中，当前要使用的车道用颜色强调，其中其作为三维平面带在所检测的道路及其车道的模型上放置。
[0017]在本发明的特别优选的实施方式中，在该方法的另一步骤中，所定义的真实3D对象空间的虚拟环境模型与来自方法的第一步骤的道路的虚拟走向同步。所定义的真实3D对象空间的虚拟环境模型的传统实例是关于存在于车辆导航系统中的道路拓扑和几何的信息。考虑到相应车辆摄像机位置和从导航数据生成的位于车辆前面的道路部分的基本几何信息，例如可以检查和同步透视信息的获得以及道路的虚拟走向的生成。因此可以保证正确生成道路的虚拟走向。于是可以当存在对于车辆专用摄像机的差能见度条件和记录条件时可以可靠地生成道路的虚拟走向，例如当有雾，大雨或下雪时。
[0018]在本发明的特别有利的实施方式中，以这样的方式实现所记录的数字图像与整合到虚拟道路模型的虚拟3D对象在一起的显示，即图像内容采用在诸如IXD/TFT显示屏，显示器等的传统的显示装置上覆盖的正确级别叠加。在所记录的数字图像与来自该方法第四步骤的所调整和整合的虚拟3D对象叠加期间，对所记录的数字图像以及所整合的虚拟3D对象的像素的各个深度信息进行评估。在此，对于每个像素位置将数字图像的像素深度信息与要叠加的属于数字图像的虚拟3D对象的对应像素进行比较，其中仅仅是显示在从观察者角度看更接近所述观察者的显示装置上的像素。因此覆盖准确地完成在显示装置上显示的图像内容的叠加。
[0019]在另一优选实施方式中，使用前视显示器来代替传统的显示装置。在此情况中，在半透明的前视显示器的显示区域上只有所调整的虚拟3D对象的虚拟附加信息必须与在前视显示器的视窗中出现的真实图像叠加，其中所调整的虚拟3D对象整合到道路的虚拟走向中。在此情况中也借助所记录的数字图像以及虚拟3D对象的Z缓冲，对所显示的图像的每个像素，判定图像像素是否位于在“真实图像”或虚拟3D对象的共同像素位置上的观察者附近。
[0020]在具体情况中，在特别有利的实施方式中，仅仅示出所调整的虚拟3D对象的像素，因为在前视显示器的显示区域上同样只是叠加/覆盖这些像素。同样实施该方法的第三步骤和第四步骤以便计算正确的位置，透视，和随后在道路的虚拟走向中的整合。但是仅是将虚拟3D对象显示在前视显示器上。特别的优点是没有多余的信息/图形人为地覆盖驾驶者的视线，在此多余的信息/图形是道路的虚拟走向。
[0021]为了使所调整的虚拟3D对象能够显示在前视显示器上，在前视显示器显示区域上的显示内容必须对应于定义的真实3D对象空间的所记录的数字图像的显示内容。只有以这种方式可以以覆盖的正确级别在前视显示器的显示区域上透视并在空间上正确地显示虚拟3D对象。
[0022]优选地数字图像像素的相应深度值用于获得关于数字图像的透视信息。这些深度值被存储在所谓Z缓冲的数据存储装置中。对来自Z缓冲的深度信息的评估，方法分析可以非常简单和安全地确定哪些对象/像素在场景的哪个点处标记和哪些对象/像素会被叠加或覆盖。
[0023]道路的虚拟走向是获取来自所定义的真实3D对象空间的数字图像的透视信息的结果。这相当于道路走向和车辆前面的车道的近似三维模型，例如以多边形路线的形式。在特别优选的实施方式中，作为替代或在获取透视信息的步骤之外，同样可以使用关于摄像机位置和/或车辆周边环境和/或地图数据的信息。采用附加信息的同步提高避免方法中的错误的鲁棒性。
[0024]在特别优选的实施方式中，可以通过采用车辆的导航数据和/或要执行的进一步边界检测进行的所定义的真实3D对象空间的虚拟环境模型的额外同步来在要产生的道路的虚拟走向同时达到可靠性的进一步改进。通过组合所检测的边缘信息和在所检测边缘的区域中所测得的深度信息，可以生成包括弯道、上升和下降的道路走向。特别的优点是根据本发明的方法提供无需进一步提取或再校准摄像机位置和配置的道路走向模型。因此也可以消除具有其潜在错误的进一步透视检测。
[0025]在根据本发明的方法的进一步优选实施方式中，可以提供其它的虚拟3D对象。该规定实现取决于车辆或其它系统的其它信息源，例如车辆的里程计算机，导航系统的环境数据，交通引导系统，路标等。在根据本发明的有利实施方式中，透视地并且空间准确地将另外生成的虚拟3D对象中的每个对象针对道路的虚拟走向调整并整合到该道路的虚拟走向中，以及采用关于道路的虚拟走向和关于彼此的各个虚拟3D对象的覆盖的准确级别来显不O
[0026]根据本发明的方法可以以特别有利的方式整合到车辆专用装置中。该装置需要至少两个用于记录所定义的真实3D对象空间的数字图像的摄像机。根据本发明的装置进一步具有用于这种信息的图像处理的部件，其可以在至少一个显示装置上显示这些信息。根据实施方式，在此可以使用显示器，LCD显示屏或甚至前视显示器。

【专利附图】

【附图说明】
[0027]下面将借助示例性实施例以更进一步细节说明本发明。
[0028]图1示出根据本发明的方法的实施方式的流程图。

【具体实施方式】
[0029]图1示出根据本发明的方法的一个实施方式的流程图，如应用在例如增强现实系统100上那样，该系统在用于输出3D对象空间的数字图像的根据本发明的装置(未示出)上运行。例如该装置可以设置在驾驶者辅助系统中。
[0030]所定义的3D对象空间的数字图像由两个车辆专用摄像机(立体摄像机系统I)记录。在此，真实3D对象空间对应于驾驶者视场中的视锥。因此立体摄像机系统I提供用于增强现实系统100所需的原始数据。原始数据包括环境的数字二维图像(单眼图像)，其中深度信息被分配给图像的每个像素。通过深度信息可以对所记录的车辆周围环境进行三维描述。
[0031]在该方法的第一步骤中，生成道路的虚拟走向10。为了从数字单眼图像中获得透视信息，求助于包含每个单独像素的深度信息的Z缓冲的深度缓冲。透视信息获取的结果是车辆前面的道路走向和车道走向的近似三维模型，例如以多边形走向的形式。这样的道路走向模型可以无需摄像机位置和摄像机配置的进一步再校准来确定。
[0032]借助关于单眼图像中道路的边缘和中心标记的边界检测，可以生成道路走向的勾画。由于其高度可靠性，该附加的方法步骤用于调整并额外改进所确定的道路走向。
[0033]可以通过在另一优选实施方式中使用的道路环境模型15在道路走向的获取期间达到准确度的进一步提高。在此，可以从导航数据或环境模型15的特定制图数据中获取道路拓扑和道路几何，这些数据存在于车辆的存储装置中。
[0034]在特别优选的实施方式中，源自道路走向10获取的信息与环境模型15的数据相结合。因此产生道路的虚拟走向的非常准确的模型，在该模型中可以检测弯道，上升和下降。在其它优选实施方式中，可以单独或以不同组合实施这样的方法步骤以便产生具有更高准确度的道路的虚拟走向10。
[0035]为了用其它信息或虚拟对象扩展与增强现实系统100 —致的现实感知，生成虚拟3D对象是必要的。虚拟3D对象例如可以是诸如箭头或路标的符号或要被覆盖的事实上的文本。信息源可以是导航数据，环境模型15的卡数据或者关于交通引导系统或停车引导系统的信息。同样经由无线交通台接收的信息或者来自诸如智能手机的通讯终端的消息可以触发或控制3D对象的生成。此外，关于驾驶者辅助系统的信息可以是要覆盖的对象的基础，诸如到前面车辆的安全距离，车道的保持等。
[0036]为了在道路的虚拟走向10和所产生的虚拟3D对象20的生成信息的显示期间改进显示，必须在根据本发明的方法的另一个步骤中透视地并空间正确地调整虚拟3D对象20。在生成虚拟3D模型30期间，例如将方向箭头调整为道路的虚拟走向的取向并将方向箭头分配给特定的道路部分。因此将例如路标的另外生成的虚拟3D对象分配给在道路的虚拟走向边缘的特定地点，并且将另外透视地调整到该地点。
[0037]然后在图像合成40期间，将所调整的虚拟3D对象30整合到所定义的真实3D对象空间的道路的虚拟走向10中。在该步骤，将深度信息分配给对应于各个3D对象的像素。虚拟图像40现在例如对应于道路的虚拟走向(多边形)出现，在该道路的虚拟走向中布置一个或多个虚拟3D对象。
[0038]在图像合成40的步骤期间，可以执行对所产生的虚拟3D对象20到道路的虚拟走向10的真实比例调整。取决于信息的优先性，可以进一步进行不同程度的比例调整。在优选实施方式中，为了特别强调特定的信息内容，也可以以特定颜色或其色相来显示3D对象。
[0039]在最后的方法步骤中，在显示装置50上显示合成的虚拟图像40或其一部分，在该显示装置上完成所定义的真实3D对象空间的数字图像(真实图像)与合成的虚拟图像40的合并。在此决定在传统的显示装置50，例如IXD/TFT显示屏上或在显示器上是否要实现真实图像与合成的虚拟图像40的合并，或者只是虚拟图像40的一部分在显示区域(优选在前视显示器)上显示。
[0040]对于显示器50，为了使在传统显示装置的显示器50上采用正确级别覆盖的显示成为可能，必须借助所定义的真实3D对象空间的数字图像和所合成的虚拟图像40的深度值来判定，在给定的像素位置处真实或虚拟图像的像素是否离观察者更近。在显示装置上显示从观察者视线看距离更近的各个像素。因此导致具有覆盖准确性的图像内容的叠加。
[0041]在另一实施方式中，为了生成虚拟3D对象的图像，可以可选地或附加地使用其他已知的方法，例如图像渲染，光线追踪等。
[0042]在前视显示器的半透明显示区域上的显示器50的情况下，仅必须覆盖所生成的虚拟3D对象的一部分，该虚拟3D对象已经透视地并具有空间准确性地为整合调整成道路的虚拟走向，因为在驾驶者的视场内真实图像已经存在于前视显示器的显示区域中。因此在这种情况下无需图像内容的显示，该图像内容不是由所生成的合成虚拟图像40的所生成的虚拟3D对象的一部分遮盖。
[0043]同样在这种情况下，在图像合成期间必须借助Z缓冲对于显示图像的每个像素判定在各个像素位置处真实或虚拟的像素是否离观察者更近。然后仅显示离观察者更近的虚拟图像的像素。如果对应于在前视显示器的显示区域上的位置的“真实”像素离观察者更近，则对应于在前视显示器的显示区域上的该位置的像素不出现。
[0044]以如前所述的相同方式，替代环境的三维记录的立体摄像机系统，同样可以可选地使用其他系统。例如同样可以使用只有一个摄像机的摄像机系统，其中通过在不同时间和不同摄像机位置记录的图像来确定环境的三维图像。同样也可以使用将传统摄像机与基于ToF (飞行时间)的测量技术，激光测距扫描器或类似的系统结合的系统。
[0045]作为在传统二维显示器上显示的替代，同样可以在立体显示器上实现增强显示场景的显示，其中对每个眼睛或每个眼睛位置分别生成合成的图像以及进行图像合成。
【权利要求】
1.一种方法，用于通过使用由摄像机记录的所定义的真实3D对象空间的至少一个数字图像中的一个数字图像在车辆显示器中的虚拟对象显示，其中在第一步骤中，通过获取来自所定义的真实3D对象空间的数字图像的透视信息生成道路的虚拟走向(10)，以及在第二步骤中，生成预定的虚拟3D对象(20)，该方法的特征在于， 在第三步骤中，将所述虚拟3D对象(20)透视地并且空间正确地调整(30)为所定义的真实3D对象空间的道路的虚拟走向(10)，以及 在第四步骤中，将所调整的虚拟3D虚拟对象整合(40)到所定义的真实3D对象空间的道路的虚拟走向(10)中。
2.根据权利要求1所述的方法，其特征在于，在所述方法的另一步骤中，将对所定义的真实3D对象空间的虚拟环境模型(15)与来自所述第一步骤的道路的虚拟走向(10)同步。
3.根据权利要求1或2所述的方法，其特征在于，所述记录的数字图像与整合到来自所述方法的所述第四步骤的道路的虚拟走向(10)的所述虚拟3D对象(40)—起采用准确级别的覆盖在显示装置(50)上。
4.根据权利要求1或2所述的方法，其特征在于，在前视显示器的显示区域上显示整合到所述方法的所述第四步骤中整合的所述虚拟3D对象。
5.根据权利要求4所述的方法，其特征在于，在所述前视显示器的显示区域上的显示内容对应于所记录的数字图像。
6.根据权利要求1至5中的一项所述的方法，其特征在于，所述数字图像的像素的各个深度值用于获取关于所述数字图像的透视信息(10)。
7.根据权利要求1至6中的一项所述的方法，其特征在于，在所述第一步骤中为了生成道路的虚拟走向(10)，可选地或附加地并入关于摄像机位置和/或车辆环境和/或地图数据的其他信息(2)。
8.根据权利要求2至7中的一项所述的方法，其特征在于，进行所定义的真实3D对象空间的虚拟环境模型(15)与所述车辆的导航数据(3)和/或边缘识别(3)的同步。
9.根据权利要求1至8中的一项所述的方法，其特征在于，在所述方法的第二步骤中基于其他信息生成至少一个另外预定的虚拟3D对象(20)。
10.一种装置(100)，用于实施根据权利要求1至9中的一项的方法，该装置包括: 至少一个摄像机，用于记录所定义的真实3D对象空间的数字图像， 用于信息图像处理的装置，以及 至少一个显示装置(50 )，用于显示所处理的信息。
【文档编号】B60R1/00GK104303211SQ201280049961
【公开日】2015年1月21日 申请日期:2012年9月28日 优先权日:2011年10月11日
【发明者】C·格伦勒, J·鲁 申请人:戴姆勒股份公司