专利名称：产生车辆周围环境中至少一个物体的影像的方法和设备的制作方法
技术领域：
本发明涉及根据各独立权利要求所述的一种用于从虚拟的摄像位置产生车辆周围环境中至少一个物体的影像的方法以及一种相应的设备。
背景技术：
在目前的驾驶员信息系统中尤其使用多摄像机系统，其目的为使驾驶员能够观察自己车辆四周。这些系统优选地用在停车机动动作中，以在显示器中为驾驶员示出可能的障碍物或者边界线。可能的呈现方式是同时显示各单个图像或者示出一幅由多幅图像组合成的360°全景图像。另一种呈现方式是所谓的“鸟瞰视角”，在该鸟瞰视角中摄像机的视角虚拟地通过换算改变，使得产生当鸟瞰向场景时的印象。DE 10 2007 053 305 Al公开一种用于基于预先规定的行驶路径在车辆中输出视觉的行驶建议的方法，该方法具有记录沿车辆行驶方向的车辆真实周围环境的图像的步骤以及探测车辆当前的地理位置的步骤。此外，所述方法具有根据预先规定的行驶路线和探测到的地理位置确定指示符号的步骤以及在视角上修正所述确定的指示符号的步骤，以实现与显示器中行驶路程上的路面标记图像相应的指示符号图像。最后，所述方法包括确定指示符号的步骤和将记录的图像与视角修正的指示符号相组合的步骤以及将组合的图像呈现在显示器上的步骤。
发明内容
在此背景下，通过本发明根据各独立权利要求提出一种用于从虚拟的摄像位置产生在车辆周围环境中至少一个物体的影像的方法，此外还提出一种使用该方法的设备以及最后提出一种相应的计算机程序产品。有利的设计方案分别由各个从属权利要求和后面的描述得出。本发明提出一种用于从虚拟的摄像位置，特别是从鸟瞰视角产生在车辆周围环境中至少一个物体的影像的方法，其中所述方法具有下列步骤-确定的步骤，该步骤基于车辆至少一个传感器特别是摄像机的数据确定对于传感器的不可见物体区域，以及-提供的步骤，该步骤提供合成的图形元素以插入物体的不可见区域，以及-插入的步骤，该步骤将合成的图形元素插入物体的不可见区域，以从虚拟的摄像位置，特别是从鸟瞰视角产生车辆周围环境中至少一个物体的影像。所述方法例如可以结合车辆的导航系统一起使用。影像可以例如是在导航系统屏幕上的图示。影像可以例如从鸟瞰视角重现正确的停车场景，该停车场景包括车辆连同车辆四周的物体，车辆的驾驶员必须注意这些物体，以便例如正确地且无损伤地停车。所述一个物体或者多个物体可以例如是另一车辆和它的类型、停车标记物和建筑物或植物，在停车过程中需绕开这些物体或者停车的车辆应相对于这些物体有一定的距离，以便例如可以在不损伤车辆和/或物体的危险的情况下打开车门。车辆的周围环境可以例如涉及环绕车辆360°角度内的全部物体，这些物体与车辆的停车过程相关，是非常重要的。虚拟的摄像位置例如通过换算车辆至少一个传感器的探测数据得到。虚拟的摄像位置可以位于车辆中间或在侧面位于车辆上方，使得车辆周围环境中全部相关的物体通过该虚拟的摄像位置对于摄像机是虚拟可见的。由传感器提供的数据可以代表由传感器探测到的车辆周围环境中物体的距离以及大小和形状。除了摄像机之外，传感器还可以是另一种光学的转换器。特别是为了确定物体的距离和三维特征，车辆还可以具有多个传感器，例如在车辆前部区域的传感器和后部区域中的传感器。光学传感器可以与距离传感器，例如雷达传感器或超声波传感器组合。 如果在车辆中仅可使用一个传感器，那么例如车辆与物体的距离也可以由之前确定的值得出，这些值例如可以储存在导航系统的存储器中。物体的不可见区域例如可以与载重汽车的车辆结构有关，该车辆结构通过安装在车辆车身上的传感器探测范围得出。可以例如以适合的算法执行确定的步骤。本发明是以如下认识为基础的通过车辆周围环境中探测到的物体的合成的图示，可以对车辆驾驶员完整地示出从鸟瞰视角观察的车辆周围环境以及场景，由此驾驶员基本上可以直观地理解周围环境以及场景。依据这里提出的方案，可以考虑到如下问题安装在车辆上的摄像机自然安装在很低的高度上，因此高的物体和在物体后面的区域不能完全地探测到。有利地，通过这里提出的方案，通过如下方式可以避免在车辆周围环境的图示中的未示出区域或者说“黑色区域(sctwaze Flecken) ”，即插入合成产生的图像物体代替这些“黑色区域”。这例如也适用于虽然已知且可完全示出但由于视角失真对于驾驶员不再可直观理解的物体。为了用可直观理解的内容填充这些“黑色”的区域，有利地例如可以用合成的图形元素填充这些区域的轮廓。如果借助于物体分类甚至已知涉及哪种物体，例如涉及行人、汽车、载重货车、交通标识等等，那么对于被辨识出且分类的物体例如将相应的图形元素在正确位置绘入图示中。合成的图形元素可以例如为对于确定的车辆类型为典型的部分区域例如车身。在此也可以是建筑物部分，例如通过换算由传感器探测的建筑物区域的数据可以使得该建筑物部分在视觉上可示出。合成的图形元素例如可以从存储器中调用或者在始终当前的情况下从探测的和已知的关于物体的数据中确定并间接地提供。可以通过一种适合的算法执行插入的步骤。合成的图形元素可以被构造用于在插入的状态下覆盖物体的全部不可见区域或不可见区域的一部分。通过这种方式，至少一个物体的影像例如可以示出在导航系统的屏幕上，使得对于车辆的驾驶员来说看一眼屏幕即可直观地理解该物体。依据一种实施方式，所述方法此外还包括将物体分类的步骤。在此，在提供的步骤中可以为被分类的物体的至少一个部分区域提供符号形式的合成的图形元素。在分类的步骤中可以确定，局部被探测的物体是否为行人、交通标识或另一车辆。局部被探测的车辆的类型，例如载重货车或者轿车可以在分类的步骤中确定，例如通过将探测到的部分区域与在导航系统数据库中的储存的样本物体进行比较。由此，插入的步骤有利地可以实质上更快地完成并且可以立刻替代全部不可见的区域。依据另一实施方式，所述方法还可以具有从另一位置探测关于物体的其他数据的步骤，该另一位置与传感器探测用于所述确定步骤的数据的位置不同。在此，所述其他数据可以至少与物体的对于传感器的不可见区域的一部分有关。此外，所述方法可以具有至少部分进行代替的步骤，该步骤用从其他位置探测的物体区域的视图来至少部分进行代替合成的图形元素。另一位置可以是在车辆上的另一传感器的位置或也可以是已经提供了关于物体的数据的同一传感器在时间上和/或地点上错开的位置。时间上和/或地点上错开的位置例如通过车辆在物体旁驶过得到。通过这种方式，逐步用真实的物体部分的视图代替合成的元素，其中所述物体对于车辆的驾驶员被持续地保持为可直观理解的。此外，当其他数据代表设想的物体整个表面的预先确定的部分时，实施所述至少部分进行代替的步骤。如此，可以有利地避免，由于过多地例如在导航仪的屏幕上转换视图而使车辆的驾驶员混乱。当已认识到，物体延伸超过传感器的竖直探测区域时，也可以停止至少部分进行代替的步骤。有利地，如此可以使所述物体对于驾驶员是能更好地直观理解的，因为可以避免在对于传感器的不可见区域中的所谓的黑色面。依据本发明的另一种实施方式，当在车辆周围环境中存在至少一个其它物体的情况下识别出，所述其它物体延伸超过传感器的竖直探测区域时，可以停止所述至少部分进行代替的步骤。在这里，给出的优点是避免由于过于频繁的视图转换而对驾驶员视觉产生过度要求。依据本发明的一种实施方式，可以根据车辆驾驶员的设定实施所述至少部分进行代替的步骤。所述设定可以例如手动地通过导航系统的键或者语音命令执行，并且给驾驶员提供了对物体再现的真实性偏差进行影响的可能性，该物体再现可以最好地与其个人的感觉相对应。此外，本发明还提出一种用于从虚拟的摄像位置，特别是从鸟瞰视角产生在车辆周围环境中至少一个物体的影像的设备，其中所述设备具有下列特征-用于确定的装置，该装置基于车辆至少一个传感器的数据，特别是摄像机的数据，确定对于传感器的不可见物体区域，以及-用于提供的装置，该装置提供合成的图形元素以插入物体的不可见区域，以及-用于插入的装置，该装置将合成的图形元素插入物体的不可见区域，以从虚拟的摄像位置，特别是从鸟瞰视角产生车辆周围环境中至少一个物体的影像。所述设备可以与例如车辆导航系统相连接。所述装置可以是信号处理仪器，该信号处理仪器集成在所述设备中或者与所述设备相连接。所述设备可以被构造为用于执行或实施依据本发明的方法的步骤。特别地，所述设备的装置被构造用于实施所述方法的一个步骤。通过本发明的设备形式的这些变形实施方式，可以快速且有效地实现本发明的目的。在这里设备可以被理解为电子设备，该电子设备处理传感器信号并且据此输出用于显示的信号。所述设备可以具有接口，该接口可以被构造为硬件式的和/或软件式的。在硬件式的设计方案中，所述接口可以例如是所谓的ASIC系统的一部分，该系统包含所述设备的各种不同的功能。然而还有可能的是，所述接口是固有的集成的电路或至少部分由分立元件构成。在软件式的设计方案中，所述接口可以是软件模块，这些软件模块例如是在微处理器上的除了其他软件模块之外还设有的软件模块。具有程序编码的计算机程序产品是有利的，所述程序编码储存在可机读的载体上，如半导体、硬盘或光学存储器上，当在设备上执行所述程序时，所述计算机程序产品实施按照上述实施方式中的任一种所述的方法。
依据附图示例性地对本发明进行详细阐述。附图中图1以具有失真呈现的物体的鸟瞰视角示出了场景的视图；图2以具有经视角矫正的物体和无法示出区域的图1的鸟瞰视角示出了场景的视图；图3根据本发明的一种实施例、以具有经视角矫正的物体和合成绘入的物体的图 1鸟瞰视角示出了场景的视图；图4根据本发明的一种实施例的示出了用于从虚拟的摄像位置产生车辆周围环境中至少一个物体的影像的方法的流程图；图5根据本发明的一种实施例的示出了用于从虚拟的摄像位置产生车辆周围环境中至少一个物体的影像的设备的方框线路图。
具体实施方案相同的或类似的元件在附图中通过相同的或类似的附图标记表示，其中省去了重复的描述。此外，附图的各图、其描述以及权利要求包含很多组合的特征。对于本领域专业人员来说清楚的是，这些特征可以单独地进行考虑或者可以综合成其他的、在这里未详细描述的组合。此外，本发明在下面的描述中或许在使用不同比例和尺寸的情况下进行阐述， 其中，本发明应理解为不局限于这些比例和尺寸。此外，依据本发明的方法步骤可以重复或者以与所描述的顺序不同的其他顺序实施。如果实施例在第一特征/步骤和第二特征/步骤之间包括“和/或”连接关系，那么这可以理解为，所述实施例依据一种实施方式既具有第一特征/步骤又具有第二特征/步骤而依据另一实施方式或者只具有第一特征/步骤或者只具有第二特征/步骤。图1以具有失真呈现的物体的鸟瞰视角示出了场景的视图。示出的是自己的车辆 100(即本发明应被实施在其中的车辆)，通过地面标记示出的停车位110、载重货车(LKW = Lastkraftwagen) 120和侧柱130。如由停车场景图1的俯视图可以看到，停车位110位于自己车辆100的左侧旁，并且停车位110的左侧又停着载重货车120。侧柱130设置在自己车辆100的右侧。在图1中示出的停车场景可以例如在导航系统的显示装置上示出。为此，停车位110、载重货车120和侧柱130由自己车辆的在图1中未示出的两个传感器，例如两个摄像机记录。传感器可以例如设置在自己车辆100的前车身区域的左侧和右侧。由于自己车辆100驶过物体120和130，传感器相继从不同的观察角度探测到物体120和130， 从而将载重货车120和侧柱130以视角上失真的方式在显示装置上示出。在这种示出形式中，物体120和130对于车辆100的驾驶员是无法辨识的。为了从通过平行于行驶道路平面的摄像机记录的视频图像中计算出并示出鸟瞰视角，立体的信息，例如图像中的像素距摄像机的距离是必要的。这能够有限地通过附加传感器(如超声波或雷达)，或通过立体视频算法或者说所谓的“从运动信息恢复三维场景结构(Structure from Motion) ”方案实现。如果具有场景的立体信息，那么通过坐标转换可以计算每个单独摄像机的鸟瞰视角。如果将所有摄像机的鸟瞰视角在正确位置拼接在一起，那么得到看向围绕车辆100的整个场景的鸟瞰视角。图2以具有经视角矫正的物体和无法示出区域的图1的鸟瞰视角示出了场景的视图。如由图2中的视图可见，通过对传感器数据的换算，示出经视角矫正的载重货车120的右侧以及侧柱130。对于车辆100的传感器可见的载重货车120的区域200在俯视图中作为载重货车120的右侧可以看到。因此，对于车辆100的驾驶员来说载重货车120和侧柱 130现在在视图中本身是可识别的。由于对场景的有限的探测性和视角朝鸟瞰视角的变化， 在视图中产生所谓的“黑色”(即不可见的)区域。相应地，在图2中以阴影面示出了对于传感器不可见的，也就是被遮盖的因而实际不可示出的载重货车120的区域210。图3根据本发明的一种实施例、以图1的鸟瞰视角示出了具有经视角矫正的物体和合成绘入的物体的场景的视图。图3再次以图1的鸟瞰视角示出了具有经视角矫正的物体的场景的视图。额外地，在图2中以阴影面示出的载重货车120的不可见区域由合成的图形元素310代替。合成的图形元素310在图3所示的实施例中被构造为载重货车俯视图的部分区域，并且适合插入载重货车120的对于传感器不可见的区域。因此对于例如在车辆100的导航系统的显示装置上的显示生成载重货车120的整个图像，该图像由从车辆100 的传感器探测到的载重货车120的“真实”区域和合成的图形元素310组成。替代地，合成的图形元素310也可以被构造为载重货车的整体俯视图并且全部用于载重货车120。合成的图形元素310可以例如在分类步骤之后从例如被储存在导航系统存储器内的数据库中提取，在分类步骤中可见区域200被分类为载重货车。数据库可以例如尤其包含用于各种不同车型或建筑物、交通标识或人员的合成的图形元素。对应于分类步骤，此后可以从数据库中选出匹配的合成图形元素并且插入相应的不可见区域中，从而为观察者的眼睛提供可直接直观理解的物体的整体图像。可以适应性地对于判定物体的哪些区域是合成示出的，哪些是“真实”示出的进行设计。因此，与物体有关的信息完整性的程度可以通过物体合成示出的程度来确定。例如， 对于与车辆100相比较高的载重货车120来说，在此处真实的视图由于缺乏真正的俯视图因而是不可行的。因此如果算法识别到物体比摄像机的垂直视野高，则合成地示出这个物体。与此相对，例如花盆或在图3视图中的侧柱130首先合成地示出。然而一旦通过车辆 100的驶过而接收到足够多的花盆或侧柱130区域的信息，就可以将这些信息转换成真实的视图。替代地，这种适应性可以应用于整个场景。即，只要整个场景的一个物体由于其高度如所描述的必须合成示出，则整个场景或者更确切地说场景中的所有物体就合成地示出。这首先用于，不会由于过于频繁的显示类型的转换而令驾驶员混乱。此外，车辆100的驾驶员可以使适应性的程度与其需求相匹配。图4示出了根据本发明的一种实施例的、用于从虚拟的摄像位置生成车辆周围环境中一个物体或多个物体的影像的方法的流程图。通过车辆驶过例如停车空位，车辆的至少一个传感器获得看向场景的不同视角， 因而可以得出场景的至少一个物体的扩展。因此，在方法400的第一步骤410中，基于至少一个传感器的数据确定一个或多个物体的对于传感器不可见的区域，并且通过适合的算法尝试将物体分类。特别地，传感器可以是摄像机，该摄像机例如设置在车辆的车身上。在第二步骤420中，提供合成的图形元素，该图形元素适合插入物体的对于传感器不可见的区域或被至少一个物体遮盖的区域。然后，在第三步骤430中，将合成的图形元素插入物体的不可见区域中。由此，从虚拟的摄像位置产生车辆周围环境中场景的影像，由于插入的合成图形元素在该影像中示出一个或多个物体，使得它们对于场景的观察者是能直观地看见的。特别地，虚拟的摄像位置可以是鸟瞰视角。方法400的步骤410、420和430可以重复实施，因为在车辆驶过期间在从不同的视角探测场景时被物体遮盖的区域变得越来越小。因此，场景的物体的合成视图可以逐渐由在物体位置处的视频图像的立体图代替。图5示出了根据本发明的一种实施例的、用于从虚拟的摄像位置产生车辆周围环境中至少一个物体的影像的视频后视镜(Videorilckspielgel)或设备500的方框线路图。 示出的是车辆100的原理图，该车辆具有设备500，该设备具有用于确定的装置510、用于提供的装置520以及用于插入的装置530。此外示出了两个传感器M0，例如摄像机，这两个传感器中的一个分别在前部区域中设置在车身左侧和车身右侧。传感器540被构造用于在车辆100经过至少一个物体时探测关于物体的数据，如大小、与传感器的距离或表面特性并且通过接口传递至用于确定的装置510。基于所述数据，用于确定的装置510在使用适合算法的情况下确定物体的对于传感器不可见的区域。 关于物体的不可见区域的信息通过另一接口传递至装置520。在那里，在使用所述信息的条件下，提供合成的图形元素，该合成的图形元素适合插入物体的不可见区域。例如，可以从数据库储存的物体或物体部分中选择合成的图形元素。装置520将关于合成的图形元素的信息通过另一适合的接口传递至装置530，该装置530被构造用于将合成的图形元素插入物体的不可见区域中，使得例如在车辆100的导航系统的显示装置上产生从虚拟的摄像位置，特别是从鸟瞰视角观察的车辆周围环境中至少一个物体的影像。
权利要求
1.一种用于从虚拟的摄像位置，特别是从鸟瞰视角，产生车辆(100)周围环境中至少一个物体(120、130)的影像的方法G00)，其特征在于，所述方法具有下列步骤确定的步骤G10)，该步骤基于所述车辆(100)的至少一个传感器(540)的数据，特别是摄像机的数据，确定物体(120、130)的对于所述传感器(540)的不可见区域O10)；提供的步骤G20)，该步骤提供合成的图形元素(310)用于插入到所述物体(120、130) 的不可见区域O10)中；以及插入的步骤G30)，该步骤将所述合成的图形元素(310)插入所述物体(210)的不可见区域O10)中，以从虚拟的摄像位置，特别是从鸟瞰视角，产生车辆(100)周围环境中至少一个物体(120、130)的影像。
2.按照权利要求1所述的方法G00)，其特征在于，此外所述方法还具有将所述物体 (120、130)分类的步骤，其中在所述提供的步骤(420)中为被分类的物体(120、130)的至少一个部分区域提供符号形式的合成图形元素(310)。
3.按照上述权利要求中任一项所述的方法G00)，其特征在于，此外所述方法还具有从另一位置探测关于所述物体(120、130)的其他数据的步骤，该另一位置与探测用于所述确定的步骤G10)的数据的所述传感器(540)的位置不同，其中所述其他数据至少与物体 (120,13)的对于所述传感器640)不可见的区域O10)的一部分有关；并且所述方法还具有至少部分进行代替的步骤，该步骤用从其他位置探测的所述物体(120、130)的区域的视图至少部分进行代替所述合成图形元素(310)。
4.按照权利要求3所述的方法000)，其特征在于，当所述其他数据代表所述物体 (120、130)的设想的整个表面的预先确定的部分时，实施所述至少部分进行代替的步骤。
5.按照权利要求3或4所述的方法000)，其特征在于，当已识别出，所述物体(120、 130)延伸超过所述传感器(540)的竖直探测区域时，所述至少部分进行代替的步骤停止。
6.按照权利要求3至5中任一项所述的方法G00)，其特征在于，当在所述车辆(100) 的环境中存在至少一个其它物体(120、130)的情况下识别出，所述其它物体(120、130)延伸超过所述传感器(540)的竖直探测区域时，所述至少部分进行代替的步骤停止。
7.按照权利要求3至6中任一项所述的方法000)，其特征在于，根据所述车辆(100) 的驾驶员的设定实施所述至少部分进行代替的步骤。
8.一种用于从虚拟的摄像位置，特别是从鸟瞰视角，产生车辆(100)周围环境中至少一个物体(120、130)的影像的设备(500)，其特征在于，所述设备具有下列特征用于确定(410)的装置(510)，该装置基于所述车辆(100)的至少一个传感器(MO)的数据，特别是摄像机的数据，确定所述物体(120、130)的对于传感器的不可见区域O10)；用于提供G20)的装置(520)，该装置提供合成的图形元素(310)以插入所述物体 (120、130)的不可见区域OlO)中；以及用于插入G30)的装置(530)，该装置将所述合成的图形元素(310)插入所述物体 (210)的不可见区域(210)中，以从虚拟的摄像位置，特别是从鸟瞰视角，产生车辆(100)周围环境中至少一个物体(120、130)的影像。
9.一种具有程序编码的计算机程序产品，所述程序编码储存在可机读的载体上，当在设备上执行所述程序时，所述计算机程序产品实施按照权利要求1至7中任一项所述的方法(400)。
全文摘要
本发明涉及一种产生车辆周围环境中至少一个物体的影像的方法和设备。所述方法具有下列步骤确定的步骤(410)，该步骤基于所述车辆(100)的至少一个传感器(540)，特别是摄像机，的数据，确定物体(120、130)的对于传感器的不可见区域(210)；提供的步骤(420)，该步骤提供合成的图形元素(310)以插入所述物体(120、130)的不可见区域(21)中；以及插入的步骤(430)，该步骤将所述合成的图形元素(310)插入所述物体(210)的不可见区域(210)中，以从虚拟的摄像位置，特别是从鸟瞰视角产生车辆(100)周围环境中至少一个物体(120、130)的影像。
文档编号B60R1/00GK102555905SQ20111030733
公开日2012年7月11日 申请日期2011年10月8日 优先权日2010年10月6日
发明者A·欣里希, M·雷斯蓬德克, T·福克 申请人:罗伯特·博世有限公司