用于在车辆显示装置上显示目标的方法和装置与流程

本发明涉及一种用于在车辆的车辆显示装置上显示目标、尤其是车辆目标的方法和装置。

背景技术：

越来越多的车辆配备了全景环视系统，所述系统从摄像机图像中计算出显示图像，并辅助车辆的驾驶员进行例如驶入停车位或倒车等车辆操控。行驶过程中，车辆驾驶员通过全景环视系统的辅助做出决定，以便在道路交通中安全地控制其车辆。此外，全景环视系统还可帮助驾驶员在周围环境中定位，因此驾驶员例如可更轻松地到达目的地。为了给该驾驶员提供一尽可能真实的车辆周围环境图像，越来越多地在车辆显示装置上显示三维的显示图像，以便在驾驶员做出决定和定位时为其提供尽可能高效的支持。

但传统的全景环视系统有一缺点，即车辆传感器，特别是车辆摄像机探测的目标由相关车辆传感器的观角度拍摄且无法识别或无法看到相关目标的其他侧面。此外，大多数情况下还会出现，其它车辆目标被其他目标，尤其是其他车辆目标完全或部分遮挡，因此无法真实显示被遮挡的车辆目标。

图1举例说明了这一问题。图1中的示例展示了车辆F和其他两个车辆目标在一四车道的道路上相遇的交通情况。所示示例中，道路有四条车道，各有两条车道为相同方向。图1中所示的道路例如可能是具有双向两车道的快速公路。所示示例中，车辆F具有全景环视系统SVS，所述系统可从安装在车辆左侧、右侧、前侧和后侧的四个车辆摄像机中获取摄像机图像。在示出的例子中，在对面的车流中，第一车辆目标FO1(例如可是轿车或货车)正在超越第二车辆目标FO2并因此至少部分遮挡了车辆目标FO2。位于车辆F左侧的车辆摄像机FK_L因此仅探测到第一车辆目标FO1的左侧，此外可能还会探测到被遮挡的第二车辆目标FO2左侧的部分区域。在特定时刻，对车辆摄像机FK_L而言，第二车辆目标FO2完全被第一车辆目标FO1所遮挡，因此在车辆F的全景环视系统SVS的车辆显示屏上的三维场景中无法真实显示车辆目标FO2。此外，对特定目标来说，还可能出现仅从一侧观察相关目标无法真实显示相应目标的情况。另外，存在这样的风险，即天气条件(例如下雪)等环境条件对车辆F的周围环境中的车辆目标或其他目标的图像产生强烈影响。

技术实现要素：

因此本发明的任务是，提供一种用于在车辆显示装置上显示目标的方法和装置，其中尽可能真实地显示目标，以便在驾驶员做出决定和其在交通流中进行定位时尽可能提供高效支持。

根据本发明，本任务通过具有权利要求1中所给出特征的方法加以解决。

本发明所涉及的、用于在车辆显示装置上显示目标的方法具有以下步骤：

提供传感器探测到的周围环境图像，所述图像包括位于车辆的周围环境中的目标；

根据目标特征将目标分类，以便识别各目标的目标类型；

插入对应于识别到的目标的目标类型的三维数据模型以生成三维立体场景(3D-场景)，所述3D-场景展示车辆的周围环境；以及

在车辆显示装置上显示所生成的3D-场景。

根据本发明的方法的特殊优势在于，通过真实且明确地显示位于车辆的周围环境中的目标，提高车辆操控过程的安全性。

在根据本发明的方法的一种可能的实施方案中，从车辆数据存储器中读取所识别的目标类型的三维车辆数据模型。

这种实施方案的优点是可特别迅速地对各种3D数据模型进行数据访问。

在根据本发明的方法的另一种选择实施方案中，通过电信系统的无线下行链路连接从远程数据库中下载所识别目标类型的3D数据模型。

这种实施方案的优点在于，数据库所拥有的不同的3D数据模型的量特别巨大。

此外，还可将两种实施方案加以组合，也就是说，所识别到的目标类型的3D数据模型不保存在车辆的数据存储器上，而是通过无线接口从远程数据库中下载3D数据模型。

在根据本发明的方法的一种可能的实施方案中，通过车辆传感器，特别是车辆的车辆摄像机提供周围环境图像。

在根据本发明的方法的另一种可能实施方案中，所述目标具有车辆目标，所述车辆目标位于车辆的周围环境中且所述车辆目标通过无线接口直接地或者通过电信系统把车辆目标的相应一个所属的3D车辆数据模型和/或3D车辆数据模型的识别发送给车辆。

在根据本发明的方法的另一种可能的实施方案中，由车辆接收器直接地或者通过电信系统的无线下行链路连接接收其他车辆目标所提供的3D车辆数据模型和/或3D车辆数据模型的识别。

在根据本发明的方法的另一种可能的实施方案中，车辆的3D车辆数据模型和/或3D车辆数据模型的识别由车辆的一发射器直接地或通过电信系统的无线上行链路连接发射给位于车辆附近的其他车辆目标。

在根据本发明的方法的另一种可能的实施方案中，由车辆的接收器直接接收的或通过电信系统的无线下行链路连接接收到的3D车辆数据模型和/或位于所述车辆的附近的车辆目标的3D车辆数据模型的识别由位于车辆的发射器直接地或者通过电信系统的无线上行链路连接继续传输至车辆周围环境中的其他车辆目标。

在根据本发明的方法的另一种可能的实施方案中，本车辆或其他车辆目标的3D车辆数据模型和/或3D车辆数据模型的识别符与所述车辆或相应车辆目标的当前位置一起被传输。

另外，本发明还提供了一种具有权利要求9中所示特征的车辆的全景环视系统。

本发明提供的车辆用全景环视系统具有：

至少一个车辆传感器单元，尤其是车辆摄像机，所述车辆摄像机提供周围环境图像，所述周围环境图像包括位于车辆周围环境中的目标，以及

具有计算单元，为了识别目标类型，该计算单元对车辆图像中所含目标进行分类并将已分类目标的3D数据目标插入周围环境图像中以用于生成3D-场景，在与计算单元连接的车辆显示装置上显示所述3D-场景。

在根据本发明的全景环视系统的一种可能的实施方案中，车辆周围环境中的其他目标包含了其他车辆目标，所述其他车辆目标将其相应的3D车辆数据模型和/或3D车辆数据模型的识别符发送给所述车辆的全景环视系统的接收器，其中将所接收的3D车辆数据模型或根据所接收到的3D数据模型-识别符所读取的3D车辆数据模型显示在所述车辆的车辆显示装置上。

在根据本发明的全景环视系统的一种可能的实施方案中，由其他车辆目标发送的3D车辆数据模型和/或3D车辆数据模型的识别符被车辆的接收器直接接收或通过电信系统的无线下行链路连接接收。

在根据本发明的全景环视系统的另一种可能的实施方案中，全景环视系统具有发射器，所述发射器直接地或通过电信系统的无线上行链路连接将自己的3D车辆数据模型和/或自己的3D车辆数据模型的识别符传输给位于车辆周围环境中的其他车辆目标。

在根据本发明的全景环视系统的另一种可能的实施方案中，全景环视系统的发射器直接地或通过电信系统的无线上行链路连接将本车辆的当前位置传输给位于车辆周围环境中的其他车辆目标。

在根据本发明的全景环视系统的另一种可能的实施方案中，3D车辆数据模型和/或由3D车辆数据模型分类的目标，尤其是位于车辆周围环境中的车辆目标的识别符，直接地或通过电信系统的无线上行链路连接传输给其他车辆目标。

另外，本发明还涉及一种具有根据本发明的全景环视系统的车辆，所述全景环视系统与车辆的导航系统相连，所述导航系统将本车辆和/或其他目标，尤其是车辆目标的位置数据提供给全景环视系统使用。

附图说明

此外，参考附图对用于在车辆的车辆显示装置上显示目标的根据本发明的方法以及根据本发明的装置的可能的实施方案进行详细说明。

其中：

图1示意性示出举例说明的交通状态，以用于说明根据本发明的方法以及根据本发明的装置所基于的问题；

图2根据本发明的全景环视系统的一种可能的实施方案的方块图；

图3根据本发明的全景环视系统的另一种实施方案方块图；

图4根据本发明的全景环视系统的另一种实施方案方块图；

图5根据本发明是方法的一种可能的实施方案的流程图；

图6用于显示根据本发明的方法的一种可能实施方案的信号图；

图7根据本发明的方法的另一种应用情况。

具体实施方式

在图2中可以看到，在所示实施例中，车辆F具有一全景环视系统1，所述系统具有一个或多个车辆传感器单元2，尤其是车辆摄像机。例如车辆传感器单元2可包含在可视频率范围内提供车辆周围环境的图像的车辆摄像机。此外，车辆传感器单元2可具有一提供车辆F的周围环境的雷达数据或雷达图像的雷达传感器。在图2所示范例中，车辆传感器单元2探测位于车辆F周围环境中的目标O，例如车辆目标FO。目标O是移动目标，例如车辆目标FO，或是静止目标，例如建筑物或类似目标。如图2所示，车辆传感器单元2，尤其是车辆摄像机从一侧探测目标O。每个车辆传感器单元2都能提供车辆F的周围环境的环境图像，其中环境图像可能包含位于车辆F的周围环境中的一个或多个目标O。例如当车辆F在道路上移动时，目标O相对于车辆F移动。车辆传感器单元2将包含了例如目标O的当前的环境图像传输给全景环视系统1的分类单元3。

分类单元3根据目标特征对目标O进行分类，以便进行目标类型的识别。例如，分类单元3识别到目标O是一车辆目标FO。分类单元3可采用增大的分类精度进行分类。例如，分类单元3可根据目标特征确定，目标O是车辆目标FO，即目标O是载重汽车车辆目标LKW-FO或者是轿车车辆目标PKW-FO。根据目标等级，分类单元3可采用增大的精度进行分类。例如分类单元3可将识别到的PKW车辆目标识别为一种特殊类型的车辆，例如识别为豪华轿车或旅行车。此外，为了识别出具体涉及哪些车型，还可进行进一步的分类，例如可识别出是奥迪A6旅行车。在所示实施方案中，分类单元3识别到相应目标O的目标类型O-TYP，其中借助识别到的目标类型从数据存储器4中读取所识别的目标类型O-TYP的相应的三维数据模型3D-DM并在识别出的车辆目标FO位置上通过插入计算单元5插入到环境图像UB中。因此从数据存储器4中读取的识别出的车辆目标FO的三维车辆数据模型3D-DM被插入到环境图像UB内一位置或地点上，所述车辆目标FO在环境图像UB内位于所述位置或地点上。通过插入被识别到的车辆目标FO的三维数据模型3D-DM，插入单元5生成一3D场景，所述3D场景展示了车辆F的周围环境连同识别到的车辆目标FO。通过全景环视系统1的车辆显示装置6为车辆F内的人员，尤其是驾驶员，显示所生成的3D场景。图2中所示实施方案的优点在于，在车辆F的车辆显示装置6上不仅显示目标O的可视的一侧，而且还显示目标O的相应的三维车辆数据模型3D-DM，因此在三维场景中真实显示目标O。优选将分类单元3和插入计算单元5集成到计算单元8中。计算，尤其是分类优选实时进行。

图3所示为根据本发明的全景环视系统1的另一种可能的实施方案。在图3所示的实施方案中，全景环视系统1含有一收发器7，该收发器直接地或通过电信系统的无线下行链路连接DL从位于车辆F附近的目标O处，尤其是从车辆目标FO处，获取属于车辆目标FO的3D车辆数据模型3D-DM。收发器7包含一接收器和一发射器。收发器7的接收器从同时被全景环视系统1的传感器单元2检测的车辆目标FO处获取一车辆目标FO的3D数据模型或相应3D车辆数据模型的至少一个识别ID。还可选择额外地通过全景环视系统1的分类单元3从收到的环境图像UB中对车辆目标FO进行分类。在这一实施方案的变化形式中，可检查所收到的3D车辆目标数据模型3D-DM与分类结果是否相符。可选地，当收发器7通过无线接口DL获取车辆目标FO的车辆目标数据模型时，鉴于车辆目标FO的分类，还可自动地去激活分类单元3或通过开关9关闭分类单元3。插入计算单元5把通过收发器7的接收器的无线接口接收到的车辆目标数据模型插入到车辆传感器单元2所提供的环境图像UB的适当位置上，并通过这种方式生成车辆F的周围环境的三维场景，连同位于周围环境中的目标，在全景影像系统1的车辆显示装置6上显示这些场景和目标。在图3所示的实施方案中，如果收发器7的接收器获取了位于车辆目标FO的周围环境中的车辆目标数据模型时，可无需在全景环视系统1内进行分类。在这种实施方案中，只有当周围环境中的目标O未提供相应的3D模型时，才使用分类单元3。因此图3所示实施方案的优点在于，可降低分类单元3的计算负荷。

图4所示为根据本发明的位于车辆F中的全景环视系统1的另一实施方案。在图4所示实施方案中，收发器7的接收器未从目标O收到车辆数据模型，而收到了一车辆目标数据模型DM的识别符ID。借助所收到的该车辆数据模型识别符DM-ID，从全景环视系统1的本地数据存储器4中读取一相关的三维车辆目标数据模型3D-DM，并通过插入计算单元5在适当位置插入到车辆传感器单元2所提供的环境图像UB中，从而生成周围环境的3D场景。通过车辆显示装置6显示所生成的3D场景。图4所示的实施方案其优点在于，无线接口只须传输一车辆目标数据模型标识符ID，因此所需的带宽很小。另外，根据数据模型的复杂程度以及数据范围，传输车辆目标数据模型的标识符ID要比传输整个车辆目标数据模型快得多。

图3、图4所示实施方案中，可直接通过车辆与车辆之间的无线接口或通过电信系统T-SYS传输车辆目标数据模型和/或车辆目标数据模型标识符ID。在一种可能的实施方案中，车辆目标FO通过上行链路连接UL传输模型标识符ID或其车辆数据模型，随后通过下行链路连接DL传输给车辆F内的收发器7的接收器。电信系统例如是一种移动无线电系统。在根据本发明的系统的另一种可能的实施方案中，例如图2、3、4所示的实施方案，除了车辆目标数据模型和/或车辆目标数据模型标识符ID之外，在车辆或车辆目标FO之间还交换或传输位置数据。在一可能的实施方案中，在将车辆目标数据模型3D-DM插入到环境图像UB中时，插入计算单元5还要考虑车辆目标的当前的位置数据。在一可能的实施方案中，通过车辆目标中所包含的导航系统提供车辆或车辆目标FO的位置数据。在一种可能的实施方案中，图2、3、4所示的插入计算单元5具有一CPU(中央处理器)或一微型处理器，所述CPU或微型处理器从车辆F中的导向系统获取位置数据。这些位置数据包括本车辆F的位置数据和/或位于车辆F附近并在传感器单元2作用范围内的车辆目标的位置数据。这些位置数据包含了目标O，特别是位于车辆F附近的车辆目标FO的二维平面坐标或三维立体坐标。

在根据本发明的系统的另一可能的实施方案中，车辆目标FO将其自身的3D车辆数据模型和/或3D车辆数据模型识别符传输给其他车辆目标，所述其他车辆目标再将这些数据进一步传输给第三车辆目标。在进一步传输3D数据模型3D-DM或其识别符ID时，或者可直接在车辆之间进行或者通过电信系统T-SYS的上行链路和下行链路连接进行。如图1所展示的范例中，通过继续传输3D车辆数据模型或其识别符，对车辆F来说，也可识别被其他车辆目标FO完全或部分遮挡的车辆目标FO。在图1所展示的范例中，车辆数据目标FO2可将其车辆数据模型传输给正在超车的车辆目标FO1，车辆目标FO1然后再将所收到的车辆数据模型或其所属的识别符传输给车辆F。在一优选实施方案中，车辆数据模型和/或其车辆数据模型识别符与所属的车辆目标的所属的当前位置数据一起传输，因此车辆F的全景环视系统SVS可确定，被遮挡的车辆数据目标FO2精确位于周围环境中的哪个位置。依据位置数据，根据本发明的全景环视系统1的插入计算单元5可将直接或间接收到的车辆目标数据模型3D-DM精确插入探测到的环境图像中合适的位置上。

图5为根据本发明的方法的一种实施方案的流程图，这种方法用于在车辆显示装置上显示目标O。

在步骤S1中，首先提供一个或多个具有目标O的环境图像UB，所述目标O位于车辆F的周围环境中。这些环境图像UB优选采用传感器探测，尤其是借助一个或多个车辆摄像机和/或借助车辆F中的一雷达装置探测。可对各种传感器或传感器单元所收到的图像，尤其是摄像机图像进行预处理并组成一环境图像。环境图像可显示车辆F的全部周围环境或车辆的周围环境的重要部分片段。例如，环境图像UB可包括车辆F的周围环境的360°全景图。在环境图像UB中，有各种不同类型的目标O，尤其是可移动的车辆目标FO和例如建筑物或山等静止目标O。

在后续步骤S2中，根据目标特征将目标O进行分类，以便识别相应目标O的目标类型O-TYP。例如可通过图2至4中展示的全景环视系统1的分类单元3进行分类。

在后续步骤S3中，插入与识别到的目标O的目标类型O-TYP相符的3D数据模型，以便生成车辆F的周围环境中的3D场景。在一可能的实施方案中，通过分析所收到的位置数据将目标O的3D数据模型3D-DM插入到环境图像UB中适当位置上或定位在那里。在一可能的实施方案中，通过车辆F的导航系统提供这些位置数据或位置坐标。

在后续步骤S4中，在车辆F的车辆显示装置上显示所生成的3D场景。

图6所示为系统的一种实施方案示意图，其中可以使用根据本发明的方法。在图6所示的实施方案变化方案中，车辆F通过例如移动无线电系统等电信系统T-SYS与其他车辆目标FOA、FOB进行通讯。例如，位于车辆F附近的车辆目标FOA可通过一个上行链路连接UL将自身的3D车辆数据模型或所属的ID包括位置数据传输给电信系统的基站，该基站又通过下行链路连接DL将车辆FOA的3D数据模型或相应的ID，优选包括所属的位置数据传输给车辆F的接收器。在那里将车辆目标FOA的车辆数据模型插入环境图像UB中适当位置上。此外，车辆F的自身的发射器将车辆F的车辆数据模型或相ID通过电信系统的上行链路数据连接UL，并在那里再通过下行链路连接DL发送给另一个车辆目标FOB。除了本车辆F的车辆数据模型外，优选将所收到的车辆目标FOA的车辆数据模型或相应的ID进一步传输给另一个车辆目标FOB。此外，从车辆目标FOA收到车辆数据模型后，为了进行接收确认，车辆F会将其自己的车辆数据模型的ID发回。通过这种方式，各不同的车辆目标FO相互交换其3D车辆数据模型或所属的ID。优选同时相互交换车辆目标FO的位置数据。

在一种备选的实施方案中，所有车辆或车辆目标FO都有一所属的车辆标识符ID，通过该标识符ID可对车辆进行明确标识。在车辆FO之间交换该车辆标识符ID，其中通过询问数据库查询属于所收到的车辆标识符ID的车辆数据模型标识符ID。

在根据本发明的方法的一种可能的实施方案中，全景环视系统1的车辆传感器单元2识别位于周围环境中的目标O的轮廓以及结构或颜色。在一种可能的实施方案中，分类时也要对结构加以考虑。此外，插入单元5将例如车辆目标等位于车辆F附近的目标的识别出的结构或颜色插入到在此所显示的3D车辆数据模型中，因此可在车辆显示装置6上更真实地显示相应目标O。

根据本发明的方法和系统还可实现其他的实施方案。目标O可以是例如在路上移动的尤其是车辆或载重汽车等的车辆目标FO。另外，车辆目标FO还可能是船只或飞机。在一种可能的实施方案中，所传输的车辆数据模型是一种相对简单的车辆数据模型，该车辆数据模型主要显示相应目标O的表面。例如将特定的车辆类型的颜色和轮廓插入到环境图像UB中，以便生成3D场景。可选地，所传输的车辆数据模型也可是识别到的车辆目标FO的一复杂的车辆数据模型，除了车辆F的表面之外，所述复杂的车辆数据模型还会提供相关车辆目标FO的内部结构方面的数据。在这类实施方案中，例如车辆F的驾驶员可根据所传输的车辆数据模型查看周围环境中的车辆目标FO的内部结构，必要时还可进行缩放。在此实施方案中，车辆F的驾驶员需要时可更详细地了解在车辆显示装置6上3D场景中所显示的车辆目标FO的构造和结构。

在一种可能的实施方案中，位于周围环境中的目标O以一相对速度相对于本车辆F移动。在此可能的实施方案中，通过全景环视系统1识别这种相对速度V并在环境图像UB中定位所属的3D车辆数据模型时，对这种相对速度加以考虑。在此实施方案中，3D车辆数据模型的定位或插入能够更加精确，因为在3D场景中计算3D车辆数据模型的定位位置时，除了位置数据外，通过插入单元5还对相对速度加以考虑。

全景环视系统1的分类单元3例如可识别本车辆的周围环境中的另一车辆目标FO的型号和颜色，并对其进行分类。然后将相应的车辆数据模型作为3D数据目标插入或定位到3D场景中。

在3D场景中所插入的车辆数据模型3D-DM显示位于车辆F附近的车辆目标FO的各侧面，甚至是包括车辆F的车辆传感器单元2无法探测到的侧面。此外，还可显示车辆目标的车辆数据模型，所述车辆目标通过其他目标，尤其是其他车辆目标持续或偶尔遮挡。通过这种方式，为车辆F的驾驶员实时显示在3D场景中显示的三维的车辆周围环境，以此有助于驾驶员做出行驶决定和确定其行驶方向。基于更好的行驶决定还显著提高了车辆F的行驶安全性。

图7所示为根据本发明的方法的另一种应用情况。在此展示的是泊车过程中，在车辆显示装置上的3D场景中显示目标，尤其是其他车辆目标。