用于产生掩蔽规则以及用于掩蔽摄像机的图像信息的方法和设备与流程

本发明基于一种根据独立权利要求所述类型的设备或方法。计算机程序也是本发明的主题。

背景技术：

应用在车辆中的鱼眼摄像机的可见范围在一个大的开角上延伸。因此在装配在车辆上的鱼眼摄像机的图像中车辆车身的大部分也是可见的。

技术实现要素：

在该背景下，借助在此提出的方案提出根据主权利要求的用于产生用于车辆的摄像机的掩蔽规则的方法、用于掩蔽图像信息的方法、应用所述方法的设备以及相应的计算机程序。通过在从属权利要求中列出的措施，能够实现在独立权利要求中说明的设备的有利的扩展方案和改善。

固定地安装在车辆上的具有广角镜头的摄像机对于车辆环境中的一部分附加地大多还将车辆车身的一部分成像在摄像机的摄像机图像中。然而，对于车辆的进行图像处理的舒适性功能和安全性功能而言，在车身区域中不存在摄像机图像中的重要相关的信息。

为了减少在图像处理中要处理的数据量，车身可以通过掩膜限定为不应处理的图像区域。只要摄像机角度固定地与车身连接，则可以对于每个摄像机图像使用相同的掩膜。

可以基于摄像机的已知光学特性和摄像机相对于车身的已知放置和定向已经根据车辆的数据模型来预先限定掩膜。

在此提出一种用于产生用于车辆的摄像机的掩蔽规则的方法，其中，方法具有以下步骤：

在车辆坐标系统中在使用所述车辆的三维模型数据的情况下设置可见范围边界的网格点(Stützstelle)，其中，从摄像机的在所述模型数据中建模的视角设置所述网格点；

将所述网格点的车辆坐标从所述车辆坐标系统变换到球坐标系统中，以便获得所述网格点的球坐标；以及

存储在所述球坐标系统中通过所述网格点限定的掩膜曲线，以便产生所述掩蔽规则。

可以将掩蔽规则理解为处理规则，所述处理规则限定用于摄像机的图像信息的掩膜。可以基于网格点的坐标产生掩蔽规则。掩膜曲线可以是通过网格点坐标引导的多项式。车辆坐标系统可以涉及相对于车辆限定的坐标原点。坐标原点例如可以在前轮的车轮中点之间布置在中心。车辆坐标系统可以是笛卡尔坐标系统，其轴线相应于车辆纵轴线、车辆横轴线以及车辆垂直轴线。球坐标系统可以涉及相对于摄像机限定的坐标原点。球坐标系统的参考轴线可以是例如摄像机的光学轴线。球坐标可以包括至少一个极角和至少一个方位角。在变换中可以在使用向量和空间角的情况下将网格点的坐标移动和旋转。此外，可以在使用三角函数的情况下换算所述坐标。

球坐标系统可以是经标准化的球坐标系统，以便获得经标准化的球坐标。在此，球坐标可以涉及具有半径为1的单元球。由此消除球坐标的坐标值。

球坐标系统的坐标原点可以相应于摄像机的车辆坐标。例如坐标原点可以布置在摄像机的光学参考点上。参考点可以是例如结点(Nodalpunkt)。

在设置的步骤中可以沿着引起可见范围边界的车身棱边设置网格点。通过这种方式可以简单地找到网格点的位置。

网格点可以在笛卡尔坐标系统中设置为车辆坐标系统。通过这种方式可以将典型地已经在笛卡尔坐标系统中存在的数据用于实施所述方法。

有利地，三维模型数据可以代表在使用CAD(计算机辅助设计)程序的情况下生成的数据。通过这种方式可以在不使用摄像机图像数据的情况下创建掩蔽规则。

此外提出一种用于掩蔽车辆的摄像机的图像信息的方法，其中，所述方法具有以下步骤：

读取所述摄像机的图像信息；以及

应用掩蔽规则到所述图像信息上，以便在所述图像信息中掩蔽所述摄像机的可见范围，其中，在使用根据以上权利要求中任一项所述的方法的情况下产生所述掩蔽规则。

在此提出的方法可以例如实现在软件或硬件中或者以软件和硬件的混合形式例如实现在控制装置中。

在此提出的方案还实现一种设备，所述设备被构造用于在相应的设备中实施、控制或者实现在此提出的方法的变型方案的步骤。通过本发明的以设备形式的实施变型方案也可以快速和高效地解决本发明所基于的任务

设备在此可以理解为处理传感器信号并且据此输出控制信号和/或数据信号的电设备。所述设备可以具有按硬件方式和/或按软件方式构造的接口。在按硬件方式的构造中，接口例如可以是所谓的系统ASIC的包括所述设备的最不同功能的一部分。然而，也可能的是，接口是单独的集成电路或至少部分地由分立部件组成。在按软件方式的构造中，接口可以是软件模块，其例如与其他软件模块共存在微控制器上。

具有程序代码的计算机程序产品或者计算机程序也是有利的，所述程序代码可以存储在机器可读的载体或者存储介质，如半导体存储器、硬盘存储器或光学存储器上并且尤其用于当在计算机或者设备上执行程序产品或者程序时实施、实现和/或控制根据先前描述的实施方式之一的方法的步骤。

附图说明

在附图中示出并且在以下说明中进一步阐明本发明的实施例。附图示出：

图1：根据一个实施例的用于产生用于车辆摄像机的掩蔽规则的方法的流程图；

图2：在根据一个实施例的用于产生掩蔽规则的方法期间变换的示图；

图3：车辆的侧摄像机的图像信息的示图；

图4：根据一个实施例的具有掩膜的车辆的侧摄像机的图像信息的示图；

图5：车辆的倒车摄像机的可见范围的示图；

图6：车辆的根据一个实施例的具有网格点的模型数据的示图；以及

图7：根据一个实施例的由掩蔽信息产生的用于图像信息的掩膜。

在本发明的优选实施例的后续描述中，对于在不同附图中示出并且起类似作用的元件使用相同的或类似的附图标记，其中，不重复描述这些元件。

具体实施方式

图1示出根据一个实施例的用于产生用于车辆的摄像机的掩蔽规则的方法100。方法100具有设置的步骤102、变换的步骤104以及存储的步骤106。在设置的步骤102中在车辆坐标系统中在使用车辆的三维模型数据的情况下设置摄像机的可见范围边界的网格点。从摄像机的在模型数据中建模的视角设置网格点。在变换的步骤104中将网格点的车辆坐标从车辆坐标系统变换到球坐标系统中，以便获得网格点的球坐标。在存储的步骤106中存储在球坐标系统中通过网格点限定的掩膜曲线，以便产生掩蔽规则。

图2示出在根据一个实施例的掩膜计算的方法期间变换的示图。在此在应用软件200中在图像信息中选择掩膜点202。在使用第一处理规则204的情况下将掩膜点202的图像坐标变换为CV坐标206(CV＝Control Vertex控制顶点)。第一处理规则204尤其称为m_trafo_pcl->image2rayCV。通过考虑第一外在参数R208，将CV坐标206转换为经旋转的CV坐标210。经旋转的CV坐标210代表在此提出的接口212。在考虑第二外在参数t214的情况下将经旋转的CV坐标210转换为DIN70k坐标216。DIN70k坐标216代表目前为止的接口218。DIN70k坐标216在使用第二处理规则220的情况下转换为用于掩膜的点222。第二处理规则220尤其表示为m_trafo_pcl->world2image。由点222创建用于应用到图像信息上的几何掩膜224。

图3示出车辆302的侧摄像机的图像信息300的示图。鱼眼摄像机的可见范围在一个大的开角上延伸。在图像300中，不仅对于信号处理重要相关的范围而且车身304的和其他车辆部分的大部分是可见的。然而，在车身304的区域中对于信号处理和进一步的行驶功能而言，无重要相关的对象和信息是可测量的。取而代之地，通过对象在金属表面上的镜反射可能发生对象的错误解释。例如白色车道标记通过在光滑车身304上的镜反射同样在车辆上产生虚假的车道标记。然后在以下信号处理步骤中需要对错误标记的高成本的识别和过滤。根据在此描述的方案，为此不需要所标记的静态掩膜。

图4示出根据一个实施例的具有掩膜400的车辆302的侧摄像机的图像信息300的示图。图像信息在此相应于图3中的图像信息。附加地在此沿着车身304的成像与可见范围406之间的可见范围边界404示出用于掩膜400的网格点402。

换言之，图4示出用于掩膜创建的网格点402。为了从一开始仅仅考虑重要相关的对象408并且避免错误对象的运算密集和易于出错的过滤，可以在信号处理中应用重要相关的图像范围406的掩膜400。掩膜400的轮廓基本上沿图像中的车身棱边404延伸。对于在车辆302中应用的摄像机中的每一个分别应用自身的掩膜400。

通过鱼光学设备的大幅失真可以在角区域中看到摄像机的渐晕(Vignettierung)，如在此在右上角中那样。所述失真通过内在校准来识别并且作为掩膜400的一部分来自动考虑。

在一个实施例中，或者通过车辆302的在车辆302的棱边404与摄像机的关系方面的CAD数据或者通过在摄像机图像300中图像点402的标记和借助于内在和外在校准的到极坐标中的换算实现掩膜参数的生成。在具有摄像机相对于车辆302的参考系统的极坐标中(phi，theta，r＝1)实现掩膜参数在接口中的存储。掩膜400的实际计算在控制装置中借助于当前的内在和外在校准实现。接口中的掩膜参数独立于摄像机特性，因为所述掩膜参数仅仅包括坐标。掩膜400首先借助于内在和外在校准来计算，从而掩膜400依赖于摄像机特性，如例如摄像机的开角。

在外在校准通过在线校准的改变中重新计算掩膜400。通过所应用的内在校准已经考虑渐晕。对于每个车辆变型方案需要仅仅一个参数组。接口可以扩展到笛卡尔坐标([x,y,z]或[phi,theta,r]，其中，r≠1)上。

图5示出车辆302的倒车摄像机的可见范围406的示图。如在图3和4中那样，在图像信息300中一同成像车身304。在此，基于在牌照照明的区域中的摄像机位置500成像车辆302的后盖板的棱边以及车辆302的后保险杠的一部分。在此，通过车辆尺寸产生摄像机的可见范围的边界。

图6示出车辆302的根据一个实施例的具有网格点402的模型数据600的示图。车辆302在此基本上相应于图5中的车辆。车辆302在CAD数据600中在后视图中示出。CAD数据600在车辆302的车辆坐标系统中示出。除了车辆302之外成像了图像信息300，如其在图5中所示的那样。在CAD数据600中沿保险杆的上棱边和后盖板的棱边标记网格点402。网格点402也成像在图像信息300中，在图像信息300中在摄像机的坐标系统中示出网格点402。

因为倒车摄像机具有鱼眼镜头，所以其距离鱼眼镜头的光学轴线越远，则直线越弯曲地示出。在此尤其后门盖板的棱边几乎半圆形失真地成像。保险杠的上棱边接近光学轴线地布置并且因此较不失真。

沿着图像信息中的网格点402绘出掩膜400，该掩膜400将可见范围406与车身304的成像分离。在可见范围406中实现流计算的、FPGA支持的掩蔽。通过掩蔽，在图300中没有进行由流向量到车身部分——如例如镜反射面——的计算。由此产生后续图像处理和图形的大幅简化。同样，如果可见范围406的一部分通过在摄像机棱镜前方的污物覆盖，则可以实现污物识别。

换言之，基于通过车身304的可见范围覆盖实现掩蔽。为此，在这里提出的方案中实现由CAD数据600确定可见范围406以及作为车辆特定的编码存储。在CAD数据600中，车身304上的多个点402被确定，这些点限制摄像机与环境之间的可见范围406。紧接着借助于实际求取的安装参数(外在校准)生成掩膜400。

换言之，图6示出在摄像机图300中车辆部分的掩蔽400或者图像掩蔽400的车辆特定的编码。

因为掩蔽的轮廓400沿着车身304延伸，所以掩膜400的创建是几何任务提出。由摄像机的位置和车辆302的CAD数据600可以在车辆302上标记网格点402，网格点描述可见范围边界404。网格点402作为具有经标准化的球坐标(θ，r＝1，在DIN70k中，原点是摄像机位置)的闭合曲线400存储在掩蔽接口中。在掩膜计算中，经标准化的坐标借助于内在和外在校准变换到成像器图像300中并且通过在网格点402之间的内插组合成掩膜400。

通过掩膜400以球坐标存储在接口中以及借助于内在和外在校准的计算，自动考虑在内在校准中的变化和摄像机的所变化的旋转(外在校准)。

图7示出根据一个实施例的由掩蔽信息产生的用于图像信息300的掩膜400。为了创建网格点402可以应用单个摄像机图像300并且将边界点402绘到图300中。借助于有效的内在和外在校准，这些图像点402同样变换到用于掩膜接口的经标准化的球坐标中。对于不同的车辆变型方案分别实施掩膜创建并且将变型方案特定的掩膜点402记入CAF文件700中。

换言之，实现了封闭的点序列402的描绘以便表示掩膜400并且输出为C++代码700。

在坐标系统的比较中产生如下，即在掩膜点402的移动中不检测几何数据。仅仅根据校准变化来移动的掩膜点402被近似。由此不可以检测内在参数的变化。可以检测外在参数化R的变化。相反，不可以检测外在参数化t的变化。

在经旋转的CV坐标或经平移的DIN70k坐标中可以根据x²+y²+z²＝1检测车身棱边相对于成像器位置的相对坐标。除了掩膜点402的移动之外也可以检测内在参数的变化。

在绝对的DIN70k坐标中可以实现车辆车身棱边的准确的几何测量。除了经旋转的CV坐标之外也可以检测外在参数t的变化。

如果一个实施例包括第一特征与第二特征之间的“和/或”关系，则这可以解读如下：所述实施例根据一种实施方式不仅具有第一特征，而且具有第二特征；并且根据另一种实施方式或者仅仅具有第一特征，或者仅仅具有第二特征。