识别和可视化地呈现显示增强图像内容时的系统不可靠性的制作方法

本发明涉及一种用于识别和可视化地呈现尤其在机动车中在平视显示器中显示增强的图像内容时的系统不可靠性的方法以及用于实施所述方法的设备。

背景技术：

平视显示器(huds)在机动车中的作用越来越大。与其它的显示设备不同，平视显示器提供了为驾驶员直接在其视野中插入显示信息的可能性。因此他不必再将其视线从交通情况上移开，尽管一般只有很短的时间移开视线，但这总是具有一定的安全性风险。

平视显示器在当今已经由很多制造商作为特殊装备提供。在此，作为信息尤其显示速度、导航提示和重要的交通标志。

平视显示器的使用不局限于机动车，在其它交通工具、尤其是飞机中，它们也是用于辅助交通工具驾驶员(在飞机中：飞行员)的高效技术装置。

平视显示器在结构上划分为成像单元以及投影面。在成像单元中生成需要显示在平视显示器上的图像元素并且由投影装置朝向投影面照射。光束在此一般经过弯折的光路，所述光路通过相应的镜子产生。这是为了限制成像单元的所需安装空间所必要的。真正的图像在特殊的投影面上产生。在此其尤其可以是所谓的组合玻璃，所述组合玻璃处于驾驶员的视野中。备选地，图像直接在挡风玻璃上产生，尤其可以取消组合玻璃。

术语平视显示器经常被用于真正的投影面。然而严格来说，所述装置附加地包括成像单元、用于产生所需光路的装置以及用于产生图像内容的所需控制装置。在本发明中，在整体上使用术语平视显示器，并且讨论平视显示器上的显示，尽管真正的显示只在投影面上进行。

为了提高信息含量并且建立与环境的直接关联，增强现实技术(augmented-reality-technologie，ar技术)越来越多地被用于平视显示器上的显示。在这种技术中显示虚拟的图像元素，它们扩展、也就是增强了可见的真实图像。这种增强的图像内容例如可以是导航提示，所述导航提示不只显示真正的行驶方向，而且也指出需要转入的并且动态地随着交通工具运动改变的道路。

为了激发对自然图像的感知，在增强的图像内容中力求将信息与其在真实世界中的位置和定向相应地显示。在此讨论的是模拟接触的显示。

除了已知的驾驶员信息，也可以通过ar技术显示附加的图像元素，这些附加的图像元素超出了机动车中的经典显示内容。对此的一个例子是对特殊的行驶或者危险情况的提示。这可以例如是对处于行车道上或者即将走到行车道上的人的提示，或者是对在接下来的行驶机动中需要注意的交通工具的提示。

原则上，对于在真实的环境图像中显示增强的图像内容提出了非常高的精度要求。这既涉及图像内容的定位也涉及立体定向。即便真实图像与增强的图像内容之间的很小偏差也会作为错误被感知到。在例如导航提示的偏差非常大时，还可能导致错误的行驶机动。

因此，在显示ar图像内容时减少成像误差以及避免或者减少操作者对于该成像误差的感知是在开发ar平视显示器时的重要技术问题。

因此，在专利文献de10344120a1中描述了一种方法，其确定针对导航提示精度的可靠性值并且根据所确定的值相应地匹配提示的显示。由此应该在行驶周围环境的图像中产生总是能够可靠地诠释的导航提示显示。

在专利文献de112006002459b4中描述了一种方法，借助所述方法根据识别周围对象的可靠性在视觉上突出所述对象。由此可以向驾驶员提示被可靠识别的对象。其它对象同样被显示，但在视觉上不突出。

与之相对，在专利文献de102015001360a1中介绍了一种方法，借助所述方法通过重复的位置测定提高在确定交通工具位置时的精度。在显示ar信息时可以利用这种提高的定位精度。

技术实现要素：

但所有用于提高显示精度的解决方案不能完全避免显示误差。因此，本发明所要解决的技术问题在于，降低对于显示不准确性或显示误差的可感知度。

该技术问题按本发明通过用于识别和可视化地呈现在交通工具中的平视显示器内显示增强的图像内容时系统不可靠性的方法以及用于识别和可视化地呈现在平视显示器内显示增强的图像内容时系统不可靠性的设备解决。

在按照本发明的用于识别和可视化地呈现在交通工具中的平视显示器内显示增强的图像内容时系统不可靠性的方法中，

-借助摄像头检测真实世界的图像并且传输至控制装置，

-确定增强的图像内容，所述图像内容能够这样显示在平视显示器中，使得所述图像内容从观察者的视线观察与真实世界的图像融为一体，

-确定特征值，所述特征值适用于评估在显示增强的图像内容时的系统不可靠性，并且

-根据所确定的特征值匹配增强的图像内容，以便减小对于显示不准确性的可感知度。

按照本发明的用于识别和可视化地呈现在平视显示器内显示增强的图像内容时的系统不可靠性的设备包括

-至少一个用于检测真实世界的图像的摄像头，

-控制装置，借助所述控制装置确定增强的图像内容，所述增强的图像内容能够模拟接触地显示在平视显示器中，

-平视显示器，在所述平视显示器上能够显示所确定的增强的图像内容，其中，所述图像内容从观察者的视线观察看上去与真实的图像融为一体，

-其中，控制装置设置用于确定特征值，所述特征值描述在相对于真实世界的图像确定增强的图像内容时的系统不可靠性，并且

-其中，控制装置设置用于根据所确定的特征值改变增强的图像内容。

本发明的技术效果在于，这样实现模拟接触的ar图像内容在平视显示器中的显示，使得使用者不会或者不会这么强烈地觉得所述显示有错或有误差。

按照本发明的方法规定，首先借助摄像头检测真实世界的图像。所述图像被提供给控制装置，在所述控制装置中分析所述图像。在此，控制装置的任务是确定ar图像内容的内容以及在真实图像中的定位。

作为ar图像内容尤其考虑模拟接触的导航提示或者其它警告或者风险提示。因此，例如处于驾驶员的视野中并且可能产生风险的交通工具可以通过适当的插入显示被突出。操作者由此更容易识别这种危险情况。

ar图像内容以及一般的驾驶员信息如速度被投影在平视显示器上。在此，根据平视显示器的构型，显示可以直接在挡风玻璃上实现或者在组合玻璃上实现。驾驶员由此既感知到环境的真实图像也感知到投影在平视显示器上的图像内容。

在按照本发明的方法的下一步骤中，确定特征值，所述特征值描述在显示增强的图像内容时的系统不可靠性。这种特征值理解为数值，其利用不同的传感器信息或者不同计算机装置的信息并且整合为单独的、描述在显示ar内容时的系统不可靠性的值。

基于所确定的特征值既在显示形状也在平视显示器中的定位方面调适或匹配增强的图像内容。显示形状原则上理解为所有几何形状，通过所述几何形状能够在平视显示器中将附加信息逐渐显示在环境的真实图像中。其可以是圆形、三角形、矩形、箭头等。此外，所述“显示形状”这一概念除了所述几何形状，也包括对于标志符号的各种附加匹配或调适。在此尤其包括生成不尖锐的棱边、角的倒圆或者标志符号或其部分的像素化。

在定位方面按照本发明尤其理解为动态效果，通过所述动态效果能够向驾驶员可视化地呈现所确定的系统不可靠性。对此的例子是标志符号的颤抖或者振动。

为了确定描述ar显示的系统不可靠性的特征值，按照本发明的方法规定了不同的方法步骤。不言而喻的是，特征值确定的每种形式可以单独地或者以一个或多个方法步骤的任意组合实现。

在按照本发明的方法的第一优选设计方案中，为了确定特征值使用gps信号质量。通过分析在当前位置处可用的卫星的数量以及各个单独的gps信号的强度，可以确定在当前位置处的信号质量的度量值。这可以作为选择和构造ar内容的尽可能好的显示的基础。

在按照本发明的方法的另一优选设计方案中，评估在当前位置处可用的地图资料并且作为用于确定描述系统不可靠性的特征值的基础。这个步骤基于的认知是，地图资料与位置相关地被不同地绘制。因此并不是针对每个道路或者每个位置都有某些附加信息可用(道路宽度/倾斜度，高度变化等)。然而，由此产生的、在显示ar图像内容时的系统不可靠性与可用的附加信息的详细程度相关。

在另一优选的设计方案中，利用交通工具运动作为系统不可靠性的量度。这个方法步骤基于的认知是，例如交通工具的俯仰运动是ar内容的显示不准确性的重要影响因素。它们一方面用于行驶动力学(加速和制动)产生，另一方面由于行车道的不平产生。因为行车道轮廓通常在几米以内只略微地变化，所以通过借助加速度传感器和转速传感器检测当前的交通工具运动能够推断出将来的交通工具运动。车身运动的测量可以借助回转仪实现。角变化及其变化速度越高，对显示精度的负面影响越强。

在按照本发明的方法的另一优选设计方案中，利用摄像头图像的内容。当今可用的摄像和分析系统通常能够识别并且辨认行车道标记以及所选择的位置固定的参考点、如交通标志等。如果在摄像头图像中不能识别出这些位置固定的图像组成部分，则可以预料到在显示ar内容时具有较高的不准确性。

在按照本发明的方法的一种优选的扩展设计中，使用附加的摄像头。如果将这个摄像头布置为，使得所拍摄的图像与驾驶员在平视显示器上看到的图像一致，则能够由真实图像与增强的图像内容之间形成的位移推导出系统不可靠性的特征值。所述特征值能够与之前描述的优选设计方案的相应特征值相同地用于这样改变增强的图像内容，使得成像误差不被感知为干扰。

所述方法的所描述的扩展设计的前提条件在于，附加的摄像头安装在驾驶员的眼罩、例如驾驶员的眼镜架中。接着能够通过图像处理算法计算环境图像与增强的图像内容之间的偏差有多大。

眼罩理解为立方体，观察者的眼睛必须处于所述立方体中。在眼罩外部不能看到平视显示器的内容，投影面对于观察者来说是透明的。

为了根据所确定的系统不可靠性匹配增强的图像内容，按照本发明的方法规定了两个不同的扩展设计。在第一扩展设计中，显示增强的图像内容的标志符号根据所确定的系统不可靠性相应地在图形上改变，也就是调适或匹配显示的方式。例如如果借助矩形遮蔽所插入显示的真实图像的局部以便突出，则可以通过将轮廓画虚、改变亮度或者使表面像素化、也就是将平面显示转换为像素形的显示来产生模糊，所述模糊较不容易让驾驶员感知为有错误或有误差。增强的图像内容的其它匹配例如可以是提高标志符号的透明度。

在所述方法的另一扩展设计中，将增强的图像内容置入高频的自我运动、颤抖或者振动中。这种显示形式被观察者等级划分为或归类为错误性较小。这基本上由此得出，即不能沿着清晰的棱边在图像内容与真实环境之间进行直接的比较。通过自我运动，增强的图像内容的棱边在视觉上变得模糊。可能的系统不可靠性尽管不能由此避免，但它们不会被观察者感知为有错误或有误差。

按照本发明的设备设计为，使得其适用于实施之前描述的方法。

所述设备具有至少一个用于检测真实世界的图像的摄像头。为了分析图像，设有控制装置。在所述控制装置中存储有能够确定ar图像内容的算法。

ar图像内容以及其它需要在平视显示器中显示的信息借助投影装置以及镜子传输至投影面，通过所述镜子能够产生弯折的光路。

借助计算机装置能够基于传感器数据确定特征值，所述特征值描述增强的图像内容的系统不可靠性。为了避免给操作者带来存在显示错误或指示误差的印象，设有控制装置，借助所述控制装置匹配增强的图像内容的图形显示和/或定位。按照本发明的设备在定位时尤其规定，可以将增强的图像内容置入高频的自我振荡、振动或者颤抖中。

附图说明

现在根据实施例参照图1至图3详细阐述本发明。在附图中：

图1示出安装在机动车中的用于实施按照本发明的方法的设备；

图2示出平视显示器上的ar图像内容的显示示例；

图3示出按照本发明的用于在平视显示器中显示增强的图像内容的方法。

具体实施方式

在图1中示出按照本发明的设备的各个单独的组成部分。首先可以看到机动车1，其配有平视显示器5、7。在实施例中，这个平视显示器5、7由安装在仪表板中的成像单元7以及所谓的组合玻璃5组成，驾驶员在所述组合玻璃上可看到真正的图像。组合玻璃5与成像单元7的组合在以下称为平视显示器5、7，尽管真正的图像显示只在组合玻璃5上可见。

通常通过平视显示器5、7尤其显示驾驶员信息，如速度或者对交通标志的提示。此外，可以向驾驶员输出附加的提示，例如行驶方向信息或者危险提示。

为了可视化地呈现危险提示11、12、13，尤其突出各个单独的图像内容。在此可以是交通工具、人或者驾驶员应该予以注意的其它物体。

为了在由驾驶员感知的真实图像中定位危险提示，借助摄像头2拍摄环境的图像，所述摄像头通常安装在内部后视镜的区域内。所述图像被提供给控制装置10。

在控制装置10中计算附加的、增强的图像内容。

为了向驾驶员提示例如所提到的生物和物体，在实施例中描述的解决方案规定了相应的生物或者物体的遮蔽。为此，由控制装置10产生透明的图像元素11、12、13，它们这样定位在平视显示器5、7中，使得它们遮盖真实图像的相应图像内容。驾驶员由此还可以识别出处于背景中的、可能产生危险的真实图像元素。然而，由于透明的增强的图像元素11、12、13的叠加，驾驶员的注意力被直接转至这个元素上。

作为对各个单独的增强的图像元素11、12、13的准备和定位的补充，控制装置10还对附加信息进行分析。为此，控制装置10设计为，使得借助所述控制装置能够基于保存的算法推导出用于量化系统不可靠性的特征值。

所述特征值在控制装置10中进一步处理。所述控制装置设置为，使得其既能够在定位方面也能够在图形显示方面对ar图像内容11、12、13进行匹配。为了显示在此计算出的图像元素11、12、13，投影装置3设置为，使得能够通过弯折的光路在hud显示器5、7中显示图像。

为了确定描述系统不可靠性的特征值，按照本发明的设备在不同的设计方案中规定了不同的计算算法。原则上，这些算法在所述实施例中在控制装置10中实施。不言而喻的是，每个单独的设计方案和不同设计方案的任意组合均可以保存在控制装置10中。确定特征值的以下设计方案在所述实施例中记录在所述算法中：

-通过分析gps信号质量确定特征值；

-通过分析在当前位置可用的地图资料确定特征值；

-通过分析车身运动确定特征值；

-通过将保存在地图资料中的位置相关信息与摄像头图像中的信息的比较确定特征值；

-通过直接分析hud显示器5、7上的图像确定特征值。

在图2中显示了基于所确定的特征值对图像元素的不同匹配。作为输出元素可以看到矩形11的投影，以突出在前行驶的机动车。所述矩形设计为透明的，因此驾驶员可以清晰地识别出在前行驶的机动车。在第一有利的设计方案中，透明的矩形11的棱边模糊地显示。这种显示方式就如透明的矩形12那样也向驾驶员说明存在于系统中的、通过所确定的特征值描述的系统不可靠性。

在另一优选的设计方案中，透明的矩形由点状网格13代替。这种图像元素能够使存在的定位误差看上去不那么突出。

在按照本发明的设备的另一有利的设计方案中，为了突出危险对象，将增强的图像元素11、12、13置入高频的自我运动中，也就是颤抖或者振动。容易想到的是，既可以针对所描述的全面的图像元素11、12也可以针对网格状的图像元素13进行这样的匹配或调适。

原则上通过调适或匹配ar图像元素11、12、13实现了这样的技术效果，即能够实现在观察者(在机动车的情况下是驾驶员9)看来错误不那么明显或较少有错误的显示。在此，选择匹配ar图像元素11、12、13中的哪一个，既可以通过设备本身也可以通过驾驶员9的手动预设实现。为此需要保存相应的配置菜单，驾驶员可以借助所述配置菜单手动预设匹配11、12、13的类型。

在图3中示出按照本发明的方法的一种在机动车1中的示例性设计方案的各个单独步骤。

在第一步骤100中，产生真正的hud图像并且投影在hud显示器5、7的投影面5上。所述图像由多个图像元素组成。在此涉及用于驾驶员9的附加信息，例如交通工具速度以及增强的图像内容11、12、13，它们由控制装置10基于由摄像头2检测的摄像头图像产生。

在步骤200中，确定用于描述系统不可靠性的特征值。所述步骤通过相应的算法在控制装置10中实施。在此，在本实施例中进行不同的分析并且浓缩为具有描述性的特征值。在所述实施例中规定了以下的分析：

-确定gps信号质量，

-确定在当前位置处可用的地图资料的精度，

-确定当前的车身运动，

-将保存在地图资料中的位置相关信息与摄像头图像中的信息进行比较。

将各个单独的分析组合为描述系统不可靠性的总特征值。

根据所述特征值，在步骤300中使增强的图像内容11、12、13匹配或调适。在本实施例中，为了突出在前行驶的交通工具，将ar图像元素11、12、13置入高频的自我振荡中。观察者由此感知到ar图像元素11、12、13的错误较小，尽管图像元素的轮廓和在前行驶的交通工具的轮廓由于不可避免的显示不准确性而彼此略微有偏差。

在步骤400中将增强的图像内容在平视显示器5、7的组合玻璃5上输出。

附图标记清单

1机动车

2摄像头

3投影单元

4挡风玻璃(投影面)

5组合玻璃(投影面)

6gps天线

7图像生成单元

8仪表板

9驾驶员

10控制装置

11增强现实图像元素(风险提示)

12增强现实图像元素(风险提示)

13增强现实图像元素(风险提示)

100将图像元素投影到投影面上

200确定特征值

300匹配ar图像内容

400投影所匹配的ar图像内容