控制增强现实显示装置的显示的方法、装置、存储介质与流程
本发明涉及一种用于控制用于机动车的增强现实显示装置的显示内容的方法、装置以及带有指令的计算机可读取的存储介质。此外本发明涉及一种应用按照本发明的方法或装置的机动车。
背景技术：
随着虚拟和增强现实技术和增强现实应用的不断改进，其也进入汽车工业中。增强现实技术(ar)，德语“erweiterte
平视显示器(hud)提供了一种相应地通过在透视上准确的虚拟扩展元素丰富驾驶员工作空间的可行的技术上的实现方案。在此，安装在仪表盘中的屏幕发出的光线通过多个反射镜和透镜变向并且通过投影面反射进入驾驶员的眼睛中，从而使驾驶员察觉到车辆外部的虚拟的图像。在汽车工业中，挡风玻璃通常用作投影面，在显示时必须考虑到所述挡风玻璃弯曲的形状。作为备选有时也使用附加的由玻璃或塑料制成的盘片，所述盘片在驾驶员和挡风玻璃之间布置在仪表盘上。由于显示内容与驾驶场景光学上的重叠，为了读取信息仅需较少的头部和眼部运动。此外减少了眼睛在适应方面的耗费，因为与显示内容的虚拟距离相关地，(眼睛)仅需较少的或甚至不需进行调节。然而当前的批量生产的平视显示器局限于直接在驾驶员的主视角区域下方的显示并且包含冗余的信息、例如也可在驾驶仓的其它位置找到的速度显示。这种显示技术尽管减少了对道路的视线阻碍，但是仍存在缺点，即所显示的信息必须被解释并且被转换至真实情况中，因为所述信息没有被定位在真实的场景中。这会在复杂的情况下呈现为心理上承受压力的认知过程。通过在其真实的参照位置上标记对象以及将信息显示、也就是说通过接触模拟的显示使得与周围环境相关的信息能够直接呈现在驾驶员的视线范围中。这种以增强现实的形式对周围环境直接的图形上的丰富化能够大大减少认知迁移需求。除了借助平视显示器实现增强现实的显示外也可行的是在车辆后视镜、也就是说在内部后视镜或外部后视镜中显示对应的虚拟扩展内容。所述虚拟扩展内容同样也可以是倒车摄像头或其它摄像头的显示内容的组成部分。
通过高性能的传感器技术的引入产生的问题是，关于周围环境以及交通的重要信息尽管在技术上是可用的，但是缺少以协调的并且一目了然的方式方法来传达所述信息的有效的可能性。由于能够将信息直接展现在周围环境中，增强现实在此提供了全新的可能性。尽管这些信息相比于迄今而言能够处理得明显更加直观，但是显示方案在适应使用者方面的协调性仍然是重要的目标。在此，首要的问题始终是适当占用驾驶员的注意力或者信息处理力。无论如何都应避免的是，例如通过被费力地解释并且会难以理解的显示内容导致认知过程的额外负担。如果应当使用在突出的位置、在驾驶员的主视线范围中的显示方案，那么越应该避免上述问题。对于增强现实应用产生的问题是，须如何设计显示方案以实现少占资源的信息处理。
囊括在术语“生物运动”或者说“biologicalmotion”中的自然运动模式的使用提供了一种新颖的可能性。在此，人的感知系统应当以传统的已知的方式反应。基于生物学的模式的应用相关的是基于主要在特别基础的并且因此特别快速的释义效率的一系列的优点。
“生物运动”模式的表现中例如将人或动物的运动由一目了然的多个图形元素显示。在此表明，人能够毫不费力地将少量的刺激或者运动辨别为人。除此之外受试者甚至能够辨别出人的细节、例如性别或体重。该手段特别适合用于增强现实的应用当中。
在该背景下文献de102011120878a1描述了一种用于在车辆的图像显示单元上产生虚拟图像部分的方法。借助车辆的图像采集装置可采集所述车辆的周围环境。所记录的图像数据被分析用于探测生物。为了使车辆乘客察觉所探测到的生物，在所述乘客的视野中在图像显示单元上通过虚拟的图像部分标记所探测到的生物的显示位置。在此产生了用于标记所述生物的进行移动的光点的有序的组，其中，所述光点至少表示了与所识别的生物对应的体型的几个躯体部分的位置。
文献us2015/0243171a1描述了用于产生用于机动车的显示装置的显示内容的方法，所述显示装置例如是平视显示器。识别单元获取行驶方向上的图像，所述图像示出了车辆驾驶员向前的视角。之后所述识别单元提取出图像中所包含的特征，并且基于所提取出的特征识别出预先确定的对象。如果所识别出的对象是行人，则以移动的光点图形的形式将该行人显示在显示装置中。
文献wo2017/019725a1描述了用于产生平视显示器的显示内容的方法。为了改善在平视显示器的场景内的对象的可见度而通过使行人与移动的光点图形重叠而在平视显示器中突出显示，所述行人可能存在于照亮的场景中、例如在远光灯的视线范围内。
假设当今的平视显示系统的虚拟投影面继续仅覆盖挡风玻璃的比较小的部分。由此产生了针对行人碰撞的预警的问题。当行人例如位于非常远的右侧、也就是说尚处于虚拟的投影面之外时，虽然能够通过车辆传感器察觉所述行人，但是不能通过增强现实显示装置突出显示所述行人。同样可以考虑到的是，行人例如尚被房屋墙壁完全遮挡，而根据可用的信息能够预测可能的碰撞。在所述两种情况下存在的问题是，在未到达真正的投影面的情况下已知行人当前和将来的位置。
技术实现要素：
本发明所要解决的技术问题在于，提出一种解决方案，所述解决方案用于改善用于机动车的增强现实显示装置的显示的控制。
所述技术问题通过按照本发明的方法、存储介质以及装置解决。
按照本发明的第一方面，用于控制用于机动车的增强现实显示装置的显示的方法具有以下步骤：
-确定应当为机动车的驾驶员示出指示的行驶状况；
-生成用于通过增强现实显示装置显示的虚拟对象，其中，通过所述虚拟对象将可能的即将发生的事件、动作或危险状况可视化并且所述虚拟对象具有移动的图形元素，所述图形元素模拟所述虚拟对象的运动；
-输出虚拟对象以通过虚拟现实显示装置显示。
按照本发明的另一个方面，可计算机读取的存储设备包含指令，所述指令在通过计算机执行时使得所述计算机实施用于控制用于机动车的增强现实显示装置的显示的下述步骤：
-确定行驶状况，在所述行驶状况中应当为机动车的驾驶员示出指示；
-生成用于通过增强现实显示装置显示的虚拟对象，其中，通过所述虚拟对象将可能的即将发生的事件、动作或危险状况可视化并且所述虚拟对象具有模拟所述虚拟对象的运动的移动的图形元素；
-输出虚拟对象以通过虚拟现实显示装置显示。
在此，术语计算机作广义理解。所述计算机尤其也包括控制设备和其他基于处理器的数据处理装置。
按照本发明的另一个方面，用于控制用于机动车的增强现实显示装置的显示的装置具有：
-分析单元，所述分析单元用于确定应当为机动车的驾驶员示出指示的行驶状况。
-用于生成虚拟对象的图形生成器，所述虚拟对象用于通过增强现实显示装置显示，其中，通过所述虚拟对象将可能的即将发生的事件、动作或危险状况可视化并且所述虚拟对象具有模拟所述虚拟对象的运动的移动的图形元素。
-用于输出虚拟对象的输出装置，所述虚拟对象用于通过增强现实显示装置显示。
按照本发明规定，借助具有移动的图形元素的虚拟对象指示出可能的即将产生的事件、动作或危险状况。通过移动的图形元素的使用能够实现自然的、能够被驾驶员直观地理解的运动模式。在此，所提供的解决方案不局限于标记已经存在于驾驶员视野中的对象，而是也包括呈现例如仅能由车辆传感装置察觉到而对于驾驶员还不可见的对象。例如能够预测尚不可见的对象的轨迹、速度或将来的位置。该与对象不相关的定位和预测同样也能够用于在平视显示器的显示面有限的情况下可视化尚未处于平视显示器的可增强区域中的对象的轨迹。
在自动驾驶中也能够有利地应用按照本发明的解决方案。例如能够显示跑动的儿童以作为减速自动行驶的原因。发生的系统行为将由此变得明了并且可理解。这种方式在驾驶员的信任方面产生了积极的作用，由此促进了自动驾驶车辆的使用和购买意愿。
按照本发明的一个方面，移动的图形元素构成了模仿构建真实对象的光点组。例如所述光点组能够模仿构建人。以此方式使得在实际上没有人挡在机动车前或在根本不必看到人的情况下，对于驾驶员来说在平视显示器的显示中已经可以看到人的运动。由于自然的运动模式以及感知过程从而能够直观地向驾驶员预警行人的出现从而避免碰撞。以对应的方式也能够指示出动物、车辆或其它对象。因此产生了统一的并且细致的设计语言，所述设计语言使得驾驶员能够更好地预测即将发生的事件。
按照本发明的一个方面，虚拟对象反应了机动车的周围环境中真实的或潜在的危险对象。所述真实的危险对象例如可以是交通参与者、尤其是行人、骑自行车的人或机动车辆。所述真实的危险对象同样也可以是动物或其它障碍物。因此能够为驾驶员指示出在车辆的周围环境中真实存在的危险对象，所述危险对象在一定情况下可能造成危险的交通状况。驾驶员从而能够以必要的注意力作出反应。
除了显示至少能够潜在地导致危险的交通状况的真实存在的对象，也能够显示潜在的危险对象。所述潜在的危险对象例如可以是交通参与者或障碍物。通过显示潜在的危险对象可以在不存在真实的危险对象时指示出可能的危险的交通状况，从而使驾驶员能够对应地小心行驶。例如能够通过显示跑动的动物来指示有野生动物出没风险的街道区域。显示玩耍的儿童能够表明附近有学校，跳动的球能够指示允许玩耍的街道。
按照本发明的一个方面，虚拟对象的位置或运动并不与实际的危险对象的位置或运动一致。对于下述情况，即实际的危险对象尚不可见或尚未处于显示的可增强区域中时，虚拟对象的位置可能从一开始就与实际的危险对象的位置不一致。但是在真实危险对象已经处于显示的可增强区域中时，例如也可以表明所述危险对象的运动的期望轨迹。同样可以考虑的是，例如还在运动开始前的、正要启动的车辆通过显示转动的车轮增强显示。在这种情况下，虚拟对象的位置虽然能够与车轮的位置一致，然而在车轮实际上尚处于静止时虚拟对象已经模拟了运动。
按照本发明的一个方面，虚拟对象表现了驾驶指导。通过使用适当的、例如由光点图像实现的手势能够给驾驶员以驾驶指导。在此可以实现的是所有有助于跟随例如导航设备或泊车辅助和调车辅助的指引的移动。同样可以可视化在紧急情况中的规避机动。
实现所述手段的示例是虚拟的指示人员。在此“生物运动”图像能够例如安置在交叉路口并且通过提示手势或指示手势指向待选择的街道或转弯。该种类型的图像能够通过对应的运动和手势也辅助地应用在泊车或调车过程中。在此有利的是，在镜装置、也就是说在(车内)后视镜或在外部后视镜中也设置增强。尤其在商用车领域中能够在有时非常复杂的泊车机动和调车机动中提供有效的帮助。
按照本发明的一个方面，增强现实显示装置具有平视显示器或在机动车的至少一个镜装置中的显示器。为了在不将驾驶员的注意力从街道上转移的情况下向驾驶员传达期望的指示，平视显示器是理想适用的。镜装置中的显示器尤其对于在泊车机动和调车机动时显示驾驶指导是有利的。
按照本发明的一个方面，应当为机动车的驾驶员显示指导的行驶状况的确定可基于机动车的传感装置的数据、导航信息或借助数据传输单元接收的信息实现。多个应当显示指导的行驶状况能够直接根据在机动车中采集的信息确定。在机动车的周围环境中的真实的危险对象尤其能够通过车辆传感装置、例如通过摄像头或通过激光雷达传感器、雷达传感器或超声波传感器采集。此外也能够基于由外部来源提供的并且由数据传输单元接收的信息确定出危险状况。作为外部来源可以考虑的是例如其他交通参与者或者服务提供商。此外，例如由于野生动物出没或学校的存在造成的潜在的危险对象以及驾驶指导能够在不产生较大耗费的情况下从可用的导航信息中确定。
特别有利的是将按照本发明的方法或按照本发明的装置应用在车辆、尤其是机动车中。
附图说明
本发明的其它特征将通过下文中的描述以及结合附带的权利要求书与附图阐明。
在附图中：
图1示出了表现为光点组的人的视图；
图2示意性地示出了用于控制用于机动车的增强现实显示装置的显示的方法；
图3示出了用于控制用于机动车的增强现实显示装置的显示的装置的第一实施形式；
图4示出了用于控制用于机动车的增强现实显示装置的显示的装置的第二实施形式；
图5示意性地示出了机动车，在所述机动车中实现了按照本发明的解决方案；
图6示意性地示出了用于机动车的平视显示装置的一般构造；
图7示出了真实的危险对象在增强现实的视图中的可视化的第一示例；
图8示出了真实的危险对象在增强现实的视图中的可视化的第二示例；并且
图9示出了在增强现实的视图中的驾驶指导的可视化的示例。
具体实施方式
为了更好地理解本发明的原理，下面将根据附图详细阐述本发明的实施形式。显而易见的是，本发明不局限于所述实施形式，所描述的特征也能够在不脱离本发明正如附带的权利要求书定义的保护范围的情况下结合或变型。
图1示出了表现为光点组的人，其中，单独的光点在此以黑色示出。尽管仅涉及仅基于15个点的最小化的信息量，但是人们可以毫不费力地、尤其是在示出动画运动时看出其中所示的人。该生物学运动的手段带来了非常快速因为自然的信息处理。所述手段在下文中应当与在汽车领域中的使用相关。
图2示意性地示出了用于控制用于机动车的增强现实显示装置的、例如平视显示装置的或者在机动车的至少一个镜装置中的显示的方法。在第一步骤中接收10信息、例如传感器数据、导航数据或危险信息。根据所接收的信息确定11行驶状况的存在，在所述行驶状况中应当为机动车的驾驶员显示指示。接着生成12通过增强现实显示装置显示的虚拟对象。通过所述虚拟对象可视化可能面临的事件、动作或危险状况。虚拟对象在此具有模拟所述虚拟对象的运动的移动的图形元素。运动的图形元素例如构成了模仿构建真实对象的光点组。最终输出13生成的虚拟对象以通过增强现实显示装置显示。虚拟对象优选表现机动车周围环境中的真实的或潜在的危险对象、例如交通参与者或障碍物。虚拟对象同样能够表现驾驶指导。
图3示出了装置20的第一实施形式的简化的示意性视图，所述装置用于控制用于机动车的增强现实显示装置、例如平视显示器或在机动车的至少一个镜装置中的显示器的显示。装置20具有输入装置21，通过所述输入装置能够接收信息、例如传感器数据、导航数据或危险信息。此外装置20具有分析单元22，所述分析单元基于接收的信息确定行驶状况，在所述行驶状况中应当为机动车的驾驶员显示指示。图形生成器23生成通过增强现实显示装置显示的虚拟对象，其中，通过所述虚拟对象可视化可能面临的事件、动作或危险状况。虚拟对象在此具有移动的、模拟所述虚拟对象的运动的图形元素。移动的图形元素例如构成了模仿构建真实对象的光点组。生成的虚拟对象通过装置20的输出装置26输出至增强现实显示装置的控制设备42处。备选地也能够仅将指导输出至控制设备42处以生成相应的虚拟对象。之后控制设备42能够将生成的虚拟对象添加至增强现实显示装置的显示中。虚拟对象优选表现机动车所处环境中的真实的或潜在的危险对象、例如交通参与者或障碍物。虚拟对象同样能够表现驾驶指导。
分析单元22和图形生成器23能够由控制单元24控制。通过用户接口27同样能够改变分析单元22、图形生成器23或控制单元24的设置。在装置20中产生的数据能够在需要时、例如为了之后的分析或为了装置20的部件的使用而存储在装置20的存储器25中。分析单元22、图形生成器23以及控制单元24能够实现为专用的硬件、例如集成电路。它们自然也可以部分地或完全地结合或实现为在适宜的处理器、例如图形处理器中运行的软件。输入装置21和输出装置26能够实现为分开的接口或实现为结合的双向的接口。在所描述的示例中装置20是独立的组件。但是所述装置20也可以集成在增强现实显示装置的控制设备42中。
图4示出了装置30的第二实施形式的简化示意性视图，所述装置用于控制用于机动车的增强现实显示装置的显示。装置30具有处理器32和存储器31。装置30例如是指计算机或控制设备。在存储器31中存储有指令，在通过处理器32执行所述指令时使得装置30执行按照所描述的方法之一的步骤。存储在存储器31中的指令由此体现了通过处理器32执行的实现了按照本发明的方法的程序。装置30具有用于接收信息、例如传感器数据、导航数据或危险信息的输入装置33。由处理器32生成的数据通过输出装置34提供。除此之外所述数据还能够存储在存储器31中。输入装置33和输出装置34能够结合为双向接口。
处理器32可以包括一个或多个处理器单元、例如微处理器、数字信号处理器或所述二者的结合。
所描述的实施形式中的存储器25、31可以具有易失性存储区域也可以具有非易失性存储区域并且可以包括不同的存储设备和存储介质、例如硬盘、光学存储介质或半导体存储器。
图5示意性地示出了机动车40，在所述机动车中实现了按照本发明的解决方案。机动车40具有带有配属的控制设备42的增强现实显示装置41。所述增强现实显示装置41例如可以是平视显示装置。此外所述增强现实显示装置41也可以具有在机动车40的镜装置中、例如在外部后视镜43中的显示装置。此外，机动车40具有用于控制增强现实显示装置41的显示的装置20。所述装置20自然也能够集成在增强现实显示装置41或所述增强现实显示装置41的控制设备42中。机动车的其它部件包括用于检测危险对象的传感装置44、导航系统45、数据传输单元46以及一系列辅助系统47，其中一个被示例性地示出。借助数据传输单元46能够例如为了调取地图数据或危险信息而与服务提供商建立连接。存储器48用于数据的存储。机动车40的不同部件之间的数据交换通过网络49实现。传感装置44例如可以具有摄像头以及光学雷达传感器、雷达传感器或超声波传感器。
作为增强现实显示装置的示例，图6示意性地示出了用于机动车40的平视显示装置50，借助所述平视显示装置能够将内容显示在机动车40的投影面53上，例如显示在挡风玻璃上或者由玻璃或塑料制成的、在驾驶员和挡风玻璃之间布置在仪表盘上的附加的盘片上。显示的内容由成像单元51生成并且借助光学模块52投影到投影面53上。所述投影在此典型地在挡风玻璃的方向盘上方的区域中实现。成像单元51例如可以是薄膜晶体管液晶显示器(lcd-tft-display)。平视显示装置50通常安装在机动车40的仪表盘中。
图7示出了在平视显示器内的增强现实显示中通过虚拟对象60可视化真实的危险对象的第一实施例。示出的是虚拟对象60按照三个先后相继的时间点的时间演变。在该示例中，真实的危险对象是人，所述人尚且完全被遮挡或者至少位于平视显示器的虚拟投影面之外。通过由单独的移动的图形元素61结合成的虚拟对象60对横穿马路的人可视化。该移动的图形容易被解读为人并且有助于指示人的出现以及与之相关的危险。以相应的方式也能够可视化障碍物、例如滚上街道的球或在行车道区域中突起的物体。
图7所示的手段同样也能够在不太紧要的情况下得到应用。为此的示例是驾驶员对确定的位置、如人行横道、公交车站或学校的灵敏察觉度。在这些情况下生物运动(英语“biologicalmotion”)图形能够在不出现真实的行人时例如横穿马路。也就是说可示出潜在的危险对象。图形的示出能够针对相应的事实，例如能够示出向学校跑动的儿童。为了排除过于强烈的驾驶员反应可以避免使模拟的行人横穿马路。取而代之可行的是在路边或人行道上定位动画。此外应当注意的是，必须时刻明确所模拟的是真实存在的人还是仅仅虚拟的人。为此有意义的是，在车辆中仅实现所描述的手段之一，也就是说仅可视化真实存在的人或者仅可视化虚拟的人。
另外一种独立功能是以直观的方式方法提供在确定的路程区段上对驾驶员有重要意义的信息的可能性。例如能够通过虚拟的鹿的细致标示预告较多野生动物出没的区域，所述虚拟的鹿由亮点组成并且在道路上移动。同样能够在步行速度区域中有虚拟的球滚过街道。
图8示出了真实的危险对象在增强现实显示中的可视化的第二示例。所示的是停靠在公交车站的公交车。在公交车即将出发前在所述公交车的轮胎上显示由点组成的圆圈，所述圆圈开始转动，这预示着公交车很快将要启动。该功能可以在自动驾驶或手动驾驶中使用。为此必要的信息能够通过车间通讯(机动车之间的数据交换)、移动数据产生或来源于自身的、基于传感器的预估算法。其它的可能性是加入尚被遮挡的车辆的对应的轮胎运动。
图9示出了在增强现实显示中可视化驾驶指导的示例。所示的是通行限制的情况，所述通行限制通过“生物学运动”形象的对应的姿态表示。在此能够使用的是“虚拟指示人员”的所有有助于跟随导航设备或者泊车辅助或者调车辅助的指导的运动。例如相应的图形能够定位在交叉路口并且通过示意或指示姿态指明应选择的街道或转弯。同样可以通过该种图形可视化紧急情况下的规避机动。
对于驾驶员而言，上文描述的警示方案和信息方案优选是可选择的并且可参数化的。例如可以规定所述方案的速度相关的实施方式。
附图标记清单
10接收信息
11确定应当显示指导
12生成用于显示的虚拟对象
13输出用于显示的虚拟对象
20装置
21输入装置
22分析单元
23图形生成器
24控制单元
25存储器
26输出装置
27用户接口
30装置
31存储器
32处理器
33输入装置
34输出装置
40机动车
41增强现实显示装置
42增强现实显示装置的控制设备
43外部后视镜
44传感装置
45导航系统
46数据传输单元
47辅助系统
48存储器
49网络
50平视显示器
51成像单元
52光学模块
53投影面
60虚拟对象
61图形元素
- 还没有人留言评论。精彩留言会获得点赞！