用于控制平视显示的装置和方法与流程

本发明的各种实施例涉及一种用于控制平视显示的装置和方法，并且更具体地，涉及这样一种用于控制平视显示的装置和方法，其在由于车辆正在行驶的道路的状态和行驶状态，没有在观察区域上显示道路信息的情况下输出道路信息。

背景技术：

作为第一次被引入战斗机的系统的平视显示(HUD：head up display)设备提供航班信息给飞行员。目前，HUD设备被设置在一般的车辆中使得驾驶者可以在驾驶车辆的同时检查被照射在车辆的挡风装置(windshield)的特定区域(以下，称为观察区域)上的驱动信息和道路信息。这样一来，驾驶者观察在其上车辆正行驶的道路同时还观察在车辆的挡风装置上的驾驶信息和道路信息。

HUD设备可以在观察区域上反射图像数据，以使正在驾驶的驾驶者可检查包括车辆的驱动信息和道路信息的图像数据。然而，在行驶道路的曲率是一定阈值或更大，车辆突然转向等情况下，道路信息可能不在观察区域上正确输出。

技术实现要素：

本发明致力于解决现有技术中出现的上述问题，同时通过现有技术实现的优点被完整保留。

本发明的一个方面提供了一种用于控制平视显示的装置和方法，其能够通过校正道路信息而在观察区域上输出校正道路信息，以防止在由于车辆正在行驶的道路的曲率、车辆的转向等而导致道路信息不在观察区域上被正确显示的情况。

根据本发明的实施例，一种用于控制平视显示的装置，所述装置包 括：存储器，其经配置存储车辆正在行驶的道路的第一道路信息；摄像机，其经配置获得在所述车辆前方的道路的图像数据；控制模块，其经配置通过分析所述图像数据来获得所述道路的第二道路信息并且基于所述第一道路信息和所述第二道路信息提取多个点；以及输出模块，其经配置在所述车辆的挡风装置的观察区域上输出所述多个点。

所述装置还可以包括：传感器模块，其包括检测所述车辆的位置信息的位置传感器。

所述控制模块还可以经配置提取与所述位置信息对应的所述第一道路信息的信息并且当所述第一道路信息与所述第二道路信息不匹配时将所提取的信息与所述第二道路信息相匹配。

所述控制模块还可以经配置检查在所述多个点中是否存在没有在所述观察区域上输出的一个或多个点。

所述控制模块还可以经配置当在所述多个点中存在没有在所述观察区域上输出的一个或多个点时，利用在所述观察区域上输出的至少一个点产生校正点。

所述控制模块还可以经配置控制所述输出模块并且使所述输出模块在所述观察区域上输出所述校正点。

另外，根据本发明的实施例，一种用于控制平视显示的方法，所述方法包括以下步骤：从预存的道路信息中提取车辆正在行驶的道路的第一路道路信息；通过分析在所述车辆前方的道路的图像数据获取所述道路的第二道路信息；基于所述第一道路信息和所述第二道路信息提取多个点；以及在所述车辆的挡风装置的观察区域上输出所述多个点。

所述方法还可以包括以下步骤：在获取所述第二道路信息之后，获取所述车辆的位置信息。

所述方法在提取所述多个点之前，还可以包括以下步骤：提取与所述位置信息对应的所述第一道路信息的信息；以及当所述第一道路信息和所述第二道路信息不匹配时将所提取的信息与所述第二道路信息相匹配。

输出所述多个点的步骤可以包括以下步骤：检查在所述多个点中是 否存在没有在所述观察区域输出的一个或多个点。

所述方法还可以包括以下步骤：在检查在所述多个点中是否存在所述一个或多个点之后，当在所述多个点中存在没有在所述观察区域上输出的一个或多个点时，利用在所述观察区域上输出的至少一个点产生校正点。

在输出所述多个点的步骤中，所述一个或多个点和所述校正点可以在所述观察区域上被输出。

此外，根据本发明的实施例，一种包含用于控制平视显示的程序指令的非临时性的计算机可读介质包括：从预存的道路信息中提取车辆正在行驶的道路的第一路道路信息的程序指令；通过分析在所述车辆前方的道路的图像数据获取所述道路的第二道路信息的程序指令；基于所述第一道路信息和所述第二道路信息提取多个点的程序指令；以及在所述车辆的挡风装置的观察区域上输出所述多个点的程序指令。

所述计算机可读介质还可以包括在获取所述第二道路信息之后，获取所述车辆的位置信息的的程序指令。

所述计算机可读介质还可以包括在提取所述多个点之前，提取与所述位置信息对应的所述第一道路信息的信息，并且当所述第一道路信息和所述第二道路信息不匹配时将所提取的信息与所述第二道路信息相匹配的程序指令。

所述计算机可读介质还可以包括：检查在所述多个点中是否存在没有在所述观察区域输出的一个或多个点的程序指令。

所述计算机可读介质还可以包括：在检查在所述多个点中是否存在所述一个或多个点之后，当在所述多个点中存在没有在所述观察区域上输出的一个或多个点时，利用在所述观察区域上输出的至少一个点产生校正点的程序指令。

所述计算机可读介质还可以包括：在所述观察区域上被输出所述一个或多个点和所述校正点的程序指令。

附图说明

本发明的上述和其他的目的、特征和优点将从与附图结合的以下 具体实施方式中变得更加明显。

图1是示出根据本发明的实施例的用于控制平视显示的装置的主要结构的方框图。

图2是用于描述根据本发明的实施例的用于控制平视显示的方法的流程图。

图3是用于描述根据本发明的实施例的用于提取在弯曲道路上行驶时在平视显示的观察区域上输出的点的方法的图。

图4是用于描述根据本发明的实施例的用于在平坦道路上设定匹配区域的方法的图。

图5是用于描述根据本发明的实施例的用于在斜坡道路上设定匹配区域的方法的图。

图6是用于描述根据本发明的实施例的用于校正点的方法的图。

图7是用于描述根据本发明的实施例的用于校正点的另一方法的图。

图8是示出根据本发明的实施例的在观察区域上输出校正点的画面的图。

附图标记说明

110：通信模块

120：输入模块

130：传感器模块

140：摄像机

150：输出模块

160：存储器

170：控制模块

具体实施方式

在下文中，本发明的实施例将参照附图进行说明。由于本发明可 以进行各种修改并且具有若干实施例，所以具体实施例将在附图中示出并且在具体实施方式中进行说明。然而，可以理解，本发明不限于特定实施例，相反，其包括包含在精神和在本公开的范围中的所有修改、等同物，和/或替换。相对于附图的描述，相同的部件用相同的附图标记表示。

本文使用的术语仅用于描述特定实施例，而不是为了限制本公开。如这里所用，单数形式“一个”、“一”和“该”旨在包括复数形式，除非上下文另外明确指出。应该进一步理解，当术语“包括”和/或“包含”用于本说明书时，规定所述特征、整数、步骤、操作、元件、和/或组件的存在，但不排除一个或更多其他特征、整数、步骤、操作、元件、组件和/或其中的成员组合的存在或附加。如这里所用，术语“和/或”包括一个或更多关联的列出项的任何和所有的组合。

可以理解，术语“车辆”或“车辆的”或这里所用的其他类似的术语包括一般地机动车辆，如包括运动型多功能车(SUV)、公共汽车、卡车、各种商用车的客车，包括各种船舶、飞艇的水运工具等，并且包括混合动力汽车、电动汽车、插电式混合电动汽车、氢动力汽车和其他新能源汽车(例如，来自非石油资源的衍生燃料)。这里提到的混合动力汽车是有两种或更多种动力源的汽车，例如同时有汽油动力和电动的汽车。

此外，应当理解，下面方法或其方面的一个或多个可以由至少一个控制器执行。术语“控制器”可以指包括存储器和处理器的硬件设备。存储器被配置为存储程序指令，并且处理器被专门编程用于执行程序指令，以执行下面进一步描述的一个或多个处理。此外，可以理解，下面的处理可以通过包括控制器连同其他部件的装置来执行。

此外，本公开的控制器可被实施为含由处理器、控制器等执行的可执行程序指令的计算机可读介质上的非瞬时性计算机可读介质。计算机可读介质的示例包括，但不限于，ROM、RAM、光盘(CD)-ROM、磁带、软盘、闪存、智能卡和光学数据存储设备。计算机可读记录介质也可分布在连接网络的计算机系统中，使计算机可读介质以分布的方式存储和执行，例如，由远程信息服务器或控制器局域网(CAN：Controller Area Network)存储和执行。

图1是示出根据本发明的实施例的用于控制平视显示的装置的主要结构的方框图。

参照图1，根据本发明的实施例的用于控制平视显示的装置100可以包括通信模块110、输入模块120、传感器模块130、摄像机140、输出模块150、存储器160以及控制模块170。在这种情况下，根据本发明的平视显示可以是提供增强现实服务(augmented reality service)的平视显示。

通信模块110可以执行各种车辆内通信，诸如控制器局域网(CAN)、具有灵活的数据速率(CAN-FD)的CAN、FlexRay、媒体导向系统传输(MOST：media oriented systems transport)、时间触发以太网(TT ethernet：time triggered ethernet)等，以执行输入模块120、传感器模块130、摄像机140、输出模块150、存储器160和控制模块170之间的通信。

输入模块120响应于来自外部的输入产生控制信号。为此，输入模块120可由输入设备来形成，诸如键盘、触摸垫、触摸屏等，并且在输入模块120由触摸屏形成的情况下，输入模块也可以同时执行输出模块150的功能。

传感器模块130被设置在车辆中，以便测量车辆的驱动信息，并通过通信模块110将所测量的驱动信息提供给控制模块170。传感器模块130可以包括能够检查的车辆的速度的速度传感器、能够检查车辆的位置的全球定位传感器(GPS：global positioning sensor)等。

摄像机140可以被设置在车辆中，以便获得车辆正在行驶的道路的前方(例如，在车辆的前方)的图像数据。摄像机140可以将所获得的图像数据提供给控制模块170。

输出模块150是平视显示，其中通过控制模块170的控制输出到输出模块150的点可以通过在车辆的挡风装置(挡风玻璃)上形成的观察区域反射，以便被驾驶者观察到。在这种情况下，该点可以是由车辆正在行驶的道路的曲率的引导的行驶。输出模块150可以通过控制模块170的控制输出操作用于控制平视显示的装置100时的屏幕，并且可以输出对于驱动信息的图像数据。为此，输出模块150可以由 输出设备形成，诸如液晶显示器(LCD：liquid crystal display)、触摸屏等。

存储器160可以存储用于操作用于控制平视显示的装置100的程序等。具体地，存储器160可以存储能够根据车辆的位置信息检查第一道路信息的道路信息。在这种情况下，第一道路信息可以是车辆正在行驶的道路的类型(例如，单向道路或双向道路)、车道数(例如，前进方向和相反方向)、车道(例如，6个车道之中的车辆正在行驶的车道)、道路的倾斜度(例如，道路的坡度)、道路的曲率、道路的宽度、指示道路的宽度的中间点的多个点等。存储器160可以存储由摄像机140获得的车辆正在行驶的道路的图像数据，并且可存储从图像数据中检查出的第二道路信息。第二道路信息可包括车辆正在行驶的车道(例如，6个车道之中的车辆正在行驶的车道)、道路的曲率、道路的宽度、指示道路的宽度的中间点的多个点等。

存储器160可存储观察区域的特定形状和尺寸，并且可以存储根据控制模块170的控制从观察区域中设定的匹配区域的信息。匹配区域可以由图像投影距离(image projection distance)和方位角(heading angle)设定。图像投影距离可以是从车辆到车辆的前方的图像开始在观察区域输出的点的距离，并且方位角可以是车辆的转向角。

控制模块170可通过控制传感器模块130来检查驾驶车辆的位置信息，并且可以从存储在存储器160中的道路信息中检查出与所检查的位置信息对应的道路的第一道路信息。控制模块170可通过分析由摄像机140获得的图像数据来获得行驶道路的第二道路信息，并且可以通过使用第一道路信息和第二道路信息，从车辆正在行驶的道路上提取多个点。控制模块170可提供到输出模块150的点，以使所提取的点在作为挡风装置的特定区域的观察区域上被输出。

当用于控制平视显示的装置100通电时，控制模块170可检查来自设置在传感器模块130中的GPS传感器的车辆的位置信息。控制模块170可以从存储在存储器160中的道路信息中检查于所检查的位置信息对应的道路的第一道路信息。控制模块170可通过分析由摄像机140获得的图像数据获得车辆正在行驶的道路的第二道路信息。

当从第一道路信息中检查出的多个点和从第二道路信息中检查出的多个点的位置彼此不同时，控制模块170可以识别为由传感器模块130检查出的车辆正在行驶的道路上的信息是不正确的。控制模块170可将从第一道路信息中检查出的多个点的位置改变为从第二道路信息中检查出的多个点的位置。

控制模块170可提取从车辆正在行驶的道路中检查出的多个点(即，基于第二道路信息检查出的点)。控制模块170可提取多达想要包括在基于观察区域产生的匹配区域中的数量的点。例如，控制模块170可以使用由摄像机140获得的图像数据来检查第二道路信息。控制模块170可产生多个虚拟匹配区域。多个匹配区域可以通过从车辆前方的图像开始在观察区域上输出的点均匀地分割直到车辆的前方的临界距离为止来产生。控制模块170可以通过检查直到车辆的前方的临界距离为止的第一道路信息来检查出点。控制模块170可设定可以被包括在一个匹配区域的长度方向上，例如，与车辆的行驶方向相同的方向上的长度中的点的数量。在这种情况下，可以被包括在匹配区域的长度中的多个点可以按相同的间隔设定。被设定为被包括在匹配区域的五点可以在车辆行驶时在观察区域上输出。

当设定匹配区域时，控制模块170可检查车辆正在行驶的道路是平坦道路还是斜坡道路。在车辆正在行驶的道路是平坦道路的情况下，控制模块170可检查位于匹配区域的开始点的点的坐标值。在这种情况下，该点的坐标值可以是纬度值、经度值和高度值(海拔值)，并且控制模块170可以通过基于该点计算新坐标值来设定匹配区域。匹配区域可以形成为梯形形状，并且控制模块170可设定形成为梯形形状的匹配区域的每个顶点的坐标值。

在车辆正在行驶的道路是斜坡道路的情况下，控制模块170可以通过基于位于所检查的开始点的点计算新的坐标值来设定匹配区域。在这种情况下，在计算用于设定匹配区域的新的坐标值时，可以使用道路的坡度(θ)值。

控制模块170可以检查是否所有的提取的五个点都被包括在匹配区域中。根据实施例，在所有的点都包括在匹配区域中的情况下，也 可以检查所有的五个点可以在观察区域上被输出。在所有的五个点被包括在匹配区域中的情况下，控制模块170可控制输出模块150以使所有的点在观察区域上被输出。

根据实施例，在五个点的一部分或全部不包括在匹配区域的情况下，也就是说，在点的一些或全部可能不在观察区域上输出的情况下，控制模块170可使用不包括在匹配区域中的点执行校正。控制模块170可通过在五个点之中的包括在匹配区域中的至少两个点之间产生虚拟点来校正点。为此，控制模块170可使用线性内插法、多项式内插法、样条内插法等。控制模块170可控制输出模块150，以显示校正点和包括在匹配区域中的至少两个点。

根据实施例，在只有一个点被包括在匹配区域中的情况下，控制模块170可通过使用线性内插法在包括在匹配区域中的点与未包括在匹配区域中且从第二道路信息中检查出的点之间生成新的虚拟点。控制模块170可控制输出模块150，以便显示上述生成的虚拟点和从第二道路信息中检查出且包括在匹配区域中的点。

根据实施例，在因车辆正在行驶的道路的曲率为阈值或更大而所有的提取的点不包括在匹配区域的情况下，控制模块170可产生能够引导车辆的行驶方向的引导点。在从第二道路信息中检查出的点不包括在匹配区域中的情况下，控制模块170可以使用由摄像机140获得的图像数据检查车道的边界线。控制模块170可基于检查出的该车道的边界线产生引导点。控制模块170可控制输出模块150，以便在观察区域上显示产生的引导点。

图2是用于描述根据本发明的实施例的用于控制平视显示的方法的流程图。

参照图1和图2，在步骤11中，控制模块170可检查用于控制平视显示的装置100是否通电。作为步骤11的检查的结果，如果用于控制平视显示的装置100通电，则该进程前进到步骤13，如果没有检查到用于控制平视显示的装置100通电，则用于控制平视显示的装置100可结束。

在步骤13中，控制模块170可检查第一道路信息。控制模块170 可通过控制传感器模块130检查来自包括在传感器模块130中的GPS传感器的车辆的位置信息。控制模块170可从存储在存储器160中的道路信息中检查与所检查的位置信息对应的道路的第一道路信息。第一路信息可以是车辆正在行驶的道路的类型(例如，单向道路或双向道路)、车道数(例如，前进方向和相反方向)、车道(例如，6个车道之中的车辆正在行驶的车道)、道路的倾斜度(例如，道路的坡度)、道路的曲率、道路的宽度、指示道路的宽度的中间点的多个点等。

在步骤15中，控制模块170可检查第二道路信息。控制模块170可通过分析由摄像机获得的图像数据来检查车辆正在行驶的道路的第二道路信息140。第二道路信息可包括车辆正在行驶的车道(例如，在6个车道之中的车辆正在行驶的车道)、道路的曲率、道路的宽度、指示道路的宽度的中间点的多个点等。

在步骤17中，控制模块170可检查第一道路信息和第二道路信息是否匹配。作为步骤17的检查的结果，如果第一道路信息与第二道路信息不匹配，则该进程前进到步骤19，如果第一道路信息和第二道路信息相匹配，则该进程前进到步骤21。在步骤19中，控制模块170可将第一道路信息与第二道路信息相匹配。例如，当从第一道路信息中检查出的多个点和从第二道路信息中检查出的多个点的位置彼此不同时，控制模块170可以识别为由传感器模块130检查出的车辆正在行驶的道路上的信息是不正确的。控制模块170可将从第一道路信息中检查出的多个点的位置改变为从第二道路信息中检查出的多个点的位置。

在步骤21中，控制模块170可连续地提取从车辆正在行驶的道路检查出的多个点(即，基于第二道路信息检查出的点)。在这种情况下，控制模块170可基于观察区域设定能在观察区域显示上述点的虚拟匹配区域。在这种情况下，该匹配区域可被显示在由摄像机140获得的图像数据中。作为图像数据被显示在挡风装置上的区域的观察区域可具有特定形状和尺寸。该匹配区域可通过图像投影距离和方位角来设定。图像投影距离可以是从车辆到车辆的前方的图像开始在观察区域输出的点的距离，并且方位角可以是车辆的转向角。

控制模块170可提取多达可以被包括在匹配区域中的预定数目的 点。图3是用于描述根据本发明的实施例的用于提取在弯曲道路上行驶时在平视显示的观察区域上输出的点的方法的图。参照图3，控制模块170可检查车辆V正在行驶的道路的车道A、车辆的前进方向、车道A的宽度以及指示宽度的中心的多个点310。如图3所示，控制模块170可产生多个匹配区域MA。在这种情况下，多个匹配区域MA可以通过从车辆前方的图像开始在观察区域上输出的点均匀地分割直至车辆的前方的临界距离330为止来产生。控制模块170可以在存储器160中通过检查道路信息来检查直到车辆的前方的临界距离330的点为止。如图3所示，控制模块170可以执行设定，使得五个点310都包括在一个匹配区域MA中。包括在匹配区域MA中的五个点310可以在车辆行驶时在观察区域上被输出。

图4是用于描述根据本发明的实施例的用于在平坦道路上设定匹配区域的方法的图。图5是用于描述根据本发明的实施例的用于在斜坡道路上设定匹配区域的方法的图。如图4所示，在车辆正在行驶道路是平坦道路的情况下，控制模块170可检查位于匹配区域MA的开始点的点410的坐标值。在这种情况下，点410的坐标值可以是(a，b，c)，其中a可以是纬度值，b可以是经度值，c可以是高度值(海拔)。控制模块170可基于点410通过计算421、422、423、434和425的坐标值来设定匹配区域MA。在这种情况下，x、y1和y2的值可以是基于观察区域预先设定的数据。

如图5所示，在车辆正在行驶道路是斜坡道路的情况下，控制模块170可检查位于匹配区域MA的开始点的点510的坐标值。在这种情况下，点510的坐标值可以是(a，b，c)，其中a可以是纬度值，b可以是经度值，并且c可以是高度值(海拔)。控制模块170可基于点510通过计算521、522、523和524的坐标值设定匹配区域MA。在这种情况下，x、y1和y2的值可以是基于观察区域预先设定的数据，并且θ值可以是从第一道路信息和第二道路信息中的至少一个道路信息中检查出的车辆正在行驶的道路的坡度。

在步骤23中，控制模块170可检查是否所有的提取的五个点都被包括在匹配区域。在这种情况下，在所有的点都包括在匹配区域中的情 况下，可以检查为所有的五个点可以在观察区域上被输出。作为步骤23的检查的结果，如果所有的五个点可以在观察区域上被输出，则控制模块170可前进到步骤27。在步骤27中，控制模块170可在驾驶车辆的观察区域上输出五个点。

作为步骤23的结果，在五个点中的一部分或全部不包括在匹配区域的情况下，也就是说，在点中的一部分或全部可能不在观察区域上输出的情况下，控制模块170可前进到步骤25。由于匹配区域从车辆的直线(笔直)方向形成，在车辆在具有弯道的道路上行驶或者当一边以预定角度或更大角度转向一边行驶的情况下，该点可能不被包括在匹配区域中。

在步骤25中，控制模块170可以使用不包括在匹配区域中的点执行校正。根据实施例，控制模块170可通过在五个点之中的包括在匹配区域中的至少两个点之间产生虚拟点来校正点。为此，控制模块170可使用线性内插法、多项式内插法、样条内插法等。在步骤27中，控制模块170可在观察区域上显示经校正的点，例如，在步骤25中的至少两个点之间产生的虚拟点和在步骤21中提取的点。

图6是用于描述根据本发明的实施例的用于校正点的一方法的图。参照图6，控制模块170可检查到三个点610、620和630被包括在匹配区域MA中。控制模块170可以通过使用线性内插法在与610和620对应的点之间产生新的虚拟点615，并且可以在与620和630对应的点之间产生新的虚拟点625。控制模块170可在观察区域上显示如上述那样产生的虚拟点615和625以及从第二道路信息中检查出且包括在匹配区域MA中的各点610、620和630。

图7是用于描述根据本发明的实施例的用于校正点的另一方法的图。参照图7，控制模块170可检查到只有一个点710被包括在匹配区域MA中。控制模块170可通过使用线性内插法在包括在匹配区域MA中的点710和与点710相邻的不包括在匹配区域MA中并且从第二道路信息中检查出的点720之间产生新的虚拟点715。控制模块170可在观察区域上显示如上述那样产生的虚拟点715以及从第二道路信息中检查出且包括在匹配区域MA中的点710。

根据实施例，在因车辆正在行驶的道路的曲率为阈值或更大而所有的提取的点不包括在匹配区域的情况下，控制模块170可产生能够引导车辆的行驶方向的引导点。在从第二道路信息中检查出的点不包括在匹配区域中的情况下，控制模块170可以使用由摄像机140获得的图像数据检查车道的边界线。控制模块170可基于该车道的检查的边界线产生引导点。在步骤27中，控制模块170可在观察区域上显示产生的引导点。

图8是示出根据本发明的实施例的在观察区域上输出校正点的画面的图。参照图8，在因车辆正在其上的行驶的道路的曲率为阈值或更大而所有的提取的点不包括在匹配区域MA的情况下，控制模块170可以从由摄像机140获得的图像数据中检查出车辆正在行驶车道的边界线。控制模块170可基于该车道的检查出的边界线产生虚拟引导点915并且允许该虚拟引导点被包括在匹配区域MA中。控制模块170可在观察区域上显示如上所述那样产生的引导点915。

如上所述，根据本发明的实施例，用于控制平视显示的装置和方法可以当由于车辆正在行驶的道路的曲率、车辆的转向等道路信息在观察区域上被不正确地显示时通过校正道路信息通过在观察区域上输出校正后的道路信息将道路信息提供准确地提供给驾驶者。

在本说明书和附图中本发明的实施例已经仅提供作为具体示例，以便帮助理解本发明而并不限制本发明的范围。因此，应当解释为本发明的范围由随附权利要求来界定，而不是上述的具体实施方式，根据包括在本发明的范围中的权利要求的含义、范围和等同物得到的所有修改和变化限定均落入本发明的范围内。