一种增强现实的驾驶显示方法和装置与流程

本发明涉及智能驾驶领域，特别涉及一种增强现实的驾驶显示方法和装置。

背景技术

已有的抬头显示装置(hud)或ar眼镜，能将各种车辆信息经过电脑处理转换后，以图形或数字、文字等形式进行输出。

hud影像显示则是依靠一个装置在中控台前方的投影元件，将接收到的信息投射在玻璃上面。同时附有控制面板，能够调节或者是改变输出的影像。

已有在这样的hud中通过控制投影原件可以改变显示影像的位置，可以使驾驶员以为显示画面的虚像不是成像在前挡玻璃，而是在比前挡玻璃更靠前的位置。

已有的ar眼镜通过单个或者多个传感器检测环境深度信息，并叠加信息到显示画面中。

市面上的驾驶显示系统的导航警示信息等画面都不是基于实际环境的，没有达到虚实结合的目标，不能提供真实的用户环境导致用户不能够及时处理，易用性也不好。

技术实现要素：

有鉴于此，本申请提供一种增强现实的驾驶显示方法，能够真实显示有效的驾驶信息，提高驾驶体验和行驶的安全性。

为解决上述技术问题，本申请的技术方案是这样实现的：

一种增强现实的驾驶显示方法，应用于车辆上的驾驶显示装置上，该方法包括：

接收传感器组件发送的所述车辆周围环境的图像数据，以及对应的空间信息；

若所述图像数据中存在配置的特征区域，则提取存在的特征区域对应的图像数据和空间信息；

获取当前的车辆信息，根据获取的车辆信息确定提取的特征区域中需要显示的特征区域的图像数据；

将要显示的特征区域的图像数据生成虚拟画面；并根据虚拟画面对应图像数据的空间信息，将所述虚拟画面叠加显示。

一种增强现实的驾驶显示装置，该装置包括：接收单元、确定单元、获取单元、生成单元和显示单元；

所述接收单元，用于接收传感器组件发送的所述车辆周围环境的图像数据，以及对应的空间信息；

所述确定单元，用于确定所述接收单元接收的图像数据中是否存在配置的特征区域；根据所述获取单元获取的车辆信息确定提取的特征区域中需要显示的特征区域的图像数据；

所述获取单元，用于当所述确定单元确定所述接收单元接收到的图像数据中存在配置的特征区域时，提取存在的特征区域对应的图像数据和空间信息；获取当前的车辆信息，

所述生成单元，用于将所述确定单元确定的要显示的特征区域的图像数据生成虚拟画面；

所述显示单元，用于根据所述生成单元生成的虚拟画面对应图像数据的空间信息，将所述虚拟画面叠加显示。

由上面的技术方案可知，本申请中通过使用传感器组件进行车辆周围环境进行检测，并返回图像数据和空间信息；根据当前的车辆信息确定要显示的特征区域对应的图像数据，并生成虚拟画面，根据对应的空间信息叠加显示所述虚拟画面。该方案能够真实显示有效的驾驶信息，提高驾驶体验和行驶的安全性。

附图说明

图1为本申请实施例一中实现增强现实的驾驶显示流程示意图；

图2为本申请实施例中盲区有行人通过的显示示意图；

图3为本申请实施例中时速超限路牌的显示示意图；

图4为本申请实施例中存在三叉路口的路牌显示示意图；

图5为本申请实施例二中实现增强现实的驾驶显示流程示意图；

图6为本申请实施例中大雨天气下显示路牌的示意图；

图7为本申请实施例中应用于上述技术的装置结构示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图并举实施例，对本发明的技术方案进行详细说明。

本申请实施例中提供一种增强现实的驾驶显示方法，应用于车辆上的驾驶显示装置上，通过使用传感器组件进行车辆周围环境进行检测，并返回图像数据和空间信息；根据当前的车辆信息确定要显示的特征区域对应的图像数据，并生成虚拟画面，根据对应的空间信息叠加显示所述虚拟画面。该方案能够真实显示有效的驾驶信息，提高驾驶体验和行驶的安全性。

本申请实施例中的驾驶显示装置可以为但不限于hud，或ar眼镜。

传感器组件用于获取车辆周围环境的图像数据和空间信息，以及gps信息。

这里的传感器组件至少包括gps定位器件、拍照器件、空间信息获取器件，如果拍照器件能够同时获取空间信息，可以将拍照器件和空间信息获取器件合为一个器件。

gps定位器件用于获取gps信息；

这里的拍照器件不进行限制，如可以是单目相机、双目相机、结构光深度相机、tof深度相机等。拍照器件用户获取图像数据；

这里的空间信息获取器件不进行限制，如激光雷达、毫米波雷达、测距仪等；用于获取空间信息。

空间信息的原点定义为车辆第一次启动时拍照器件的光心位置。车辆行驶过程中获取到的周围环境对应的空间坐标是指相对于原点的三维坐标。

实施例一

下面结合附图，详细说明本申请在驾驶车辆的周围环境情况良好的情况下实现增强现实的驾驶显示过程。

参见图1，图1为本申请实施例一中实现增强现实的驾驶显示流程示意图。具体步骤为：

步骤101，驾驶显示装置接收传感器组件发送的所述车辆周围环境的图像数据，以及对应的空间信息。

步骤102，若确定所述图像数据中存在配置的特征区域，则提取存在的特征区域对应的图像数据和空间信息。

特征区域为与驾驶有关的区域，可以根据实际需要配置，如如道路边缘、斑马线、路牌等。

本申请具体实现时，提取存在的特征区域对应的图像数据和空间信息之后，所述方法进一步包括：

获取地图信息；其中，所述地图信息由特征区域的信息组成；

将确定的特征区域对应的图像数据和空间信息更新到所述地图信息中。

所述接收传感器组件发送的所述车辆周围环境的图像数据，以及对应的空间信息时，所述方法进一步包括：

接收到所述传感器组件发送的对应图像数据的gps信息；

所述特征区域的信息包括：特征区域的空间信息、图像数据和gps信息。

步骤103，该驾驶显示装置获取当前的车辆信息，根据获取的车辆信息确定提取的特征区域中需要显示的特征区域的图像数据。

本申请实施例中的车辆信息包括：车辆内部can总线上的数据以及通过导航地图获取到的道路路况信息。

can总线上的数据包括但不限于车速、油耗、剩余油量、可行驶里程数、盲区检测数据等；

道路路况信息包括但不限于起始位置、终点位置、已行驶公里数、距离目的地公里数、前方警示情况(施工、车祸、堵塞、限速等)、前方路线情况(当前在什么道路、前方几个岔路、分别通向什么道路)等。

步骤104，该驾驶显示装置将要显示的特征区域的图像数据生成虚拟画面；并根据虚拟画面对应图像数据的空间信息，将所述虚拟画面叠加显示。

本申请给出了叠加显示特征区域的图像数据对应的虚拟画面，至于车辆信息中是否有需要显示的内容可以根据具体应用具体设置，也可以按照现有实现进行处理。

下面结合附图，给出本申请具体应用场景中实现过程。

驾驶显示装置接收传感器组件发送的所述车辆周围环境的图像数据，以及对应的空间信息。

若确定所述图像数据中存在配置的特征区域，则提取存在的特征区域对应的图像数据和空间信息；否则，结束当前处理，即没有需要叠加显示的信息。

这里的特征区域如道路边缘、斑马线、路牌等。

该驾驶显示装置获取当前的车辆信息，根据获取的车辆信息确定提取的特征区域中需要显示的特征区域的图像数据。

假设获取的车辆信息为：右侧盲区有行人通过，或当前路段限速80km/h，或无路牌，且前方有三叉路口，则确定对应的特征区域：道路边缘、路牌区域对应的图像数据需要显示，则将对应的图像数据生成虚拟图像，按照对应的空间信息叠加显示虚拟的显示位置处。

参见图2，图2为本申请实施例中盲区有行人通过的显示示意图。图2中左侧的图像为实际环境中的场景图，在车辆的右侧盲区有行人通过；右侧的图像为采用本申请实施例提供的技术方案，叠加显示的图像，使驾驶人员能够看到在盲区通过的行人，提高驾驶的安全性。

参见图3，图3为本申请实施例中时速超限路牌的显示示意图。图3中车辆右前侧由于路牌破损或直接不存在未进行显示，可以根据车辆信息确定当前路段是有限速的，则生成虚拟路牌，如图3虚拟显示道路右侧显示的限速80km/h，给人的视觉感觉为路边有限速路牌。

参见图4，图4为本申请实施例中存在三叉路口的路牌显示示意图。图4左侧图像为车辆行驶的道路前方为三叉路口，且上方无路牌显示；在图4右侧虚拟显示指示路牌(道路名称和方向)，给人的视觉感觉为有三叉路口的道路指示。

实施例二

下面结合附图，针对环境条件恶劣的情况下，如雨雪天气等，如何进行实现增强现实的驾驶显示过程。

参见图5，图5为本申请实施例二中实现增强现实的驾驶显示流程示意图。具体步骤为：

步骤501，当驾驶显示装置未接收到所述车辆周围环境的图像数据，以及对应的空间信息，或接收到的图像数据未能达到预设要求时，使用接收到的传感器组件发送的gps数据，在所述地图信息中查找对应的图像数据和空间信息。

地图信息为环境条件好的情况下获取并存储的地图信息。

步骤502，该驾驶显示装置获取当前的车辆信息，根据所述车辆信息确定要显示的查找到的图像数据和空间信息。

本申请实施例中的车辆信息包括：车辆内部can总线上的数据以及通过导航地图获取到的道路路况信息。

can总线上的数据包括但不限于车速、油耗、剩余油量、可行驶里程数、盲区检测数据等；

道路路况信息包括但不限于起始位置、终点位置、已行驶公里数、距离目的地公里数、前方警示情况(施工、车祸、堵塞、限速等)、前方路线情况(当前在什么道路、前方几个岔路、分别通向什么道路)等。

步骤503，该驾驶显示装置将要显示的图像数据生成虚拟画面；并按照虚拟画面对应图像数据的空间信息，将所述虚拟画面叠加显示。

下面结合具体实例，进行详细说明：

驾驶员开车过程中，当前是大雨的环境，传感器组件功能受限严重，获取的图像信息不清楚，或根本没获取到，则根据接收到的gps数据在存储的地图信息中获取对应的图像数据和空间信息。

若根据车辆信息确定右侧有道路指示牌但是看不清，需要虚拟显示，则将获取的对应该指示路牌的图像数据生成虚拟画面，并按照对应图像数据的控件信息，将所述虚拟画面叠加显示。

参见图6，图6为本申请实施例中大雨天气下显示路牌的示意图。图6中左侧为实际观测到的路况信息，没有当前路段限速40公里的指示牌；右侧为使用本申请提供的技术方案后，在车辆右侧前方显示了限速40公里的指示牌。这样能够在恶劣环境下提高驾驶的安全性。

基于同样的发明构思，本申请还提出一种增强现实的驾驶显示装置。参见图7，图7为本申请实施例中应用于上述技术的装置结构示意图。该装置包括：接收单元701、确定单元702、获取单元703、生成单元704和显示单元705；

接收单元701，用于接收传感器组件发送的所述车辆周围环境的图像数据，以及对应的空间信息；

确定单元702，用于确定接收单元701接收的图像数据中是否存在配置的特征区域；根据获取单元703获取的车辆信息确定提取的特征区域中需要显示的特征区域的图像数据；

获取单元703，用于当确定单元702确定接收单元701接收到的图像数据中存在配置的特征区域时，提取存在的特征区域对应的图像数据和空间信息；获取当前的车辆信息，

生成单元704，用于将确定单元702确定的要显示的特征区域的图像数据生成虚拟画面；

显示单元705，用于根据生成单元704生成的虚拟画面对应图像数据的空间信息，将所述虚拟画面叠加显示。

较佳地，

获取单元703，进一步用于在确定单元702确定存在的特征区域对应的图像数据和空间信息时，获取地图信息；其中，所述地图信息由特征区域的信息组成；并将确定的特征区域对应的图像数据和空间信息更新到所述地图信息中。

较佳地，

接收单元，进一步用于接收传感器组件发送的所述车辆周围环境的图像数据时，进一步接收所述传感器组件发送的对应图像数据的gps信息；其中，所述特征区域的信息包括：特征区域的空间信息、图像数据和gps信息。

较佳地，

获取单元703，进一步用于当未接收到所述车辆周围环境的图像数据，以及对应的空间信息，或接收到的图像数据未能达到预设要求时，使用接收到的传感器组件发送的gps数据，在所述地图信息中查找对应的图像数据和空间信息；获取当前的车辆信息；

确定单元702，进一步用于根据所述车辆信息确定要显示的查找到的图像数据和空间信息；

生成单元704，用于将确定单元702确定的要显示的图像数据生成虚拟画面；

显示单元705，用于按照生成单元704生成的虚拟画面对应图像数据的空间信息，将所述虚拟画面叠加显示。

较佳地，

所述车辆信息包括：车辆内部can总线上的数据以及通过导航地图获取到的道路路况信息。

上述实施例的单元可以集成于一体，也可以分离部署；可以合并为一个单元，也可以进一步拆分成多个子单元。

综上所述，本申请为了让驾驶显示系统能根据道路的实际位置叠加显示驾驶信息，为了让驾驶员在恶劣天气的环境下仍然可以观察到有效的驾驶信息，本发明使用可以使用传感器组合进行检测环境中的特征区域的空间信息，根据实时的车辆信息在实际空间位置生成虚拟的提示画面并叠加显示到hud或者ar眼镜上。

本申请通过用于环境感知的传感器组合来构建道路特征区域检测模块，建立起驾驶员、汽车和道路的3d空间关系，通过保存和查找本地地图来计算特征区域的坐标信息，根据车辆信息模块的实时信息来设定虚拟画面，显示调节模块根据hud的参数来调节各个投影阵列或者调整ar眼镜的图形引擎的虚拟世界并最终显示画面。可以更真实的显示有效重要的行驶信息，能够很好的适应驾驶员的驾驶，提升驾驶员的驾驶体验和行驶安全性。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。