一种基于增强现实的倒车方法、装置及设备与流程

本发明涉及计算机技术领域，尤其涉及一种基于增强现实的倒车方法、装置及设备。

背景技术：

随着科技与经济的发展，公路上行驶车辆越来越多。驾驶技术的专业化也逐步向普及化转型，在驾驶技术中，倒车入库是大部分驾驶员结束驾驶过程必须执行的一项驾驶技术。例如，当驾驶员到家或者到达目的地时，驾驶员需要将车辆倒入车库中。

现有倒车系统都是由安装于车辆内的倒车显示器、车辆档位处的感测器及车辆尾部的摄像头组成。显示器和感测器及摄像头之间通过导线连接以传输信号。因此，现有的倒车系统必须在车上安装一块显示屏，对于车上狭窄的空间来说，显然造成资源的浪费。并且，该显示屏除了显示倒车影像外，还用于做GPS导航。由于该导航系统远远不及驾驶员的移动终端中所配置的导航系统的精确，该功能也常常被搁置。此外，现有的倒车系统中，车辆尾部的摄像头采集的空间有限，常常导致驾驶员的某些区域存在盲区，车辆及人身的安全不能得到保证，不能满足人们对于倒车的需求。

技术实现要素：

本发明实施例提供一种基于增强现实(Augmented Reality，简称AR)技术的倒车方法、装置及设备，用以解决上述的技术问题。

为实现上述发明目的，本发明采用下述的技术方案：

依据本发明的一个方面，提供一种基于增强现实的倒车方法，包括：

获取车辆所处的现实环境的信息；

根据车辆信息以及所述现实环境的信息生成与所述现实环境相对应的增强现实环境；

将所述增强现实环境投射到增强现实显示设备中，以便驾驶员获知所述车辆所处的增强现实环境，并基于所述增强现实环境进行倒车。

进一步地，在获取车辆所处的现实环境的信息时，具体包括：

通过所述车辆后端和/或两侧配置多个摄像采集装置采集车辆周围环境的图像信息；

将所述多个摄像采集装置采集的图像信息进行数据合成处理，获得所述现实环境的信息。

进一步地，在根据车辆信息以及所述现实环境的信息生成与所述现实环境相对应的增强现实环境时，具体包括：

根据预设的车辆模型信息获取所述车辆中驾驶员身后的位置区域；

生成所述增强现实环境时，在所述现实环境中叠加所述车辆模型信息，并以虚线渲染驾驶员身后的位置区域的整体轮廓。

进一步地，所述方法还包括：

根据实时采集的所述车辆的运动参数及运动姿态中在所述现实环境渲染所述车辆的运动状态。

进一步地，所述将所述增强现实环境投射到增强现实显示设备中，具体包括：

获取设置的投射类型信息；其中，所述投射类型包括镜像投射和实际投射；

当所述投射类型为镜像投射时，将生成的增强现实环境以驾驶员当前所面对的面为镜像面进行镜像处理，将处理生成的镜像环境投射到所述增强现实显示设备中；

当所述投射类型为实际投射时，将生成的增强现实环境直接投射到所述增强现实显示设备中。

依据本发明的一个方面，提供一种基于增强现实的倒车装置，包括：

获取单元，用于获取车辆所处的现实环境的信息；

生成单元，用于根据车辆信息以及所述现实环境的信息生成与所述现实环境相对应的增强现实环境；

投射单元，用于将所述增强现实环境投射到增强现实显示设备中，以便驾驶员获知所述车辆所处的增强现实环境，并基于所述增强现实环境进行倒车。

进一步地，所述获取单元具体用于：

通过所述车辆后端和/或两侧配置多个摄像采集装置采集车辆周围环境的图像信息；

将所述多个摄像采集装置采集的图像信息进行数据合成处理，获得所述现实环境的信息。

进一步地，所述生成单元具体用于：

根据预设的车辆模型信息获取所述车辆中驾驶员身后的位置区域；

生成所述增强现实环境时，在所述现实环境中叠加所述车辆模型信息，并以虚线渲染驾驶员身后的位置区域的整体轮廓。

进一步地，所述生成单元还用于：

根据实时采集的所述车辆的运动参数及运动姿态中在所述现实环境渲染所述车辆的运动状态。

进一步地，所述投射单元，具体用于：

获取设置的投射类型信息；其中，所述投射类型包括镜像投射和实际投射；

当所述投射类型为镜像投射时，将生成的增强现实环境以驾驶员当前所面对的面为镜像面进行镜像处理，将处理生成的镜像环境投射到所述增强现实显示设备中；

当所述投射类型为实际投射时，将生成的增强现实环境直接投射到所述增强现实显示设备中。

本发明有益效果如下：

本发明所提供的基于增强现实的倒车方法，利用增强现实技术辅助驾驶员进行倒车，可以获取倒车时车辆后以及车辆两侧的实际情况，并通过增强现实显示设备呈现给驾驶员。因此通过本发明可以有效消除驾驶员倒车时存在的视线盲区，使得驾驶员能够获知车后以及车两侧的情况，降低了倒车或者转弯时的安全风险。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明实施例或现有中的方案，下面将对实施例或现有描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例中基于增强现实的倒车方法的流程图；

图2为本发明实施例中增强现实显示设备显示车辆的示意图；

图3为本发明实施例中基于增强现实的倒车装置的结构框图；

图4为本发明实施例中基于增强现实的倒车设备的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1所示，本发明实施例所提供的基于增强现实的倒车方法，包括：

步骤101，获取车辆所处的现实环境的信息；

步骤102，根据车辆信息以及现实环境的信息生成与现实环境相对应的增强现实环境；

步骤103，将增强现实环境投射到增强现实显示设备中，以便驾驶员获知车辆所处的增强现实环境，并基于增强现实环境进行倒车。

本发明所提供的基于增强现实的倒车方法，利用增强现实辅助驾驶员进行倒车，可以获取倒车时车辆后以及车辆两侧的实际情况，并通过增强现实显示设备呈现给驾驶员。因此通过本发明可以有效消除驾驶员倒车时存在的视线盲区，使得驾驶员能够获知车后以及车两侧的情况，降低了倒车或者转弯时的安全风险。

下面结合附图和具体实施过程对各个步骤进行详细说明。

步骤101，获取车辆所处的现实环境的信息。

在该步骤中，车辆的车身周围预先设置了摄像采集装置。利用摄像采集装置实时采用车身周围的环境信息。由于倒车入库时，需要获取车后的环境及状态信息，可选的，一实施例中，将摄像采集装置只设置于车辆的后端，或者将摄像采集装置设置于车辆的后端和/或两侧。该摄像采集装置采集到车辆后端和/或两侧的真实场景视频图像后，对采集的视频图像进行数据合成处理，获得车辆所处的现实环境。

为了营造一个真实的场景来保证准确的图像信息，需要确定摄像采集装置的真实位置，然后以摄像采集位置为参考的处理坐标系，保证二维图像与三维图像转化过程中，数据信息不回丢失，从而在整个系统中特征点的真实空间坐标不会发生变化。而对于视频图像数据合成处理不是本发明的关键点，且已经属于本领域技术人员所熟知的技术，本发明这里不再进行赘述。

步骤102，根据车辆信息以及现实环境的信息生成与现实环境相对应的增强现实环境。

在该步骤中，车载系统中预先存储的车辆的3D车辆模型信息。上述提到了三维图像的处理坐标系，在现实环境的图像的指定的位置叠加预设的车辆3D模型信息，即生成了与现实环境相对应的增强现实环境。该增强现实环境注重现实的倒车环境，因此，相对于虚拟的倒车环境，增强现实环境更能保证驾驶员的倒车安全。

具体地，根据车辆信息以及现实环境的信息，生成与现实环境相对应的增强现实环境时，包括：

根据预设的车辆模型信息获取车辆中驾驶员身后的位置区域；

生成所述增强现实环境时，在所述现实环境中叠加所述车辆模型信息，并以虚线渲染驾驶员身后的位置区域的整体轮廓。

可知为了避免驾驶员在倒车时，视线范围内有遮挡物，因此，一实施例中，在生成增强现实环境时，需要获取车辆中驾驶员身后的位置区域，在坐标系中渲染3D车辆模型信息时，将该位置区域仅以虚线渲染整体的轮廓，具体如图2所示。轮廓内的区域，则设置为透明区域，以便观察后方的情况。这样，驾驶员在倒车时，视线范围内的遮挡物可以有效去除，有效避免类似后备箱或者后排座椅等遮挡物对视线的阻碍。

进一步地，车辆信息除了包含预设的3D车辆模型外，还有实时采集的车辆的运动参数(例如，车辆的倒车速度等)以及运动姿态信息(例如，车辆的运动转向等)。通过采用实时采集的车辆的运动信息，在现实环境渲染车辆的运动状态，这样驾驶员可以在增强现实环境中真实的模拟出车辆的情况，给予驾驶员更加真实的倒车体验。

步骤103，将增强现实环境投射到增强现实显示设备中，以便驾驶员获知车辆所处的增强现实环境，并基于增强现实环境进行倒车。

其中，这里的增强现实显示设备可以为用户佩戴的设备，例如AR眼镜等，还是为设置在车辆前挡风玻璃中的显示屏。在该步骤中，在将增强现实环境投射至增强现实显示设备中时，需要获取设置的投射类型信息。该投射类型由驾驶员根据实际驾驶体验自行设定，具体包括镜像投射和实际投射；其中，

获取设置的投射类型信息；其中，投射类型包括镜像投射和实际投射；

当投射类型为镜像投射时，以驾驶员所在面为参考面进行镜像处理，将处理生成的镜像环境投射到增强现实显示设备中；

当投射类型为实际投射时，将生成的增强现实环境直接投射到增强现实显示设备中。

将投射类型信息分为两种类型。当为实际投射时，将摄像采集装置采集的车辆后端和/或两侧的图像直接显示在增强现实显示设备中，这样驾驶员可以选择直视前方进行倒车，可以有效避免不停的低头看显示屏带来的麻烦；当为镜像投射时，更贴近实际倒车情况，驾驶员需要向后看来获知车后的情况。而本发明中，由于在显示时，将驾驶员视线范围内的车辆中遮挡视线的位置设置为透明显示，因此驾驶员向后看时，可以获知车辆后端和/或两侧的实时情况。

可知，本发明不仅限于小型车，尤其是对容易观察后方情况的大型客货车，可以有效获知车辆后端以及车辆两侧的情况，使驾驶员的倒车视线范围更加开阔，有效避免因车两侧不在驾驶员视线范围内而突发状况，而导致的安全风险。

为了更好的实施本发明实施例所提供的方法，如图3所示，本发明实施例还提供了一种基于增强现实的倒车装置，该装置具体包括：

获取单元31，用于获取车辆所处的现实环境的信息；

生成单元32，用于根据车辆信息以及现实环境的信息生成与现实环境相对应的增强现实环境；

投射单元33，用于将增强现实环境投射到增强现实显示设备中，以便驾驶员获知车辆所处的增强现实环境，并基于增强现实环境进行倒车。

可选的，获取单元31具体用于：

通过所述车辆后端和/或两侧配置多个摄像采集装置采集车辆所处的现实环境的图像信息；

将所述多个摄像采集装置采集的图像信息进行数据合成处理，获得所述现实环境。

可选的，生成单元32具体用于：

根据预设的车辆模型信息获取车辆中驾驶员身后的位置区域；

生成所述增强现实环境时，在所述现实环境中叠加所述车辆模型信息，并以虚线渲染驾驶员身后的位置区域的整体轮廓。

可选的，生成单元32还用于：

根据实时采集的车辆的运动参数及运动姿态中在所述现实环境渲染所述车辆的运动状态。

可选的，投射单元33，具体用于：

获取设置的投射类型信息；其中，投射类型包括镜像投射和实际投射；

当投射类型为镜像投射时，将生成的增强现实环境以驾驶员当前所面对的面为镜像面进行镜像处理，将处理生成的镜像环境投射到增强现实显示设备中；

当投射类型为实际投射时，将生成的增强现实环境直接投射到所述增强现实显示设备中。

可知，当为实际投射时，将摄像采集装置采集的图像直接显示在增强现实显示设备中，这样驾驶员可以选择直视前方进行倒车，有效避免不停的低头看显示屏带来的麻烦；当为镜像投射时，驾驶员需要向后看来获知车后的情况。由于将驾驶员视线范围内的遮挡设置为透明显示，驾驶员向后看时，可以获知车辆后端和/或两侧的实时情况。

需要说明的是，本发明实施例所描述的倒车装置中各功能模块的功能可根据上述图1所示方法实施例中的方法具体实现，此处不再赘述。

如图4所示，本发明实施例还提供一种基于增强现实的倒车设备，包括处理器、存储有处理器41可执行指令的存储器42以及摄像采集装置43。

其中，处理器41可以是通用处理器，例如中央处理器(central processing unit，CPU)，还可以是数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit，ASIC)，或者是被配置成实施本发明实施例的一个或多个集成电路。

存储器42，用于存储程序代码，并将该程序代码传输给CPU。存储器42可以包括易失性存储器(volatile memory)，例如随机存取存储器(random access memory，RAM)；存储器42也可以包括非易失性存储器(non-volatile memory)，例如只读存储器(read-only memory，ROM)、快闪存储器(flash memory)、硬盘(hard disk drive，HDD)或固态硬盘(solid-state drive，SSD)；存储器42还可以包括上述种类的存储器的组合。

具体实现中，摄像采集装置43设置多个，均通过用户接口508与处理器41进行通信。具体地，处理器41用于调用存储器42存储的控制信道的监听程序代码，执行如下操作：

获取车辆所处的现实环境的信息；

根据车辆信息以及现实环境的信息生成与现实环境相对应的增强现实环境；

将增强现实环境投射到增强现实显示设备中，以便驾驶员获知车辆所处的增强现实环境，并基于增强现实环境进行倒车。

可选的，处理器41调用存储器42存储的控制信道的监听程序代码，执行获取车辆所处的现实环境的信息的操作时，具体包括：

通过车辆后端和/或两侧配置多个摄像采集装置43采集车辆所处的现实环境的图像信息；

将多个摄像采集装置43采集的图像信息进行数据合成处理，生成现实环境。

可选的，处理器41调用存储器42存储的控制信道的监听程序代码，执行根据车辆信息以及现实环境的信息，生成与现实环境相对应的增强现实环境的操作时，具体包括：

根据预设的车辆模型信息获取车辆中驾驶员身后的位置区域；

生成所述增强现实环境时，在所述现实环境中叠加所述车辆模型信息，并以虚线渲染驾驶员身后的位置区域的整体轮廓。

可选的，处理器41调用存储器42存储的控制信道的监听程序代码，执行根据车辆信息以及现实环境的信息，生成与现实环境相对应的增强现实环境的操作时，还包括：

根据实时采集的车辆的运动参数及运动姿态中在现实环境渲染车辆的运动状态。

可选的，处理器41调用存储器42存储的控制信道的监听程序代码，执行将增强现实环境投射到增强现实显示设备的操作时，具体包括：

获取设置的投射类型信息；其中，投射类型包括镜像投射和实际投射；

当投射类型为镜像投射时，将生成的增强现实环境以驾驶员当前所面对的面为镜像面进行镜像处理，将处理生成的镜像环境投射到增强现实显示设备中；

当投射类型为实际投射时，将生成的增强现实环境直接投射到增强现实显示设备中。

需要说明的是，本发明实施例所描述的倒车设备中各功能模块的功能可根据上述图1所示方法实施例中的方法具体实现，此处不再赘述。

综上所述，本发明实施例所提供的基于增强现实的倒车方法、装置及设备，利用增强现实技术辅助驾驶员进行倒车，可以获取倒车时车辆后以及车辆两侧的实际情况，并通过增强现实显示设备呈现给驾驶员。本发明不仅仅适用于对于小型车，尤其是对于大型客货车，驾驶员可以有效获知车辆后端以及车辆两侧的情况，使倒车视线范围更加开阔，有效避免因车两侧不在驾驶员视线范围内而突发状况，而导致的安全风险。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。

虽然通过实施例描述了本申请，本领域的技术人员知道，本申请有许多变形和变化而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。