自动环视方法、装置及计算机可读存储介质与流程

本发明涉及路径环视领域，尤其涉及一种自动环视方法、装置及计算机可读存储介质。

背景技术：

目前的自动环视装置并未实现自动环视的功能，若需要在车辆上实现路边实况的三维立体图像，需要额外的增加硬件成本。

上述内容仅用于辅助理解本发明的技术方案，并不代表承认上述内容是现有技术。

技术实现要素：

本发明的主要目的在于提供一种自动环视方法，旨在解决自动环视装置实现自动环视功能，实现降低自动环视硬件成本的技术问题。

为实现上述目的，本发明提供一种自动环视方法，所述自动环视方法应用与自动环视装置，所述自动环视装置包括多个安装在车体的激光雷达及鱼眼全景相机，包括以下内容：

优选地，实时获取激光雷达采集到的环境信息，生成三维结构图；

以所述鱼眼全景相机采集到的环境图像为所述三维结构图着色，生成当前环境的实时三维立体图；

显示所述三维立体图。

优选地，所述实时获取激光雷达采集到的环境信息，生成三维结构图的步骤，具体包括：

根据所述激光雷达采集到的环境信息，校准所述激光雷达的感知重叠区域，并标定各所述激光雷达的采集区域；

将各所述激光雷达在所述采集区域采集到的环境信息拼接，生成所述三维结构图。

优选地，所述并获取鱼眼全景相机采集到的环境图像，以所述环境图像为所述三维结构图着色，的步骤，具体还包括：

通过各所述鱼眼全景相机采集当前的所述环境图像，并匹配所述环境图像与所述三维结构图的特征；

以所述环境图像的特征为对应所述三维结构图的特征着色，用以生成所述三维立体图。

优选地，所述通过各所述鱼眼全景相机采集当前的所述环境图像，并匹配所述环境图像与所述三维结构图的特征的步骤之后，还包括：

在所述环境图像与所述三维结构图的特征匹配失败时，提交硬件设备故障的提示信息，并停止各所述激光雷达及各所述鱼眼全景相机的工作。

优选地，所述通过所述鱼眼全景相机采集当前的所述环境图像的步骤之前，还包括：

获取所述全景鱼眼相机的硬件参数及畸变系数，校准所述全景鱼眼相机的图像畸变；

在所述全景鱼眼相机的图像畸变校正后，采集当前环境图像。

此外，为实现上述目的，本发明还提供一种自动环视装置，其特征在于，所述自动环视装置包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如上所述自动环视方法的步骤。

本发明还提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有自动环视程序，所述自动环视程序被处理器执行时实现如上所述自动环视方法的步骤。

本发明实施例提出的一种自动环视方法，所述自动环视方法应用与自动环视装置，所述自动环视装置包括多个安装在车体的激光雷达及鱼眼全景相机，通过实时获取激光雷达采集到的环境信息，生成三维结构图；并获取鱼眼全景相机采集到的环境图像，以所述环境图像为所述三维结构图着色，生成当前环境的实时三维立体图；显示所述三维立体图。通过激光雷达采集三维结构图并以鱼眼全景相机获取环境图像为所述三维结构图着色生成三维立体图，实现了以自动环视装置查看实时环境立体图用以降低自动环视功能硬件成本的有益效果。

附图说明

图1是本发明实施例方案涉及的硬件运行环境的终端\装置结构示意图；

图2为本发明自动环视方法第一实施例的流程示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明实施例的主要解决方案是：实时获取激光雷达采集到的环境信息，生成三维结构图；并获取鱼眼全景相机采集到的环境图像，以所述环境图像为所述三维结构图着色，生成当前环境的实时三维立体图；显示所述三维立体图。

由于现有技术中，在车辆安装激光雷达或语言相机无法实现自动路面三维立体图的效果，若需要实现三维立体图效果会存在设备成本增加的问题。

本发明提供一种解决方案，实现了三维立体图的自动环视，避免增加硬件成本的有益效果。

如图1所示，图1是本发明实施例方案涉及的硬件运行环境的终端结构示意图。

本发明实施例终端可以是pc，也可以是智能手机、平板电脑、电子书阅读器，便携计算机等具有显示功能的可移动式终端设备。

如图1所示，该终端可以包括：处理器1001，例如cpu，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatilememory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。

本领域技术人员可以理解，图1中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及自动环视程序。

在图1所示的终端中，网络接口1004主要用于连接后台服务器，与后台服务器进行数据通信；用户接口1003主要用于连接客户端(用户端)，与客户端进行数据通信；而处理器1001可以用于调用存储器1005中存储的自动环视程序，并执行以下操作：

实时获取激光雷达采集到的环境信息，生成三维结构图；

并获取鱼眼全景相机采集到的环境图像，以所述环境图像为所述三维结构图着色，生成当前环境的实时三维立体图；

显示所述三维立体图。

进一步地，处理器1001可以调用存储器1005中存储的自动环视程序，还执行以下操作：

根据所述激光雷达采集到的环境信息，校准所述激光雷达的感知重叠区域，并标定各所述激光雷达的采集区域；

将各所述激光雷达在所述采集区域采集到的环境信息拼接，生成所述三维结构图。

进一步地，处理器1001可以调用存储器1005中存储的自动环视程序，还执行以下操作：

通过各所述鱼眼全景相机采集当前的所述环境图像，并匹配所述环境图像与所述三维结构图的特征；

以所述环境图像的特征为对应所述三维结构图的特征着色，用以生成所述三维立体图。

进一步地，处理器1001可以调用存储器1005中存储的自动环视程序，还执行以下操作：

在所述环境图像与所述三维结构图的特征匹配失败时，提交硬件设备故障的提示信息，并停止各所述激光雷达及各所述鱼眼全景相机的工作。

进一步地，处理器1001可以调用存储器1005中存储的自动环视程序，还执行以下操作：

获取所述全景鱼眼相机的硬件参数及畸变系数，校准所述全景鱼眼相机的图像畸变；

在所述全景鱼眼相机的图像畸变校正后，采集当前环境图像。

参照图2，图2为本发明自动环视方法第一实施例的流程示意图，所述自动环视方法包括：

步骤s10，实时获取激光雷达采集到的环境信息，生成三维结构图；

在当前的自动环视装置中，包括多个安装在车体的激光雷达及鱼眼全景相机，其安装位置与车身结构相关，且遵循统一的位置算法，即所述激光雷达及鱼眼全景相机的安装结构，需保证能够实现360度环视的采集方式。在实际应用中，所述自动环视装置包括4至6个激光雷达及4个以上的鱼眼全景相机。以所述激光雷达采集到的当前路况环境信息，生成基础三维结构图。所述激光雷达采集到的环境信息，为现有的激光雷达通过向目标发射探测信号(激光束),然后将接收到的从目标反射回来的信号(目标回波)与发射信号进行比较，作适当处理后，就可获得目标的有关信息，如目标距离、方位、高度、速度、姿态、甚至形状等参数，根据所述目标的有关信息，生成三维结构图。从而对目标进行探测、跟踪和识别。而所述三维结构图生成方式，为现有的三维结构图生成方式，在此不多赘述。

其中，所述实时获取激光雷达采集到的环境信息，生成三维结构图的步骤，具体包括：

根据所述激光雷达采集到的环境信息，校准所述激光雷达的感知重叠区域，并标定各所述激光雷达的采集区域；

将各所述激光雷达在所述采集区域采集到的环境信息拼接，生成所述三维结构图。

在所述自动环视装置的激光雷达采集到的环境信息中，校准各所述激光雷达的感知重叠区域，因所述激光雷达在采集环境信息时，各所述激光雷达发射探测信号(激光束)的范围都是相同的，而基于车身的环境区域始终都是360度环视，则造成各所述激光雷达在采集环境信息时，会出现重叠的采集区域，为避免三维结构图拼接错误，根据各所述激光雷达采集到的环境信息，将各所述环境信息匹配一致的部分确认为感知重叠区域，并基于所述感知重叠区域，标定各所述激光雷达的采集区域。根据已标定的各所述激光雷达的采集区域，提取各所述激光雷达采集到的环境信息中各所述标定的采集区域的环境信息，并将所述环境信息拼接后生成所述激光雷达采集到的三维结构图。

步骤s20，并获取鱼眼全景相机采集到的环境图像，以所述环境图像为所述三维结构图着色，生成当前环境的实时三维立体图；

在所述激光雷达采集环境信息的过程中，鱼眼全景相机一并采集当前的环境图像，所述鱼眼全景相机在应用时，通过规律的方向调整，采集当前环境中上下左右的环境图像。将已采集到所述环境图像为基准，与已生成的实时三维立体图执行着色操作。所述着色操作，为现有的三维立体图的着色操作，通过所述鱼眼全景相机采集到的环境图像为基准为所述三维立体图着色为提高所述三维立体图的逼真度。其具体的操作过程为现有技术的三维立体图的生成方式，在此不多赘述。

其中，所述并获取鱼眼全景相机采集到的环境图像，以所述环境图像为所述三维结构图着色的步骤，具体还包括：

通过各所述鱼眼全景相机采集当前的所述环境图像，并匹配所述环境图像与所述三维结构图的特征；

以所述环境图像的特征为对应所述三维结构图的特征着色，用以生成所述三维立体图。

在实际应用的过程中，通过各所述鱼眼全景相机采集当前的所述环境图像，然后根据相机和激光雷达的匹配标定，将激光雷达所述三维结构图的特征投影匹配环境图像特征。所述自动环视装置的激光雷达及鱼眼全景相机是同时工作的，即所述激光雷达与所述鱼眼全景相机同时采集当前的环境信息。并基于采集到的三维结构图与所述图像信息，以预设算法确认所述三维结构与所述图像信息的目标特征，以此确定将所述环境图像的相关色系对所述三维立体图的特征区域进行着色操作，避免造成着色失误。所述预设算法，为现有确认图像及三维结构图特征的相关算法。

另外，所述通过各所述鱼眼全景相机采集当前的所述环境图像，并匹配所述环境图像与所述三维结构图的特征的步骤之后，还包括：

在所述环境图像与所述三维结构图的特征匹配失败时，提交硬件设备故障的提示信息，并停止各所述激光雷达及各所述鱼眼全景相机的工作。

引用预设算法确定所述环境图像与所述三维结构的目标区域并进行着色操作时，通过所述预设算法确定对应的着色特征区域，但在基于所述环境图像及所述三维结构图执行特征区域识别操作时，若所述环境图像与所述三维结构的特征匹配失败时，确认当前所述激光雷达及所述鱼眼全景相机采集到的环境信息存在失误，提交硬件设备故障的提示信息，并停止所述全景环视装置的工作。

进一步的，所述通过所述鱼眼全景相机采集当前的所述环境图像的步骤之前，还包括：

获取所述全景鱼眼相机的硬件参数及畸变系数，校准所述全景鱼眼相机的图像畸变；

在所述全景鱼眼相机的图像畸变校正后，采集当前环境图像。

由于全景鱼眼相机在采集环境图像时，由于鱼眼相机的特殊性，在采集环境图像时，可能会造成图像畸变的情况，造成环境图像采集错误，继而导致降低车道线抓取的效率的情况。即根据已安装的所述全景鱼眼相机，获取所述鱼眼相机的硬件参数及畸变系数，并按照畸变校正算法校正所述全景鱼眼相机的图像畸变情况，并在所述图像畸变情况校正后，开启全景鱼眼相机采集当前环境图像。

步骤s30，显示所述三维立体图。

将已生成的三维立体图，传输至与所述自动环视装置连接的相关显示区域显示，所述显示区域包括显示屏、手持终端或其他具备显示功能的与所述自动环视设备连接的其他电子设备。

在本实施例中，通过激光雷达及鱼眼全景相机采集当前的环境信息并生成当前路面的实时三维立体图，实现了自动环视路面的方法，且所述自动环视路面的方式为基于现有的自动环视装置实现，降低了自动环视的硬件设备成本。

此外，本发明实施例还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有自动环视程序，所述自动环视程序被处理器执行时实现如下操作：

实时获取激光雷达采集到的环境信息，生成三维结构图；

并获取鱼眼全景相机采集到的环境图像，以所述环境图像为所述三维结构图着色，生成当前环境的实时三维立体图；

显示所述三维立体图。

进一步地，所述自动环视程序被处理器执行时还实现如下操作：

根据所述激光雷达采集到的环境信息，校准所述激光雷达的感知重叠区域，并标定各所述激光雷达的采集区域；

将各所述激光雷达在所述采集区域采集到的环境信息拼接，生成所述三维结构图。

进一步地，所述自动环视程序被处理器执行时还实现如下操作：

通过各所述鱼眼全景相机采集当前的所述环境图像，并匹配所述环境图像与所述三维结构图的特征；

以所述环境图像的特征为对应所述三维结构图的特征着色，用以生成所述三维立体图。

进一步地，所述自动环视程序被处理器执行时还实现如下操作：

在所述环境图像与所述三维结构图的特征匹配失败时，提交硬件设备故障的提示信息，并停止各所述激光雷达及各所述鱼眼全景相机的工作。

进一步地，所述自动环视程序被处理器执行时还实现如下操作：

获取所述全景鱼眼相机的硬件参数及畸变系数，校准所述全景鱼眼相机的图像畸变；

在所述全景鱼眼相机的图像畸变校正后，采集当前环境图像。

需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。

上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。