汽车安全预警方法、装置及计算机可读存储介质与流程

文档序号:15828590发布日期:2018-11-03 00:10阅读:148来源:国知局

本发明涉及汽车驾驶技术领域,具体而言,本发明涉及一种汽车安全预警方法、装置及计算机可读存储介质。

背景技术

随着人们生活水平的不断提高,汽车越来越融入人们生活。汽车安全受到广大驾驶者的普遍关注,各类汽车辅助安全驾驶系统不断涌现。

当前,主流的汽车安全辅助系统主要由普通的2d平面摄像头系统、360全景摄像头、雷达系统组成。该安全辅助系统,存在一定的缺陷:2d平面摄像头系统很难确定目标物距离车身的详细距离信息,只有一个大致的轮廓,不利于驾驶员作出正确的判断,给行车安全带来不利的影响。



技术实现要素:

本发明的目的旨在提供一种汽车安全预警方法、装置及计算机可读存储介质。

为了实现上述目的,本发明提供以下技术方案:

一种汽车安全预警方法,其包括:

调用摄像模块,获取汽车预设范围内的2d全景图像和深度点云图像;

识别所述2d全景图像中的目标物;

根据识别出的所述目标物将所述2d全景图像和所述深度点云图像进行匹配识别,并在成功匹配识别后获取所述深度点云图像中的所述目标物距离汽车车身的距离信息;

当所述距离信息达到预设条件时,进行安全预警提示。

具体地,所述调用摄像模块,获取汽车预设范围内的2d全景图像和深度点云图像的步骤中,包括:

调用2d摄像模块,获取汽车预设范围内的2d全景图像;

调用tof摄像模块,获取汽车预设范围内的深度点云图像;其中所述tof摄像模块和所述2d摄像模块对应安装于所述汽车的同一位置。

具体地,所述获取汽车预设范围内的2d全景图像和深度点云图像的步骤之后,还包括:

将所述2d全景图像转为灰度图像,并进一步将2d全景图像的灰度图像二值化,获得2d全景图像的二值化图像;

将所述深度点云图像转化为2d像素坐标对应的灰度图像,并进一步将深度点云图像的灰度图像二值化,获得深度点云图像的二值化图像。

具体地,所述识别所述2d全景图像中的目标物的步骤中,具体包括:

获取所述2d全景图像的所述二值化图像;

识别所述2d全景图像的所述二值化图像中的目标物。

具体地,所述根据识别出的所述目标物将所述2d全景图像和所述深度点云图像进行匹配识别的步骤中具体包括:

获取所述2d全景图像和所述深度点云图像各自对应的二值化图像;

根据所述识别出的所述目标物将所述2d全景图像的二值化图像和所述深度点云图像的二值化图像进行匹配识别;

其中,所述将所述2d全景图像的二值化图像和所述深度点云图像的二值化图像进行匹配识别的步骤中包括:

创建所述2d全景图像的二值化图像的第一像素矩阵;

获取目标物在第一像素矩阵中的第一矩阵阵列数据;

创建所述深度点云图像的二值化图像的第二像素矩阵;

轮询第二像素矩阵,获取第二像素矩阵中与所述第一矩阵阵列数据相同的第二矩阵阵列数据,从而完成2d全景图像的二值化图像和所述深度点云图像的二值化图像的关于所述目标物的匹配。

具体地,所述获取所述深度点云图像中的所述目标物距离汽车车身的距离信息的步骤中,具体包括:

调用tof摄像模块,获取目标物的各像素点距离汽车车身的距离,从而计算出所述目标物距离汽车车身的距离信息。

具体地,所述当所述距离信息达到预设条件时,进行安全预警提示的步骤中,包括:

确定所述距离信息达到预设条件;其中,所述预设条件包括:目标物距离汽车车身的距离阈值、目标物距离汽车车身一定距离内的速度阈值及目标物相对汽车正前方的方位中的至少一种;

获取当前汽车的行驶速度,根据所述行驶速度和所述距离信息,进行相应的安全预警提示;其中,所述安全预警提示的方式包括:将所述距离信息呈现于汽车的显示器上和/或语音播报所述距离信息。

本发明还提供一种汽车安全预警装置,其包括:

调用模块,用于调用摄像模块,获取汽车预设范围内的2d全景图像和深度点云图像;

识别模块,用于识别所述2d全景图像中的目标物;

获取模块,用于根据识别出的所述目标物将所述2d全景图像和所述深度点云图像进行匹配识别,并在成功匹配识别后获取所述深度点云图像中的所述目标物距离汽车车身的距离信息;

提示模块,用于当所述距离信息达到预设条件时,进行安全预警提示。

本发明还提供另一种汽车安全预警装置,其包括:

一个或多个处理器;

存储器;

一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行;

所述一个或多个应用程序被配置为用于执行上述的汽车安全预警方法的步骤。

此外,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述的汽车安全预警方法的步骤。

相比现有技术,本发明的方案具有以下优点:

本发明的所述汽车安全预警方法通过调用摄像模块,获取汽车预设范围内的2d全景图像和深度点云图像,亦即获取了汽车预设范围内的全景图像,从而可以根据所述全景图像识别出目标物,避免遗漏目标物。进一步地,识别所述2d全景图像中的目标物;通过获取所述深度点云图像中的所述目标物距离汽车车身的距离信息,从而确定实际上目标物距离汽车车身的距离信息,提高了准确性。最后,当所述距离信息达到预设条件时,进行安全预警提示。因此,本发明可以确定目标物距离车身的详细距离信息,并在达到预设条件时,进行安全预警提示,有利于驾驶员正确判断,给行车安全带来积极性的影响。

本发明附加的方面和优点将在下面的描述中部分给出,这些将从下面的描述中变得明显,或通过本发明的实践了解到。

附图说明

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解,其中:

图1为本发明中的一种汽车安全预警方法的一种实施例的流程示意图;

图2为本发明中的一种汽车安全预警装置的一种实施例的结构示意图;

图3为本发明中的另一种汽车安全预警装置的一种实施例的结构示意图。

具体实施方式

下面详细描述本发明的实施例,所述实施例的示例在附图中示出,其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的,仅用于解释本发明,而不能解释为对本发明的限制。

当前,为了汽车行驶安全,业内具有各种各样的汽车辅助安全驾驶系统,其所采用的技术手段及所实现的技术效果均有所不同。本发明提供一种汽车安全预警方法、装置及计算机可读存储介质,以提高人们驾车出行过程的安全性。

如图1,本发明示出了一种汽车安全预警方法的一种实施例。

所述汽车安全预警方法包括步骤s101、步骤s102、步骤s103和步骤s104。

步骤s101.调用摄像模块,获取汽车预设范围内的2d全景图像和深度点云图像。

步骤s102.识别所述2d全景图像中的目标物。

步骤s103.根据识别出的所述目标物将所述2d全景图像和所述深度点云图像进行匹配识别,并在成功匹配识别后获取所述深度点云图像中的所述目标物距离汽车车身的距离信息。

步骤s104.当所述距离信息达到预设条件时,进行安全预警提示。

本发明的所述汽车安全预警方法通过调用摄像模块,获取汽车预设范围内的2d全景图像和深度点云图像,亦即获取了汽车预设范围内的2d全景图像,从而可以根据所述2d全景图像识别出目标物,避免遗漏目标物。进一步地,识别所述2d全景图像中的目标物;通过获取所述深度点云图像中的所述目标物距离汽车车身的距离信息,从而确定实际上目标物距离汽车车身的距离信息,提高了准确性。最后,当所述距离信息达到预设条件时,进行安全预警提示。因此,本发明可以确定目标物距离车身的详细距离信息,并在达到预设条件时,进行安全预警提示,有利于驾驶员正确判断,给行车安全带来积极性的影响。

为了使得本发明中的所述汽车安全预警方法的技术方案更为清楚、明了,下面对本方案的各个具体实现过程及方式作详细的描述。

步骤s101.调用摄像模块,获取汽车预设范围内的2d全景图像和深度点云图像。

本方法可应用于汽车行驶或汽车静止的过程中。例如,汽车行驶过程中,或者停靠在路边时,本方法通过调用摄像模块,实时动态地获取汽车车身预设范围内的路况信息或环境状况等的2d全景图像和深度点云图像。

可以理解的是,在汽车行驶过程中,当外在的物体可能对汽车驾驶安全造成或可能造成威胁时,该物体即是我们要检测的目标物。目标物具体包括的物体内容,根据实际的需要进行设置。例如,汽车行驶过程中,前方的障碍物、从旁边急速驾驶过来的汽车、后方挨得很近的行人等,均可构成目标物。可以理解的是,所述目标物并不一定会出现所述预设范围之内。

具体地,所述调用摄像模块,获取汽车预设范围内的2d全景图像和深度点云图像的步骤中,包括:

调用2d摄像模块,获取汽车预设范围内的2d全景图像;

调用tof摄像模块,获取汽车预设范围内的深度点云图像;其中所述tof摄像模块和所述2d摄像模块对应安装于所述汽车的同一位置。

所述tof摄像模块,具备三维感测与三维建模能力。通过所述tof摄像模块,可以获取深度点云图像,从而可以在目标物出现在汽车的预设范围之内时,精准地获取目标物与汽车车身的距离信息。

进一步地,所述预设范围为2d摄像模块和tof摄像模块的镜头均能覆盖的范围。

在本方案的一种优选实施例中,所述tof摄像模块和所述2d摄像模块对应安装于所述汽车的同一位置。2d摄像模块和tof摄像模块所拍摄到的内容是相同。这样,在后续的匹配识别当中,有助于保证目标物的位置信息的准确性,从而保证目标物距离汽车车身的距离信息的准确性。同时,所述2d摄像模块和tof摄像模块可封装在一起,也可以分开进行封装。

视角fov,其是指镜头所能覆盖的范围,当物体超过这个视角就不会被出现在镜头里面。在汽车行驶过程中,可以在汽车的前、后、左、右4个方位均对应安装1个2d摄像模块和一个tof摄像模块,从而实现了汽车车身整个周围环境的覆盖。通过利用前方的1个2d摄像模块和一个tof摄像模块获取前方的视角中的图像,从而判断前方是否出现了目标物。而后方、左方、右方这三个方位亦如此。

步骤s102.识别所述2d全景图像中的目标物。

可以理解的是,当设定了构成目标物的相关数据信息时,根据该相关数据信息可以从图像中识别出该目标物。

具体地,所述获取汽车预设范围内的2d全景图像和深度点云图像的步骤之后,还包括:

将所述2d全景图像转为灰度图像,并进一步将2d全景图像的灰度图像二值化,获得2d全景图像的二值化图像;

将所述深度点云图像转化为2d像素坐标对应的灰度图像,并进一步将深度点云图像的灰度图像二值化,获得深度点云图像的二值化图像。

具体地,获取2d全景图像的二值化图像和获取深度点云图像的二值化图像的具体实现步骤如下:

在获取深度点云图像的二值化图像之前,需要将所述深度点云图像中的每个3d像素的点云坐标转换为对应的2d像素坐标。其转换过程包括:

将3dtof摄像头获得的点云坐标为(xi,yi,zi),按照预设关系式转换为它对应的像素坐标为(uj,vj):

预设关系式为:

其中,i(i=1,2,……n)代表像素点的点云坐标的标号,j(j=1,2,……m)代表像素点的点云坐标的标号;l代表3dtof镜头的焦距,f代表3dtof传感器红外灯的调制频率,c为光速,为各像素点的发射波与反射波之间的相位差。

可以理解的是,所述2d全景图像和经过坐标系转换的深度点云图像仍是彩色图像。将2d全景图像和经过坐标系转换的深度点云图像转化为灰度图像。然后,通过合理的预设亮度值δ,即可将灰度图像进行二值化。

在本提案中,δ取像素点矩阵中的所有像素点的灰度值的平均值,将图像的各像素点与预设亮度值δ一一比较,大于亮度阈值δ的标记为1,小于亮度阈值δ的标记为0。

具体地,所述识别所述2d全景图像中的目标物的步骤中,具体包括:

获取所述2d全景图像的所述二值化图像;

识别所述2d全景图像的所述二值化图像中的目标物。

对2d全景图像的进行目标识别,有利于准确识别目标物,提高了准确性。判断该目标物是否为预设的目标物,若是,则启动2d与3d目标匹配算法,获取目标物距离车身的距离信息,否则不继续进行预设目标的识别。

步骤s103.根据识别出的所述目标物将所述2d全景图像和所述深度点云图像进行匹配识别,并在成功匹配识别后获取所述深度点云图像中的所述目标物距离汽车车身的距离信息。

可以理解的是,不同的摄像模块实时拍摄预设范围的景象,获取2d全景图像和深度点云图像。当目标物甲出现在汽车的预设范围内时,摄像模块实时拍摄,目标物甲会同时出现在2d全景图像和深度点云图像中。由于2d全景图像和深度点云图像的像素构造不同,需要把2d全景图像中的目标物和深度点云图像中的目标物对应起来。

在本发明的一种优选实施例中,根据所述2d全景图像中的目标物确定所述深度点云图像的目标物,以完成2d全景图像和所述深度点云图像的匹配识别。

具体地,所述根据识别出的所述目标物将所述2d全景图像和所述深度点云图像进行匹配识别的步骤中具体包括:

获取所述2d全景图像和所述深度点云图像各自对应的二值化图像;

根据所述识别出的所述目标物将所述2d全景图像的二值化图像和所述深度点云图像的二值化图像进行匹配识别;

其中,所述将所述2d全景图像的二值化图像和所述深度点云图像的二值化图像进行匹配识别的步骤中包括:

创建所述2d全景图像的二值化图像的第一像素矩阵;

获取目标物在第一像素矩阵中的第一矩阵阵列数据;

创建所述深度点云图像的二值化图像的第二像素矩阵;

轮询第二像素矩阵,获取第二像素矩阵中与所述第一矩阵阵列数据相同的第二矩阵阵列数据,从而完成2d全景图像的二值化图像和所述深度点云图像的二值化图像的关于所述目标物的匹配。

如例1,将二值化后的2d图像m×n像素矩阵命名为第一像素矩阵a,将二值化后的深度点云图像p×q像素矩阵命名为第二像素矩阵b。(m、n代表2d全景图像的长、宽边的像素个数;p、q代表深度点云图像对应的所述二值化图像的长、宽边的像素个数)

假定在第一像素矩阵a中有目标物α(备注:目标物可以是多个,像素点也可以是多阶矩阵,α仅作实施例),目标物α对应的第一矩阵阵列数据为:

其后,按照第一像素矩阵a中目标物α的第一矩阵阵列数据对应的阶数,在第二像素矩阵b中构造与其阶数相同的第二矩阵阵列数据对应待匹配融合的目标物β,如下所示:

其中,pi,pi+1……pi+6为b矩阵中二值化的像素点编号。

接着,通过微控制器算法单元从所述第二像素矩阵b的第一个像素点开始构造所述第二矩阵阵列数据,然后轮询整个第二像素矩阵b,对上述矩阵阵列数据α,β,进行相同与否判断,若相同,则判断2d全景图像第一像素矩阵a中目标物α与深度点云图像坐标系转换后的二值化图像第二像素矩阵b中的目标物β是完全相同的。

在2d全景图像的目标物与深度点云图像的目标物匹配识别之后,亦即,确定2d全景图像的目标物与深度点云图像的目标物为同一目标物时,获取深度点云图像的目标物到汽车的距离信息。

具体地,所述获取所述深度点云图像中的所述目标物距离汽车车身的距离信息的步骤中,具体包括:

调用tof摄像模块,获取目标物的各像素点距离汽车车身的距离,从而计算出所述目标物距离汽车车身的距离信息。

当来自2d全景图像的目标物与来自深度点云图像的目标物匹配成功后,运用tof摄像头获得深度点云图像的目标物各像素点距离车身的距离:

其中,c为光速,f为tof传感器红外光的调制频率,为各像素点的发射波与反射波之间的相位差。

根据匹配成功的目标物的矩阵阵列数据中二值化后值为1的像素点求目标物距离平均值为(请参照上述例1及图像二值化的内容,此处不再一一阐述):

其中,n为目标匹配成功矩阵阵列数据中二值化值为1的个数,di为个像素点的距离信息。

此外,还可以获取目标物相对于汽车的方位角度。更进一步地,还可以根据一定时间内目标物的距离的变化,获取目标物的速度大小。

步骤s104.当所述距离信息达到预设条件时,进行安全预警提示。

具体地,所述当所述距离信息达到预设条件时,进行安全预警提示的步骤中,包括:

确定所述距离信息达到预设条件;其中,所述预设条件包括:目标物距离汽车车身的距离阈值、目标物距离汽车车身一定距离内的速度阈值及目标物相对汽车正前方的方位中的至少一种;

获取当前汽车的行驶速度,根据所述行驶速度和所述距离信息,进行相应的安全预警提示;其中,所述安全预警提示的方式包括:将所述距离信息呈现于汽车的显示器上和/或语音播报所述距离信息。

例如,设定目标物进入汽车1米范围内时,进行安全预警提示。当目标物进行1米范围内时,向用户语音播报目标物相对于汽车车身的方位、其相对汽车车身的速度大小、与汽车车身的距离等。又或者,将目标物相对于汽车车身的方位、其相对汽车车身的速度大小、与汽车车身的距离呈现于汽车上的显示装置以观用户查看。

可以理解的是,本发明还可以结合汽车当前的行进速度,确定预设条件。例如,设定目标物进入汽车1米范围内,汽车的行驶速度小于30km/h时,进行安全预警提示。

如图2所示,本发明同时还提供了一种汽车安全预警装置的一种实施例。

所述汽车安全预警装置包括:调用模块101、识别模块102、获取模块103、提示模块104。

调用模块101,用于调用摄像模块,获取汽车预设范围内的2d全景图像和深度点云图像;

识别模块102,用于识别所述2d全景图像中的目标物;

获取模块103,用于根据识别出的所述目标物将所述2d全景图像和所述深度点云图像进行匹配识别,并在成功匹配识别后获取所述深度点云图像中的所述目标物距离汽车车身的距离信息;

提示模块104,用于当所述距离信息达到预设条件时,进行安全预警提示。

本发明的所述汽车安全预警装置通过调用摄像模块,获取汽车预设范围内的2d全景图像和深度点云图像,亦即获取了汽车预设范围内的2d全景图像,从而可以根据所述2d全景图像识别出目标物,避免遗漏。进一步地,识别所述2d全景图像中的目标物;通过获取所述深度点云图像中的所述目标物距离汽车车身的距离信息,从而确定实际上目标物距离汽车车身的距离信息,提高了准确性。最后,当所述距离信息达到预设条件时,进行安全预警提示。因此,本发明可以确定目标物距离车身的详细距离信息,并在达到预设条件时,进行安全预警提示,有利于驾驶员正确判断,给行车安全带来积极性的影响。

可以理解的是,本发明中的汽车安全预警装置对应于本发明中的汽车安全预警方法。上述汽车安全预警方法所列举的各种实施例及实施方式,均可通过汽车安全预警装置通过集成相关的模块或单元来实现。因此就不在对汽车安全预警方法当中的内容再进行一一列举,请知悉。

如图3,本发明还提供了另一种汽车安全预警装置的一种实施例。

所述汽车安全预警装置包括:

一个或多个处理器20;

存储器10;

一个或多个应用程序,其中所述一个或多个应用程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行;

所述一个或多个应用程序被配置为用于执行上述的汽车安全预警方法的步骤。

其中,存储器10可用于存储软件程序以及模块,处理器20通过运行存储在存储器10的软件程序以及模块,从而执行所述汽车安全预警装置的各种功能应用以及数据处理。存储器10可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序等;存储数据区可存储根据所述汽车安全预警装置的使用所创建的数据等。此外,存储器10可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

所述处理器20是所述汽车安全预警装置的控制中心,利用各种接口和线路连接整个所述服务器的各个部分,通过运行或执行存储在存储器10内的软件程序和/或模块,以及调用存储在存储器10内的数据,执行所述汽车安全预警装置的各种功能和处理数据,从而对所述汽车安全预警装置进行整体监控。可选的,处理器20可包括一个或多个处理单元;优选的,处理器20可集成应用处理器和调制解调处理器,其中,应用处理器主要处理操作系统、用户界面和应用程序等,调制解调处理器主要处理无线通信。可以理解的是,上述调制解调处理器也可以不集成到处理器20中。

此外,本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现上述的汽车安全预警方法的步骤。

以上所述仅是本发明的部分实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明原理的前提下,还可以做出若干改进和润饰,这些改进和润饰也应视为本发明的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1