静止物体的检测方法、装置及电子设备与流程

文档序号:16515140发布日期:2019-01-05 09:35阅读:373来源:国知局
静止物体的检测方法、装置及电子设备与流程

本发明实施例涉及数据处理技术领域,尤其涉及一种静止物体的检测方法、装置及电子设备。



背景技术:

静态地图是对物理空间内固定不变的物体的一种表达方式,其描述的是场景中静止不变的地物。在静态地图的生成中,不仅要剔除正在运动的动态地物,还要剔除当前正处于静止状态但可能在较短的时间内发生变化的动态地物(例如,当前静止的汽车、自动车等)。根据实际数据统计,所有静止地物中静止汽车占比超过75%,因此能否完整剔除静止车辆是评价静态地图质量的关键要素之一,同时也是无人车安全驾驶的重要一环。

已有的从静态地图点云数据中检测出静止车辆的方法为boundingbox(包围盒)检测法,具体是用有向包围盒标识车辆的大小和朝向。但是,已有的boundingbox检测法会将比车辆略大或略小的boundingbox作为正确识别,会造成漏检或者误检,导致静态地图无法反映真实的世界,准确性差。



技术实现要素:

本发明实施例提供一种静止物体的检测方法、装置及电子设备。

第一方面,本发明实施例提供一种静止物体的检测方法,包括:

获取场景的点云数据,以及所述点云数据中每个数据点的特征信息,其中,所述场景中包括背景和暂时处于静止状态的静止物体;

对所述点云数据中的各数据点进行三角网连接,生成三角网络模型,并使用预设的相机对所述三角网络模型进行拍照,获得图像,其中所述图像中每个像素点对应所述三角网络模型中的一个三角形;

获取所述图像中每个像素点对应的第一数据点,并根据每个第一数据点的特征信息,获得所述点云数据的特征图,其中,所述第一数据点为所述像素点对应的三角形的一个顶点上的数据点;

将所述特征图输入到分类模型中,获得所述点云数据中静止物体对应的数据点。

在第一方面的一种可能的实现方式中,所述数据点的特征信息包括所述数据点的强度信息、线性概率、面性概率、散乱概率、深度信息、最佳领域和所述最佳领域的法向量的竖直分量中的至少一种。

在第一方面的另一种可能的实现方式中,所述特征图包括第一特征图和第二特征图,所述根据每个第一数据点的特征信息,获得所述点云数据的特征图,包括:

根据每个所述第一数据点的强度信息、面性概率、散乱概率,生成所述点云数据的第一特征图;

根据每个所述第一数据点的最佳领域、深度信息和所述最佳领域的法向量的竖直分量,生成所述点云数据的第二特征图;

所述将所述特征图输入分类模型中,获得所述点云数据中的静止物体,包括:

将所述第一特征图和所述第二特征图输入分类模型中,获得所述点云数据中的静止物体。

在第一方面的另一种可能的实现方式中,所述将所述特征图输入分类模型中,获得所述点云数据中静止物体对应的数据点,包括:

将所述特征图输入分类模型中,获得所述图像中每个像素点的类别,所述类别包括背景或静止物体;

根据每个像素点的类别,确定每个像素点对应的数据点的类别;

根据数据点的类别和各数据点之间的距离,对所述点云数据中各数据点进行聚类,获得至少一个数据簇;

根据每个所述数据簇的形状和所包括的数据点数量,确定所述静止物体对应的数据点。

在第一方面的另一种可能的实现方式中,所述将所述特征图输入分类模型中,获得所述点云数据中静止物体对应的数据点,包括:

将所述特征图输入到snapnet分类模型中,获得所述图像中每个像素点的类别,其中所述snapnet分类模型为二分类网络模型,用于区分背景和静止物体。

在第一方面的另一种可能的实现方式中,所述根据每个所述数据簇的形状和所包括的数据点数量,确定所述静止物体对应的数据点之后,所述方法还包括:

对所述静止物体对应的数据点进行有向包围盒过滤,将所述静止物体对应的数据点包围在所述有向包围盒内。

在第一方面的另一种可能的实现方式中,所述获取所述点云数据中每个数据点的特征信息之前,所述方法包括:

对所述点云数据进行预处理,剔除所述场景中运动的地物,生成均匀分布的点云数据。

在第一方面的另一种可能的实现方式中,所述使用预设的相机对所述三角网络模型进行拍照之前,所述方法还包括:

根据预设的约束条件生成相机参数,所述约束条件包括相机的俯仰角大于或等于预设角度,以及生成的图像中有效像素占比高于预设值;

根据所述相机参数生成所述预设的相机。

在第一方面的另一种可能的实现方式中,所述特征信息包括最佳领域,则所述获取所述点云数据中每个数据点的特征信息,包括:

针对每个所述数据点,获取该数据点的所有领域,以及每个领域的线性概率、面性概率和散乱概率;

根据每个所述领域的线性概率、面性概率和散乱概率,确定每个所述领域的领域信息量;

将领域信息量最小的领域作为该数据点的最佳领域,将所述最佳领域的线性概率、面性概率和散乱概率分别作为该数据点的线性概率、面性概率和散乱概率。

第二方面,本发明实施例提供一种静止物体的检测装置,包括:

第一获取模块,用于获取场景的点云数据,以及所述点云数据中每个数据点的特征信息,其中,所述场景中包括背景和暂时处于静止状态的静止物体;

三角网络生成模块,用于对所述点云数据中的各数据点进行三角网连接,生成三角网络模型;

拍照模块,用于使用预设的相机对所述三角网络模型进行拍照,获得图像,其中所述图像中每个像素点对应所述三角网络模型中的一个三角形;

第二获取模块,用于获取所述图像中每个像素点对应的第一数据点,并根据每个第一数据点的特征信息,获得所述点云数据的特征图,其中,所述第一数据点为所述像素点对应的三角形的一个顶点上的数据点;

分类模块,用于将所述特征图输入到分类模型中,获得所述点云数据中静止物体对应的数据点。

在第二方面的一种可能的实现方式中,所述数据点的特征信息包括所述数据点的强度信息、线性概率、面性概率、散乱概率、深度信息、最佳领域和所述最佳领域的法向量的竖直分量中的至少一种。

在第二方面的另一种可能的实现方式中,所述特征图包括第一特征图和第二特征图,

所述第二获取模块,具体用于根据每个所述第一数据点的强度信息、面性概率、散乱概率,生成所述点云数据的第一特征图;根据每个所述第一数据点的最佳领域、深度信息和所述最佳领域的法向量的竖直分量,生成所述点云数据的第二特征图;

所述分类模块,具体用于将所述第一特征图和所述第二特征图输入分类模型中,获得所述点云数据中的静止物体。

在第二方面的另一种可能的实现方式中,所述分类模块包括:

分类单元,用于将所述特征图输入分类模型中,获得所述图像中每个像素点的类别,所述类别包括背景或静止物体;

第一确定单元,用于根据每个像素点的类别,确定每个像素点对应的数据点的类别;

聚类单元,用于根据数据点的类别和各数据点之间的距离,对所述点云数据中各数据点进行聚类,获得至少一个数据簇;

第二确定单元,用于根据每个所述数据簇的形状和所包括的数据点数量,确定所述静止物体对应的数据点。

在第二方面的另一种可能的实现方式中,所述分类模块具体用于将所述特征图输入到snapnet分类模型中,获得所述图像中每个像素点的类别,其中所述snapnet分类模型为二分类网络模型,用于区分背景和静止物体。

在第二方面的另一种可能的实现方式中,所述装置还包括:

过滤模块,用于对所述静止物体对应的数据点进行有向包围盒过滤,将所述静止物体对应的数据点包围在所述有向包围盒内。

在第二方面的另一种可能的实现方式中,所述装置还包括:

预处理模块,用于对所述点云数据进行预处理,剔除所述场景中运动的地物,生成均匀分布的点云数据。

在第二方面的另一种可能的实现方式中,所述装置还包括:

相机参数生成模块,用于根据预设的约束条件生成相机参数,所述约束条件包括相机的俯仰角大于或等于预设角度,以及生成的图像中有效像素占比高于预设值;

相机生成模块,用于根据所述相机参数生成所述预设的相机。

在第二方面的另一种可能的实现方式中,所述特征信息包括最佳领域,所述第一获取模块,具体用于针对每个所述数据点,获取该数据点的所有领域,以及每个领域的线性概率、面性概率和散乱概率;根据每个所述领域的线性概率、面性概率和散乱概率,确定每个所述领域的领域信息量;将领域信息量最小的领域作为该数据点的最佳领域,将所述最佳领域的线性概率、面性概率和散乱概率分别作为该数据点的线性概率、面性概率和散乱概率。

第三方面,本发明实施例提供一种检测设备,包括:

存储器,用于存储计算机程序;

处理器,用于执行所述计算机程序,以实现第一方面所述的静止物体的检测方法。

第四方面,本发明实施例提供一种计算机存储介质,所述存储介质中存储计算机程序,所述计算机程序用于执行第一方面所述的静止物体的检测方法。

本发明实施例提供的静止物体的检测方法、装置及电子设备,通过获取场景的点云数据,以及所述点云数据中每个数据点的特征信息,其中,所述场景中包括背景和暂时处于静止状态的静止物体;对所述点云数据中的各数据点进行三角网连接,生成三角网络模型,并使用预设的相机对所述三角网络模型进行拍照,获得图像,其中所述图像中每个像素点对应所述三角网络模型中的一个三角形;获取所述图像中每个像素点对应的第一数据点,并根据每个第一数据点的特征信息,获得所述点云数据的特征图;将所述特征图输入到分类模型中,获得所述点云数据中静止物体对应的数据点。即本实施例,通过获取场景的点云数据的特征图,将特征图作为分类模型的输入,实现对场景中静止物体的准确检测,提高了静止地图的生成精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的静止物体的检测方法的流程示意图;

图2为本发明实施例一涉及的相机的生成流程示意图;

图3为本实施例涉及的数据点的特征信息的一种确定方法流程图;

图4为本发明实施例二提供的静止物体的检测的流程示意图;

图5为本发明实施例三提供的静止物体的检测的流程示意图;

图6为本发明实施例一提供的静止物体的检测装置的结构示意图;

图7为本发明实施例二提供的静止物体的检测装置的结构示意图;

图8为本发明实施例三提供的静止物体的检测装置的结构示意图;

图9为本发明实施例四提供的静止物体的检测装置的结构示意图;

图10为本发明实施例五提供的静止物体的检测装置的结构示意图;

图11为本发明实施例提供的电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本实施例所述的静止物体为暂时处于静止状态的地物,例如车辆、自行车等。

本申请实施例的静止物体的检测方法,通过获取场景的点云数据中每个数据点的特征信息,并根据每个数据点的特征信息生成点云数据的特征图,将特征图作为输入,输入到预先训练好的分类模型中,获得点云数据中静止物体对应的数据点,进而实现对场景中静止物体的准确检测,提高了静止地图的准确确定。

下面以具体地实施例对本发明的技术方案进行详细说明。下面这几个具体的实施例可以相互结合,对于相同或相似的概念或过程可能在某些实施例不再赘述。

图1为本发明实施例一提供的静止物体的检测方法的流程示意图。该如图1所示,本实施例的方法可以包括:

s101、获取场景的点云数据,以及所述点云数据中每个数据点的特征信息,其中,所述场景中包括背景和暂时处于静止状态的静止物体。

本实施例的执行主体可以是具有数据处理和静止物体检测功能的静止物体的检测装置,本实施例的检测装置可以是电子设备的一部分,例如为电子设备的处理器。可选的本实施例的检测装置还可以是单独的电子设备。

本实施例的电子设备可以为用户设备(userequipment,ue)、移动台(mobilestation,ms)、移动终端(mobileterminal,mt)等,是一种向用户提供数据连通性的设备,例如,具有无线连接功能的手持式设备、车载设备等。目前,一些终端设备的举例为:手机(mobilephone)、平板电脑、笔记本电脑、掌上电脑、移动互联网设备(mobileinternetdevice,mid)、可穿戴设备(例如,智能眼镜、智能手表、智能手环等),虚拟现实(virtualreality,vr)设备、增强现实(augmentedreality,ar)设备、工业控制(industrialcontrol)中的无线终端、无人驾驶(selfdriving)中的无线终端、远程手术(remotemedicalsurgery)中的无线终端、智能电网(smartgrid)中的无线终端、运输安全(transportationsafety)中的无线终端、智慧城市(smartcity)中的无线终端、智慧家庭(smarthome)中的无线终端设备等。

可选的,本实施例的电子设备还具有地图生成功能,即本实施例的静止物体的检测方法可以静止地图的生成过程中进行。

本实施例以执行主体为电子设备,静止物体为车辆为例进行说明。

本实施例的场景中的地物包括背景、暂时处于静止状态的静止物体和处于运动状态的运动地物。对场景中各地物进行扫描,获得场景的点云数据。

本实施例中场景的点云数据可以是电子设备从其他设备上获得。

可选的,本实施例的电子设备具有扫描功能,对场景进行扫描,获得场景的点云数据。

扫描生成的原始点云数据包括每个数据点的intensity信息和深度信息,为了提高车辆提取的精度,加入一些其他的特征以凸显出车辆,例如加入数据点的边缘信息和面状信息等。

上述其他的特可以为人工提取的。

s102、对所述点云数据中的各数据点进行三角网连接,生成三角网络模型,并使用预设的相机对所述三角网络模型进行拍照,获得图像,其中所述图像中每个像素点对应所述三角网络模型中的一个三角形。

为了避免后续生成的图像中出现空洞或者不均匀的情况,首先需要将上述获得的场景的点云数据构建成三角网络模型。具体是,对点云数据中的各数据点进行三角网连接,生成三角网络模型,这样一个三角形对应3个数据点。对每个三角形进行标识,获得每个三角形的id所对应的数据点的id。

可选的,本实施例可以使用贪婪投影三角化算法,对对点云数据中的各数据点进行三角网连接,生成三角网络模型。

接着使用预设的相机对三角网络模进行拍照,可以生成三角网络模的图像。

本实施例中预设的相机是根据预设的相机参数确定的,例如,根据仰角大小和像素大小等相机参数确定的。

在本实施例的一种可能的实现方式中,上述s102中使用预设的相机对所述三角网络模型进行拍照之前,本实施例还包括:

s102a、根据预设的约束条件生成相机参数,所述约束条件包括相机的俯仰角大于或等于预设角度,以及生成的图像中有效像素占比高于预设值。

s102b、根据所述相机参数生成所述预设的相机。

具体是,根据实际需要预设约束条件,具体的约束条件包括相机的俯仰角大于或等于预设角度(例如60°),以及生成的图像中有效像素占比高于预设值(30%)。接着,根据上述预设的约束条件生成相机参数。

这样在实际使用时,根据该生成的相机参数和设定的图像大小(例如224*224),获得三角网络模型的一系列图像。

本实施例以一张图像为例进行说明,每个图像的处理过程相同,参照即可。

s103、获取所述图像中每个像素点对应的第一数据点,并根据每个第一数据点的特征信息,获得所述点云数据的特征图。

其中,所述第一数据点为所述像素点对应的三角形的一个顶点上的数据点。

根据上述步骤获得三角网络模型和该三角网络模型的图像,其中图像中的每个像素点对应三角网络模型中的一个三角形。这样可以获得每个像素点对应的三角形的id。而每个三角形id对应三个数据点的id。例如,像素点a对应三角形b,而三角形b对应数据点a1、数据点a2和数据点a3。这样,可以获得像素点a对应数据点a1、数据点a2和数据点a3。

为了方便计算,本实施例中设置一个像素点对应一个数据点,例如,将数据点a1、数据点a2和数据点a3中任意一个数据点作为像素点a所对应的第一像素点。可选的,根据逆时针(或顺时针)方向,将数据点a1、数据点a2和数据点a3中的第一数据点作为像素点a所对应的第一像素点。

根据上述方法,获得图像中每个像素点对应的第一数据点,获取各第一数据点的特征信息,将第一特征点的特征信息填充到对应的像素点上,获得点云数据的特征图。

需要说明的是,由上述可知,每一个数据点包括多个特征,这样,不同的特征组成可以生成不同的特征图。这样,本实施例生成的特征图可以为一个也可以为多个。

s104、将所述特征图输入到分类模型中,获得所述点云数据中静止物体对应的数据点。

根据上述步骤获得点云数据的特征图,将该特征图输入到预先训练好的分类模型中,对图像中每个像素点进行分类,获得每个像素点的类别背景还是为静止物体。

接着,根据像素点与数据点的对应关系,可以确定点云数据中静止物体对应的数据点。例如,将类别为静止物体的像素点对应的数据点,将这些数据点作为静止物体对应的数据点。

本实施例所使用的分类模型可以为任一可以进行分别的模型。

在本实施例的一种可能的实现方式中,上述s104具体可以包括:

s104a、将所述特征图输入到snapnet分类模型中,获得所述图像中每个像素点的类别,其中所述snapnet分类模型为二分类网络模型,用于区分背景和静止物体。

本实施例的分类模型为snapnet分类模型,如图2所示,snapnet网络结构,包括两个单元(unet)组成,每个unet构成一个单独的基于图像的semanticsegmentation网络。在训练时,两个网络单独分别进行训练,训练完成后两个网络在最后一个卷积层被截断,重新构建一个residualnet并单独训练,测试过程则根据三个网络的结果进行投票,得到最终的分类结果。

由上述可知,本实施例的snapnet分类模型为二分类网络模型,用于区分背景和静止物体,进而实现对场景中车辆等静止物体的准确识别。

本发明实施例提供的静止物体的检测方法,通过获取场景的点云数据,以及所述点云数据中每个数据点的特征信息,其中,所述场景中包括背景和暂时处于静止状态的静止物体;对所述点云数据中的各数据点进行三角网连接,生成三角网络模型,并使用预设的相机对所述三角网络模型进行拍照,获得图像,其中所述图像中每个像素点对应所述三角网络模型中的一个三角形;获取所述图像中每个像素点对应的第一数据点,并根据每个第一数据点的特征信息,获得所述点云数据的特征图;将所述特征图输入到分类模型中,获得所述点云数据中静止物体对应的数据点。即本实施例,通过获取场景的点云数据的特征图,将特征图作为分类模型的输入,实现对场景中静止物体的准确检测,提高了静止地图的生成精度。

在本实施例的一种可能的实现方式中,为了降低数据处理的数据量,则本实施例在上述s101之前,还包括:

s100、对所述点云数据进行预处理,剔除所述场景中运动的地物,生成均匀分布的点云数据。

具体的,对点云数据进行预处理,包括单帧点云融合、动态地物滤除等操作,进而获得均匀分布的点云数据,并且将场景中正在运动的地物进行了剔除,大幅减少了数据量,提高了后续分类的效率和准确性。

在本实施例的一种可能的实现方式中,本实施例的数据点的特征信息包括所述数据点的强度(intensity)信息、线性概率、面性概率、散乱概率、深度信息、最佳领域和所述最佳领域的法向量的竖直分量中的至少一种。

其中,数据点的intensity信息和深度信息在扫描过程中可以获得,下面对数据点的其他的特征信息进行详细说明。

图3为本实施例涉及的数据点的特征信息的一种确定方法流程图。如图3所示,当本实施例的特征信息包括最佳领域,则所述s101中获取所述点云数据中每个数据点的特征信息,可以包括:

s201、针对每个所述数据点,获取该数据点的所有领域,以及每个领域的线性概率、面性概率和散乱概率;

s202、根据每个所述领域的线性概率、面性概率和散乱概率,确定每个所述领域的领域信息量;

s203、将领域信息量最小的领域作为该数据点的最佳领域,将所述最佳领域的线性概率、面性概率和散乱概率分别作为该数据点的线性概率、面性概率和散乱概率。

具体的,以数据点pi(xi,yi,zi)为例,其他数据点参照即可。首先求取数据点pi的最佳邻域,使用协方差矩阵(1)对点云的邻域信息进行描述:

上式中xj(j=1,2…k)表示pi的k邻域,为邻域重心,对m进行分解可以得到三个特征向量(δ1>δ2>δ3),这三个特征向量分别表示在三个主方向上的拟合残差。以这三个特征向量进行组合可以得到:

式(2)可描述数据点属于线性、面性以及散乱的概率,即pline为数据点pi的线性概率,pplane为数据点pi的面性概率,pnoise为数据点pi的散乱概率。

根据信息熵理论,邻域信息量可表述为:

ef=-pline*log(pline)-pplane*log(pplane)-pnoise*log(pnoise)(3)

若点的局部邻域发生变化,相应的ef也会发生变化,根据信息熵理论,ef越大邻域信息越复杂,反之ef越小,邻域信息越简单。对于点云数据而言,期望找到的是信息最简单的邻域,此时最能描述出该数据点的实际形态,因此最佳邻域通过以下方式进行选取:

ropt=argri∈[rmin,rmax]minef(ri)(4)

选定最佳邻域后,提取最佳邻域下的pnoise,pplane,ropt,以及该最佳邻域的法向量的竖直方向分量normal_z。

参照上述步骤,可以获得每个数据点的特征信息。

图4为本发明实施例二提供的静止物体的检测的流程示意图。在上述实施例的基础上,如图4所示,本实施例的特征图为两张,分别为第一特征图和第二特征图。此时上述s103中根据每个第一数据点的特征信息,获得所述点云数据的特征图可以包括:

s301、根据每个所述第一数据点的强度信息、面性概率、散乱概率,生成所述点云数据的第一特征图。

s302、根据每个所述第一数据点的最佳领域、深度信息和所述最佳领域的法向量的竖直分量,生成所述点云数据的第二特征图。

具体的,本实施例的每个第一数据点的特征信息包括强度信息、面性概率、散乱概率、最佳领域、深度信息和最佳领域的法向量的竖直分量。

这样,可以根据每个所述第一数据点的最佳领域、深度信息和所述最佳领域的法向量的竖直分量,生成所述点云数据的第二特征图。根据每个所述第一数据点的最佳领域、深度信息和所述最佳领域的法向量的竖直分量,生成所述点云数据的第二特征图。

此时,上述s104可以使用下列的s303替换。

s303、将所述第一特征图和所述第二特征图输入分类模型中,获得所述点云数据中的静止物体。

如图2所示,本实施例的snapnet分类模型第一单元和第二单元,将第一特征图作为第一单元的输入,获得第一单元的第一分类结果。将第二特征图作为第二单元的输入,获得第二单元的第二分类结果。然后将第一单元和第二单元的输入作为residualnet的输入,获得residualnet的第三分类结果。

接着,根据第一分类结果、第二分类结果和第三分类结果,获得图像中各像素点的分类,划分为背景和静止物体(例如车辆)。即本实施例通过三个网络投票的方式确定像素点的类别,提高了分类的准确性。

最后实现对图像中各像素点的准确分类,划分为背景和静止物体(例如车辆)。

本发明实施例提供的静止物体的检测方法,通过根据每个第一数据点的强度信息、面性概率、散乱概率,生成点云数据的第一特征图;根据每个第一数据点的最佳领域、深度信息和所述最佳领域的法向量的竖直分量,生成点云数据的第二特征图,将第一特征图和第二特征图输入分类模型中,准确获得点云数据中的静止物体。

图5为本发明实施例三提供的静止物体的检测的流程示意图。在上述实施例的基础上,本实施例涉及的是将所述特征图输入分类模型中,获得所述点云数据中静止物体对应的数据点的具体过程。如图5所示,上述s104可以包括:

s401、将所述特征图输入分类模型中,获得所述图像中每个像素点的类别,所述类别包括背景或静止物体。

具体的,本实施例将特征图输入到分类模型中,可以获得图像中每个像素点的类别,即获得图像中的像素点的类别为背景还是为静止物体。

s402、根据每个像素点的类别,确定每个像素点对应的数据点的类别。

由上述可知,图像中每个像素点对应一个第一数据点,这样将像素点的类别作为该像素点对应的第一数据点的类别。这样,根据反映射,可以获得点云数据中每个数据点的类别。

s403、根据数据点的类别和各数据点之间的距离,对所述点云数据中各数据点进行聚类,获得至少一个数据簇。

接着,根据数据点的类别和各数据点之间的距离,将类别相同且距离满足预设值的数据点聚为一类,获得点云数据的至少一个数据簇。

具体的聚类过程可以根据以下算法流程实现:

通过上述流程,车辆对应的数据点聚集成一个个独立的数据簇cluster。

s404、根据每个所述数据簇的形状和所包括的数据点数量,确定所述静止物体对应的数据点。

具体的,根据上述步骤,将点云数据对应的数据点划分成不同的数据簇,这样根据每个cluster的形状和该cluster包括的数量点的数量,判断数据簇是否真正属于车辆的数据点。若是,则将数据簇中的数据点作为车辆的数据点,若否,则该数据簇中的各数据点的类别设置为背景。

即本实施例通过对点云数据进行聚类处理,根据聚类后数据簇的形状和数据量,对静止物体对应的数据点的类别进一步检测,进而提高了对静止物体对应的数据点的准确确定

本实施例中,在上述s404之后,还包括:

s405、对所述静止物体对应的数据点进行有向包围盒过滤,将所述静止物体对应的数据点包围在所述有向包围盒内。

具体是,对上述静止物体(例如车辆)对应的cluster求取有向包围盒,有向包围盒是能够包裹地物的最小长方体,一般默认地面水平的情况下,求有向包围盒实际上是在二维平面方向上求有向包围长方形。

其求取流程如下:首先,设置一个主轴,按照一定角度步长转动主轴,将cluster中的所有数据点投影至主轴上并获取在主轴上的投影长度。选择最小长度的主轴方向作为有向包围盒的短轴方向,同时长轴方向则与短轴方向垂直。根据cluster中的所有数据点计算出在长轴方向上的投影长度,至此,有效包围盒求取完成。有向包围盒最大限度框出了车辆的范围。

此时,可以将有向包围盒内的所有数据点的类别均设置为静止物体,实现对背景中静止物体的准确检测。

本实施例的boundingbox是在分类完成后回归出来了,相对于通过网络回归的灵活性更高,iou精度也更高

本发明实施例提供的静止物体的检测方法,通过将特征图输入分类模型中,获得图像中每个像素点的类别,所述类别包括背景或静止物体;根据每个像素点的类别,确定每个像素点对应的数据点的类别;根据数据点的类别和各数据点之间的距离,对点云数据中各数据点进行聚类,获得至少一个数据簇;根据每个数据簇的形状和所包括的数据点数量,确定静止物体对应的数据点,最后对静止物体对应的数据点进行有向包围盒过滤,将静止物体对应的数据点包围在有向包围盒内。即本实施例通过对点云数据进行聚类处理,根据聚类后数据簇的形状和数据量,对静止物体对应的数据点的类别进一步检测,进而提高了对静止物体对应的数据点的准确确定。

图6为本发明实施例一提供的静止物体的检测装置的结构示意图。如图5所示,本实施例的静止物体的检测装置100可以包括:

第一获取模块110,用于获取场景的点云数据,以及所述点云数据中每个数据点的特征信息,其中,所述场景中包括背景和暂时处于静止状态的静止物体;

三角网络生成模块120,用于对所述点云数据中的各数据点进行三角网连接,生成三角网络模型;

拍照模块130,用于使用预设的相机对所述三角网络模型进行拍照,获得图像,其中所述图像中每个像素点对应所述三角网络模型中的一个三角形;

第二获取模块140,用于获取所述图像中每个像素点对应的第一数据点,并根据每个第一数据点的特征信息,获得所述点云数据的特征图,其中,所述第一数据点为所述像素点对应的三角形的一个顶点上的数据点;

分类模块150,用于将所述特征图输入到分类模型中,获得所述点云数据中静止物体对应的数据点。

本发明实施例的静止物体的检测装置,可以用于执行上述所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。

在本实施例的一种可能的实现方式中,所述数据点的特征信息包括所述数据点的强度信息、线性概率、面性概率、散乱概率、深度信息、最佳领域和所述最佳领域的法向量的竖直分量中的至少一种。

在本实施例的另一种可能的实现方式中,所述特征图包括第一特征图和第二特征图,

所述第二获取模块140,具体用于根据每个所述第一数据点的强度信息、面性概率、散乱概率,生成所述点云数据的第一特征图;根据每个所述第一数据点的最佳领域、深度信息和所述最佳领域的法向量的竖直分量,生成所述点云数据的第二特征图;

所述分类模块150,具体用于将所述第一特征图和所述第二特征图输入分类模型中,获得所述点云数据中的静止物体。

在本实施例的另一种可能的实现方式中,所述分类模块150具体用于将所述特征图输入到snapnet分类模型中,获得所述图像中每个像素点的类别,其中所述snapnet分类模型为二分类网络模型,用于区分背景和静止物体。

图7为本发明实施例二提供的静止物体的检测装置的结构示意图,在上述实施例的基础上,如图7所示,所述分类模块150包括:

分类单元151,用于将所述特征图输入分类模型中,获得所述图像中每个像素点的类别,所述类别包括背景或静止物体;

第一确定单元152,用于根据每个像素点的类别,确定每个像素点对应的数据点的类别;

聚类单元153,用于根据数据点的类别和各数据点之间的距离,对所述点云数据中各数据点进行聚类,获得至少一个数据簇;

第二确定单元154,用于根据每个所述数据簇的形状和所包括的数据点数量,确定所述静止物体对应的数据点。

本发明实施例的静止物体的检测装置,可以用于执行上述所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。

图8为本发明实施例三提供的静止物体的检测装置的结构示意图,在上述实施例的基础上,如图8所示,所述装置包括:

过滤模块160,用于对所述静止物体对应的数据点进行有向包围盒过滤,将所述静止物体对应的数据点包围在所述有向包围盒内。

本发明实施例的静止物体的检测装置,可以用于执行上述所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。

图9为本发明实施例四提供的静止物体的检测装置的结构示意图,在上述实施例的基础上,如图9所示,所述装置包括:

预处理模块170,用于对所述点云数据进行预处理,剔除所述场景中运动的地物,生成均匀分布的点云数据。

图10为本发明实施例五提供的静止物体的检测装置的结构示意图,在上述实施例的基础上,如图10所示,所述装置包括:

相机参数生成模块180,用于根据预设的约束条件生成相机参数,所述约束条件包括相机的俯仰角大于或等于预设角度,以及生成的图像中有效像素占比高于预设值;

相机生成模块190,用于根据所述相机参数生成所述预设的相机。

在本实施例的一种可能的实现方式中,所述特征信息包括最佳领域,所述第一获取模块110,具体用于针对每个所述数据点,获取该数据点的所有领域,以及每个领域的线性概率、面性概率和散乱概率;根据每个所述领域的线性概率、面性概率和散乱概率,确定每个所述领域的领域信息量;将领域信息量最小的领域作为该数据点的最佳领域,将所述最佳领域的线性概率、面性概率和散乱概率分别作为该数据点的线性概率、面性概率和散乱概率。

本发明实施例的静止物体的检测装置,可以用于执行上述所示方法实施例的技术方案,其实现原理和技术效果类似,此处不再赘述。

图11为本发明实施例提供的电子设备的结构示意图,如图11所示,本实施例的电子设备200包括:

存储器220,用于存储计算机程序;

处理器230,用于执行所述计算机程序,以实现上述静止物体的检测方法,其实现原理和技术效果类似,此处不再赘述。

进一步的,当本发明实施例中静止物体的检测方法的至少一部分功能通过软件实现时,本发明实施例还提供一种计算机存储介质,计算机存储介质用于储存为上述对静止物体的检测的计算机软件指令,当其在计算机上运行时,使得计算机可以执行上述方法实施例中各种可能的静止物体的检测方法。在计算机上加载和执行所述计算机执行指令时,可全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机指令可以存储在计算机存储介质中,或者从一个计算机存储介质向另一个计算机存储介质传输,所述传输可以通过无线(例如蜂窝通信、红外、短距离无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如ssd)等。

最后应说明的是:以上各实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述各实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分或者全部技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1