基于点云数据的车辆轮廓检测方法和装置与流程

文档序号:11591604阅读:389来源:国知局

本申请涉及计算机技术领域,具体涉及车辆检测技术领域,尤其涉及基于点云数据的车辆轮廓检测方法和装置。



背景技术:

随着经济的发展和生活水平的提高,汽车作为不可或缺的通勤工具,逐步进入了千家万户。然而,随之而来的驾驶安全问题却像挥之不去的乌云一般遮挡着幸福生活的晴空。我国2010年交通事故死亡人数,公安部数据65,225人,who模型估计275,983人,相当于每天一次重大空难。因交通事故导致的全球伤亡人数相当于每年有13次911大灾难。

在科学技术发达的现代社会,人们显然不会容忍灾难的接连发生。对安全驾驶的愿景得到了社会的一致认可,在政府和市场的推动下,汽车安全技术的繁荣到来了。从广义的分类来讲,汽车安全技术可分为被动安全(passivesafety)和主动安全(activesafety)两大类。被动安全指碰撞发生以后如何将损失降低到最低的技术,主要在于汽车结构、安全带、夹层式风挡玻璃、折叠式转向柱、安全气囊等设计,但由于其碰撞后才触发被动保护的机制,导致其规避事故的数量受限。主动安全指提前预警从而规避碰撞的技术,主要在于驾驶员周围环境的感知、理解、决策和控制,如车道偏离报警(lanedeparturewarning,ldw)。相比之下,主动安全以其预先性及与车辆设计弱相关等优点,得到了广泛的研究,并以辅助驾驶系统(advanceddriverassistancesystem,adas)的产品形态面对大众。

车辆检测技术是主动安全的关键技术支撑之一。现有技术方案大多采用单一视觉技术,通过匹配图像中特征的方法来检测车辆,并不能准确提供被检测车辆的空间位置和姿态。也存在一些利用激光点云作为输入的技术方案,通过形状和点云疏密程度等特征进行聚类而后检测车辆,此类方法多需要大量手工调节,对场景变化适应性较差。



技术实现要素:

本申请的目的在于提出一种改进的基于点云数据的车辆轮廓检测方法和装置,来解决以上背景技术部分提到的技术问题。

第一方面,本申请提供了一种基于点云数据的车辆轮廓检测方法,包括:获取待训练点云数据;响应于对待训练点云数据中的各点的标注,生成与待训练点云数据中的各点对应的标签数据,其中,标注用于指示各待训练点云数据中的各点是否属于车辆轮廓;基于待训练点云数据中的各点和与待训练点云数据中的各点对应的标签数据训练全卷积神经网络模型,以得到车辆检测模型;以及获取待检测点云数据,并基于车辆检测模型,得到与待检测点云数据中的各待检测点对应的检测结果。

在一些实施例中,获取待训练点云数据包括:将点云数据采集设备采集的待训练三维数据映射生成待训练深度图,待训练深度图中的各像素点的数值为与待训练三维数据一一对应的待训练点云数据中的各点。

在一些实施例中,各待训练三维数据d(x,y,z)为以点云数据采集设备为原点,以竖直向上方向为z轴,以水平面内任意垂直的二轴分别为x轴和y轴的坐标系中的坐标值;待训练深度图中的各像素点的坐标为(r,c),各像素点的数值为(d,z);其中:

θ=atan2(y,x)

θ为各待训练三维数据d和原点之间的连线与第一平面之间的夹角,δθ为点云数据采集设备的水平分辨率,第一平面为y轴、z轴组成的平面;φ为各待训练三维数据d和原点之间的连线与第二平面之间的夹角,δφ为点云数据采集设备的垂直分辨率,第二平面为x轴、y轴组成的平面。

在一些实施例中,响应于对待训练点云数据中的各点的标注,生成与待训练点云数据中的各点对应的标签数据包括:若待训练点云数据中的点属于车辆轮廓,则将该属于车辆轮廓的点变换生成26通道的二维标签数据,其中,26通道中的第一通道的数值为1,第二通道的数值为0,26通道中的第3~24通道分别为车辆所在的三维立方体各顶点的各坐标相对于待训练点云数据中属于车辆轮廓的各点的各三维坐标的旋转向量;若待训练点云数据中的点不属于车辆轮廓,则将该不属于车辆轮廓的点变换生成2通道的二维标签数据,其中,2通道中的第一通道的数值为0,第二通道的数值为1。

在一些实施例中,车辆所在的三维立方体各顶点的各坐标相对于点云数据中属于车辆轮廓的各点的各三维坐标的旋转向量(x’p,y’p,z’p)为:

其中,r为点云数据中属于车辆轮廓的任意一点p(xi,yi,zi)的旋转矩阵,且有:

r=rzi(θi)ryi(φi);

θi=atan2(yi,xi)

在一些实施例中,基于待训练点云数据和与待训练点云数据对应的标签数据训练全卷积神经网络模型,以得到车辆检测模型包括:初始化全卷积神经网络的参数;基于损失函数调节全卷积神经网络的参数,其中,损失函数为与当前输出和与待训练点云数据对应的标签数据之间的偏差,当前输出为与当前待训练点云数据以及全卷积神经网络的当前参数对应的全卷积神经网络的输出;若损失函数为最小值,则输出与损失函数对应的参数作为车辆检测模型的参数;否则,重复执行基于损失函数调节全卷积神经网络的参数的步骤。

在一些实施例中,获取待检测点云数据,并基于车辆检测模型,得到与待检测点云数据中的各待检测点对应的检测结果包括:将点云数据采集设备采集的待检测三维数据映射生成待检测深度图,待检测深度图中的各像素点的数值为与待检测三维数据一一对应的待检测点云数据中的各待检测点;基于车辆检测模型,获取待检测点云数据中,各待检测点的预测结果,其中,预测结果包括待检测点属于车辆轮廓的概率;以及若待检测点属于车辆轮廓的概率大于预设阈值,确定待检测点属于车辆轮廓。

在一些实施例中,预测结果还包括待检测点的位置信息;获取待检测点云数据,并基于车辆检测模型,得到与待检测点云数据中的各待检测点对应的检测结果还包括:获取待检测点云数据中,属于车辆轮廓的概率大于预设阈值的第一待检测点形成第一待检测点集合;基于第一待检测点集合中的各待检测点的位置信息,生成与待检测点云数据对应的车辆空间位置信息。

第二方面,本申请还提供了一种基于点云数据的车辆轮廓检测装置,包括:获取模块,配置用于获取待训练点云数据;标签数据生成模块,配置用于响应于对待训练点云数据中的各点的标注,生成与待训练点云数据中的各点对应的标签数据,其中,标注用于指示各待训练点云数据中的各点是否属于车辆轮廓;训练模块,配置用于基于待训练点云数据中的各点和与待训练点云数据中的各点对应的标签数据训练全卷积神经网络模型,以得到车辆检测模型;以及检测模块,配置用于获取待检测点云数据,并基于车辆检测模型,得到与待检测点云数据中的各待检测点对应的检测结果。

在一些实施例中,获取模块进一步配置用于:将点云数据采集设备采集的待训练三维数据映射生成待训练深度图,待训练深度图中的各像素点的数值为与待训练三维数据一一对应的待训练点云数据中的各点。

在一些实施例中,各待训练三维数据d(x,y,z)为以点云数据采集设备为原点,以竖直向上方向为z轴,以水平面内任意垂直的二轴分别为x轴和y轴的坐标系中的坐标值;待训练深度图中的各像素点的坐标为(r,c),各像素点的数值为(d,z);其中:

θ=atan2(y,x)

θ为各待训练三维数据d和原点之间的连线与第一平面之间的夹角,δθ为点云数据采集设备的水平分辨率,第一平面为y轴、z轴组成的平面;φ为各待训练三维数据d和原点之间的连线与第二平面之间的夹角,δφ为点云数据采集设备的垂直分辨率,第二平面为x轴、y轴组成的平面。

在一些实施例中,标签数据生成模块进一步配置用于:若待训练点云数据中的点属于车辆轮廓,则将该属于车辆轮廓的点变换生成26通道的二维标签数据,其中,26通道中的第一通道的数值为1,第二通道的数值为0,26通道中的第3~24通道分别为车辆所在的三维立方体各顶点的各坐标相对于待训练点云数据中属于车辆轮廓的各点的各三维坐标的旋转向量;若待训练点云数据中的点不属于车辆轮廓,则将该不属于车辆轮廓的点变换生成2通道的二维标签数据,其中,2通道中的第一通道的数值为0,第二通道的数值为1。

在一些实施例中,车辆所在的三维立方体各顶点的各坐标相对于点云数据中属于车辆轮廓的各点的各三维坐标的旋转向量(x’p,y’p,z’p)为:

其中,r为点云数据中属于车辆轮廓的任意一点p(xi,yi,zi)的旋转矩阵,且有:

r=rzi(θi)ryi(φi);

θi=atan2(yi,xi)

在一些实施例中,训练模块进一步配置用于:初始化全卷积神经网络的参数;基于损失函数调节全卷积神经网络的参数,其中,损失函数为与当前输出和与待训练点云数据对应的标签数据之间的偏差,当前输出为与当前待训练点云数据以及全卷积神经网络的当前参数对应的全卷积神经网络的输出;若损失函数为最小值,则输出与损失函数对应的参数作为车辆检测模型的参数;否则,重复执行基于损失函数调节全卷积神经网络的参数的步骤。

在一些实施例中,检测模块进一步配置用于:将点云数据采集设备采集的待检测三维数据映射生成待检测深度图,待检测深度图中的各像素点的数值为与待检测三维数据一一对应的待检测点云数据中的各待检测点;基于车辆检测模型,获取待检测点云数据中,各待检测点的预测结果,其中,预测结果包括待检测点属于车辆轮廓的概率;以及若待检测点属于车辆轮廓的概率大于预设阈值,确定待检测点属于车辆轮廓。

在一些实施例中,预测结果还包括待检测点的位置信息;检测模块还配置用于:获取待检测点云数据中,属于车辆轮廓的概率大于预设阈值的第一待检测点形成第一待检测点集合;基于第一待检测点集合中的各待检测点的位置信息,生成与待检测点云数据对应的车辆空间位置信息。

本申请提供的基于点云数据的车辆轮廓检测方法和装置,通过点云数据采集设备采集的点云数据和对这些点云数据的标注来训练全卷积神经网络模型,得到适宜于车辆轮廓检测的车辆检测模型,用该车辆检测模型来判断点云数据中是否包含车辆轮廓,避免了采用传统二维图像检测车辆轮廓时,由于车辆的二维尺度变化给检测带来的难度和检测误差。

此外,在一些实施例中,本申请的方案可以在检测车辆轮廓的同时直接得到车辆的空间位置信息,方便驾驶车辆进行自动驾驶的路径规划和控制。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显:

图1是本申请可以应用于其中的示例性系统架构图;

图2是根据本申请的基于点云数据的车辆轮廓检测方法的一个实施例的流程图;

图3是图2中,基于待训练点云数据中的各点和与待训练点云数据中的各点对应的标签数据训练全卷积神经网络模型,以得到车辆检测模型的一个可选的实现方式的示意性流程图;

图4是图2中,获取待检测点云数据,并基于车辆检测模型,得到与待检测点云数据中的各待检测点对应的检测结果的一个可选的实现方式的示意性流程图;

图5是根据本申请的基于点云数据的车辆轮廓检测装置的一个实施例的结构示意图;

图6是适于用来实现本申请实施例的终端设备或服务器的计算机系统的结构示意图。

具体实施方式

下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释相关发明,而非对该发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与有关发明相关的部分。

需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

图1示出了可以应用本申请的基于点云数据的车辆轮廓检测方法或基于点云数据的车辆轮廓检测装置的实施例的示例性系统架构100。

如图1所示,系统架构100可以包括终端设备101、102、103,网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。

用户可以使用终端设备101、102、103通过网络104与服务器105交互,以接收或发送消息等。

在一些应用场景中,终端设备101、102、103可以是具备采集点云数据功能的任意电子设备。例如,终端设备101、102、103可以是三维激光扫描仪。

或者,在另一些应用场景中,终端设备101、102、103可以与点云数据采集设备进行数据通信,以获取点云数据采集设备采集的点云数据。例如,终端设备101、102、103可以是各种电子设备,包括但不限于智能手机、平板电脑、电子书阅读器、mp3播放器(movingpictureexpertsgroupaudiolayeriii,动态影像专家压缩标准音频层面3)、mp4(movingpictureexpertsgroupaudiolayeriv,动态影像专家压缩标准音频层面4)播放器、膝上型便携计算机和台式计算机等等。

服务器105可以是提供各种服务的服务器,例如对终端设备101、102、103获取的点云数据进行处理和分析的后台服务器。后台服务器可以对接收到的点云数据进行分析等处理,并将处理结果(例如点云数据中是否包括车辆轮廓)反馈给终端设备。

需要说明的是,本申请实施例所提供的基于点云数据车辆轮廓检测方法既可以由服务器105执行也可以由终端设备101、102、103执行。相应地,基于点云数据车辆轮廓检测装置既可以设置于服务器105中,也可以设置于终端设备101、102、103中。

应该理解,图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要,可以具有任意数目的终端设备、网络和服务器。

继续参考图2,示出了根据本申请的基于点云数据的车辆轮廓检测方法的一个实施例的流程200。所述的基于点云数据的车辆轮廓检测方法,包括以下步骤:

步骤210,获取待训练点云数据。

在本实施例中,基于点云数据的车辆轮廓检测方法运行于其上的电子设备(例如图1所示的服务器或终端设备)可以通过有线连接方式或者无线连接方式从具备采集点云数据的能力的设备获取点云数据。需要指出的是,上述无线连接方式可以包括但不限于3g/4g连接、wifi连接、蓝牙连接、wimax连接、zigbee连接、uwb(ultrawideband)连接、以及其他现在已知或将来开发的无线连接方式。

点云,是利用激光在同一空间参考系下获取物体表面每个采样点的空间坐标,得到的是一系列表达目标空间分布和目标表面特性的海量点的集合。也即是说,与相机拍摄的一副图片类似,每一个点云可以与某一个场景画面相对应。此外,点云可以反映出该场景画面中,各物体的三维模型及线、面、体等各种信息。

步骤220,响应于对待训练点云数据中的各点的标注,生成与待训练点云数据中的各点对应的标签数据,其中,标注可用于指示各待训练点云数据中的各点是否属于车辆轮廓。

在一些可选的实现方式中,可以通过人工辅助的方式,来对待训练点云数据中的各点进行标注,以指示该待训练点云数据中的各个点是否属于车辆轮廓。

由于标注用于指示各待训练点云数据中的各点是否属于车辆轮廓,基于标注生成的标签数据中,也包含了是否属于车辆轮廓的信息。

步骤230,基于待训练点云数据中的各点和与待训练点云数据中的各点对应的标签数据训练全卷积神经网络模型,以得到车辆检测模型。

一般地,卷积神经网络(convolutionalneuralnetworks,cnn)模型的基本结构包括两层,其一为特征提取层,每个神经元的输入与前一层的局部接受域相连,并提取该局部的特征。一旦该局部特征被提取后,它与其它特征间的位置关系也随之确定下来;其二是特征映射层,网络的每个计算层由多个特征映射组成,每个特征映射是一个平面,平面上所有神经元的权值相等。

在一些可选的实现方式中,可以将待训练点云数据输入cnn模型中,并基于cnn模型的输出和与待训练点云数据对应的标签数据之间的偏差来迭代地调整cnn模型的参数,以使训练后的cnn模型的输出和与待训练点云数据对应的标签数据之间的偏差最小。

步骤240,获取待检测点云数据,并基于车辆检测模型,得到与待检测点云数据中的各待检测点对应的检测结果。

通过如上的步骤210~步骤240,可以得到车辆检测模型。在本步骤240中,将待检测点云数据中的各待检测点输入到车辆检测模型中,可以检测出该待检测点云数据中是否包含车辆轮廓。由于本实施例的基于点云数据的车辆轮廓检测方法用三维的点云数据作为检测依据,可避免传统二维图像检测车辆轮廓时,由于车辆的二维尺度变化给检测带来的难度和检测误差。

在一些可选的实现方式中,步骤210的获取待训练点云数据可以进一步包括:

步骤211,将点云数据采集设备采集的待训练三维数据映射生成待训练深度图,待训练深度图中的各像素点的数值为与待训练三维数据一一对应的待训练点云数据中的各点。

在这些可选的实现方式的一些应用场景中,各待训练三维数据d(x,y,z)可以是以点云数据采集设备为原点,以竖直向上方向为z轴,以水平面内任意垂直的二轴分别为x轴和y轴的坐标系中的坐标值。而基于待训练三维数据d获得的待训练深度图中,待训练深度图中的各像素点的坐标为(r,c),各像素点的数值为(d,z)。

其中:

也即是说,该深度图中,第r行第c列的位置的数值为(d,z)。

θ为各待训练三维数据d和原点之间的连线与第一平面之间的夹角,δθ为点云数据采集设备的水平分辨率,第一平面为y轴、z轴组成的平面。也即是说,θ可以视为各待训练三维数据d相对于竖直平面的“偏航角”。

φ为各待训练三维数据d和原点之间的连线与第二平面之间的夹角,δφ为点云数据采集设备的垂直分辨率,第二平面为x轴、y轴组成的平面。也即是说,φ可以视为各待训练三维数据d相对于水平面的“俯仰角”。

此外,atan2(y,x)的含义是,以坐标原点为起点并指向(x,y)点的射线在x轴和y轴组成的坐标平面上,与x轴正方向之间的夹角的角度。

在一些可选的实现方式中,步骤220的响应于对待训练点云数据集合中的各待训练点云数据的标注,生成与待训练点云数据中的各点对应的标签数据可以包括:

步骤221,若待训练点云数据中的点属于车辆轮廓,则将该属于车辆轮廓的点变换生成26通道的二维标签数据,其中,26通道中的第一通道的数值为1,第二通道的数值为0,26通道中的第3~24通道分别为车辆所在的三维立方体各顶点的各坐标相对于待训练点云数据中属于车辆轮廓的各点的各三维坐标的旋转向量。

步骤222,若待训练点云数据中的点不属于车辆轮廓,则将该不属于车辆轮廓的点变换生成2通道的二维标签数据,其中,2通道中的第一通道的数值为0,第二通道的数值为1。

也即是说,无论待训练点云数据中的某一点是否属于车辆轮廓,其得到的二维标签数据中,第一通道的数值可以用于表征该点属于车辆轮廓的概率,而第二通道的数值可以用于表征该点不属于车辆轮廓的概率。显然,第一通道的数值和第二通道的数值均为非负数,且第一通道的数值和第二通道的数值之和为1。

在这些可选的实现方式的一些应用场景中,待训练点云数据中可能包括某些不能明确地确定是否属于车辆轮廓的点。在这些应用场景中,可以在与这些点对应的二维标签数据中的第一通道和第二通道设置恰当的数值以体现该点属于车辆轮廓的可能性。

在一些可选的实现方式中,车辆所在的三维立方体各顶点的各坐标相对于点云数据中属于车辆轮廓的各点的各三维坐标的旋转向量(x’p,y’p,z’p)可以用如下的公式(2)来表达。

具体地:

其中,r为点云数据中属于车辆轮廓的任意一点p(xi,yi,zi)的旋转矩阵,且有:

r=rzi(θi)ryi(φi);

θi=atan2(yi,xi)

在这里,θi和φi可以与公式(1)中的θ和φ具有类似的含义。也即是说,θi为属于车辆轮廓的任意一点p(xi,yi,zi)和原点之间的连线与第一平面之间的夹角,第一平面为y轴、z轴组成的平面。φi为属于车辆轮廓的任意一点p(xi,yi,zi)和原点之间的连线与第二平面之间的夹角,第二平面为x轴、y轴组成的平面。

在一些可选的实现方式中,本实施例的基于点云数据的车辆轮廓检测方法中的步骤230可以进一步通过如图3所示的流程300来实现。

步骤310,初始化全卷积神经网络的参数。

步骤320,基于损失函数调节全卷积神经网络的参数。

在这里,损失函数可以是与当前输出和与待训练点云数据对应的标签数据之间的偏差。当前输出为与当前待训练点云数据以及全卷积神经网络的当前参数对应的全卷积神经网络的输出。

步骤330,判断与当前输出对应的损失函数是否为最小值。

若是,则在步骤340中,输出与偏差对应的参数作为车辆检测模型的参数。

否则,也即是若与当前输出对应的损失函数不是最小值,则重复执行步骤320的基于损失函数调节全卷积神经网络的参数的步骤直至损失函数为最小值。

在一些可选的实现方式中,步骤240的获取待检测点云数据,并基于所述车辆检测模型,得到与所述待检测点云数据中的各待检测点对应的检测结果可以进一步由如图4所示的流程400来实现。

步骤410,将点云数据采集设备采集的待检测三维数据映射生成待检测深度图,待检测深度图中的各像素点的数值为与待检测三维数据一一对应的待检测点云数据中的各待检测点。在一些可选的实现方式中,待检测深度图可以通过如上所述的公式(1)来得到与点云数据采集设备采集的待检测三维数据对应的待检测深度图。

步骤420,基于车辆检测模型,获取待检测点云数据中,各待检测点的预测结果,其中,预测结果包括待检测点属于车辆轮廓的概率。

步骤430,若待检测点属于车辆轮廓的概率大于预设阈值,确定待检测点属于车辆轮廓。

在一些可选的实现方式中,预测结果还可以包括待检测点的位置信息。

在这些可选的实现方式中,流程400还可以进一步地包括:

步骤440,获取待检测点云数据中,属于车辆轮廓的概率大于预设阈值的第一待检测点形成第一待检测点集合。

步骤450,基于第一待检测点集合中的各待检测点的位置信息,生成与待检测点云数据对应的车辆空间位置信息。

在一些应用场景中,将待检测点云数据输入至车辆检测模型之后,得到的检测结果可以与待训练点云数据属于车辆轮廓的点的二维标签数据具有相同的表现形式。也即是说,检测结果同样具有26个通道,其中,第一个通道的数值表示基于当前的车辆检测模型,该待检测点属于车辆轮廓的概率,第二个通道的数值表示基于当前的车辆检测模型,该待检测点不属于车辆轮廓的概率。而第3~26通道的取值可用于表征该待检测点的空间位置。

这样一来,通过将待检测点云数据的检测结果中,第一通道的数值大于预设阈值的待检测点作为属于车辆轮廓的点,通过例如数据融合的技术,根据这些属于车辆轮廓的点的空间位置可还原出该待检测点云数据中,车辆所处的位置。

本申请的上述实施例提供的方法通过点云数据采集设备采集的点云数据和对这些点云数据的标注来训练全卷积神经网络模型,得到适宜于车辆轮廓检测的车辆检测模型,用该车辆检测模型来判断点云数据中是否包含车辆轮廓,避免了采用传统二维图像检测车辆轮廓时,由于车辆的二维尺度变化给检测带来的难度和检测误差。

进一步参考图5,作为对上述各图所示方法的实现,本申请提供了一种基于点云数据的车辆轮廓检测装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。

如图5所示,本实施例所述的装置500包括获取模块510、标签数据生成模块520、训练模块530以及检测模块540。

其中,获取模块510可配置用于获取待训练点云数据。

标签数据生成模块520可配置用于响应于对待训练点云数据中的各点的标注,生成与待训练点云数据中的各点对应的标签数据,其中,标注用于指示各待训练点云数据中的各点是否属于车辆轮廓。

训练模块530可配置用于基于待训练点云数据中的各点和与待训练点云数据中的各点对应的标签数据训练全卷积神经网络模型,以得到车辆检测模型。

检测模块540可配置用于获取待检测点云数据,并基于车辆检测模型,得到与待检测点云数据中的各待检测点对应的检测结果。

在一些可选的实现方式中,获取模块510可进一步配置用于:将点云数据采集设备采集的待训练三维数据映射生成待训练深度图,待训练深度图中的各像素点的数值为与待训练三维数据一一对应的待训练点云数据中的各点。

在一些可选的实现方式中,各待训练三维数据d(x,y,z)为以点云数据采集设备为原点,以竖直向上方向为z轴,以水平面内任意垂直的二轴分别为x轴和y轴的坐标系中的坐标值;待训练深度图中的各像素点的坐标为(r,c),各像素点的数值为(d,z);其中:

θ=atan2(y,x)

θ为各待训练三维数据d和原点之间的连线与第一平面之间的夹角,δθ为点云数据采集设备的水平分辨率,第一平面为y轴、z轴组成的平面;φ为各待训练三维数据d和原点之间的连线与第二平面之间的夹角,δφ为点云数据采集设备的垂直分辨率,第二平面为x轴、y轴组成的平面。

在一些可选的实现方式中,标签数据生成模块520可进一步配置用于:若待训练点云数据中的点属于车辆轮廓,则将该属于车辆轮廓的点变换生成26通道的二维标签数据,其中,26通道中的第一通道的数值为1,第二通道的数值为0,26通道中的第3~24通道分别为车辆所在的三维立方体各顶点的各坐标相对于待训练点云数据中属于车辆轮廓的各点的各三维坐标的旋转向量;若待训练点云数据中的点不属于车辆轮廓,则将该不属于车辆轮廓的点变换生成2通道的二维标签数据,其中,2通道中的第一通道的数值为0,第二通道的数值为1。

在一些可选的实现方式中,车辆所在的三维立方体各顶点的各坐标相对于点云数据中属于车辆轮廓的各点的各三维坐标的旋转向量(x’p,y’p,z’p)为:

其中,r为点云数据中属于车辆轮廓的任意一点p(xi,yi,zi)的旋转矩阵,且有:

r=rzi(θi)ryi(φi);

θi=atan2(yi,xi)

在一些可选的实现方式中,训练模块530可进一步配置用于:初始化全卷积神经网络的参数;基于损失函数调节全卷积神经网络的参数,其中,损失函数为与当前输出和与待训练点云数据对应的标签数据之间的偏差,当前输出为与当前待训练点云数据以及全卷积神经网络的当前参数对应的全卷积神经网络的输出;若损失函数为最小值,则输出与损失函数对应的参数作为车辆检测模型的参数;否则,重复执行基于损失函数调节全卷积神经网络的参数的步骤。

在一些可选的实现方式中,检测模块540可进一步配置用于:将点云数据采集设备采集的待检测三维数据映射生成待检测深度图,待检测深度图中的各像素点的数值为与待检测三维数据一一对应的待检测点云数据中的各待检测点;基于车辆检测模型,获取待检测点云数据中,各待检测点的预测结果。

在这里,预测结果可包括待检测点属于车辆轮廓的概率;以及若待检测点属于车辆轮廓的概率大于预设阈值,确定待检测点属于车辆轮廓。

在一些可选的实现方式中,预测结果还可以包括待检测点的位置信息。

在这些可选的实现方式中,检测模块540还可以配置用于:获取待检测点云数据中,属于车辆轮廓的概率大于预设阈值的第一待检测点形成第一待检测点集合;基于第一待检测点集合中的各待检测点的位置信息,生成与待检测点云数据对应的车辆空间位置信息。

本领域技术人员可以理解,上述基于点云数据的车辆轮廓检测装置500还包括一些其他公知结构,例如处理器、存储器等,为了不必要地模糊本公开的实施例,这些公知的结构在图5中未示出。

下面参考图6,其示出了适于用来实现本申请实施例的终端设备或服务器的计算机系统600的结构示意图。

如图6所示,计算机系统600包括中央处理单元(cpu)601,其可以根据存储在只读存储器(rom)602中的程序或者从存储部分608加载到随机访问存储器(ram)603中的程序而执行各种适当的动作和处理。在ram603中,还存储有系统600操作所需的各种程序和数据。cpu601、rom602以及ram603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。

以下部件连接至i/o接口605:包括键盘、鼠标等的输入部分606;包括诸如阴极射线管(crt)、液晶显示器(lcd)等以及扬声器等的输出部分607;包括硬盘等的存储部分608;以及包括诸如lan卡、调制解调器等的网络接口卡的通信部分609。通信部分609经由诸如因特网的网络执行通信处理。驱动器610也根据需要连接至i/o接口605。可拆卸介质611,诸如磁盘、光盘、磁光盘、半导体存储器等等,根据需要安装在驱动器610上,以便于从其上读出的计算机程序根据需要被安装入存储部分608。

特别地,根据本公开的实施例,上文参考流程图描述的过程可以被实现为计算机软件程序。例如,本公开的实施例包括一种计算机程序产品,其包括有形地包含在机器可读介质上的计算机程序,所述计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中,该计算机程序可以通过通信部分609从网络上被下载和安装,和/或从可拆卸介质611被安装。

附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,所述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现。所描述的单元也可以设置在处理器中,例如,可以描述为:一种处理器包括获取模块、标签数据生成模块、训练模块以及检测模块。其中,这些模块的名称在某种情况下并不构成对该模块本身的限定,例如,获取模块还可以被描述为“获取待训练点云数据的模块”。

作为另一方面,本申请还提供了一种非易失性计算机存储介质,该非易失性计算机存储介质可以是上述实施例中所述装置中所包含的非易失性计算机存储介质;也可以是单独存在,未装配入终端中的非易失性计算机存储介质。上述非易失性计算机存储介质存储有一个或者多个程序,当所述一个或者多个程序被一个设备执行时,使得所述设备:获取待训练点云数据;响应于对待训练点云数据中的各点的标注,生成与待训练点云数据中的各点对应的标签数据,其中,标注用于指示各待训练点云数据中的各点是否属于车辆轮廓;基于待训练点云数据中的各点和与待训练点云数据中的各点对应的标签数据训练全卷积神经网络模型,以得到车辆检测模型;以及获取待检测点云数据,并基于车辆检测模型,得到与待检测点云数据中的各待检测点对应的检测结果。

以上描述仅为本申请的较佳实施例以及对所运用技术原理的说明。本领域技术人员应当理解,本申请中所涉及的发明范围,并不限于上述技术特征的特定组合而成的技术方案,同时也应涵盖在不脱离所述发明构思的情况下,由上述技术特征或其等同特征进行任意组合而形成的其它技术方案。例如上述特征与本申请中公开的(但不限于)具有类似功能的技术特征进行互相替换而形成的技术方案。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1