用于无人驾驶车辆的目标物体识别方法和装置与流程

文档序号:11134677阅读:来源:国知局

技术特征:

1.一种用于无人驾驶车辆的目标物体识别方法,其特征在于,所述无人驾驶车辆设置有激光雷达传感器和摄像头传感器,所述方法包括:

获取所述激光雷达传感器采集的点云数据以及所述摄像头传感器采集的影像数据;

在所述影像数据中检测出目标物体,生成用于指示所述目标物体的矩形框,其中,所述目标物体位于所述矩形框内;

移除所述点云数据中的用于指示地面的地面点以及处于所述摄像头传感器视角范围之外的点以得到第一点云数据;

根据所述矩形框,在所述第一点云数据中检测出与所述目标物体对应的第二点云数据;

在所述第二点云数据中确定与所述目标物体对应的最小外包围盒,其中,所述最小外包围盒为包围所述第二点云数据的最小长方体。

2.根据权利要求1所述的方法,其特征在于,所述在所述第二点云数据中确定与所述目标物体对应的最小外包围盒,包括:

去除所述第二点云数据中的每一个点的Z坐标值以得到二维点集;

确定与所述二维点集对应的凸多边形,其中,所述凸多边形为包围所述二维点集内的所有点的凸多边形;

确定与所述凸多边形对应的最小外接矩形;

从所述第二点云数据中获取Z坐标值的最大值和最小值,根据所述最小外接矩形以及所获取的Z坐标值的最大值和最小值,确定与所述目标物体对应的最小外包围盒。

3.根据权利要求1所述的方法,其特征在于,所述移除所述点云数据中的用于指示地面的地面点,包括:

利用随机抽样一致性算法在所述点云数据中确定所述地面点,并在所述点云数据中移除所述地面点。

4.根据权利要求3所述的方法,其特征在于,所述利用随机抽样一致性算法在所述点云数据中确定所述地面点,并在所述点云数据中移除所述地点,包括:

对于平坦地区,利用随机抽样一致性算法将整个所述点云数据进行地面点移除。

5.根据权利要求4所述的方法,其特征在于,所述利用随机抽样一致性算法在所述点云数据中确定所述地面点,并在所述点云数据中移除所述地点,包括:

对于不平坦地区,对所述点云数据进行分块处理,对每一区块中的点云数据进行地面点移除。

6.根据权利要求3-5之一所述的方法,其特征在于,所述移除处于所述摄像头传感器视角范围之外的点,包括:

将已移除所述地面点的所述点云数据作为第三点云数据,基于点云坐标系与影像坐标系的旋转矩阵R和平移矩阵t,利用如下公式对所述第三点云数据中的每一个点进行转换,如果该点的Z坐标值小于或等于0,则确定该点为处于所述摄像头传感器视角范围之外的点,将该点从所述第三点云数据中移除:

Xcam=RXcld+t;

其中,Xcam=[Xcam,Ycam,Zcam]T,Xcld=[Xcld,Ycld,Zcld]T,R、t分别为点云坐标系与影像坐标系的旋转矩阵与平移矩阵,X表示三维空间向量,cam表示影像,cld表示点云,T表示转置,Xcam为影像坐标系下的向量,Xcld为点云坐标系下的向量,X、Y、Z分别表示X坐标值、Y坐标值与Z坐标值,Xcam、Ycam、Zcam分别表示影像坐标系下的X坐标值、Y坐标值与Z坐标值,Xcld、Ycld、Zcld分别表示点云坐标系下的X坐标值、Y坐标值与Z坐标值。

7.根据权利要求1所述的方法,其特征在于,所述根据所述矩形框,在所述第一点云数据中检测出与所述目标物体对应的第二点云数据,包括:

在所述第一点云数据中筛选出与所述矩形框对应的点,将筛选出的点作为兴趣点集;

对所述兴趣点集内的点进行聚类,以确定与所述目标物体对应的第二点云数据。

8.根据权利要求7所述的方法,其特征在于,所述在所述第一点云数据中筛选出与所述矩形框对应的点,将筛选出的点作为兴趣点集,包括:

对于所述第一点云数据中的每一个点,将该点的坐标投影至影像平面坐标得到投影点坐标,其中,所述影像平面坐标为二维坐标;

对于各所述投影点坐标,如果所述投影点坐标满足以下不等式,则确定与所述投影点坐标对应的点为与所述矩形框对应的点:

<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>&gt;</mo> <mi>x</mi> <mo>,</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>&lt;</mo> <mi>x</mi> <mo>+</mo> <mi>w</mi> <mi>i</mi> <mi>d</mi> <mi>t</mi> <mi>h</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>&gt;</mo> <mi>y</mi> <mo>,</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>&lt;</mo> <mi>y</mi> <mo>+</mo> <mi>h</mi> <mi>e</mi> <mi>i</mi> <mi>g</mi> <mi>h</mi> <mi>t</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>;</mo> </mrow>

其中,i为大于0的整数,xi与yi分别表示与所述第一点云数据中的第i个点对应的投影点坐标的x坐标值与y坐标值;所述矩形框表示为(x,y,width,height),x、y分别为所述矩形框的左上点的x坐标值与y坐标值,width、height分别为所述矩形框的宽与高。

9.根据权利要求8所述的方法,其特征在于,所述对所述兴趣点集内的点进行聚类,以确定与所述目标物体对应的第二点云数据,包括:

采用K中心点算法对所述兴趣点集内的点进行聚类;

响应于聚类结果只有一个类别,确定该类别的点云数据为与所述目标物体对应的第二点云数据。

10.根据权利要求9所述的方法,其特征在于,所述对所述兴趣点集内的点进行聚类,以确定与所述目标物体对应的第二点云数据,包括:

响应于聚类结果包括多个类别,确定包含点云数据最多的类别中的点的个数是否为包含点云数据次多的类别中的点的个数的2倍以上,若是,则确定包含点云数据最多的类别的点云数据为与所述目标物体对应的第二点云数据。

11.一种用于无人驾驶车辆的目标物体识别装置,其特征在于,所述无人驾驶车辆设置有激光雷达传感器和摄像头传感器,所述装置包括:

获取单元,配置用于获取所述激光雷达传感器采集的点云数据以及所述摄像头传感器采集的影像数据;

生成单元,配置用于在所述影像数据中检测出目标物体,生成用于指示所述目标物体的矩形框,其中,所述目标物体位于所述矩形框内;

第一确定单元,配置用于移除所述点云数据中的用于指示地面的地面点以及处于所述摄像头传感器视角范围之外的点以得到第一点云数据;

第二确定单元,配置用于根据所述矩形框,在所述第一点云数据中检测出与所述目标物体对应的第二点云数据;

第三确定单元,配置用于在所述第二点云数据中确定与所述目标物体对应的最小外包围盒,其中,所述最小外包围盒为包围所述第二点云数据的最小长方体。

12.根据权利要求11所述的装置,其特征在于,所述第三确定单元包括:

二维点集确定子单元,配置用于去除所述第二点云数据中的每一个点的Z坐标值以得到二维点集;

凸多边形确定子单元,配置用于确定与所述二维点集对应的凸多边形,其中,所述凸多边形为包围所述二维点集内的所有点的凸多边形;

最小外接矩形确定子单元,配置用于确定与所述凸多边形对应的最小外接矩形;

最小外包围盒确定子单元,配置用于从所述第二点云数据中获取Z坐标值的最大值和最小值,根据所述最小外接矩形以及所获取的Z坐标值的最大值和最小值,确定与所述目标物体对应的最小外包围盒。

13.根据权利要求11所述的装置,其特征在于,所述第一确定单元包括:

第一移除子单元,配置用于利用随机抽样一致性算法在所述点云数据中确定所述地面点,并在所述点云数据中移除所述地面点。

14.根据权利要求13所述的装置,其特征在于,所述第一移除子单元进一步配置用于:

对于平坦地区,利用随机抽样一致性算法将整个所述点云数据进行地面点移除。

15.根据权利要求14所述的装置,其特征在于,所述第一移除子单元进一步配置用于:

对于不平坦地区,对所述点云数据进行分块处理,对每一区块中的点云数据进行地面点移除。

16.根据权利要求13-15之一所述的装置,其特征在于,所述第一确定单元包括:

第二移除子单元,配置用于将已移除所述地面点的所述点云数据作为第三点云数据,基于点云坐标系与影像坐标系的旋转矩阵R和平移矩阵t,利用如下公式对所述第三点云数据中的每一个点进行转换,如果该点的Z坐标值小于或等于0,则确定该点为处于所述摄像头传感器视角范围之外的点,将该点从所述第三点云数据中移除:

Xcam=RXcld+t;

其中,Xcam=[Xcam,Ycam,Zcam]T,Xcld=[Xcld,Ycld,Zcld]T,R、t分别为点云坐标系与影像坐标系的旋转矩阵与平移矩阵,X表示三维空间向量,cam表示影像,cld表示点云,T表示转置,Xcam为影像坐标系下的向量,Xcld为点云坐标系下的向量,X、Y、Z分别表示X坐标值、Y坐标值与Z坐标值,Xcam、Ycam、Zcam分别表示影像坐标系下的X坐标值、Y坐标值与Z坐标值,Xcld、Ycld、Zcld分别表示点云坐标系下的X坐标值、Y坐标值与Z坐标值。

17.根据权利要求11所述的装置,其特征在于,所述第二确定单元包括:

筛选子单元,配置用于在所述第一点云数据中筛选出与所述矩形框对应的点,将筛选出的点作为兴趣点集;

聚类子单元,配置用于对所述兴趣点集内的点进行聚类,以确定与所述目标物体对应的第二点云数据。

18.根据权利要求17所述的装置,其特征在于,所述筛选子单元包括:

投影模块,配置用于对于所述第一点云数据中的每一个点,将该点的坐标投影至影像平面坐标得到投影点坐标,其中,所述影像平面坐标为二维坐标;

确定模块,配置用于对于各所述投影点坐标,如果所述投影点坐标满足以下不等式,则确定与所述投影点坐标对应的点为与所述矩形框对应的点:

<mrow> <mfenced open = "{" close = ""> <mtable> <mtr> <mtd> <mrow> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>&gt;</mo> <mi>x</mi> <mo>,</mo> <msub> <mi>x</mi> <mi>i</mi> </msub> <mo>&lt;</mo> <mi>x</mi> <mo>+</mo> <mi>w</mi> <mi>i</mi> <mi>d</mi> <mi>t</mi> <mi>h</mi> </mrow> </mtd> </mtr> <mtr> <mtd> <mrow> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>&gt;</mo> <mi>y</mi> <mo>,</mo> <msub> <mi>y</mi> <mi>i</mi> </msub> <mo>&lt;</mo> <mi>y</mi> <mo>+</mo> <mi>h</mi> <mi>e</mi> <mi>i</mi> <mi>g</mi> <mi>h</mi> <mi>t</mi> </mrow> </mtd> </mtr> </mtable> </mfenced> <mo>;</mo> </mrow>

其中,i为大于0的整数,xi与yi分别表示与所述第一点云数据中的第i个点对应的投影点坐标的x坐标值与y坐标值;所述矩形框表示为(x,y,width,height),x、y分别为所述矩形框的左上点的x坐标值与y坐标值,width、height分别为所述矩形框的宽与高。

19.根据权利要求18所述的装置,其特征在于,所述确定模块进一步配置用于:

采用K中心点算法对所述兴趣点集内的点进行聚类;

响应于聚类结果只有一个类别,确定该类别的点云数据为与所述目标物体对应的第二点云数据。

20.根据权利要求19所述的装置,其特征在于,所述确定模块进一步配置用于:

响应于聚类结果包括多个类别,确定包含点云数据最多的类别中的点的个数是否为包含点云数据次多的类别中的点的个数的2倍以上,若是,则确定包含点云数据最多的类别的点云数据为与所述目标物体对应的第二点云数据。

当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1