本发明是涉及一种基于方向角信息进行三维目标检测的方法，属于计算机视觉与图像处理技术领域。
背景技术：
目标检测是指利用图像处理、模式识别、人工智能等技术，通过提取场景目标的不同特征信息，对相应目标进行检测，它是计算机视觉和图像处理的一个重要分支。传统的目标检测方法的研究大多仅基于rgb相机获取的二维光学图像，而现实世界是一个三维世界，当涉及到机器人导航、机器人避障、自动驾驶等应用场景时，二维检测由于缺少深度信息，无法提供目标在三维场景下的位置、大小、方向的原因而受到限制。因此，结合深度信息进行三维目标的检测显得十分重要。
现有的三维检测分为基于2.5维信息和3维信息的两类检测方法，其中2.5维的方法是通过卷积网络分别提取颜色信息和深度信息特征或将深度信息编码为彩色信息的额外通道，然后建立模型将二维信息的结果转换到三维空间，如：amodal3det[1]算法，根据先验几何信息对三维框进行中心点和长宽高的初始化，并通过从卷积神经网络中提取的颜色信息和深度信息回归初始化三维框，由于该方法缺少对三维信息的数据利用，以致基于2.5维信息的检测方法均将方向角信息直接初始化为0，而从实验结果分析，在三维框的中心点和长宽高较为准确的情况下，误差较大的方向角信息将影响检测的准确率。另外，现有的基于3维信息的检测方法则注重于直接对三维信息的利用，如：song[2]等在传统2维滑动窗的基础上提出一种新的3维滑动窗，以用于对点云空间中的目标特征进行手工提取，并输入支持向量机中进行分类，由于深度信息的噪声和稀疏性问题，导致该类方法的检测精度不高，以致局限了其在高精度领域(如：机器人导航、机器人避障、自动驾驶)的应用。
技术实现要素：
针对现有技术存在的上述问题，本发明的目的是提供一种基于方向角信息进行三维目标检测的方法，以解决基于2.5维信息进行三维目标检测的方法中所存在的方向角信息未得到充分利用的问题，为提高三维目标的检测精度奠定基础。
为实现上述目的，本发明采用的技术方案如下：
一种基于方向角信息进行三维目标检测的方法，包括以下步骤:
s1：通过depth-rcnn对rgb-d相机采集到的彩色图像和深度图像进行特征融合并经过支持向量机分类，得到2.5维检测框和对应的二维分割实例图；
s2：在得到的二维分割实例图上选取p1、p2、p3三个点，并根据排除不确定点、增加计算信息、修正误判点3个限制条件对p1、p2、p3三个点的信息进行优化；
s3：通过二维到三维的点云重建计算所提取的三个点在三维坐标系中的坐标，根据三个点的坐标确定方向角θ，并将该方向角θ作为初始化三维框的方向角；
s4：将彩色图像和深度图像分别通过vgg-16计算特征图，再通过二维候选框和上下文信息候选框从roipooling层中提取特征进行通道融合，并根据融合后的特征对初始化三维框进行回归。
进一步说，步骤s1中得到2.5维检测框的步骤是：先对rgb-d相机采集到的彩色图像和深度图像进行边缘检测，再通过mcg算法利用边缘检测的信息生成2.5维检测框。
进一步说，步骤s2选取的p1、p2、p3三个点分别为二维分割实例图中的：c最小中r最大的点、r最大中c最小的点、c最大中r最大的点，其中的r、c分别代表二维分割实例图中像素点的行值或列值。
进一步说，排除不确定点是针对目标在图片中显示不全的情况所设置的条件，即：通过对p1、p2、p3三个点的行、列值进行判断，若找到的三个点中存在两个点的行值与图片的横向尺寸值相同，或列值与图片的纵向尺寸值相同，则将方向角度初始化为0，不做方向角估计，以避免误差较大的方向角估计影响检测精度。
进一步说，增加计算信息是指对长边也进行方向角计算，并根据长边与短边垂直的关系，对长边计算的方向角进行转换后与短边计算的方向角进行均值计算，以提高深度信息的利用率，保证算法的鲁棒性；所述的长边和短边是根据p1点到p2点、p2点到p3点在三维空间中的距离长短进行的定义，且短边相对z轴的方向角定义为所求的方向角θ。
进一步说，修正误判点是针对步骤s2提取的p1、p2、p3三个点没能准确代表目标与接触面的方向角情况所设置的优化条件，对理想情况而言，在长边和短边线段向行值更大的方向中不存在目标物体的像素点，而对特殊形状的目标在长边和短边线段向行值更大的方向中存在目标物体的像素点。
进一步说，将二维坐标系下的p1、p2、p3点转换到三维坐标系下的p1、p2、p3点的具体步骤如下：
a)将图像坐标系下的p(x,y)分别对应到相机坐标系下的p(xc,yc,zc)，即：
其中：(ox,oy)、f分别为相机内参的中心点和焦距；
b)将点云方向与重力方向对齐，即：定义一个不对y轴做任何旋转计算且通过相机坐标系与旋转矩阵计算得到的坐标系为旋转坐标系，这个过程中物体不发生形变，仅做了旋转运动，即：
rtilt＝rx·rz
其中：rtilt代表旋转坐标系和相机坐标系之间的转换矩阵，rx和rz分别代表x轴和z轴的旋转矩阵；至此，得到旋转坐标系下的p1、p2、p3点。
进一步说，步骤s4所述的初始化三维框表示为[xc,yc,zc,l,w,h,θ]，其中：[xc,yc,zc]是相机坐标系下三维框的中心点，[l,w,h]是倾斜坐标系下三维框的长宽高，这六个向量均由训练数据中目标的标签均值所确定，θ为步骤s3中所求的初始化方向角。
与现有技术相比，本发明具有如下有益效果：
本发明提供的一种基于方向角信息进行三维目标检测的方法，可解决基于2.5维信息进行三维目标检测的方法中所存在的方向角信息未得到充分利用的问题，通过深度信息与方向角信息的融合利用，在保证三维框的中心和长宽高的准确率同时提高了方向角估计的准确率，为提高三维目标的检测精度奠定了基础。
附图说明
图1为本发明实施例提供的方向角信息提取过程示意图。
具体实施方式
以下结合附图和实施例对本发明的技术方案做进一步详细描述。
实施例
本实施例提供的一种基于方向角信息进行三维目标检测的方法，包括以下步骤:
s1：通过depth-rcnn对rgb-d相机采集到的彩色图像和深度图像进行特征融合并经过支持向量机分类，得到2.5维检测框和对应的二维分割实例图；
s2：在得到的二维分割实例图上选取p1、p2、p3三个点，并根据排除不确定点、增加计算信息、修正误判点3个限制条件对p1、p2、p3三个点的信息进行优化；
s3：通过二维到三维的点云重建计算所提取的三个点在三维坐标系中的坐标，根据三个点的坐标确定方向角θ，并将该方向角θ作为初始化三维框的方向角；
s4：将彩色图像和深度图像分别通过vgg-16计算特征图，再通过二维候选框和上下文信息候选框从roipooling层中提取特征进行通道融合，并根据融合后的特征对初始化三维框进行回归。
步骤s1中得到2.5维检测框的步骤是：先对rgb-d相机采集到的彩色图像和深度图像进行边缘检测，再通过mcg算法利用边缘检测的信息生成2.5维检测框。
步骤s2选取的p1、p2、p3三个点分别为二维分割实例图中的：c最小中r最大的点、r最大中c最小的点、c最大中r最大的点，其中的r、c分别代表二维分割实例图中像素点的行值或列值。
步骤s2中所述的排除不确定点是针对目标在图片中显示不全的情况所设置的条件，即：通过对p1、p2、p3三个点的行、列值进行判断，若找到的三个点中存在两个点的行值与图片的横向尺寸值相同，或列值与图片的纵向尺寸值相同，则将方向角度初始化为0，不做方向角估计，以避免误差较大的方向角估计影响检测精度。
步骤s2中所述的增加计算信息是指对长边也进行方向角计算，并根据长边与短边垂直的关系，对长边计算的方向角进行转换后与短边计算的方向角进行均值计算，以提高深度信息的利用率，保证算法的鲁棒性；所述的长边和短边是根据p1点到p2点、p2点到p3点在三维空间中的距离长短进行的定义，且短边相对z轴的方向角定义为所求的方向角θ。
修正误判点是针对步骤s2提取的p1、p2、p3三个点没能准确代表目标与接触面的方向角情况所设置的优化条件，对理想情况而言，在长边和短边线段向行值更大的方向中不存在目标物体的像素点，而对特殊形状的目标在长边和短边线段向行值更大的方向中存在目标物体的像素点；以步骤s2提取的p2、p3点为例，若cthreshold范围中行值最大的像素点pmax存在条件：
c2＜cthreshold＜c3
其中：c2和c3分别代表p2点和p3点的列值；并分别对p2和pmax、p2和p3做正切计算得到θ1和θ2，若θ1小于θ2，则说明pmax点在线段向行值更大的方向中，即将pmax点作为p3点。
进一步说，将二维坐标系下的p1、p2、p3点转换到三维坐标系下的p1、p2、p3点的具体步骤如下：
a)将图像坐标系下的p(x,y)分别对应到相机坐标系下的p(xc,yc,zc)，即：
其中：(ox,oy)、f分别为相机内参的中心点和焦距；
b)将点云方向与重力方向对齐，即：定义一个不对y轴做任何旋转计算且通过相机坐标系与旋转矩阵计算得到的坐标系为旋转坐标系，这个过程中物体不发生形变，仅做了旋转运动，即：
rtilt＝rx·rz
其中：rtilt代表旋转坐标系和相机坐标系之间的转换矩阵，rx和rz分别代表x轴和z轴的旋转矩阵；至此，得到旋转坐标系下的p1、p2、p3点。
进一步说，步骤s4所述的初始化三维框表示为[xc,yc,zc,l,w,h,θ]，其中：[xc,yc,zc]是相机坐标系下三维框的中心点，[l,w,h]是倾斜坐标系下三维框的长宽高，这六个向量均由训练数据中目标的标签均值所确定，θ为步骤s3中所求的初始化方向角。
最后有必要在此指出的是：以上所述仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。