1.一种基于深度图的路面缺陷及抛洒物检测方法,其特征在于:包括如下步骤:
s1:获取传感器的rgb图与深度图,将其转换为仅包含路面区域的视差图;
s2:将视差图扁平化为3组向量,并建立路平面方程;
s3:引入相机基线与地面倾斜角,得到映射关系并建立优化的路平面参数方程;
s4:构造并求解损失函数,计算出最优的与倾斜角;
s5:计算出最优的路平面方程参数;
s6:根据优化的路平面参数方程与视差图,检测出路面缺陷及抛洒物;
s7:可视化路面缺陷及抛洒物结果。
2.根据权利要求1所述的一种基于深度图的路面缺陷及抛洒物检测方法,其特征在于,所述s1中包括如下步骤:
s101中:获取相机的rgb图以及深度图,深度图可通过深度相机或双目相机等传感器获取;
s102中:获取rgb图像中路面区域的掩膜(mask),可通过手工选取或图像处理技术得到;
s103中:将步骤s102中深度图转换为视差图:
baseline为双目相机基线长度,depth为深度;
s104:将步骤s102中掩膜与步骤s103中视差图各元素相乘,可得到仅包含路面信息的视差图。
3.根据权利要求2所述的一种基于深度图的路面缺陷及抛洒物检测方法,其特征在于,所述s2包括如下步骤:
s201:将步骤s104仅包含路面信息的视差图中不为nan的元素的深度值,行坐标,列坐标值,分别执行扁平化(flatten)操作,存入向量d,u,v中;
s202:建立路平面方程:
f(p)=pta,withp=[uv1]t,a=[0a1a2],a为参数向量。
4.根据权利要求3所述的一种基于深度图的路面缺陷及抛洒物检测方法,其特征在于,所述s3中包括如下步骤:
s301:由于测量时相机并非平行于地面,引入角度θ描述与路平面的倾斜角,作用于步骤s201中p:
r为旋转矩阵;
s302:使用步骤s301中q,改写步骤s201中的平面方程,得:g(q,θ)=qta;
s303:遍历对应与d中的每一个点q,将其坐标信息s,t存入向量s,t中。
5.根据权利要求4所述的一种基于深度图的路面缺陷及抛洒物检测方法,其特征在于,所述s4包括如下步骤:
s401:建立损失函数:
s402:使损失函数c(a)最小,等价于使损失函数:
l(θ)=dtq(θ)(q(θ)tq(θ))-1q(θ)td最大;
s402:构建使用随机题梯度下降(sgd)方法的优化器(optimizer);
s403:将步骤s402中损失函数l(θ)带入步骤s402中的优化器,求解使-l(θ)最小时的参数向量:
6.根据权利要求5所述的一种基于深度图的路面缺陷及抛洒物检测方法,其特征在于,所述s5中包括如下步骤:
s501:将步骤s404中θ*代入a=(q(θ)tq(θ))-1q(θ)td求解出a*;
s502:将步骤s501中a*代入步骤s302中,得到路面方程:
f(p)=g(q,θ)=qta=a2+a1(-usinθ+vsinθ)。
7.根据权利要求6所述的一种基于深度图的路面缺陷及抛洒物检测方法,其特征在于,所述s6包括如下步骤:
s601:将步骤s103中disp与步骤s502中路面方程代入:
fault(p)=disp(p)-f(p)+δ;δ为偏置项,得到新的视差图;
s602:设定阈值t1,t2(t1<t2)对步骤s601中的新视差图fault(p)进行二值化操作,
s603:选取5x5的全1矩阵为核,对步骤s601中的新视差图binary(p)进行腐蚀操作:
s604:对步骤s603后续进行膨胀操作,其核不变;
s605:再对步骤s604中后续求其求联通区域,并过滤掉小于阈值t3的联通区域,得到滤波后的视差图filter(p);
s606:对步骤s602中进行完滤波操作的视差图filter(p),与点p在在步骤s601视差图fault(p)对应的视差值d若大于步骤s602中阈值t2则为抛洒物,若小于t1则为路面缺陷。
8.根据权利要求7所述的一种基于深度图的路面缺陷及抛洒物检测方法,其特征在于,所述s7包括如下步骤:
s701:在步骤s101中的rgb图中画出步骤s603中二值图binary(p)其对应区域。