一种基于深度图的路面缺陷及抛洒物检测方法与流程

文档序号:22327610发布日期:2020-09-25 17:57阅读:来源:国知局

技术特征:

1.一种基于深度图的路面缺陷及抛洒物检测方法,其特征在于:包括如下步骤:

s1:获取传感器的rgb图与深度图,将其转换为仅包含路面区域的视差图;

s2:将视差图扁平化为3组向量,并建立路平面方程;

s3:引入相机基线与地面倾斜角,得到映射关系并建立优化的路平面参数方程;

s4:构造并求解损失函数,计算出最优的与倾斜角;

s5:计算出最优的路平面方程参数;

s6:根据优化的路平面参数方程与视差图,检测出路面缺陷及抛洒物;

s7:可视化路面缺陷及抛洒物结果。

2.根据权利要求1所述的一种基于深度图的路面缺陷及抛洒物检测方法,其特征在于,所述s1中包括如下步骤:

s101中:获取相机的rgb图以及深度图,深度图可通过深度相机或双目相机等传感器获取;

s102中:获取rgb图像中路面区域的掩膜(mask),可通过手工选取或图像处理技术得到;

s103中:将步骤s102中深度图转换为视差图:

baseline为双目相机基线长度,depth为深度;

s104:将步骤s102中掩膜与步骤s103中视差图各元素相乘,可得到仅包含路面信息的视差图。

3.根据权利要求2所述的一种基于深度图的路面缺陷及抛洒物检测方法,其特征在于,所述s2包括如下步骤:

s201:将步骤s104仅包含路面信息的视差图中不为nan的元素的深度值,行坐标,列坐标值,分别执行扁平化(flatten)操作,存入向量d,u,v中;

s202:建立路平面方程:

f(p)=pta,withp=[uv1]t,a=[0a1a2],a为参数向量。

4.根据权利要求3所述的一种基于深度图的路面缺陷及抛洒物检测方法,其特征在于,所述s3中包括如下步骤:

s301:由于测量时相机并非平行于地面,引入角度θ描述与路平面的倾斜角,作用于步骤s201中p:

r为旋转矩阵;

s302:使用步骤s301中q,改写步骤s201中的平面方程,得:g(q,θ)=qta;

s303:遍历对应与d中的每一个点q,将其坐标信息s,t存入向量s,t中。

5.根据权利要求4所述的一种基于深度图的路面缺陷及抛洒物检测方法,其特征在于,所述s4包括如下步骤:

s401:建立损失函数:withq=[st1];

s402:使损失函数c(a)最小,等价于使损失函数:

l(θ)=dtq(θ)(q(θ)tq(θ))-1q(θ)td最大;

s402:构建使用随机题梯度下降(sgd)方法的优化器(optimizer);

s403:将步骤s402中损失函数l(θ)带入步骤s402中的优化器,求解使-l(θ)最小时的参数向量:

6.根据权利要求5所述的一种基于深度图的路面缺陷及抛洒物检测方法,其特征在于,所述s5中包括如下步骤:

s501:将步骤s404中θ*代入a=(q(θ)tq(θ))-1q(θ)td求解出a*

s502:将步骤s501中a*代入步骤s302中,得到路面方程:

f(p)=g(q,θ)=qta=a2+a1(-usinθ+vsinθ)。

7.根据权利要求6所述的一种基于深度图的路面缺陷及抛洒物检测方法,其特征在于,所述s6包括如下步骤:

s601:将步骤s103中disp与步骤s502中路面方程代入:

fault(p)=disp(p)-f(p)+δ;δ为偏置项,得到新的视差图;

s602:设定阈值t1,t2(t1<t2)对步骤s601中的新视差图fault(p)进行二值化操作,

s603:选取5x5的全1矩阵为核,对步骤s601中的新视差图binary(p)进行腐蚀操作:

s604:对步骤s603后续进行膨胀操作,其核不变;

s605:再对步骤s604中后续求其求联通区域,并过滤掉小于阈值t3的联通区域,得到滤波后的视差图filter(p);

s606:对步骤s602中进行完滤波操作的视差图filter(p),与点p在在步骤s601视差图fault(p)对应的视差值d若大于步骤s602中阈值t2则为抛洒物,若小于t1则为路面缺陷。

8.根据权利要求7所述的一种基于深度图的路面缺陷及抛洒物检测方法,其特征在于,所述s7包括如下步骤:

s701:在步骤s101中的rgb图中画出步骤s603中二值图binary(p)其对应区域。


技术总结
本发明公开了一种基于深度图的路面缺陷及抛洒物检测方法,包括如下步骤:S1:获取传感器的RGB图与深度图,将其转换为仅包含路面区域的视差图;S2:将视差图扁平化为3组向量,并建立路平面方程;S3:引入相机基线与地面倾斜角,得到映射关系并建立优化的路平面参数方程;S4:构造并求解损失函数,计算出最优的与倾斜角;S5:计算出最优的路平面方程参数;S6:根据优化的路平面参数方程与视差图,检测出路面缺陷及抛洒物;S7:可视化路面缺陷及抛洒物结果,本发明结构科学合理,使用安全方便,根据深度图构建路面方程,通过计算相机基线与地面倾斜角优化路面方程参数,计算视差图与路面残差,检测出路面缺陷及抛洒物并可视化其结果。

技术研发人员:王家奎;李淦
受保护的技术使用者:武汉唯理科技有限公司
技术研发日:2020.06.18
技术公布日:2020.09.25
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1