一种基于深度图的路面缺陷及抛洒物检测方法与流程

本发明涉及图处理技术领域，具体为一种基于深度图的路面缺陷及抛洒物检测方法。

背景技术：

道路从词义上讲就是供各种无轨车辆和行人通行的基础设施；按其使用特点分为公路、城市道路、乡村道路、厂矿道路、林业道路、考试道路、竞赛道路、汽车试验道路、车间通道以及学校道路等，古代中国还有驿道。另外还指达到某种目标的途径，事物发展、变化的途径；

道路巡检是市政交通中十分重要的一环，其中路面缺陷和抛洒物的检测是主要目的，及时发现抛洒物和路面缺陷可以减少事故的发生，在已有的道路巡检中，通常使用人工判别路面缺陷以及抛洒物，而常见的自动化方法中，抛洒物检测通常基于前后帧间关系针对固定场景下的应用，一些基于目标检测技术的方法仅能给出缺陷或抛洒物的矩形框，而不能得到如如长宽等具体信息。

技术实现要素：

本发明提供一种基于深度图的路面缺陷及抛洒物检测方法，可以有效解决上述背景技术中提出常见的自动化方法中，抛洒物检测通常基于前后帧间关系针对固定场景下的应用，一些基于目标检测技术的方法仅能给出缺陷或抛洒物的矩形框，而不能得到如如长宽等具体信息的问题。

为实现上述目的，本发明提供如下技术方案：一种基于深度图的路面缺陷及抛洒物检测方法，包括如下步骤：

s1：获取传感器的rgb图与深度图，将其转换为仅包含路面区域的视差图；

s2：将视差图扁平化为3组向量，并建立路平面方程；

s3：引入相机基线与地面倾斜角，得到映射关系并建立优化的路平面参数方程；

s4：构造并求解损失函数，计算出最优的与倾斜角；

s5：计算出最优的路平面方程参数；

s6：根据优化的路平面参数方程与视差图，检测出路面缺陷及抛洒物；

s7：可视化路面缺陷及抛洒物结果。

根据上述技术方案，所述s1中包括如下步骤：

s101中：获取相机的rgb图以及深度图，深度图可通过深度相机或双目相机等传感器获取；

s102中：获取rgb图像中路面区域的掩膜(mask)，可通过手工选取或图像处理技术得到；

s103中：将步骤s102中深度图转换为视差图：

baseline为双目相机基线长度，depth为深度；

s104：将步骤s102中掩膜与步骤s103中视差图各元素相乘，可得到仅包含路面信息的视差图。

根据上述技术方案，所述s2包括如下步骤：

s201：将步骤s104仅包含路面信息的视差图中不为nan的元素的深度值，行坐标，列坐标值，分别执行扁平化(flatten)操作，存入向量d，u，v中；

s202：建立路平面方程：

f(p)＝p^ta,withp＝[uv1]^t,a＝[0a1a2]，a为参数向量。

根据上述技术方案，所述s3中包括如下步骤：

s301：由于测量时相机并非平行于地面，引入角度θ描述与路平面的倾斜角，作用于步骤s201中p：

r为旋转矩阵；

s302：使用步骤s301中q,改写步骤s201中的平面方程,得：g(q,θ)＝q^ta；

s303：遍历对应与d中的每一个点q，将其坐标信息s，t存入向量s，t中。

根据上述技术方案，所述s4包括如下步骤：

s401：建立损失函数：

s402：使损失函数c(a)最小,等价于使损失函数：

l(θ)＝d^tq(θ)(q(θ)^tq(θ))^-1q(θ)^td最大；

s402：构建使用随机题梯度下降(sgd)方法的优化器(optimizer)；

s403：将步骤s402中损失函数l(θ)带入步骤s402中的优化器，求解使-l(θ)最小时的参数向量：

根据上述技术方案，所述s5中包括如下步骤：

s501：将步骤s404中θ^*代入a＝(q(θ)^tq(θ))^-1q(θ)^td求解出a^*；

s502：将步骤s501中a^*代入步骤s302中，得到路面方程：

f(p)＝g(q,θ)＝q^ta＝a2+a1(-usinθ+vsinθ)。

根据上述技术方案，所述s6包括如下步骤：

s601：将步骤s103中disp与步骤s502中路面方程代入：

fault(p)＝disp(p)-f(p)+δ；δ为偏置项，得到新的视差图；

s602：设定阈值t1，t2(t1＜t2)对步骤s601中的新视差图fault(p)进行二值化操作，

s603：选取5x5的全1矩阵为核，对步骤s601中的新视差图binary(p)进行腐蚀操作：

s604：对步骤s603后续进行膨胀操作，其核不变；

s605：再对步骤s604中后续求其求联通区域，并过滤掉小于阈值t3的联通区域，得到滤波后的视差图filter(p)；

s606：对步骤s602中进行完滤波操作的视差图filter(p)，与点p在在步骤s601视差图fault(p)对应的视差值d若大于步骤s602中阈值t2则为抛洒物，若小于t1则为路面缺陷。

根据上述技术方案，所述s7包括如下步骤：

s701：在步骤s101中的rgb图中画出步骤s603中二值图binary(p)其对应区域。

与现有技术相比，本发明的有益效果：本发明结构科学合理，使用安全方便，根据深度图构建路面方程，通过计算相机基线与地面倾斜角优化路面方程参数，计算视差图与路面残差，检测出路面缺陷及抛洒物并可视化其结果。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。

在附图中：

图1是本发明实例中的流程示意图；

图2是本发明实例中采集的rgb图；

图3是本发明实例中采集的深度图；

图4是本发明实例中路面的掩膜图；

图5是本发明实例中由深度图生成的视差图；

图6是本发明实例中由视差图以及掩膜生成的仅包含路面区域的视差图；

图7是本发明实例中解释相机基线与路平面不平行时的示意图；

图8是本发明实例中优化后的新视差图；

图9是本发明实例中新视差图二值化后的示意图；

图10是本发明实例中经过腐蚀操作后的二值图；

图11是本发明实例中经过膨胀操作后的二值图；

图12是本发明实例中经过对联通区域滤波后的二值图；

图13是本发明实例中可视化缺陷的示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

实施例：如图1所示，本发明提供技术方案，一种基于深度图的路面缺陷及抛洒物检测方法，包括如下步骤：

s1：获取传感器的rgb图与深度图，将其转换为仅包含路面区域的视差图；

s2：将视差图扁平化为3组向量，并建立路平面方程；

s3：引入相机基线与地面倾斜角，得到映射关系并建立优化的路平面参数方程；

s4：构造并求解损失函数，计算出最优的与倾斜角；

s5：计算出最优的路平面方程参数；

s6：根据优化的路平面参数方程与视差图，检测出路面缺陷及抛洒物；

s7：可视化路面缺陷及抛洒物结果。

根据上述技术方案，s1中包括如下步骤：

s101中：获取相机的rgb图以及深度图，如图2，图3所示，深度图可通过深度相机或双目相机等传感器获取，本实例中深度图皆由双目相机采集；

s102中：获取rgb图像中路面区域的掩膜(mask)，可通过手工选取或图像处理技术得到，如图4所示；

s103中：将步骤s102中深度图转换为视差图，如图5所示：

baseline为双目相机基线长度，depth为深度；

s104：将步骤s102中掩膜与步骤s103中视差图各元素相乘，可得到仅包含路面信息的视差图。

根据上述技术方案，s2包括如下步骤：

s201：将步骤s104仅包含路面信息的视差图中不为nan的元素的深度值，行坐标，列坐标值，分别执行扁平化(flatten)操作，存入向量d，u，v中；

s202：建立路平面方程：

f(p)＝p^ta,withp＝[uv1]^t,a＝[0a1a2]，a为参数向量。

根据上述技术方案，s3中包括如下步骤：

s301：如图7所示，由于测量时相机并非平行于地面，引入角度θ描述与路平面的倾斜角，作用于步骤s201中p：

r为旋转矩阵；

s302：使用步骤s301中q,改写步骤s201中的平面方程,得：g(q,θ)＝q^ta；

s303：遍历对应与d中的每一个点q，将其坐标信息s，t存入向量s，t中。

根据上述技术方案，s4包括如下步骤：

s401：建立损失函数：

s402：使损失函数c(a)最小,等价于使损失函数：

l(θ)＝d^tq(θ)(q(θ)^tq(θ))^-1q(θ)^td最大；

s402：构建使用随机题梯度下降(sgd)方法的优化器(optimizer)；

s403：将步骤s402中损失函数l(θ)带入步骤s402中的优化器，求解使-l(θ)最小时的参数向量：

根据上述技术方案，s5中包括如下步骤：

s501：将步骤s404中θ^*代入a＝(q(θ)^tq(θ))^-1q(θ)^td求解出a^*；

s502：将步骤s501中a^*代入步骤s302中，得到路面方程：

f(p)＝g(q,θ)＝q^ta＝a2+a1(-usinθ+vsinθ)。

根据上述技术方案，s6包括如下步骤：

s601：将步骤s103中disp与步骤s502中路面方程代入：

fault(p)＝disp(p)-f(p)+δ；δ为偏置项，得到新的视差图，如图8所示；

s602：设定阈值t1，t2(t1＜t2)对步骤s601中的新视差图fault(p)进行二值化操作，如图9所示；

s603：选取5x5的全1矩阵为核，对步骤s601中的新视差图binary(p)进行腐蚀操作，如图10所示；

s604：对步骤s603后续进行膨胀操作，其核不变，如图11所示；

s605：再对步骤s604中后续求其求联通区域，并过滤掉小于阈值t3的联通区域，得到滤波后的视差图filter(p)，如图12所示；

s606：对步骤s602中进行完滤波操作的视差图filter(p)，与点p在在步骤s601视差图fault(p)对应的视差值d若大于步骤s602中阈值t2则为抛洒物，若小于t1则为路面缺陷。

根据上述技术方案，s7包括如下步骤：

s701：在步骤s101中的rgb图中画出步骤s603中二值图binary(p)其对应区域。

与现有技术相比，本发明的有益效果：本发明结构科学合理，使用安全方便，根据深度图构建路面方程，通过计算相机基线与地面倾斜角优化路面方程参数，计算视差图与路面残差，检测出路面缺陷及抛洒物并可视化其结果。

最后应说明的是：以上所述仅为本发明的优选实例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。