一种公路路面车辙污染事件视频检测方法与流程

[0001]
本发明属于智能交通技术领域，特别涉及一种公路路面车辙污染事件视频检测方法。


背景技术：

[0002]
公路路面车辙污染是国省干线上较为常见的一种路面异常事件，经常出现在搭接路口、建筑工地，以及混凝土加工场等园区附近的公路上，这类污染通常在大型车辆由上述场地驶入公路时，被车轮拖带遗留在路面上，一般会伴随车辆行驶轨迹形成数米至数十米的车辙印状污染区域，其中的污染物主要包括泥土、砂石、甚至尚未凝固的混凝土等，这类道路污染物不仅严重影响道路卫生环境，而且还会引起交通事故，存在交通安全隐患，及时发现和清理公路路面车辙污染，对于改善国省干线公路通行环境、提高公路通行能力、保障公路通行安全具有重要意义。
[0003]
目前对这类公路污染物的发现主要依靠各级公路网管理部门通过人工的方式进行巡查，即：路网管理人员在公路监控中心对接入的公路监控视频画面进行人工轮巡，通过人眼观察的方式发现视频中发生的公路路面异常，或者派遣巡查车辆上路进行巡查，现场查检沿途的路面车辙污染事件。这种人工巡查的方式效率低、人力成本投入大、轮巡时间间隔长，事件漏检风险高，难以及时发现并处置公路污染物。
[0004]
随着计算机视觉技术的发展，利用智能化手段进行路面车辙污染检测成为一种新的途径，但是，由于公路路面车辙污染物与路面的对比度低、污染物样本较少等原因，自动检测难度很大，已有的研究成果并不多见。陆涛等在《一种基于图像处理的车辙检测方法》(专利申请号：201410026421.1)中提出一种基于图像处理的车辙检测方法，该方法首先利用3个阈值的canny算法进行图像边缘检测，然后，利用50
×
50的滑动小窗口，在检出边缘中进行hough直线检测，试图通过连接小窗口检出的直线段来检测标识污染物轨迹的车辙印。但是，该方法无法自动识别需要检测的路面区域，并且，该方法仅对canny边缘检测算法增加了一个主观阈值，并不能提高车辙印与路面背景的对比度，因而无法应对车辙与路面背景对比度较低的大多数应用场合，最为关键的，由于实际场景下的车辙印大多不连续，该方法利用50
×
50滑动小窗口检测直线的方法将难以实现车辙的连接与有效识别。
[0005]
综上，现有的路面车辙污染物自动检测技术还无法通过对国省干线公路监控视频的分析处理，自动检测识别出伴随车辆行驶轨迹的路面车辙污染事件。


技术实现要素：

[0006]
本发明的目的在于针对上述现有技术存在的问题，提供一种公路路面车辙污染事件视频检测方法，通过对公路监控视频的智能分析处理，实现公路路面车辙污染事件(车辙印)的自动检测，提高公路网管理与执法部门检测处置这类事件的效率，为保障公路安全畅通提供支持。
[0007]
实现本发明目的的技术解决方案为：一种公路路面车辙污染事件视频检测方法，
所述方法包括以下步骤：
[0008]
步骤1，接入公路网监控视频，对视频流进行解码，按帧或按需跳帧读取视频图像，并根据处理硬件资源条件，对视频图像进行预处理；该步骤通过循环的方式不断为后续处理提供经过预处理的视频图像数据；
[0009]
步骤2，读取步骤1输出的视频图像帧，提取当前摄像头观测范围内的道路区域，将这一区域记为感兴趣区域roi；
[0010]
步骤3，对步骤1输出的每一帧视频图像进行目标识别，提取图像中的交通目标数据集τ；
[0011]
步骤4，增强图像对比度，之后提取图像中的边缘信息；
[0012]
步骤5，利用步骤2提取的roi、以及步骤3提取的交通目标对步骤4的输出进行过滤，仅保留处于roi以内且未被交通目标覆盖的图像边缘信息，重复上述过程，得到多张不同时刻的roi边缘信息图像，并对其进行累积，得到包含有路面车辙污染区域的累积roi边缘信息；
[0013]
步骤6，对步骤5输出的图像边缘信息进行长直线段检测，并对其结果进行聚类，获得干扰目标信息；
[0014]
步骤7，基于短直线段集的曲线搜索方式识别视频画面中是否有公路路面车辙污染，若有，执行下一步，否则输出当前视频画面没有出现公路路面车辙污染事件；
[0015]
步骤8，获取并输出公路路面车辙污染的区域。
[0016]
本发明与现有技术相比，其显著优点为：1)提出利用图像增强技术进行视频帧灰度图增强再进行图像边缘检测，提高了这类路面污染与道路背景的对比度，可实现更多车辙污染区域边缘的有效提取；2)提出结合公路路面roi提取以及基于深度学习的交通目标检测，剔除公路路面roi区域外的目标，并通过多帧累积实现roi区域内车辙污染区域边缘信息的完整提取；3)提出通过长直线段检测与聚类剔除干扰，并通过短直线集检测，以及构成曲线的短直线段子集搜索的方法，提取公路路面车辙污染区域中的不连续弯曲车辙特征，从而实现公路路面车辙污染事件在视频图像中的自动识别；4)本发明的方法可以自动检测公路上实时出现的路面车辙污染事件，有效提高公路管理与执法部门检测处置事件的效率，降低事件漏报风险，缩短事件处置延迟，节省公路管理部门巡查管理的成本投入，为维护公路通行环境、保障路网畅通安全提供支撑，发挥巨大的社会价值与经济价值。
[0017]
下面结合附图对本发明作进一步详细描述。
附图说明
[0018]
图1为本发明方法基本流程示意图。
[0019]
图2为本发明方法实施实例示意图。
具体实施方式
[0020]
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
[0021]
在一个实施例中，结合图1，提供了一种公路路面车辙污染事件视频检测方法，通
过基于机器视觉与深度学习的图像处理技术，对视频图像中的路面车辙污染事件进行识别，所述方法包括以下步骤：
[0022]
步骤1，接入公路网监控视频，对视频流进行解码，按帧或按需跳帧读取视频图像，并根据处理硬件资源条件，对视频图像进行预处理；该步骤通过循环的方式不断为后续处理提供经过预处理的视频图像数据；
[0023]
这里，预处理包括将图像尺寸缩放至处理硬件资源条件能够处理的图像尺寸、遮蔽图像中带固定字幕的区域等等。
[0024]
步骤2，读取步骤1输出的视频图像帧，提取当前摄像头观测范围内的道路区域，将这一区域记为感兴趣区域roi；对某一路公路视频源进行处理时，步骤2只执行1次，即：不对道路路面区域进行重复提取。
[0025]
步骤3，对步骤1输出的每一帧视频图像进行目标识别，提取图像中的交通目标数据集τ，保存各个目标的数据信息，包括：目标类别、置信率、目标的边界矩形坐标；
[0026]
这里，交通目标包括人、轿车、货车、摩托车、自行车等。
[0027]
步骤4，基于路面车辙污染与道路背景对比度通常会随时间推移逐渐降低的特性，增强图像对比度(突显可能出现在画面内的车辙污染区域)，之后提取图像中的边缘信息；
[0028]
步骤5，利用步骤2提取的roi、以及步骤3提取的交通目标对步骤4的输出进行过滤，仅保留处于roi以内且未被交通目标覆盖的图像边缘信息，重复上述过程，得到多张不同时刻的roi边缘信息图像，并对其进行累积，得到包含有路面车辙污染区域的累积roi边缘信息；
[0029]
步骤6，考虑到路侧视频监控画面中不仅包含可能出现的车辙污染区域，一般还会包含多种较长的直线型非车辙污染的干扰目标，因此，在提取车辙污染特征前，对步骤5输出的图像边缘信息进行长直线段检测，提取roi区域中的长直线目标数据集(数据信息包括：线段编号、线段端点坐标、斜率弧角、长度、质心)，并对其结果进行聚类，获得干扰目标信息(长直车道线、灯杆等非公路路面车辙污染目标)，以便于在后续步骤排除这类干扰；
[0030]
步骤7，公路路面车辙污染区域大多包含多条弯曲且不完全连续的车辙印，并且由于受到摄像机拍摄引起的透视变换所影响，这些不连续的曲线难以通过一般的曲线拟合方法提取。因此，基于短直线段集的曲线搜索方式识别视频画面中是否有公路路面车辙污染，若有，执行下一步，否则输出当前视频画面没有出现公路路面车辙污染事件；
[0031]
步骤8，获取并输出公路路面车辙污染的区域。
[0032]
进一步地，在其中一个实施例中，步骤2的具体过程包括：
[0033]
步骤2-1，读取步骤1输出的视频图像帧f
k
(x,y)，利用基于深度学习的图像语义分割方法对f
k
(x,y)进行分割，获得分割结果l(x,y)；
[0034]
步骤2-2，从所述分割结果l(x,y)中提取对应于取值为路面类别的区域r
mask
(x,y)：
[0035][0036]
式中，label
road
为路面类别；
[0037]
步骤2-3，搜索r
mask
(x,y)中的轮廓，并获取包含区域面积最大的轮廓cnt
r
＝{p
rm
}
＝{(x
rm
,y
rm
)}，p
rm
＝(x
rm
,y
rm
)为构成轮廓的坐标点，将该轮廓cnt
r
包含的区域作为当前摄像头观测视场内的道路区域，并将该区域记为roi。
[0038]
进一步地，在其中一个实施例中，步骤3所述对步骤1输出的每一帧视频图像进行目标识别，提取图像中的交通目标数据集τ，具体包括：
[0039]
利用基于深度学习的图像检测算法，对步骤1输出的每一帧视频图像进行目标识别；
[0040]
该步骤获得的目标数据集为τ＝{t
i
}，其中，第i个目标信息为t
i
＝{p
i0
,p
i1
,class
i
,conf
i
}，p
i0
＝{x
left
,y
top
}、p
i1
＝{x
right
,y
bottom
}为目标边界矩形左上角与右下角的坐标；class
i
为第i个目标所属的类别，conf
i
为第i个目标的置信概率，conf
i
∈(0,1]。
[0041]
进一步地，在其中一个实施例中，步骤4所述增强图像对比度，之后提取图像中的边缘信息，具体过程包括：
[0042]
步骤4-1，将步骤1输出的视频图像帧f
k
(x,y)转换为灰度图g
k
(x,y)；
[0043]
步骤4-2，利用限制对比度自适应直方图均衡算法对g
k
(x,y)进行均衡处理，记为
[0044]
步骤4-3，利用canny边缘提取算法提取图像中的边缘信息e
k
(x,y)。
[0045]
进一步地，在其中一个实施例中，步骤5的具体过程包括：
[0046]
步骤5-1，利用步骤2提取的roi对步骤4的输出e
k
(x,y)进行过滤，保留处于roi中的灰度图边缘信息，将其余部分全部置零，得到过滤结果；
[0047]
步骤5-2，利用步骤3提取的交通目标数据集τ对进行再次过滤，将交通目标处的像素值置零，即：将中位于各目标{t
i
}边界矩形{p
i0
,p
i1
}范围内的非零值全部置零，由此，得到处于roi以内且未被交通目标覆盖的图像边缘信息；
[0048]
步骤5-3，重复上述步骤多次，获取多个时刻的边缘信息,k∈{1,2,
…
,m}，其中，m为需要用于后续累积操作的帧数量，m可根据场景需要与经验选取；
[0049]
步骤5-4，累积多个时刻的边缘信息获得完整roi中的边缘信息累积方式为：
[0050][0051]
式中，th
accm
为保留非零值累积结果的阈值，该阈值可根据场景需要与经验选取。
[0052]
进一步地，在其中一个实施例中，步骤6所述对步骤5输出的图像边缘信息进行长直线段检测，并对其结果进行聚类，获得干扰目标信息，具体过程包括：
[0053]
步骤6-1，利用直线检测算法检测长直线段，即提取中长度超过th
min_ll
的直线段集合{l
i
}，th
min_ll
为待检测直线的最小长度阈值，可根据场景及图幅尺寸进行选取，其中，l
i
＝{id
i
,p
i0
,p
i1
,s
i
,l
i
,p
ic
}为第i条长直线数据信息，id
i
、l
i
、s
i
分别为第i条长直线的编号、长度以及与横轴的夹角即斜率弧角，p
i0
＝(x
i0
,y
i0
)、p
i1
＝(x
i1
,y
i1
)、p
ic
＝(x
ic
,y
ic
)分别为第i条长直线的两个端点坐标和质心坐标；
[0054]
步骤6-2，对{l
i
}中线段的斜率弧角进行聚类，获得包括k个元素的长直线段斜率弧角集合{s
j
}，j∈{1,2,
…
,k}，该集合包含非公路路面车辙污染目标的边缘信息的斜率弧角。
[0055]
进一步地，在其中一个实施例中，步骤6-2采用k-means算法进行聚类，聚类个数k可根据场景需要与经验选取，优选地聚类个数k＝min(|{l
i
}|,n)，其中，|{l
i
}|表示集合{l
i
}中元素的个数，n为预设最小长线段数量阈值。
[0056]
进一步地，在其中一个实施例中，步骤7所述基于短直线段集的曲线搜索方式识别视频画面中是否有公路路面车辙污染，若有，执行下一步，否则输出当前视频画面没有出现公路路面车辙污染事件，具体过程包括：
[0057]
步骤7-1，提取中长度超过th
min_ls
的短直线，th
min_ls
为待检测的短直线段最小长度阈值，可根据场景需要、图幅尺寸进行选取，获得短直线段数据集其中，为第i条短直线数据信息，分别为第i条短直线的编号、长度和斜率弧角，分别为第i条短直线的两个端点坐标和质心坐标；
[0058]
步骤7-2，利用步骤6输出的长直线段斜率弧角聚类结果{s
j
}对短直线段数据集进行过滤，剔除其中斜率弧角与{s
j
}中任意元素的接近程度满足阈值范围的短直线段，排除直线型非车辙污染目标干扰，进一步具体地，只保留中满足以下条件的短直线段元素并输出：
[0059][0060]
式中，th
slope
为判定两线段斜率弧角接近程度的阈值；
[0061]
步骤7-3，搜索中能够构成弯曲且连续曲线的短线段子集该子集应同时满足下列条件：
[0062]
条件1：即中的元素个数应达到阈值th
e
，th
e
可根据场景与处理速度需要选择；
[0063]
条件2：中的元素两两不相交；
[0064]
条件3：利用中各元素质心的横轴坐标或纵轴坐标对进行升序或降序排序，将排序后的集合表示为计算集合中第1个短线段延长线与后续每一个短线段延长线的夹角，得到夹角序列{α
01
,α
02
,
…
,α
0the
}，该序列的取值应呈单调递减；
[0065]
由上获得由短线段子集组成的集合{φ
n
}，该集合中每一个元素对应车辙污染区域中的一条车辙印；
[0066]
步骤7-4，判断集合{φ
n
}中的元素个数是否超过预设阈值th
φ
(该阈值可依据检测场景进行设定)，若超过，认为视频画面中出现了路面车辙污染事件，输出集合{φ
n
}，否则，输出当前视频画面没有出现公路路面车辙污染事件。
[0067]
进一步地，在其中一个实施例中，步骤8所述获取并输出公路路面车辙污染的区域，具体为：定位包含集合{φ
n
}中所有短线段的最小矩形边界框，作为公路路面车辙污染事件的区域输出。
[0068]
作为一种具体示例，在其中一个实施例中，对本发明进行进一步验证说明。结合图2，本实施例包括以下内容：
[0069]
首先，将按照本方法开发的事件检测软件(或软件模块)部署到接入公路网管理部门专用网络的计算机(或服务器上)，通过以太网等方式接入路网视频流，即可进行公路路面车辙污染事件视频检测，具体实施方法如下：
[0070]
步骤1，在本实例中，接入满足实时信息传输协议(real time message protocol,rtmp)的公路网监控视频，对视频流进行解码；考虑到路面车辙污染物将在较长时间保持静止，这里按每秒1帧循环读取视频图像，并对视频图像进行预处理，将视频帧图像尺寸缩减到1280
×
720，令k时刻输出图像帧表示为：f
k
(x,y)，其中x∈[0,1279],y∈[0,719]且分别为图像宽度轴和高度轴上的坐标。
[0071]
步骤2，读取步骤1输出的视频图像帧f
k
(x,y)，利用基于深度学习的图像语义分割方法对f
k
(x,y)进行分割，提取图像中的道路区域。本实例中，使用deeplabv3plus算法对f
k
(x,y)进行分割，得到分割结果l(x,y)，(其中x∈[0,1279],y∈[0,719]，且)，从中提取对应值为0的区域r
mask
(x,y)：
[0072][0073]
搜索r
mask
(x,y)中的轮廓，并获取包含区域面积最大的轮廓cnt
r
＝{p
rm
}＝{(x
rm
,y
rm
)}，p
rm
＝(x
rm
,y
rm
)为构成轮廓的坐标点，将该轮廓cnt
r
包含的区域作为当前摄像头观测视场内的道路区域，并将该区域记为roi(region of interest)。
[0074]
步骤3，利用基于深度学习的图像检测算法，对步骤1输出的每一帧视频图像进行目标识别，提取图像中的交通目标。本实例使用ssd(single shot multibox detector)算法检测f
k
(x,y)中的交通目标，得到目标数据集τ＝{t
i
}，其中，第i个目标信息为t
i
＝{p
i0
,p
i1
,class
i
,conf
i
}，p
i0
＝{x
left
,y
top
}、p
i1
＝{x
right
,y
bottom
}为目标边界矩形左上角与右下角的坐标；class
i
为第i个目标所属的类别，在本实例中，class
i
∈cla＝{'person','car','truck','motorbike','bicycle'}；conf
i
为第i个目标的置信概率，conf
i
∈(0,1]。
[0075]
步骤4，将步骤1输出的帧视频图像f
k
(x,y)转换为灰度图g
k
(x,y)，采用加权法通过f
k
(x,y)的三个颜色通道得到灰度图，如下式所示。
[0076]
g
k
(x,y)＝0.299r
k
(x,y)+0.578g
k
(x,y)+0.114b
k
(x,y)
[0077]
其中，r
k
(x,y)、g
k
(x,y)、b
k
(x,y)分别表示f
k
(x,y)中对应于红、绿、蓝3个颜色通道的值。
[0078]
基于公路路面车辙污染与路面背景的对比度会随着时间的推移逐渐降低，在本步骤并利用图像增强算法提高灰度图像的对比度，本实例中，使用限制对比度自适应直方图均衡算法(contrast limited adaptive histogram equalization,clahe)对g
k
(x,y)进行均衡处理，clahe在局部直方图均衡化的基础上，对每个图像中的子块直方图做了限制，效控制了普通自适应均衡方法带来的噪声。
[0079]
将均衡后的灰度图表示为利用canny边缘提取算法，提取图像中的边缘信息e
k
(x,y)。e
k
(x,y)为二值函数，在图像中有边缘信息的位置取值1，其余位置取值0。
[0080]
步骤5，首先，利用步骤2提取的roi对步骤4的输出e
k
(x,y)进行过滤，保留处于roi中的灰度图边缘信息，将其余部分全部置零，得到过滤结果然后，利用步骤3提取的交通目标τ对进行再次过滤，将交通目标处的像素值置零，即：将中位于各目标{t
i
}边界矩形{p
i0
,p
i1
}范围内的非零值全部置零。由此，得到处于道路区域以内且未被交通目标覆盖的图像边缘信息
[0081]
考虑到大量交通目标处于运动状态，重复上述步骤多次，获取多个时刻的边缘信息其中，m为需要用于后续累积操作的帧数量，m可根据场景需要与经验选取，在本实例中m＝20。
[0082]
通过累积得到更为准确完整的roi中的边缘信息累积方法如下式所示。
[0083][0084]
式中，th
accm
为保留非零值累积结果的阈值，该阈值可根据场景需要与经验选取，在本实例中th
accm
＝m
×
70％。
[0085]
步骤6.考虑到路侧视频监控画面中不仅包含可能出现的车辙污染区域，一般还会包含多种较长的直线型非车辙污染的干扰目标，因此，在提取车辙污染特征前，利用直线检测算法对步骤5输出的图像边缘信息进行长直线段检测。
[0086]
在本实例中，使用累积概率霍夫变换算法(progressive probabilistic hough transform,ppht)检测长直线段，即，提取中长度超过th
min_ll
(th
min_ll
为待检测直线的最小长度阈值，可根据场景及图幅尺寸进行选取，在本实例中th
min_ll
＝100)的直线段集合{l
i
}，其中，l
i
＝{id
i
,p
i0
,p
i1
,s
i
,l
i
,p
ic
}为第i条长直线数据信息，id
i
、l
i
、s
i
分别为第i条长直线的编号、长度，以及与横轴的夹角(斜率弧角)，p
i0
＝(x
i0
,y
i0
)、p
i1
＝(x
i1
,y
i1
)、p
ic
＝(x
ic
,y
ic
)分别为第i条长直线的两个端点坐标和质心坐标。
[0087]
然后，对{l
i
}中线段的斜率弧角进行聚类，在本实例中，使用k-means算法进行，其中，聚类个数k可根据场景需要与经验选取，在本实例中k＝min(|{l
i
}|,n)，其中，|{l
i
}|表示集合{l
i
}中元素的个数，n为预设最小长线段数量阈值，n可根据场景需要与经验选取，在本实例中n＝12。
[0088]
通过聚类得到包含k个元素的长直线段斜率弧角集合{s
j
}，j∈{1,2,
…
,k}，该集合记录了长直车道线、灯杆等非公路路面车辙污染目标的边缘信息的斜率弧角，在后续处理中用于剔除干扰。
[0089]
步骤7，公路路面车辙污染区域大多包含多条弯曲且不完全连续的车辙印，并且，由于受到摄像机拍摄引起的透视变换所影响，这些不连续的曲线难以通过一般的曲线拟合方法提取，这里提出基于短直线段集的曲线搜索方法进行识别。
[0090]
首先，使用ppht算法提取中长度超过th
min_ls
的短直线(th
min_ls
为待检测的
短直线段最小长度阈值，可根据场景需要、图幅尺寸进行选取，在本实例中th
min_ls
＝40)，获得短直线段数据集其中，为第i条短直线数据信息，分别为第i条短直线的编号、长度和斜率弧角，分别为第i条短直线的编号、长度和斜率弧角，分别为第i条短直线的两个端点坐标和质心坐标。
[0091]
其次，利用步骤6输出的长直线段斜率弧角聚类结果{s
j
}对短直线集进行过滤，剔除其中斜率弧角与{s
j
}中任意元素相近的短直线段，以排除长直线型非车辙污染目标干扰，具体地，只保留中满足以下条件的短直线段元素输出用作后续处理，如下式所示。
[0092][0093]
上式中th
slope
为判定两线段斜率弧角接近程度的阈值，可根据场景需要与经验选取，在本实例中th
slope
＝5％。
[0094]
然后，搜索中能够构成弯曲且连续曲线的短线段子集该子集应同时满足下列条件：
[0095]
条件1：即中的元素个数应达到阈值th
e
，th
e
可根据场景与处理速度需要选择，在本实例中th
e
＝4；
[0096]
条件2：中的元素两两不相交；
[0097]
条件3：利用中各元素质心的横轴坐标或纵轴坐标对进行升序或降序排序，将排序后的集合表示为计算集合中第1个短线段延长线与后续每一个短线段延长线的夹角，得到夹角序列{α
01
,α
02
,
…
,α
0the
}，该序列的取值应呈单调递减；
[0098]
由上获得由短线段子集组成的集合{φ
n
}，该集合中每一个元素对应车辙污染区域中的一条车辙印；基于车辙污染区域通常会出现多条车辙印的考虑，在集合{φ
n
}元素个数超过预设阈值th
φ
时(该阈值可依据检测场景进行设定，在本实例中th
φ
＝3)，认为视频中出现了路面车辙污染事件，此时，输出集合{φ
n
}。
[0099]
步骤8，如果步骤7有结果输出，则定位包含集合{φ
n
}中所有短线段的最小矩形边界框，作为公路路面车辙污染事件的区域输出。
[0100]
本方法能够对公路网实时视频数据进行智能分析，自动检测判别视频中是否有路面车辙污染事件出现，可以有效提高路面车辙污染事件的检测效率，降低事件漏报风险，减少事件处置延迟，节省公路管理部门巡查管理的成本投入，为改善公路通行环境、保障路网畅通安全提供支撑。
[0101]
以上所述仅是本发明的优选实施方式，应当指出：对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。