一种基于双目视觉的路面沉降和异物检测方法与流程

本发明涉及道路交通监控领域，具体涉及一种基于双目视觉的路面沉降和异物检测方法。

背景技术：

道路交通监控系统是交通管理的重要工具，也是智能交通系统的重要组成部分。目前，道路交通监控系统已经涵盖流量统计、车辆行人检测与跟踪、车牌车型识别、车辆违章检测等多方面的应用，但对一些偶然发生的事件如道路抛洒物、路面沉降等鲜有关注。虽然这类事件发生的概率很小，然而一旦发生就可能造成不可挽回的损失，因此提高对此类事件的预警能力具有十分重要的意义。此外，当前的道路监控系统大多利用单个摄像机进行监控，而单目视觉技术无法获取物体的三维尺寸信息，所以仅仅使用单目视觉技术很难在异物检测、路面沉降检测、井盖监测等方面取得良好的效果。因此，研究一种更加合理有效的路面沉降和异物检测方法具有重大的实用价值。

在道路交通监控数据处理技术中，图像信息的提取往往采用比较单一的手段，来达到预期的技术需求，比如人脸识别、道路交通中常常会用到图像信息，比如在识别图像异常区域的技术中，往往采用预先采集标准图像信息，然后在后期的图像采集过程中，利用后期图像与标准图像进行差异化对比，找到差异点，最终输出差异点，这种方式的缺点在于，需要高质量、高标准的标准图像，但在实际应用过程中，由于标准图像是现场采集而成，会由于光线、建筑物、植物的外部变化造成标准图像不准确，常常造成误报差异点，比如，中午时间采集到的标准图像与傍晚采集的后期的图像对比，差异点不仅仅是图像本身，还存在光线的巨大差异，又比如2001年标准图像与2002年的标准图像，由于植物或建筑物的变化也存在巨大差异，因此如果一直采用前一标准图像进行对比分析，则会造成大量误报。因此，这种采用现场采集标准图像与后其的图像对比分析的技术，无法很好的应用推广。

技术实现要素：

本发明提出一种基于双目视觉的路面沉降和异物检测方法。该方法充分利用双目视觉所获得的视差信息和三维信息，根据事件发生前后视差值和三维坐标的变化来检测是否出现沉降和异物点，进而及时通知控制中心是否发出警报。本发明能够有效解决有效检测图像中沉降和异物区域，避免干扰，减小因此类偶然事件造成的损失。

本发明通过下述技术方案实现：

一种基于双目视觉的路面沉降和异物检测方法，包括以下步骤：

步骤1：匹配同步的左图像和右图像的同名像素点，获取视差图像和对应像素点的三维坐标信息；

步骤2：遍历视差图像的像素点，取当前视差图像之前的部分视差图像的均值与前视差图像进行差运算，然后将差值与阀值比较，以此判断每个像素点是否是沉降区域或者异物区域的点；

具体方式为：先取当前视差图像之前的部分视差图像（可以连续、也可以非连续的视差图像）创建出视差图像的均值矩阵E，其中均值矩阵E表示没有异常情况的视差值，然后创建一个新图像，据缓存视差图像和均值矩阵确定新图像的均值，利用当前视差图像中当前点对应的像素队列中像素值与新图像的均值之差连续大于阈值T的数量M，以及连续小于-T的数量N，以此判断出沉降区域或者异物区域的点；

完成对沉降区域或者异物区域的点的识别后，我们还需要标记出对应的沉降区域或者异物区域，并计算沉降区域或者异物区域的大小，最终决定是否输出报警信息，我们利用形态学，将异样点连通，然后计算沉降区域或者异物区域的几何特征，通过这些特征排除干扰区域，最终利用三维坐标确认沉降区域或者异物区域的三维尺寸，若为大小的沉降区域或者异物区域，则需要报警，若为小型的沉降区域或者异物区域，则不影响实际需求，则我们可以不报警，可以根据具体需求进行设置，因此还包括以下步骤3-步骤6的操作；

步骤3：经过步骤2，得到了不同标记的区域点，分别对沉降区域或者异物区域进行形态学开运算和闭运算，得到连通的沉降区域或者异物区域；

步骤4：对连通区域提取外部轮廓，并计算轮廓的面积、周长以及相应外接矩形的长宽比特征；

步骤5：如果步骤4中得到的特征满足所设定的沉降区域或者异物区域的规格，则将该区域标记为沉降区域或者异物区域；否则，将其标记为干扰区域；

步骤6：根据步骤1中得到的三维坐标信息进一步确定沉降区域或者异物区域的三维尺寸，进而确定是否发出警报；转到步骤1，不断重复步骤1到步骤6进行检测。

针对异物点和沉降点，步骤2的具体过程为：

步骤2-1：首先设置视差图像的均值矩阵E以及视差图像缓存队列Q，其中均值矩阵E表示没有异常情况的视差值；

步骤2-2：将得到的视差图像加入队列Q中；

步骤2-3：如果队列Q的长度小于设定的队列长度阈值S，则进入步骤2-2；否则，进入步骤2-4；

步骤2-4：如果均值矩阵E为空矩阵，则进入步骤2-5；否则，进入步骤2-6；

步骤2-5：遍历均值矩阵E的每一个点，采用方差和均值法初始化均值矩阵E；

步骤2-6：创建与视差图像大小相同的新图像，对每一像素位置，提取队列Q中对应像素点的值，取其中开始的S/3数据计算方差和均值；如果方差大于阈值V，则当前均值使用均值矩阵E对应点的值替换；方差小于阈值V，但当前均值与均值矩阵E对应点的均值差异大于设定的阈值T，也将当前均值替换为均值矩阵E对应点的值；其余情况则保留当前均值参与后续运算；S/3数据为取队列Q的一部分数据，也就是取队列Q中S/3队列长度的数据；

步骤2-7：统计当前点对应的像素队列中像素值与步骤2-6得到的均值之差连续大于阈值T的数量M，以及连续小于-T的数量N；

步骤2-8：如果N>S/2，则判定该当前点为沉降点，新图像中该点值设为标识值X1；如果M≤S/2，则判定该当前点为异物点，将新图像中该当前点值设为标识值X2；若M≤S/2或N≤S/2，则判定该当前点为干扰点，新图像中该点值设为Y；根据不同异样点的属性不同，判断当前点为何种类型的点；

步骤2-9：选择性更新均值矩阵E的点，如果是沉降点或异物点，则不更新均值矩阵E的对应点；否则，将均值矩阵E对应点的值更新为当前均值；

步骤2-10：遍历完所有像素点后，将最早进入队列的视差图像弹出队列。

采用方差和均值法初始化均值矩阵E的具体方法为：对每一个待初始化的点，提取队列Q中对应像素点的值，依次取其中连续S/3数量的组点计算方差和均值，如果方差小于设定的阈值V，则将该组点的均值作为初始化的均值；否则随机选取S/3数量的组点，并将该组点的均值作为初始化的均值。

还包括获得同步的左图像和右图像步骤，其具体过程如下：

步骤11：离线标定双目摄像机，确定双目摄像机的内参和外参；

步骤12：同步的获得左摄像机的图像右摄像机的图像，形成图像对；

步骤13：根据标定的摄像机参数对输入的图像对进行畸变校正，最终获得同步的左图像和右图像。

本发明利用事件发生前后视差值和三维坐标的变化来检测是否出现异样点，采用设置视差图像的均值矩阵E表示没有异常情况的视差值，再利用创建与视差图像大小相同的新图像，取部分数据计算方差和均值，再利用统计当前点对应的像素队列中像素值与新图像部分数据的均值之差与设置的阈值进行比较，判断出沉降区域或者异物区域的点；这种技术手段可以克服预先设置标准图像的各自弊病，克服由于时间变化导致的光线、建筑物、植物、以及其他干扰物的存在而导致的影响，利用事件前后视差值，测定异样点。另外，本发明最终可以根据不同特性的异样点的属性，分别标记出不同的类别的异样点，比如可以标记出沉降点、异物点、干扰点。该方法充分利用双目视觉所获得的视差信息和三维信息，根据事件发生前后视差值和三维坐标的变化来检测路面是否发生沉降或者出现异物，进而及时通知控制中心是否发出警报。本发明能够有效解决传统道路监控方案中未关注到的路面沉降检测问题，同时可以有效检测路面异物，减小因此类偶然事件造成的损失。

当均值矩阵E为空矩阵时，我们无法进行后续处理，因此需要对均值矩阵E进行初始化处理，而均值矩阵E的初始化处理，是利用队列Q中部分数量的组点计算方差和均值，然后将所计算出的方差和均值作为均值矩阵E的数据，这样就避免了像预先设置标准图像那样造成一图对比的技术缺陷，采用方差和均值法初始化均值矩阵E的具体方法为：对每一个待初始化的点，提取队列Q中对应像素点的值，依次取其中连续S/3数量的组点计算方差和均值，如果方差小于设定的阈值V，则将该组点的均值作为初始化的均值；否则随机选取S/3数量的组点，并将该组点的均值作为初始化的均值。

本发明与现有技术相比，具有如下的优点和有益效果：

本发明事件发生前后视差值和三维坐标的变化来检测是否出现异样点，同时可以有效检测路面异物，更加合理有效的对沉降区域或者异物区域进行检测，不会由于干扰导致误报，检测更加准确，具有重大的实用价值。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。

图1为本发明的基本流程图。

图2为本发明中判断当前像素点是否是沉降区域或者异物区域点的详细流程图。

图3为本发明应用到实际沉降和异物模拟场景中的效果图像。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例

如图1所示，一种基于双目视觉的路面沉降和异物检测方法，包括以下步骤：

步骤1：匹配同步的左图像和右图像的同名像素点，获取视差图像和对应像素点的三维坐标信息；

步骤2：遍历视差图像的像素点，取当前视差图像之前的部分视差图像的均值与前视差图像进行差运算，然后将差值与阀值比较，以此判断每个像素点是否是沉降区域或者异物区域的点；

完成对沉降区域或者异物区域的点的识别后，我们还需要标记出对应的沉降区域或者异物区域，并计算沉降区域或者异物区域的大小，最终决定是否输出报警信息，我们利用形态学，将异样点连通，然后计算沉降区域或者异物区域的几何特征，通过这些特征排除干扰区域，最终利用三维坐标确认沉降区域或者异物区域的三维尺寸，若为大小的沉降区域或者异物区域，则需要报警，若为小型的沉降区域或者异物区域，则不影响实际需求，则我们可以不报警，可以根据具体需求进行设置，因此还包括以下步骤3-步骤6的操作。

步骤3：经过步骤2，得到了不同标记的区域点，分别对沉降区域或者异物区域进行形态学开运算和闭运算，得到连通的沉降区域或者异物区域；

步骤4：对连通区域提取外部轮廓，并计算轮廓的面积、周长以及相应外接矩形的长宽比特征；

步骤5：如果步骤4中得到的特征满足所设定的沉降区域或者异物区域的规格，则将该区域标记为沉降区域或者异物区域；否则，将其标记为干扰区域；

步骤6：根据步骤1中得到的三维坐标信息进一步确定沉降区域或者异物区域的三维尺寸，进而确定是否发出警报；转到步骤1，不断重复步骤1到步骤6进行检测。

步骤2的具体过程为：

步骤2-1：首先设置视差图像的均值矩阵E以及视差图像缓存队列Q，其中均值矩阵E表示没有异常情况的视差值；

步骤2-2：将得到的视差图像加入队列Q中；

步骤2-3：如果队列Q的长度小于设定的队列长度阈值S，则进入步骤2-2；否则，进入步骤2-4；

步骤2-4：如果均值矩阵E为空矩阵，则进入步骤2-5；否则，进入步骤2-6；

步骤2-5：遍历均值矩阵E的每一个点，采用方差和均值法初始化均值矩阵E；

步骤2-6：创建与视差图像大小相同的新图像，对每一像素位置，提取队列Q中对应像素点的值，取其中开始的S/3数据计算方差和均值；如果方差大于阈值V，则当前均值使用均值矩阵E对应点的值替换；方差小于阈值V，但当前均值与均值矩阵E对应点的均值差异大于设定的阈值T，也将当前均值替换为均值矩阵E对应点的值；其余情况则保留当前均值参与后续运算；

步骤2-7：统计当前点对应的像素队列中像素值与步骤2-6得到的均值之差连续大于阈值T的数量M，以及连续小于-T的数量N；

步骤2-8：如果N>S/2，则判定该当前点为沉降点，新图像中该点值设为标识值X1；如果M≤S/2，则判定该当前点为异物点，将新图像中该当前点值设为标识值X2；若M≤S/2或N≤S/2，则判定该当前点为干扰点，新图像中该点值设为Y；根据不同异样点的属性不同，判断当前点为何种类型的点。

步骤2-9：选择性更新均值矩阵E的点，如果是沉降点或异物点，则不更新均值矩阵E的对应点；否则，将均值矩阵E对应点的值更新为当前均值；

步骤2-10：遍历完所有像素点后，将最早进入队列的视差图像弹出队列。

采用方差和均值法初始化均值矩阵E的具体方法为：对每一个待初始化的点，提取队列Q中对应像素点的值，依次取其中连续S/3数量的组点计算方差和均值，如果方差小于设定的阈值V，则将该组点的均值作为初始化的均值；否则随机选取S/3数量的组点，并将该组点的均值作为初始化的均值。

还包括获得同步的左图像和右图像步骤，其具体过程如下：

步骤11：离线标定双目摄像机，确定双目摄像机的内参和外参；

步骤12：同步的获得左摄像机的图像右摄像机的图像，形成图像对；

步骤13：根据标定的摄像机参数对输入的图像对进行畸变校正，最终获得同步的左图像和右图像。

本发明利用事件发生前后视差值和三维坐标的变化来检测是否出现异样点，采用设置视差图像的均值矩阵E表示没有异常情况的视差值，再利用创建与视差图像大小相同的新图像，取部分数据计算方差和均值，再利用统计当前点对应的像素队列中像素值与新图像部分数据的均值之差与设置的阈值进行比较，判断出沉降区域或者异物区域的点；这种技术手段可以克服预先设置标准图像的各自弊病，克服由于时间变化导致的光线、建筑物、植物、以及其他干扰物的存在而导致的影响，利用事件前后视差值，测定异样点。另外，本发明最终可以根据不同特性的异样点的属性，分别标记出不同的类别的异样点，比如可以标记出沉降点、异物点、干扰点。该方法充分利用双目视觉所获得的视差信息和三维信息，根据事件发生前后视差值和三维坐标的变化来检测路面是否发生沉降或者出现异物，进而及时通知控制中心是否发出警报。本发明能够有效解决传统道路监控方案中未关注到的路面沉降检测问题，同时可以有效检测路面异物，减小因此类偶然事件造成的损失。

当均值矩阵E为空矩阵时，我们无法进行后续处理，因此需要对均值矩阵E进行初始化处理，而均值矩阵E的初始化处理，是利用队列Q中部分数量的组点计算方差和均值，然后将所计算出的方差和均值作为均值矩阵E的数据，这样就避免了像预先设置标准图像那样造成一图对比的技术缺陷，采用方差和均值法初始化均值矩阵E的具体方法为：对每一个待初始化的点，提取队列Q中对应像素点的值，依次取其中连续S/3数量的组点计算方差和均值，如果方差小于设定的阈值V，则将该组点的均值作为初始化的均值；否则随机选取S/3数量的组点，并将该组点的均值作为初始化的均值。

本发明中的具体效果见图3，该图为本发明应用到实际沉降和异物模拟场景中的效果图像。

为模拟真实的路面监控场景，双目摄像机架设在离路面15m高的地方，并向地面俯拍。同时为了方便展示，将检测结果显示在左图像中。为模拟沉降区域，首先在监控场景中人为放置一个纸箱，纸箱长时间出现在监控画面中，然后撤掉纸箱；为模拟异物区域，首先保持监控画面为正常状态，然后将纸箱长时间放置在监控场景中或者人长时间站在监控场景中同一位置。图3中矩形区域1为模拟的沉降区域检测效果，矩形区域2和矩形区域3为模拟的异物区域检测效果。从图中可以看出，本发明提供的方法能够有效地检测沉降区域和异物区域，并且能够有效排除运动行人和车辆的干扰；同时利用双目视觉，可以减小光线等外部因素的影响，极大地提高了检测的准确率。

以上所述的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。