基于机器视觉原理的栅栏状态检测方法及系统与流程

本发明涉及计算机软件技术领域，尤其涉及机器视觉技术领域，具体是指一种基于机器视觉原理的栅栏状态检测方法及系统。

背景技术：

在许多施工场合，比如电力设施维修、燃气管道维修、自来水管道维修、道路桥梁维修等过程中，必须放置安全警示栅栏将施工场地隔离开来，以警示非相关人员远离施工场地，从而避免引起安全事故。

如何检测安全警示栅栏处于正常的放置状态，尤其是不能缺失或倒地，这个是各个施工单位都必须要解决的问题。目前施工单位采取的最简单的检测方法就是定期进行人工巡逻施工现场，再进一步高效的方法就是通过远程视频监控，在视频监控屏幕上观看施工区域。

对安全警示栅栏状态的检测，人工巡逻检测方法需要投入大量的人力成本，而且不能及时发现状态改变，这种方法存在安全隐患；远程视频监控方法，也需要投入人力成本，而且监控人员长期盯注屏幕观看会产生视觉疲劳，在时效上也存在一定的安全隐患。

技术实现要素：

本发明的目的是克服了上述现有技术的缺点，提供了一种能够基于机器视觉原理实现栅栏状态检测的方法及系统。

为了实现上述目的，本发明具有如下构成：

该基于机器视觉原理的栅栏状态检测方法，包括以下步骤：

(1)分别提取栅栏正常摆放的图像和栅栏倒下的图像的纹理特征向量并保存；

(2)统计当前监控图像中的栅栏特有的警示颜色块的数量，如果数量少于设定的阈值，则继续步骤(4)，否则提取当前图像的纹理特征向量；

(3)将该当前的栅栏图像纹理向量与保存的纹理特征向量进行比较，如果比较结果为栅栏摆放不正常，则继续步骤(4)，否则，继续步骤(2)；

(4)发出告警提示。

较佳地，所述的步骤(1)具体包括以下步骤：

(1-1)从监控场景中选取一幅典型栅栏正常摆放的图像和一幅典型的栅栏倒下的图像；

(1-2)提取所述的栅栏正常摆放的图像的纹理特征向量并保存为v_nor，并提取所述的栅栏倒下的图像的纹理特征向量并保存为v_abn。

更佳地，所述的步骤(1-2)具体包括以下步骤：

(1-2-1)求出警示颜色特征灰度图像中每个连通区域的中心点，计算中心点数量并记为n；

(1-2-2)分别以n个中心点为中心，画出针对hog特征的n个正方形统计区域；

(1-2-3)分别求出所述的n个正方形统计区域的hog特征向量；

(1-2-4)根据k-mean算法将所述的hog特征向量归为三个类别，并去除一个区域数量最少的类别。

更佳地，所述的步骤(2)具体包括以下步骤：

(2-1)从视频监控系统中实时输入一帧监控图像；

(2-2)检测所述的监控图像中是否含有足够量的警示颜色块，如果是，则继续步骤(2-3)，否则，继续步骤(4)；

(2-3)提取所述的监控图像的纹理特征向量，记为v_rel。

更进一步地，所述的检测所述的监控图像中是否含有足够量的警示颜色块，具体包括以下步骤：

(2-2-1)从所述的监控图像中提取警示特征图像；

(2-2-2)将所述的警示特征图像转换为警示灰度图像

(2-2-3)对所述的特征灰度图像进行连通域分析，消除孤立的和含极少警示颜色的小区域点

(2-2-4)计算含警示颜色区域的数量n，并判断n是否大于一预设阈值。

更进一步地，所述的步骤(3)具体包括以下步骤：

(3-1)计算v_nor与v_rel的差别，记为e_nor，并计算v_abn与v_rel的差别，记为e_abn；

(3-2)判断e_nor是否大于th1并且e_abn小于th2，如果是，则栅栏为倒下状态，继续步骤(4)，否则，栅栏为正常状态，继续步骤(2)，其中，th1为正常状态门限值，th2为倒下状态门限值。

更进一步地，所述的步骤(3-1)具体包括以下步骤：

(3-1-1)分别计算两幅图像的hog特征向量的均方误差，并即为e(i)，i＝1、2；

(3-1-2)对所述的均方误差取平均值。

还包括一种基于机器视觉原理的栅栏状态检测系统，包括：

摄像头，用于拍摄栅栏监控图像；

栅栏状态检测程序，所述的栅栏状态检测程序在运行时对从所述的摄像头拍摄的栅栏监控图像进行如下步骤处理：

(1)分别提取栅栏正常摆放的图像和栅栏倒下的图像的纹理特征向量并保存；

(2)统计当前监控图像中的栅栏特有的警示颜色块的数量，如果数量少于设定的阈值，则继续步骤(4)，否则提取当前图像的纹理特征向量；

(3)将该当前的栅栏图像纹理向量与保存的纹理特征向量进行比较，如果比较结果为栅栏摆放不正常，则继续步骤(4)，否则，继续步骤(2)；

(4)发出告警提示。

较佳地，所述的步骤(1)具体包括以下步骤：

(1-1)从监控场景中选取一幅典型栅栏正常摆放的图像和一幅典型的栅栏倒下的图像；

(1-2)提取所述的栅栏正常摆放的图像的纹理特征向量并保存为v_nor，并提取所述的栅栏倒下的图像的纹理特征向量并保存为v_abn。

更佳地，所述的步骤(1-2)具体包括以下步骤：

(1-2-1)求出警示颜色特征灰度图像中每个连通区域的中心点，计算中心点数量并记为n；

(1-2-2)分别以n个中心点为中心，画出针对hog特征的n个正方形统计区域；

(1-2-3)分别求出所述的n个正方形统计区域的hog特征向量；

(1-2-4)根据k-mean算法将所述的hog特征向量归为三个类别，并去除一个区域数量最少的类别。

更佳地，步骤(2)具体包括以下步骤：

(2-1)从视频监控系统中实时输入一帧监控图像；

(2-2)检测所述的监控图像中是否含有足够量的警示颜色块，如果是，则继续步骤(2-3)，否则，继续步骤(4)；

(2-3)提取所述的监控图像的纹理特征向量，记为v_rel。

更进一步地，所述的检测所述的监控图像中是否含有足够量的警示颜色块，具体包括以下步骤：

(2-2-1)从所述的监控图像中提取警示特征图像；

(2-2-2)将所述的警示特征图像转换为警示灰度图像

(2-2-3)对所述的特征灰度图像进行连通域分析，消除孤立的和含极少警示颜色的小区域点

(2-2-4)计算含警示颜色区域的数量n，并判断n是否大于一预设阈值。

更进一步地，步骤(3)具体包括以下步骤：

(3-1)计算v_nor与v_rel的差别，记为e_nor，并计算v_abn与v_rel的差别，记为e_abn；

(3-2)判断e_nor是否大于th1并且e_abn小于th2，如果是，则栅栏为倒下状态，继续步骤(4)，否则，栅栏为正常状态，继续步骤(2)，其中，th1为正常状态门限值，th2为倒下状态门限值。

更进一步地，所述的步骤(3-1)具体包括以下步骤：

(3-1-1)分别计算两幅图像的hog特征向量的均方误差，并即为e(i)，i＝1、2；

(3-1-2)对所述的均方误差取平均值。

采用了该发明中的基于机器视觉原理的栅栏状态检测方法及系统，基于先进的机器视觉技术，不仅能节省人力成本，而且让原来的视频监控系统具有智能识别功能，从而将值班人员从长期紧盯屏幕的紧张状态中解脱出来，智能图像识别算法在保证精度的情况下运行速度快，能保障告警的及时性，能严格杜绝安全隐患；还能应用于电力设施维修、燃气管道维修、自来水管道维修、道路桥梁施工维修等场合，具有广泛的应用范围。

附图说明

图1为本发明的基于机器视觉原理的栅栏状态检测方法的流程示意图。

图2为本发明的基于机器视觉原理的栅栏状态检测方法及系统的正常栅栏的示例图像。

图3为本发明的基于机器视觉原理的栅栏状态检测方法及系统的提取栅栏警示颜色的示例图像。

图4为本发明的基于机器视觉原理的栅栏状态检测方法及系统的栅栏倒下的示例图像。

图5为本发明的基于机器视觉原理的栅栏状态检测方法及系统的栅栏正常状态下的hog特征的分类的示例图像。

图6为本发明的基于机器视觉原理的栅栏状态检测方法及系统的栅栏倒下状态下的hog特征的分类的示例图像。

具体实施方式

为了能够更清楚地描述本发明的技术内容，下面结合具体实施例来进行进一步的描述。

该基于机器视觉原理的栅栏状态检测方法，包括以下步骤：

(1)分别提取栅栏正常摆放的图像和栅栏倒下的图像的纹理特征向量并保存；

(2)统计当前监控图像中的栅栏特有的警示颜色块的数量，如果数量少于设定的阈值，则继续步骤(4)，否则提取当前图像的纹理特征向量；

(3)将该当前的栅栏图像纹理向量与保存的纹理特征向量进行比较，如果比较结果为栅栏摆放不正常，则继续步骤(4)，否则，继续步骤(2)；

(4)发出告警提示。

在一种较佳的实施方式中，所述的步骤(1)具体包括以下步骤：

(1-1)从监控场景中选取一幅典型栅栏正常摆放的图像和一幅典型的栅栏倒下的图像；

(1-2)提取所述的栅栏正常摆放的图像的纹理特征向量并保存为v_nor，并提取所述的栅栏倒下的图像的纹理特征向量并保存为v_abn。

在一种更佳的实施方式中，所述的步骤(1-2)具体包括以下步骤：

(1-2-1)求出警示颜色特征灰度图像中每个连通区域的中心点，计算中心点数量并记为n；

(1-2-2)分别以n个中心点为中心，画出针对hog特征的n个正方形统计区域；

(1-2-3)分别求出所述的n个正方形统计区域的hog特征向量；

(1-2-4)根据k-mean算法将所述的hog特征向量归为三个类别，并去除一个区域数量最少的类别。

在一种更佳的实施方式中，所述的步骤(2)具体包括以下步骤：

(2-1)从视频监控系统中实时输入一帧监控图像；

(2-2)检测所述的监控图像中是否含有足够量的警示颜色块，如果是，则继续步骤(2-3)，否则，继续步骤(4)；

(2-3)提取所述的监控图像的纹理特征向量，记为v_rel。

在一种更进一步的实施方式中，所述的检测所述的监控图像中是否含有足够量的警示颜色块，具体包括以下步骤：

(2-2-1)从所述的监控图像中提取警示特征图像；

(2-2-2)将所述的警示特征图像转换为警示灰度图像

(2-2-3)对所述的特征灰度图像进行连通域分析，消除孤立的和含极少警示颜色的小区域点

(2-2-4)计算含警示颜色区域的数量n，并判断n是否大于一预设阈值。

在一种更进一步的实施方式中，所述的步骤(3)具体包括以下步骤：

(3-1)计算v_nor与v_rel的差别，记为e_nor，并计算v_abn与v_rel的差别，记为e_abn；

(3-2)判断e_nor是否大于th1并且e_abn小于th2，如果是，则栅栏为倒下状态，继续步骤(4)，否则，栅栏为正常状态，继续步骤(2)，其中，th1为正常状态门限值，th2为倒下状态门限值。

在一种更进一步的实施方式中，所述的步骤(3-1)具体包括以下步骤：

(3-1-1)分别计算两幅图像的hog特征向量的均方误差，并即为e(i)，i＝1、2；

(3-1-2)对所述的均方误差取平均值。

还包括一种基于机器视觉原理的栅栏状态检测系统，包括：

摄像头，用于拍摄栅栏监控图像；

栅栏状态检测程序，所述的栅栏状态检测程序在运行时对从所述的摄像头拍摄的栅栏监控图像进行如下步骤处理：

(1)分别提取栅栏正常摆放的图像和栅栏倒下的图像的纹理特征向量并保存；

(2)统计当前监控图像中的栅栏特有的警示颜色块的数量，如果数量少于设定的阈值，则继续步骤(4)，否则提取当前图像的纹理特征向量；

(3)将该当前的栅栏图像纹理向量与保存的纹理特征向量进行比较，如果比较结果为栅栏正常摆放不正常，则继续步骤(4)，否则，继续步骤(2)；

(4)发出告警提示。

在一种较佳的实施方式中，所述的步骤(1)具体包括以下步骤：

(1-1)从监控场景中选取一幅典型栅栏正常摆放的图像和一幅典型的栅栏倒下的图像；

(1-2)提取所述的栅栏正常摆放的图像的纹理特征向量并保存为v_nor，并提取所述的栅栏倒下的图像的纹理特征向量并保存为v_abn。

在一种更佳的实施方式中，所述的步骤(1-2)具体包括以下步骤：

(1-2-1)求出警示颜色特征灰度图像中每个连通区域的中心点，计算中心点数量并记为n；

(1-2-2)分别以n个中心点为中心，画出针对hog特征的n个正方形统计区域；

(1-2-3)分别求出所述的n个正方形统计区域的hog特征向量；

(1-2-4)根据k-mean算法将所述的hog特征向量归为三个类别，并去除一个区域数量最少的类别。

在一种更佳的实施方式中，步骤(2)具体包括以下步骤：

(2-1)从视频监控系统中实时输入一帧监控图像；

(2-2)检测所述的监控图像中是否含有足够量的警示颜色块，如果是，则继续步骤(2-3)，否则，继续步骤(4)；

(2-3)提取所述的监控图像的纹理特征向量，记为v_rel。

在一种更进一步的实施方式中，所述的检测所述的监控图像中是否含有足够量的警示颜色块，具体包括以下步骤：

(2-2-1)从所述的监控图像中提取警示特征图像；

(2-2-2)将所述的警示特征图像转换为警示灰度图像

(2-2-3)对所述的特征灰度图像进行连通域分析，消除孤立的和含极少警示颜色的小区域点

(2-2-4)计算含警示颜色区域的数量n，并判断n是否大于一预设阈值。

在一种更进一步的实施方式中，步骤(3)具体包括以下步骤：

(3-1)计算v_nor与v_rel的差别，记为e_nor，并计算v_abn与v_rel的差别，记为e_abn；

(3-2)判断e_nor是否大于th1并且e_abn小于th2，如果是，则栅栏为倒下状态，继续步骤(4)，否则，栅栏为正常状态，继续步骤(2)，其中，th1为正常状态门限值，th2为倒下状态门限值。

在一种更进一步的实施方式中，所述的步骤(3-1)具体包括以下步骤：

(3-1-1)分别计算两幅图像的hog特征向量的均方误差，并即为e(i)，i＝1、2；

(3-1-2)对所述的均方误差取平均值。

本发明利用施工现场的视频监控，在远程监控服务器中，安装视频图像分析告警软件，基于机器视觉技术，对获取的现场实时视频图像进行智能分析判断，实时检测出安全警示栅栏的缺失和倒地状态，向值班人员或相关施工人员发出告警提示信号。

本发明的基本思路就是从输入的图像中提取纹理特征，分析图像中是否存在栅栏不同状态下特有的纹理特征，从而判别出监控区域栅栏的即时状态。

首先详细描述一下如何统计一帧图像中栅栏特有的警示颜色块的数量：

步骤一，施工安全警示栅栏通常都会有显著的警示颜色，比如在电力设施维修场景中其隔离栅栏带有显著的警示颜色：红色(图中表示为亮度次亮)，如图2所示。通过常规的图像处理技术可以提取出仅含有警示颜色的图像，如图3所示即为将图2中的警示颜色单独取出生成的警示特征图像。

步骤二，将警示特征图像转换为警示灰度图像。

步骤三，对警示特征灰度图像进行连通域分析，消除孤立的和含极少警示颜色的小区域点。

步骤四，计算含警示颜色区域的数量n。

方向梯度直方图(hog)特征是通过计算和统计图像局部区域的梯度方向直方图来构成的特征，栅栏正常状态和倒下状态的警示颜色特征灰度图像的hog特征具有显著的差异，而且其hog特征对图像几何和光学的形变具有很好的不变性，因此hog特征非常适合作为安全警示栅栏图像的典型纹理特征。

其次，详细描述一下如何提取安全警示栅栏图像的典型纹理特征：

步骤一，求出警示颜色特征灰度图像中每个连通区域的中心点，中心点数量也为警示颜色区域的数量n。

步骤二，分别以n个中心点为中心，画出针对hog特征的n个正方形统计区域。

步骤三，分别求出n个正方形统计区域的hog特征向量。

步骤四，将n个hog特征向量，按照k-mean算法归为3个类别。

步骤五，去掉一个区域数量最少的类别，这样保留2个类别的hog特征向量。

最后详细描述一下如何进行2幅图像的hog特征向量比较：

步骤一，针对2类hog特征向量，分别计算2幅图像的hog特征向量的均方误差e(i)，i＝1、2。

步骤二，取2个均方误差的平均值作为2幅图像的hog特征向量的误差e。

在一种更具体的实施方式中：如图1所示，101模块：

1)分别提取img_nor和img_abn的警示颜色(红色(图中表示为亮度次亮))图像。

2)将两个警示颜色图像转换为灰度图像。

3)分别求出警示颜色特征灰度图像中每个连通区域的中心点，中心点数量也为警示颜色区域的数量n。

4)对两幅图像分别以n个中心点为中心，画出针对hog特征的n个正方形统计区域。

5)对两幅图像分别求出n个正方形统计区域的hog特征向量，记为v_nor和v_abn。

6)对两幅图像分别将n个hog特征向量，按照k-mean算法进行聚类分析归为3个类别，如图5所示为栅栏摆放正常状态图像的hog特征的分类图，3种颜色代表3种hog特征分类；如图6所示为栅栏倒下状态图像的hog特征的分类图，3种颜色代表3种hog特征分类。

7)对两幅图像分别去掉一个区域数量最少的类别，这样保留2个类别的hog特征向量，如图5所示，则去掉红色的类别；如图6所示，则去掉蓝色的类别，这样保存好分类好的两幅图像的v_nor和v_abn。

如图1所示，103模块，从变电站视频监控系统中实时输入最新一幅施工区域的监控图像img_rel。

如图1所示，104模块：

1)从img_rel中提取警示颜色图像。

2)将警示颜色图像转换为灰度图像。

3)对警示灰度图像进行8邻域连通域分析，消除孤立的和含极少警示颜色的小区域点。

4)计算连通区域的数量n。

5)当n<20时，进入到模块105；否则进入模块106，其中，20为一预设数值，可以根据实际情况调整。

如图1所示，105模块，此时判断监控区域栅栏处于缺失状态，同时向相关值班或施工人员发出告警提示信号。

如图1所示，106模块，和102模块类似，提取img_rel的hog特征向量，并分为3类，再去掉一个区域数量最少的类别，这样保留2个类别的hog特征向量，img_rel的hog特征向量记为v_rel。

如图1所示，107模块：

1)针对v_rel的2类hog特征向量，分别计算与v_nor的2类hog特征向量的均方误差，误差最小的说明是同类别的比较。

2)取同类别比较的2个均方误差的平均值作为2幅图像的hog特征向量的误差e_nor。

3)同样方法计算出v_rel和v_abn的误差e_abn。

如图1所示，108模块，当e_nor>th1，而且e_abn<th2时，说明当前图像的特征与栅栏摆放正常状态图像的特征差别大，而与栅栏倒下状态图像的特征差别小，则进入到110模块，判断监控区域栅栏处于倒下状态；否则进入到109模块，判断监控区域栅栏处于正常状态。其中th1和th2是判断的门限值，通过测试经验值获取。

如图1所示，109模块，判断电力施工监控区域的警示栅栏处于正常放置状态。

如图1所示，110模块，判断电力施工监控区域的警示栅栏处于倒下状态，同时向相关值班或施工人员发出告警提示信号。

采用了该发明中的基于机器视觉原理的栅栏状态检测方法及系统，基于先进的机器视觉技术，不仅能节省人力成本，而且让原来的视频监控系统具有智能识别功能，从而将值班人员从长期紧盯屏幕的紧张状态中解脱出来，智能图像识别算法在保证精度的情况下运行速度快，能保障告警的及时性，能严格杜绝安全隐患；还能应用于电力设施维修、燃气管道维修、自来水管道维修、道路桥梁施工维修等场合，具有广泛的应用范围。

在此说明书中，本发明已参照其特定的实施例作了描述。但是，很显然仍可以作出各种修改和变换而不背离本发明的精神和范围。因此，说明书和附图应被认为是说明性的而非限制性的。