一种基于图像识别技术的物资送样异常行为识别系统的制作方法

1.本发明涉及监控识别技术领域，具体地说是一种基于图像识别技术的物资送样异常行为识别系统。


背景技术：

2.电网设备质量是大电网安全的物质基础，确保入网设备质量是物资基础工作的核心任务，入网设备质量对电网安全运行具有重要影响。其中抽检是国网公司对电网设备质量管理的一种重要方式，确保检测样品送到检测机构时不被人为换样对于电网设备质量显得尤为关键。
3.鉴于上述原因，本领域一般都通过分析检测样品送样过程中的监控视频信息，但这样会存在三类异常行为：
4.1)送样途中卡车车斗中出现人体进行换样搬运；
5.2)由于人为(纸板或布等)或非人为(灰尘、泥巴或污渍等)因素导致设置的摄像头监控区域画面上有大面积的遮挡，所传递的录像不完整；
6.3)摄像头被调整角度造成设置的监控区域画面不全，无法监控所有卡车车斗中的场景。
7.针对送样过程中三类不同异常行为，需要在视频监控过程中需要对视频中的人或物体进行目标检测，判断其类别及位置，这是一个包含目标定位和目标分类的多任务学习问题。
8.现有技术中的目标检测的方法有两大类，传统的目标检测方法和基于深度学习的目标检测方法，区别在于进行特征提取的时候是手动的还是采用卷积神经网络以及候选框的选取。其中基于深度学习方法卷积神经网络的目标检测算法促进了目标检测的发展，提高了检测的准确率和效率。
9.但是由于卡车中物资设备等障碍物的遮挡，只能在摄像头中观察到部分人体，这种情况下，很多基于整个人体的识别算法因为特征提取不全而产生漏报，因此遮挡情况下的人体识别仍存在很多困难。
10.处理遮挡问题的困难主要表现在：
11.1、由于数据集和遮挡复杂性的影响，分类器无法学习所有的遮挡情
12.2、遮挡干扰了人体轮廓特征的提取，导致检测器无法准确进行预测；
13.3、遮挡时由于预测框之间可能会严重重叠，因此不同目标的预测框可能被非极大值抑制(non-maximum suppression，nms)算法看作一个目标的预测而错误地抑制，造成漏报的发生。
14.基于以上原因，本发明设计了一种基于图像识别技术的物资送样异常行为识别系统，通过改进目标检测算法，并且发明了摄像头遮挡检测与摄像头角度调整报警模块，通过将三大模块的结合，及时发现送样过程的异常行为，有效保证送样的正确性和公正性，从而确保入网设备质量检测的科学性，提升电网运行的安全性。


技术实现要素：

15.本发明的目的是克服现有技术的不足，提供一种基于图像识别技术的物资送样异常行为识别系统，通过改进目标检测算法，并且发明了摄像头遮挡检测与摄像头角度调整报警模块，通过将三大模块的结合，及时发现送样过程的异常行为，有效保证送样的正确性和公正性，从而确保入网设备质量检测的科学性，提升电网运行的安全性。
16.为了达到上述目的，本发明提供一种基于图像识别技术的物资送样异常行为识别系统，由目标检测模块、摄像头遮挡检测模块和摄像头监控角度调整报警模块组成；
17.目标检测模块的具体步骤如下：
18.s1，特征提取：用vgg16卷积神经网络作为特征提取器，对输入图片直接进行特征提取，生成整张图片的特征图；
19.s2，生成候选框：将s1提取到的特征图输入到rpn中，生成正负样本候选框的坐标以及对应的置信度；
20.s3，候选区域映射：将s2中的rpn生成的候选框通过roi池化层映射回s1生成的特征图上并按比例缩放成相同的大小；
21.s4，部位检测网络：针对遮挡问题，增加人体部位检测网络，对人体部位按照可见度进行低、中、高三个层次的划分，设计三个部位检测卷积神经网络，并输出各个部位的置信度得分，通过交叉验证的方式估计每个部位的可见性，综合所有部位的可见性情况输出检测结果；
22.s5，改进的非极大值抑制算法nms筛选：基于边界框的中心距离和形状差异的改进的nms算法：
[0023][0024][0025]
si为预测框pi的置信度，m为置信度最高的预测框，n
t
为预先设置的置信度阈值，pi为除m外的其他预测框，(xm，ym)和(x
p
，y
p
)分别表示m与pi的中心坐标，w和h分别表示同时包含m和pi的最小矩形框的宽度和长度；
[0026]
摄像头遮挡检测模块采用将图像划为4个区域分别计算清晰度的方法来判断摄像头是否被遮挡，具体的算法步骤如下：
[0027]
s10，图像预处理：读取摄像头拍摄的一帧彩色rgb图像，将图像缩放到目标尺寸并矫正去畸变；
[0028]
s20，色度空间转换和滤波处理：将rgb图像转换为灰度图像，接着对灰度图像进行高斯平滑滤波，降低图片中的高频噪声；
[0029]
灰度图像的灰度化处理公式为：
[0030]
gray＝0.299
×
r+0.587
×
g+0.114
×b[0031]
r为红色，g为绿色，b为蓝色；
[0032]
高斯平滑滤波处理公式为：
[0033][0034]
其中，x和y为高斯卷积模板扫描窗口的x和y的坐标值，σ为高斯函数的参数，即高斯核标准差；
[0035]
s30，计算清晰度值：将灰度图像平均划分为4个区域，即左上、右上、左下和右下，使用拉普拉斯算子分别计算每个区域的清晰度值；
[0036]
s40，摄像头遮挡预警：若s30中的4个区域中有任一个区域的清晰度值小于预设的清晰度阈值，则判断摄像头被遮挡；若s30中的4个区域中所有区域的清晰度值都大于预设的阈值，则判断摄像头未被遮挡；为了防止偶然性，提高判断准确率，当连续5秒到10秒内摄像头采集的图像都判断未摄像头被遮挡，则发出摄像头被调整的预警；
[0037]
s50，清晰度阈值确定：
[0038]
取不同天气和道路状况下摄像头未遮挡的视频，使用随机抽样的方法采集未遮挡图像帧样本集，对样本集中每一帧图像，依次执行s10到s30，得到每一帧对应的灰度图像中4个区域的清晰度值，基于箱型图分析法计算所有清晰度值组成的序列的上下四分位数q3和q1值，并计算四分位间距iqr＝q3-q1，清晰度阈值＝q1-1.5
×
iqr；
[0039]
摄像头监控角度调整报警模块采用权重系数综合考虑图像纹理结构和色彩来判断两幅图像的相似度，具体的算法步骤如下：
[0040]
s101，提取摄像头正常监控范围图像：由于换样一般都是在中途发生的，因此取从始发地开车后1到2分钟的监控视频作为正常摄像头监控角度，并从视频中提取出图像，将连续帧图像进行叠加和融合，作为参照图像；
[0041]
s102，提取待检测图像：对于后续的监控视频，每隔一秒从中提取一帧作为待检测图像；
[0042]
s103，提取图像的特征向量：对参照图像和待检测图形，从颜色构成和纹理结构两个角度分别提取特征向量；
[0043]
s104，计算相似性：采用皮尔逊相关系数计算参照图像和待检测图像的颜色构成和纹理结果两个相似度，根据权重系数计算两张图像的相似度，皮尔逊相关系数的计算公式为：
[0044][0045]
其中，x为参照图像的颜色构成或者纹理结构特征向量，y为待检测图像的颜色构成或者纹理结构特征向量，为特征向量x的平均值，为特征向量y的平均值。
[0046]
由最终的分类效果确定颜色和纹理两部分的权重为：
[0047]w纹理
＝0.42，w
颜色
＝0.58
[0048]
权重的计算方法为：
[0049]
给定摄像头不同角度调整的视频作为测试集，按照颜色构成角度计算参照图像和测试图像的相似度，然后根据相似度将测试图像分类为摄像头角度被调整和未调整两类，最后根据预测结果计算正确率。同理，可以计算按纹理角度的正确率。根据颜色和纹理的分
类正确率，使用归一化方法，计算出权重值。
[0050]
根据权重系数计算两张图像的相似度公式为：
[0051]
corr＝0.42corr
纹理
+0.58corr
颜色
[0052]
s105，摄像头角度调整预警：当相似度小于0.5时，则认为摄像头角度被调整，为了防止偶然性，提高判断准确率，当连续5秒到10秒内摄像头采集的图像都与参照图像不相似时，则发出摄像头被调整的预警。
[0053]
同现有技术相比，本发明具备以下有益效果：
[0054]
目标检测模块针对人体遮挡的情况提出了在faster r-cnn算法的基础上增加了人体部位检测网络，获得更具有代表性的特征，用于提高人体在有遮挡情况下的准确率，减少漏检率和误检率。
[0055]
摄像头遮挡检测模块基于划分图像区域分别计算图像清晰度的方法，可以很好地适应动态场景、全遮挡和部分遮挡，克服了基于缓存区检测法依赖于预存储信息的缺点，实现单帧图像即可实现检测的效果，适用于对实时性要求较高的应用场景，具有速度快，准确率高，不依赖预存储的优点。
[0056]
摄像头监控角度调整报警模块通过融合颜色构成和纹理结构两个维度特征，克服灰度直方图方法的缺点，提高判断两幅图像相似度比较的正确率，进而发出摄像头监控角度被调整的预报。
[0057]
通过三个模块的相互配合，可以有效识别并及时预警送样过程中的三种主要异常行为，防止送检样品被换样，有力地保证送样的正确性和公正性，从而确保入网设备质量检测的科学性，提升设备入网运行的安全性。
附图说明
[0058]
图1为本发明基于图像识别技术的送样异常行为识别系统流程图。
[0059]
图2为本发明部位检测网络示意图。
[0060]
图3为本发明物资送样监控视频人体目标检测结果示意图。
[0061]
附图标记说明：
[0062]
无
具体实施方式
[0063]
现结合附图对本发明做进一步描述。
[0064]
参见图1～3，本发明提供了一种基于图像识别技术的物资送样异常行为识别系统，如图1所示，由三个子模块组成，分别是目标检测模块、摄像头遮挡检测模块和摄像头监控角度调整报警模块；
[0065]
目标检测是一种与计算机视觉和图像处理相关的计算机技术，用于检测数字图像和视频中某一目标(如人类、建筑物或汽车)的类别以及位置，它是一个包含目标定位和目标分类的多任务学习问题。在本发明中的目标检测主要是人体识别。
[0066]
一、目标检测模块的具体实施方式如下：
[0067]
1、特征提取：用vgg16卷积神经网络作为特征提取器，对输入图片直接进行特征提取，生成整张图片的特征图；
[0068]
2、生成候选框：将上一步提取到的特征图输入到rpn中，生成正负样本候选框的坐标以及对应的置信度；
[0069]
3、候选区域映射：将第二步rpn生成的候选框通过roi池化层映射回第一步生成的特征图上并按比例缩放成相同的大小；
[0070]
如图2所示，部位检测网络：
[0071]
a)将第3步得到的rois特征图按人体部位遮挡程度划分为三个层级的检测部位。低层部位包含人体小部分可见区域，如左部分头、左胳膊和左腿等，高层部位由多个低层部位组成，如头部、躯干和腿等。层级越高人体的可见区域面积越大；
[0072]
b)针对各层级中不同大小的可见区域以及网络深层特征图感受野的原理，采用尺度不同的卷积神经网络进行部位特征提取，低层部位的可见区域最小，选用1
×
1的卷积核进行特征提取，中层和高层部位分别选用3
×
3和5
×
5的卷积核。每一层再分别进行一个1
×
1的卷积操作，以便获得更深层次的各部位特征,使用最大池化操作输出各个部位的置信度得分；
[0073]
c)对部位检测网络输出的不同部位的置信度进行后处理，估计各个层级的部位可见性。每层部位的可见性估计由该层的部位置信度以及上一层的可见性估计结果综合输出，最终根据最高层部位的可见性估计结果输出模型的检测结果。
[0074]
改进的非极大值抑制算法(nms)筛选：传统nms算法对iou大于某硬阈值的边界框进行统一抑制，而实际上iou相同的两个边界框有不同的重叠方式，位置关系也可能不同，传统nms算法并不能有效的区分这些情况。针对传统nms的不能区分不同重叠模式的缺陷，本发明提出了基于边界框的中心距离和形状差异的改进的nms算法，解决传统nms算法对iou相同情况下区分能力不足的问题，减少了在目标间出现遮挡时的漏报。公式如下：
[0075][0076][0077]
其中,n
t
为预先设置的置信度阈值，m为置信度最高的预测框，pi为除m外的其他预测框，si为预测框pi的置信度,(xm，ym)和(x
p
，y
p
)分别表示预测框m与预测框pi的中心坐标，w和h表示同时包含m和pi的最小矩形框的宽度和长度。
[0078]
中心距离小的两个检测框通常更可能对应着同一个真实目标，所以应该被抑制，由公式可知，在iou相同时，当pi与m的中心距离越小，检测制度si对应的dist(m,p
i)
越大，此时pi被抑制的可能性增大，更符合实际情况。
[0079]
二、摄像头遮挡检测模块，具体实施方式如下：
[0080]
图像预处理：读取摄像头拍摄的一帧彩色rgb图像，将图像缩放到目标尺寸，并矫正去畸变。
[0081]
色度空间转换和滤波处理：将rgb图像转换为灰度图像，灰度化处理公式为：
[0082]
gray＝0.299
×
r+0.587
×
g+0.114
×b[0083]
接着，对灰度图像进行高斯平滑滤波，它可以降低图片中的高频噪声。二维的高斯平滑卷积核函数可以表示为：
[0084][0085]
其中，x和y为高斯卷积模板扫描窗口的x和y的坐标值，σ为高斯函数的参数，即高斯核标准差。
[0086]
计算清晰度值：将灰度图像平均划分为4个区域，即左上、右上、左下和右下，使用拉普拉斯算子分别计算每个区域的清晰度值。
[0087]
摄像头遮挡预警：若上述的4个区域中有任一个区域的清晰度值小于预设的清晰度阈值，则判断摄像头被遮挡；若4个区域中所有区域的清晰度值都大于预设的阈值，则判断摄像头未被遮挡。为了防止偶然性，提高判断准确率，当连续5秒到10秒内摄像头采集的图像都判断未摄像头被遮挡，则发出摄像头被调整的预警。
[0088]
清晰度阈值确定：取不同天气和道路状况下摄像头未遮挡的视频，使用随机抽样的方法采集未遮挡图像帧样本集，对样本集中每一帧图像，依次执行步骤1)到3)，得到每一帧对应的灰度图像中4个区域的清晰度值。基于箱型图分析法计算所有清晰度值组成的序列的上下四分位数q3和q1值，并计算四分位间距iqr＝q3-q1，清晰度阈值＝q1-1.5
×
iqr。
[0089]
三、摄像头监控角度调整报警模块，采用图像相似度的方法来判断，使用灰度直方图的方法计算两幅图像相似度会存在较多的误判问题，误判的原因有：
[0090]
直方图自身局限性：直方图仅反映图像像素各灰度值的数量，不能反映图像纹理结构；
[0091]
图像颜色信息损失：对于彩色图像，将其转为灰度图像计算其灰度直方图，再参与运算比较，在彩色转灰度的转换过程中将损失图像颜色信息，所以会存在大量误判。
[0092]
而本发明的该模块将采用权重系数综合考虑图像纹理结构和色彩来判断两幅图像的相似度，具体的算法步骤如下：
[0093]
提取摄像头正常监控范围图像：由于换样一般都是在中途发生的，因此取从始发地开车后1到2分钟的监控视频作为正常摄像头监控角度，并从视频中提取出图像，将连续帧图像进行叠加和融合，作为参照图像。
[0094]
提取待检测图像：对于后续的监控视频，每隔一秒从中提取一帧作为待检测图像。
[0095]
提取图像的特征向量：对参照图像和待检测图形，从颜色构成和纹理结构两个角度分别提取特征向量。
[0096]
计算相似性：采用皮尔逊相关系数计算参照图像和待检测图像的颜色构成和纹理结果两个相似度，相关系数的计算公式为：
[0097][0098]
其中，x为参照图像的颜色构成或者纹理结构特征向量，y为待检测图像的颜色构成或者纹理结构特征向量，为特征向量x的平均值，为特征向量y的平均值。
[0099]
由最终的分类效果确定两部分的权重为：
[0100]w纹理
＝0.42，w
颜色
＝0.58
[0101]
所述权重的计算方法为：
[0102]
给定摄像头不同角度调整的视频作为测试集，按照颜色构成角度计算参照图像和测试图像的相似度，然后根据相似度将测试图像分类为摄像头角度被调整和未调整两类，最后根据预测结果计算正确率。同理，可以计算按纹理角度的正确率。根据颜色和纹理的分类正确率，使用归一化方法，计算出权重值。
[0103]
根据权重系数计算两张图像的相似度公式为：
[0104]
corr＝042corr
纹理
+0.58corr
颜色
[0105]
摄像头角度调整预警：当相似度小于0.5时，则认为摄像头角度被调整。为了防止偶然性，提高判断准确率，当连续5秒到10秒内摄像头采集的图像都与参照图像不相似时，则发出摄像头被调整的预警。
[0106]
如图3所示，本技术对送样过程中采集的视频数据进行验证，对监控视频中出现的遮挡一半身体，以及被物资设备和卡车铁杆遮挡了脸部和大部分身体图这两类情况均有较好的检测效果，并能匹配出较好的边界框。
[0107]
以上仅是本发明的优选实施方式，只是用于帮助理解本技术的方法及其核心思想，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
[0108]
本发明从整体上解决了现有技术中检测样品送样过程中监控视频中出现人体换样搬运、人为非人为因素的遮挡，以及摄像头角度造成的画面不全的问题，通过改进目标检测模块算法、摄像头遮挡检测模块和摄像头监控角度调整报警模块三大功能模块组合而成的基于图像识别技术构建视频异常行为监测系统，监控检测样品送样过程中采集的视频信息，及时发现送样过程的异常行为，有效保证送样的正确性和公正性，从而确保入网设备质量检测的科学性，提升电网运行的安全性。