一种输电线路区域内施工机械的检测方法及系统与流程
本发明涉及输电线路检测技术领域，特别是涉及一种输电线路区域内施工机械的检测方法及系统。
背景技术：
通过对输电线路的入侵行为统计发现，大型机械碰线是输电线路外力入侵的主要因素，因此通过输电线路监控信息来实现对大型机械的自动识别，可以大大减少巡视人员的工作量，同时也会及时发现大型机械的入侵，保障输电线路的运行安全。
目前基于输电线路监控视频的大型机械入侵检测研究较少，当前用于图像的入侵检测方法，一类是基于运动目标的入侵检测方法，典型的方法包括帧差法、高斯混合模型(gmm)、码书(codebook)等；另一类是基于图像分类的方法，如svm分类器、adaboost分类器以及深度学习检测器(fastr-cnn)等。但是基于运动目标检测的入侵检测方法易于受现场环境的干扰而产生误检，同时由于算法本身的局限性，无法提供入侵物体的类别信息(如人、车辆等)，不利于实际应用中的排查工作，存在大量的冗余计算。基于图像分类的方法虽然对背景具有较强的适应能力，并且能提供入侵物体的类别信息，但其需要大量的标注图像样本，少量的图像样本无法达到较好的效果。如何减少深度学习检测器的冗余计算和在训练过程中的图像样本，提高对输电线路中施工机械的检测精度和检测速度，成为一个亟待解决的技术问题。
技术实现要素：
本发明的目的是提供一种输电线路区域内施工机械的检测方法及系统，以减少深度学习检测器的冗余计算和在训练过程中的图像样本，提高对输电线路中施工机械的检测精度和检测速度。
为实现上述目的，本发明提供了如下方案：
一种输电线路区域内施工机械的检测方法，所述检测方法包括如下步骤：
采集输电线路的待检测区域的视频数据；
基于所述视频数据生成待检测区域的码书背景模型；
采集待检测区域的图像，获得待检测图像；
将所述待检测图像中的每个像素点与所述码书背景模型进行匹配，将匹配成功的像素点作为运动目标的像素点，得到待检测图像中的运动目标的像素点坐标集合；
根据运动目标的像素点坐标集合确定待检测区域的每个运动目标的最大外接矩形坐标，建立box集合；
将所述待检测图像和所述box集合输入训练好的fastr-cnn模型，获得检测结果。
可选的，所述基于所述视频数据生成待检测区域的码书背景模型，具体包括：
将所述视频数据的每个像素点表示成时间序列向量xi＝(xi1,xi2,…,xin,…,xin)；其中，xi表示第i个像素点的时间序列向量，xi1,xi2,xin,xin分别表示第i个像素点的第1帧、第2帧、第n帧和第n帧图像的参数；xin＝(rin,gin,bin)，rin,gin,bin分别表示第i个像素点的第n帧图像的r值，g值，b值；
分别建立每个像素点的时间序列向量的码书，得到码书背景模型。
可选的，所述分别建立每个像素点的时间序列向量的码书，具体包括：
初始化码书字数和码书集合，令码书字数l＝0，码书集合cb为空集；
将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果；
若所述匹配结果表示匹配成功，则将第m个码字cm更新为：
其中，fm表示第m个码字匹配成功的次数，rm,gm,bm分别表示第m个码字的r值，g值，b值；btin表示第i个像素点的第n帧图像的亮度值，
执行步骤“判断n的数值是否小于n，得到第二判断结果”；
若所述匹配结果表示匹配不成功，则判断m的数值是否小于l，得到第一判断结果；
若所述第一判断结果表示是，则令m的数值增加1，返回步骤“将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果”；
若所述第一判断结果表示否，则令码书字数l的值增加1，并创建一个新的码字cl＝((rin,gin,bin),btin,btin,1,tn-1,tn,tn)；
判断n的数值是否小于n，得到第二判断结果；
若所述第二判断结果表示是，则令m的数值等于1，令n的数值增加1，返回步骤“将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果”；
若所述第二判断结果表示否，则输出第i个像素点的包含l个码字的码书集合，作为第i个像素点的码书。
可选的，所述将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果，具体包括：
判断第i个像素点的第n帧图像的参数与码书集合中的第m个码字的参数是否满足公式：colordist(xin,vm)≤ε1和brightness(btin,<minbtm,maxbtm>)＝true，得到第三判断结果；其中，vm表示第m个码字的rgb值，vm＝(rm,gm,bm)，ε1表示第一预设阈值；
若所述第三判断结果表示满足，则所述匹配结果表示匹配成功；
若所述第三判断结果表示不满足，则所述匹配结果表示匹配不成功。
可选的，所述根据运动目标的像素点坐标集合确定待检测区域的每个运动目标的最大外接矩形坐标，建立box集合，具体包括：
将运动目标的像素点坐标集合映射到二值矩阵中，得到映射矩阵；
采用两遍扫描算法对所述映射矩阵进行连通区域检测，将每个连通区域作为一个运动目标，得到多个运动目标；
从多个所述运动目标中筛选出像素点数量大于像素点数量最低阈值的运动目标，得到筛选后的运动目标；
对每个所述筛选后的运动目标进行最大外接矩形检测，得到每个筛选后的运动目标的最大外接矩形坐标，作为box集合。
可选的，将所述待检测图像和所述box集合输入训练好的fastr-cnn模型，获得检测结果，之前还包括：
采用已标注的施工机械图像数据集，训练fastr-cnn网络，得到训练好的fastr-cnn模型。
一种输电线路区域内施工机械的检测系统，所述检测系统包括：
视频数据采集模块，用于采集输电线路的待检测区域的视频数据；
码书背景模型建立模块，用于基于所述视频数据生成待检测区域的码书背景模型；
待检测图像采集模块，用于采集待检测区域的图像，获得待检测图像；
运动目标检测模块，用于将所述待检测图像中的每个像素点与所述码书背景模型进行匹配，将匹配成功的像素点作为运动目标的像素点，得到待检测图像中的运动目标的像素点坐标集合；
最大外接矩形坐标确定模块，用于根据运动目标的像素点坐标集合确定待检测区域的每个运动目标的最大外接矩形坐标，建立box集合；
监测模块，用于将所述待检测图像和所述box集合输入训练好的fastr-cnn模型，获得检测结果。
可选的，所述码书背景模型建立模块，具体包括：
时间序列向量生成子模块，用于将所述视频数据的每个像素点表示成时间序列向量xi＝(xi1,xi2,…,xin,…,xin)；其中，xi表示第i个像素点的时间序列向量，xi1,xi2,xin,xin分别表示第i个像素点的第1帧、第2帧、第n帧和第n帧图像的参数；xin＝(rin,gin,bin)，rin,gin,bin分别表示第i个像素点的第n帧图像的r值，g值，b值；
码书背景模型建立子模块，用于分别建立每个像素点的时间序列向量的码书，得到码书背景模型。
可选的，所述码书背景模型建立子模块，具体包括：
初始化单元，用于初始化码书字数和码书集合，令码书字数l＝0,码书集合cb为空集；
匹配单元，用于将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果；
码字更新单元，用于若所述匹配结果表示匹配成功，则将第m个码字cm更新为：
其中，fm表示第m个码字匹配成功的次数，rm,gm,bm分别表示第m个码字的r值，g值，b值；btin表示第i个像素点的第n帧图像的亮度值，
第一判断单元，用于若所述匹配结果表示匹配不成功，则判断m的数值是否小于l，得到第一判断结果；
第一循环单元，用于若所述第一判断结果表示是，则令m的数值增加1，返回步骤“将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果”；
码字新建单元，用于若所述第一判断结果表示否，则令码书字数l的值增加1，并创建一个新的码字cl＝((rin,gin,bin),btin,btin,1,tn-1,tn,tn)；
第二判断单元，用于判断n的数值是否小于n，得到第二判断结果；
第二循环单元，用于若所述第二判断结果表示是，则令m的数值等于1，令n的数值增加1，返回步骤“将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果”；
码书输出单元，用于若所述第二判断结果表示否，则输出第i个像素点的包含l个码字的码书集合，作为第i个像素点的码书。
可选的，所述匹配单元，具体包括：
第三判断子单元，判断第i个像素点的第n帧图像的参数与码书集合中的第m个码字的参数是否满足公式：colordist(xin,vm)≤ε1和brightness(btin,<minbtm,maxbtm>)＝true，得到第三判断结果；其中，vm表示第m个码字的rgb值，vm＝(rm,gm,bm)，ε1表示第一预设阈值；
匹配结果获取子单元，用于若所述第三判断结果表示满足，则所述匹配结果表示匹配成功；若所述第三判断结果表示不满足，则所述匹配结果表示匹配不成功。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明提出了一种输电线路区域内施工机械的检测方法及系统，所述检测方法包括如下步骤：首先，基于视频数据生成待检测区域的码书背景模型；将待检测图像中的每个像素点与所述码书背景模型进行匹配，将匹配成功的像素点作为运动目标的像素点，得到待检测图像中的运动目标的像素点坐标集合；根据运动目标的像素点坐标集合确定待检测区域的每个运动目标的最大外接矩形坐标，建立box集合；将所述待检测图像和所述box集合输入训练好的fastr-cnn模型，获得检测结果。本发明将运动目标检测和深度学习目标检测相结合，可使fastr-cnn只关注图像信息中的前景目标，即运动目标。从而大大减少了算法的冗余计算，同时，利用码书的运动目标检测作用，使得fastr-cnn依靠少量图像样本即可取得较好的检测效果。提高了对输电线路中施工机械的检测精度和检测速度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明提供的一种输电线路区域内施工机械的检测方法的流程图；
图2为本发明提供的一种输电线路区域内施工机械的检测方法的原理图；
图3为现有技术中的fastr-cnn算法的原理示意图；
图4为现有技术中的fastr-cnn算法的感兴趣区域池化的原理图；
图5为本发明提供的采用码书背景模型匹配得到的box集合输入fastr-cnn进行检测的原理示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的目的是提供一种输电线路区域内施工机械的检测方法及系统，以减少深度学习检测器的冗余计算和在训练过程中的图像样本，提高对输电线路中施工机械的检测精度和检测速度。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
为了实现上述目的本发明提供一种输电线路区域内施工机械的检测方法，如图1和2所示，所述检测方法包括如下步骤：
步骤101，采集输电线路的待检测区域的视频数据。
步骤102，基于所述视频数据生成待检测区域的码书背景模型。
步骤102所述基于所述视频数据生成待检测区域的码书背景模型，具体包括：将所述视频数据的每个像素点表示成时间序列向量xi＝(xi1,xi2,…,xin,…,xin)；其中，xi表示第i个像素点的时间序列向量，xi1,xi2,xin,xin分别表示第i个像素点的第1帧、第2帧、第n帧和第n帧图像的参数；xin＝(rin,gin,bin)，rin,gin,bin分别表示第i个像素点的第n帧图像的r值，g值，b值；分别建立每个像素点的时间序列向量的码书，得到码书背景模型。每一个像素点建立一个码书codebook(cb)，每个codebook由l个码字codeword(cw)构成(如式1)。每个像素拥有不同大小的codebook。其中codeword的结构如式2所示。
cb＝(cw1,cw2,…cwl)(1)
cwm＝{(rm,gm,bm),maxbtm,minbtm,fm,λm,pm,qm}(2)
maxbtm,minbtm表示所有与第m个码字匹配的帧的亮度最大值和最小值。m＝1,2，…，l。
fm表示第m个码字出现的次数。
λm表示算法训练过程中第m个码字出现的最大时间间隔。
pm,qm分别表示第m个码字第一次出现和最后一次出现的时间。
其中，所述分别建立每个像素点的时间序列向量的码书，具体包括：
初始化码书字数和码书集合，令码书字数l＝0，码书集合cb为空集；
将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果；
若所述匹配结果表示匹配成功，则将第m个码字cm更新为：
其中，fm表示第m个码字匹配成功的次数，rm,gm,bm分别表示第m个码字的r值，g值，b值；btin表示第i个像素点的第n帧图像的亮度值，
执行步骤“判断n的数值是否小于n，得到第二判断结果”；
若所述匹配结果表示匹配不成功，则判断m的数值是否小于l，得到第一判断结果；
若所述第一判断结果表示是，则令m的数值增加1，返回步骤“将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果”；
若所述第一判断结果表示否，则令码书字数l的值增加1，并创建一个新的码字cl＝((rin,gin,bin),btin,btin,1,tn-1,tn,tn)；
判断n的数值是否小于n，得到第二判断结果；
若所述第二判断结果表示是，则令m的数值等于1，令n的数值增加1，返回步骤“将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果”；
若所述第二判断结果表示否，则输出第i个像素点的包含l个码字的码书集合，作为第i个像素点的码书。
所述将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果，具体包括：判断第i个像素点的第n帧图像的参数与码书集合中的第m个码字的参数是否满足公式：colordist(xin,vm)≤ε1和brightness(btin,<minbtm,maxbtm>)＝true，得到第三判断结果；其中，vm表示第m个码字的rgb值，vm＝(rm,gm,bm)，rm,gm,bm分别表示第m个码字的r值，g值，b值，ε1表示第一预设阈值；
步骤103，采集待检测区域的图像，获得待检测图像；
步骤104，将所述待检测图像中的每个像素点与所述码书背景模型进行匹配，将匹配成功的像素点作为运动目标的像素点，得到待检测图像中的运动目标的像素点坐标集合。
对待检测图像中的每一个像素点执行以下步骤，则可以得到该图像中运动目标的像素点坐标集合，记为obj。
按照公式3和公式4找到与待检测图像中的像素点xt的码书(codebook)中与xt相匹配的码字cm，bt为待检测图像中的像素点xt的亮度值。
若没有找到匹配的码字，则该像素点属于运动目标中的像素点。
colordist(xt，vm)≤ε2(3)
brightness(bt，<minbtm，maxbtm>)＝true(4)
若可以找到匹配的码字，则按照码书建立过程的规则，对码字进行更新。
本发明即使在检测过程中，也会对建立好的码书码字进行更新，以达到背景模型实时更新的目的。
步骤105，根据运动目标的像素点坐标集合确定待检测区域的每个运动目标的最大外接矩形坐标，建立box集合。
步骤105所述根据运动目标的像素点坐标集合确定待检测区域的每个运动目标的最大外接矩形坐标，建立box集合，具体包括：
将运动目标的像素点坐标集合映射到二值矩阵中，得到映射矩阵；即，构建运动目标前景图：新建一个二值矩阵，矩阵的大小和待检测图像的大小一致，依据obj中的各个像素点坐标，将二值矩阵的相应坐标置1，其余位置设置为0。即得到了obj在二值矩阵中的映射。
采用两遍扫描算法对所述映射矩阵进行连通区域检测，将每个连通区域作为一个运动目标，得到多个运动目标；即，在经过obj映射后的二值矩阵上，依靠连通域算法中的两遍扫描法(two-pass)，对该二值矩阵进行连通域检测，得到若干个独立的目标。
从多个所述运动目标中筛选出像素点数量大于像素点数量最低阈值的运动目标，得到筛选后的运动目标；即，设置合适的阈值θ，对步骤4中得到的若干个目标进行删选，剔除掉像素点总数少于θ的目标。
对每个所述筛选后的运动目标进行最大外接矩形检测，得到每个筛选后的运动目标的最大外接矩形坐标，作为box集合。即对筛选后的所有目标进行最大外接矩形检测，得到每个目标的最大外接矩形坐标。记为box集合。
采用已标注的施工机械图像数据集，训练fastr-cnn网络，得到训练好的fastr-cnn模型。
步骤106，将所述待检测图像和所述box集合输入训练好的fastr-cnn模型，获得检测结果。
如图3所示，基于现有的fastr-cnn算法的检测过程为：
输入图像。
通过深度网络中的卷积层(vgg、alexnet、resnet等中的卷积层)对图像进行特征提取，得到图片的特征图。
通过选择性搜索算法得到图像的感兴趣区域(又称区域建议框)，感兴趣区域的数量通常取2000个。
对得到的感兴趣区域进行roipooling(感兴趣区域池化)：即通过坐标投影的方法，在特征图上得到输入图像中的感兴趣区域对应的特征区域，并对该区域进行最大值池化，这样就得到了感兴趣区域的特征，并且统一特征大小，其原理如图4所示。
对roipooling层的输出(及感兴趣区域对应的特征图最大值池化后的特征)作为每个感兴趣区域的特征向量；
将感兴趣区域的特征向量与全连接层相连，并定义多任务损失函数，分别与softmax分类器和boundingbox回归器相连，分别得到当前感兴趣区域的类别及坐标包围框；
对所有得到的包围框进行非极大值抑制(nms)，得到最终的检测结果。
如图5所示，本发明采用码书背景建模的方式生成的box集合来代替感兴趣区域集合。可以大幅提高box集合的质量，过滤掉了静止的冗余目标，从而使算法的检测速度大幅提高。
本发明还提供一种输电线路区域内施工机械的检测系统，所述检测系统包括：
视频数据采集模块，用于采集输电线路的待检测区域的视频数据。
码书背景模型建立模块，用于基于所述视频数据生成待检测区域的码书背景模型。
所述码书背景模型建立模块，具体包括：时间序列向量生成子模块，用于将所述视频数据的每个像素点表示成时间序列向量xi＝(xi1,xi2,…,xin,…,xin)；其中，xi表示第i个像素点的时间序列向量，xi1,xi2,xin,xin分别表示第i个像素点的第1帧、第2帧、第n帧和第n帧图像的参数；xin＝(rin,gin,bin)，rin,gin,bin分别表示第i个像素点的第n帧图像的r值，g值，b值；码书背景模型建立子模块，用于分别建立每个像素点的时间序列向量的码书，得到码书背景模型。
其中，所述码书背景模型建立子模块，具体包括：
初始化单元，用于初始化码书字数和码书集合，令码书字数l＝0,码书集合cb为空集。
匹配单元，用于将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果。
码字更新单元，用于若所述匹配结果表示匹配成功，则将第m个码字cm更新为：
其中，fm表示第m个码字匹配成功的次数，rm,gm,bm分别表示第m个码字的r值，g值，b值；btin表示第i个像素点的第n帧图像的亮度值，
第一判断单元，用于若所述匹配结果表示匹配不成功，则判断m的数值是否小于l，得到第一判断结果。
第一循环单元，用于若所述第一判断结果表示是，则令m的数值增加1，返回步骤“将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果”。
码字新建单元，用于若所述第一判断结果表示否，则令码书字数l的值增加1，并创建一个新的码字cl＝((rin,gin,bin),btin,btin,1,tn-1,tn,tn)。
第二判断单元，用于判断n的数值是否小于n，得到第二判断结果。
第二循环单元，用于若所述第二判断结果表示是，则令m的数值等于1，令n的数值增加1，返回步骤“将第i个像素点的第n帧图像的参数与码书集合中的第m个码字cm的参数进行匹配，得到匹配结果”。
码书输出单元，用于若所述第二判断结果表示否，则输出第i个像素点的包含l个码字的码书集合，作为第i个像素点的码书。
待检测图像采集模块，用于采集待检测区域的图像，获得待检测图像；
运动目标检测模块，用于将所述待检测图像中的每个像素点与所述码书背景模型进行匹配，将匹配成功的像素点作为运动目标的像素点，得到待检测图像中的运动目标的像素点坐标集合；
最大外接矩形坐标确定模块，用于根据运动目标的像素点坐标集合确定待检测区域的每个运动目标的最大外接矩形坐标，建立box集合；
监测模块，用于将所述待检测图像和所述box集合输入训练好的fastr-cnn模型，获得检测结果。
所述匹配单元，具体包括：
第三判断子单元，判断第i个像素点的第n帧图像的参数与码书集合中的第m个码字的参数是否满足公式：colordist(xin,vm)≤ε1和brightness(btin,＜minbtm,maxbtm＞)＝true，得到第三判断结果；其中，vm表示第m个码字的rgb值，vm＝(rm,gm,bm)，rm,gm,bm分别表示第m个码字的r值，g值，b值，ε1表示第一预设阈值；
匹配结果获取子单元，用于若所述第三判断结果表示满足，则所述匹配结果表示匹配成功；若所述第三判断结果表示不满足，则所述匹配结果表示匹配不成功。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明应用于输电线路监控区域的施工机械检测，通过codebook背景建模和fastr-cnn相结合的方法可以提高检测精度，尤其是提高对运动目标的检测精度。
本发明的算法相比于单纯使用fastr-cnn进行检测，可大幅减少误检率，使fastr-cnn算法仅仅关注运动目标，达到了精准的对施工中的机械进行检测。
本发明使用codebook生成的box集合来替代fastr-cnn的box集合生成过程，可以大幅提高box集合的质量，过滤掉了静止的冗余目标，从而使算法的检测速度大幅提高。
本发明可以缓解fastr-cnn对数据(训练样本图像)的依赖，使用少量数据即可得到较好的检测结果。
本说明书中等效实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，等效实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
- 还没有人留言评论。精彩留言会获得点赞！