一种变电站面板有效目标的视频高清晰度关键帧提取方法

1.本发明涉及关键帧提取方法，具体是一种变电站面板有效目标的视频高清晰度关键帧提取方法。


背景技术：

2.视频识别是指利用信息处理与计算机技术、模式识别、数学形态学等多种方法，实现对视频图像处理、分析以及理解的一门新兴技术交叉科学。随着图像识别和由其衍生的视频识别的新算法的不断提出和优化，以及计算机计算能力的提升，图像、视频识别的应用也越来越广泛。
3.年来，随着电力系统运行的智能化，视频技术开始逐步应用于电力领域，常见的视频类型可分为结构化视频和非结构视频，前者可以通过明显的镜头边界找到分割点，后者则需要更智能的方法对视频内容进行判断从而得到边界，视频是由连续的帧组成，其中的关键帧代表了视频主要描述的内容，关键帧的提取就是通过使用有效的算法从视频中提取出最能够代表视频内容的帧图像，在实际应用场景中具有重大意义，关键帧的提取通常分为两步，即先将视频分割成若干镜头，然后对分割的镜头选取关键帧。
4.针对电力系统故障诊断领域，关键帧作为计算机动画术语，指角色或者物体运动变化中关键动作所处的那一帧，现在也被引入视频识别技术的分支。相近帧之间信息冗余度很高，现提出一种变电站面板有效目标的视频高清晰度关键帧提取方法。


技术实现要素：

5.本发明的目的在于提供一种变电站面板有效目标的视频高清晰度关键帧提取方法，使用shi-tomasi算法进行角点检测，识别出面板边框轮廓交点这样灰度梯度有明显变化的交界角点，提出了一种特征点突变判据，采用改进与简化后的l-k光流法对特征点进行追踪，以特征点数量的突变作为判据，快速定位完整面板慢速移动的一级清晰帧，分层嵌套切割出有效区域，对单个有效区域进行二次清晰帧筛选，完成有效目标的视频高清晰度关键帧提取，解决传统过程监测中数据冗余的缺点。
6.本发明的目的可以通过以下技术方案实现：
7.一种变电站面板有效目标的视频高清晰度关键帧提取方法，所述提取方法包括以下步骤：
8.步骤一：基于shi-tomasi矩形角点算法进行角点检测，识别出目标面板边框轮廓交界处的特征角点并筛选出能够确定位置的角点。
9.步骤二：利用改进后的l-k光流法对通过直线检验特征角点进行追踪，以特征角点数量的突变作为判据，基于等时间间隙采集法提取完整面板慢速移动的一级清晰帧。
10.步骤三：基于特征角点对一级清晰关键帧上的有效区域进行分层嵌套切割，分层嵌套切割出有效矩形区域，对同一有效区域进行二次清晰帧筛选。
11.进一步的，所述步骤一中基于shi-tomasi矩形角点算法对视频进行角点检测，(x,
y)点的像素灰度值记为i(x,y)，以(x,y)为中心的固定尺寸滑动窗口为w(x,y)，当窗口发生距离大小为(u,v)的移动时，窗口中的像素点灰度变化量可以表示为：
[0012][0013]
由于视频中有效目标普遍与无效区域有较大的颜色差别，因而基于灰度变化量可以识别出区分两种的特征角点，为了简化运算，式1利用泰勒展开近似表示为：
[0014][0015]
式子中矩阵m表达式为：
[0016][0017]
其中灰度值的变化大小取决于矩阵m，其特征值为λ1、λ2，引入角点响应值r＝min(λ1,λ2)和阈值r，以r＞r作为存在角点的判据。面板视频中角点提取容易受到面板所处的复杂背景环境的影响，产生大量角点，极大地增加后期处理的计算量，因此引入有效角点抑制机制，如果窗口内角点个数大于设定的角点个数阈值，则将角点算法的角点最小间隔调整两倍，直至区域内最大角点数不大于角点个数阈值。
[0018]
进一步的，所述步骤二中的追踪采集的过程如下：
[0019]
s1：无意义角点剔除与特征角点选定
[0020]
角点周围的梯度值变化剧烈，大部分线段的端点和线段连接处周围都会存在角点，一些无意义线段由于其特征比较模糊，梯度变化速率比较小，周围角点数量较少。因此，本发明提取方法利用lsd直线提取算法，引入角点抑制机制，使得区域内最大角点数不大于角点个数阈值，再利用连通域面积阈值滤除大量无效角点，利用连通域面积阈值滤除大量无效角点，对于剩余角点，根据矩形周围角点分布的特性，剔除掉一些不能构成线段的无意义角点，保留特征更加明显的有意义角点，同时取两垂直直线交点附近的角点为特征角点，作为l-k光流法追踪的目标。
[0021]
s2：采用改进后的l-k光流法追踪特征角点
[0022]
引入金字塔分层的方法缩小图像尺寸，降低目标的运动速度改进l-k光流法。设待提取视频里面板运动通过过程中，以特征点初始位置为基础，利用改进l-k光流法在每一帧图像中预估目标光流信息，实现对特征角点的稳定追踪，通过每一帧图像中目标特征点的坐标信息和特征点间初始距离，实时计算并保存特征点的速度和特征点间距。
[0023]
s3：通过特征角点阈值判据判断完整清晰的关键帧，标记这一类帧为一级清晰关键帧。
[0024]
进一步的，所述光流法的基本假设条件为：
[0025]
1)同一目标在不同帧的图片中亮度恒定不变。
[0026]
2)相邻帧间目标对象的运动距离相对较小。
[0027]
3)空间一致，即图像的局部像素点存在相似的运动状态。
[0028]
进一步的，所述步骤三中面板有效区域分层嵌套切割通过有效区域切割预处理采用一种分层嵌套标注方法：
[0029]
(1)使用较大的矩形标注框对具有连续性且不能清晰划分的有效区域进行第一步标注。
[0030]
(2)在第一步的标注框内，对那些特征非常明显并具有相对独立性的区域进行二次标注，形成第二层的嵌套标注，增加了标注框数目进而达到数据增强的效果。
[0031]
进一步的，所述步骤三面板有效区域切割结果分类预处理采用yolov5算法的回归子网络，利用原始yolov5模型将融合的特征图进行全连接等处理，初步判断效区域切割结果所属的类别及边框区信息，将不同的区域按照数据库进行分类，生成精确的位置信息并进行裁剪。
[0032]
进一步的，所述步骤三针对区域清晰度差异化特征的关键帧二次提取技术，对通用清晰度算法函数sobol梯度函数和brenner梯度函数进行卷积：
[0033][0034]
式中，m和n为图片分辨率，f(x,y)为图像中(x,y)点的灰度值，f
x
(x,y)为在(x,y)点沿x方向的梯度值，fy(x,y)为在(x,y)点沿y方向的梯度值。
[0035]
由此，一种达到理想单峰和无偏曲线的双梯度卷积函数f
doubel
：
[0036][0037]
基于该函数对图像清晰度进行评价获得量化的清晰度差异指标，数值越大则认为清晰度越高，通过输出大于某一阈值的图像帧进行二次提取。
[0038]
本发明的有益效果：
[0039]
1、本发明提取方法基于视频处理技术对现场采集的待检测视频进行预处理，利用关键帧提取后的筛选出的有效区域图片，清除无效信息，有效提高数据占总数据比例；
[0040]
2、本发明提取方法得到视频的关键帧集合，删除冗余部分，大幅度减小占用的储存空间；
[0041]
3、本发明提取方法通过光流定点追踪，有效地提取出冗余少且概括视频内容的关键帧，提取方法应用到电力故障巡检等方面能够起到重要的辅助作用，为电力故障巡检提供监测平台。
附图说明
[0042]
下面结合附图对本发明作进一步的说明。
[0043]
图1是本发明提取方法流程图；
[0044]
图2是基本视频结构与关键帧提取；
[0045]
图3是进行角点抑制结果图与；
[0046]
图4是无意义角点剔除筛选结果图；
[0047]
图5是高清晰度关键帧与普通关键帧对比图。
具体实施方式
[0048]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0049]
结合图1-图5所示，一种变电站面板有效目标的视频高清晰度关键帧提取方法，如图1所示提取方法包括以下步骤：
[0050]
步骤一：基于shi-tomasi矩形角点算法进行角点检测，识别出目标面板边框轮廓交界处的角点并筛选出能够确定位置的角点；
[0051]
基于shi-tomasi矩形角点算法对视频进行角点检测，(x,y)点的像素灰度值记为i(x,y)，以(x,y)为中心的固定尺寸滑动窗口为w(x,y)，当窗口发生距离大小为(u,v)的移动时，窗口中的像素点灰度变化量可以表示为：
[0052][0053]
由于视频中有效目标普遍与无效区域有较大的颜色差别，因而基于灰度变化量可以识别出区分两种的特征角点，为了简化运算，式1利用泰勒展开近似表示为：
[0054][0055]
式子中矩阵m表达式为：
[0056][0057]
由此可知，灰度值的变化大小取决于矩阵m，其特征值为λ1、λ2，引入角点响应值r＝min(λ1,λ2)和阈值r，以r＞r作为存在角点的判据。面板视频中角点提取容易受到面板所处的复杂背景环境的影响，产生大量角点，极大地增加后期处理的计算量。对此引入有效角点抑制机制，如果窗口内角点个数大于设定的角点个数阈值，则将角点算法的角点最小间隔调整两倍，直至区域内最大角点数不大于角点个数阈值，达到抑制目的，角点检测结果如图3所示，本方法可以有效的将面板和面板屏幕、按键四角及其他关键点以角点形式进行标注和记录，以便于后期特征角点。
[0058]
步骤二：利用改进后的l-k光流法对通过直线检验特征角点进行追踪，以特征角点数量的突变作为判据，基于等时间间隙采集法提取完整面板慢速移动的一级清晰帧，其中追踪采集的过程如下：
[0059]
s1：无意义角点剔除与特征角点选定
[0060]
角点周围的梯度值变化剧烈，大部分线段的端点和线段连接处周围都会存在角点，一些无意义线段由于其特征比较模糊，梯度变化速率比较小，周围角点数量较少。因此，本发明提取方法利用lsd直线提取算法，引入角点抑制机制，使得区域内最大角点数不大于角点个数阈值，再利用连通域面积阈值滤除大量无效角点，利用连通域面积阈值滤除大量无效角点，对于剩余角点，根据矩形周围角点分布的特性，剔除掉一些不能构成线段的无意义角点，保留特征更加明显的有意义角点，筛选结果如图4所示，其中角点数量选小于图3且
更具有代表意义，能够完整表示面板位置信息，同时取两垂直直线交点附近的角点为特征角点，作为l-k光流法追踪的目标。
[0061]
s2：采用改进后的l-k光流法追踪特征角点
[0062]
光流法的基本假设条件为：同一目标在不同帧的图片中亮度恒定不变；相邻帧间目标对象的运动距离相对较小；空间一致，即图像的局部像素点存在相似的运动状态。
[0063]
由于面板目标移动速度较大时追踪会出现较大误差，引入金字塔分层的方法缩小图像尺寸，从而降低目标的运动速度改进l-k光流法。原始方法提取的光流矢量为一个描述该点瞬时速度的二维矢量，而实验表明面板几乎没有纵向移动，因此仅追踪横向运动。设待提取视频里面板运动通过过程中，以特征点初始位置为基础，利用改进l-k光流法在每一帧图像中预估目标光流信息，实现对特征角点的稳定追踪，通过每一帧图像中目标特征点的坐标信息和特征点间初始距离，实时计算并保存特征点的速度和特征点间距。
[0064]
s3：通过特征角点阈值判据判断完整清晰的关键帧，标记这一类帧为一级清晰关键帧
[0065]
如图2所示，视频通常可以被分为以帧为单位的最小结构，相关帧可以组成同一场景，提取每一场景中包含全部有效信息的关键帧，即可以大幅度压缩信息储存空间，有效提高数据有效比例，通过对视频播放过程中角点数量的实时统计，得出面板有效区域完整出现时产生角点数量突变的实验结果。由于有效区域不连通，因此用特征角点数量曲线的极值点作为关键帧出现的判断条件最为合适。光流是空间运动物体在观察成像平面上的像素运动的瞬时速度，由于摄像头角度原因，匀速运动的物体从进入视频到离开视频速度不为定值，加速度越小，可以近似认为拍摄越清晰。近似认为一帧当中特征角点加速度α服从期望为μ标准差为σ的高斯分布。
[0066]
将清晰帧的条件设置为:
[0067]
μ+mσ＜α＜μ+nσ
[0068]
其中，m，n为实验后得到的经验参数。
[0069]
步骤三：基于特征角点对一级清晰关键帧上的有效区域进行分层嵌套切割，分层嵌套切割出有效矩形区域，对同一有效区域进行二次清晰帧筛选，具体操作流程如下：
[0070]
(1)面板有效区域分层嵌套切割
[0071]
有效区域切割预处理采用一种分层嵌套标注方法，先使用较大的矩形标注框对具有连续性且不能清晰划分的有效区域进行第一步标注；然后，在第一步的标注框内，对那些特征非常明显并具有相对独立性的区域进行二次标注，形成第二层的嵌套标注，增加了标注框数目进而达到数据增强的效果。
[0072]
(2)面板有效区域切割结果分类
[0073]
有效区域分类预处理采用yolov5算法的回归子网络，利用原始yolov5模型将融合的特征图进行全连接等处理，初步判断效区域切割结果所属的类别及边框区信息，将不同的区域按照数据库进行分类，生成精确的位置信息并进行裁剪。
[0074]
(3)切割分类结果清晰度筛选
[0075]
针对区域清晰度差异化特征的关键帧二次提取技术，对通用清晰度算法函数sobol梯度函数和brenner梯度函数进行卷积：
[0076][0077]
式中，m和n为图片分辨率，f(x,y)为图像中(x,y)点的灰度值，f
x
(x,y)为在(x,y)点沿x方向的梯度值，fy(x,y)为在(x,y)点沿y方向的梯度值。
[0078]
由此，一种达到理想单峰和无偏曲线的双梯度卷积函数f
doubel
：
[0079][0080]
基于该函数对图像清晰度进行评价获得量化的清晰度差异指标，数值越大则认为清晰度越高，通过输出大于某一阈值的图像帧进行二次提取，通过本发明提取方法可以应用于电力故障自动巡检拍摄的视频进行处理，提取巡检视频中的有效高清图片，有助于实时发现故障进行检修
[0081]
在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0082]
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。