一种基于图像处理的视频故障诊断方法
【专利摘要】本发明公开了一种基于图像处理的视频故障诊断方法，其中提供了一种视频模糊的判断方法，不但提高了计算速度，同时能够提高检测成功率；本发明还能够对视频模糊、偏色、冻结、丢失、噪声、条纹、抖动、遮挡等故障的进行实时判定,其中判定图像模糊的方法是在图像的某一范围内的局部极大值点处寻找模糊带的宽度，并对所有符合要求的模糊带进行均值化处理；相比之前的方法，本文提出的方法能更好的描述图像中的模糊程度。
【专利说明】一种基于图像处理的视频故障诊断方法
【技术领域】
[0001] 本发明涉及图像处理技术，尤其涉及一种基于图像处理的视频故障诊断方法。
【背景技术】
[0002] 目前我国各行业各种规模大小的视频监控系统已非常普遍，视频监控领域在最近 几年更是加速发展；但随着监控摄像机数量的不断增加，监控的时间不断延长，采用传统监 控方式不仅消耗大量人力资源，而且很难做到24小时在线实时监控；因此自动地对视频进 行智能化故障诊断成为安防系统的必然要求。视频故障一般包括视频模糊、视频偏色、视频 冻结、视频丢失、视频噪声、视频条纹、视频抖动和视频遮挡；其中，现有的视频模糊的判断 方法主要采用空域和频域两种方式，频域方法是通过傅里叶变换将图像映射到频域，之后 根据频域的能量来判断整幅图像的模糊情况；基于空域的判断方法主要是在图像某一些边 缘点的邻域内判断模糊带的宽度，进而判断模糊度。该方法的计算量较大，实时性差。
【发明内容】
[0003] 有鉴于此，本发明提供了一种基于图像处理的视频故障诊断方法，其中提供了一 种视频模糊的判断方法，不但提高了计算速度，同时能够提高检测成功率；本发明还能够对 视频模糊、偏色、冻结、丢失、噪声、条纹、抖动、遮挡等故障的进行实时判定。
[0004] 为了解决上述技术问题，本发明是这样实现的：
[0005] 本发明的一种基于图像处理的视频故障诊断方法，包括如下步骤：
[0006] 步骤一、获取当前帧图像并进行预处理；
[0007] 步骤二、分别判断当前帧图像是否出现如下故障类型：视频模糊、视频偏色、视频 冻结、视频丢失、视频噪声、视频条纹、视频抖动和视频遮挡；其中，对于视频模糊故障的判 断方法如下：
[0008] S11.先对图像进行尺寸的归一化与灰度化；然后获得前一帧图像与当前帧图像 的帧差图像；最后获得所述帧差图像的边缘检测图像；
[0009] 获得边缘检测图像中局部极大值点，具体方法如下：
[0010] 以当前像素点g。为中心，如果当前像素点g。的灰度值大于其周围的24个像素点 的灰度值大小，则该点为局部极大值点；遍历边缘检测图像中所有像素点，统计局部极大值 点的数量；
[0011] S12.如果局部极大值点的数量小于整幅图像像素点总数的0. 5%。，则认为图像不 模糊；否则，执行步骤S13;
[0012] S13.针对每一个局部极大值点，令（x，y)表示其在图像坐标系中坐标，令其沿x方 向和y方向的边缘检测分别表不为4和f y;其中，图像坐标系的定义为：以图像左上角顶点 为原点〇,图像上边缘所在直线为x轴，指向右；图像左侧边缘所在直线为 y轴，指向下；
[0013] S14?根据公式
【权利要求】
1. 一种基于图像处理的视频故障诊断方法，其特征在于，包括如下步骤： 步骤一、获取当前帧图像并进行预处理； 步骤二、分别判断当前帧图像是否出现如下故障类型：视频模糊、视频偏色、视频冻结、 视频丢失、视频噪声、视频条纹、视频抖动和视频遮挡；其中，对于视频模糊故障的判断方法 如下：
511. 先对图像进行尺寸的归一化与灰度化；然后获得前一帧图像与当前帧图像的帧 差图像；最后获得所述帧差图像的边缘检测图像； 获得边缘检测图像中局部极大值点，具体方法如下： 以当前像素点g。为中心，如果当前像素点gc的灰度值大于其周围的24个像素点的灰 度值大小，则该点为局部极大值点；遍历边缘检测图像中所有像素点，统计局部极大值点的 数量；
512. 如果局部极大值点的数量小于整幅图像像素点总数的0.5%。，则认为图像不模 糊；否则，执行步骤S13;
513. 针对每一个局部极大值点，令（x，y)表示其在图像坐标系中坐标，令其沿X方向和 y方向的边缘检测分别表示为fx和fy;其中，图像坐标系的定义为：以图像左上角顶点为原 点0,图像上边缘所在直线为X轴，指向右；图像左侧边缘所在直线为y轴，指向下；
514.根据公式(X-卜*?^ +〇.5」，>-卜* sina + 0.5」)和(x + L'*eosa + 0.5」，;; + Lr*sini2+ 0.5」），在 图像中分别找到搜索半径r= 1，2, 3, ...，9对应的18个像素点，作为当前局部极大值点 (x，y)的模糊宽度的搜索像素点范围；
515. 在模糊宽度的搜索像素点范围内，将当前局部极值点与其X坐标左侧的像素点依 次进行比较，当找到第一个像素值大于该当前局部极值点的像素点时，则该像素点的位置 为左搜索半径；如果找不到大于该当前局部极值点的像素点，则模糊宽度的搜索范围的左 边界为左搜索半径； 在模糊宽度的搜索像素点范围内，将当前局部极值点与其X坐标右侧的像素点依次进 行比较，当找到第一个像素值小于该当前局部极值点的像素点时，则该像素点为右搜索半 径；如果找不到小于该当前局部极值点的像素点，则模糊宽度的搜索范围的右边界为右搜 索半径；则该局部极值点的模糊带宽度为左搜索半径与右搜索半径确定的宽度；
516. 将所有局部极大值点的模糊带宽度求和，记为BrWidth，得到模糊度：
如果模糊度大于50,则判定当前帧视频存在模糊；否则，当前帧图像不存在模糊； 步骤三、故障综合判断与记录； 针对当前帧图像出现的每一种故障，判断当前帧图像及其前两帧图像是否出现相同的 故障，如果是，则判定当前帧图像出现该故障；如果否，则判定当前帧图像未出现该故障； 记录该故障出现的时间。
2. 如权利要求1所述的一种基于图像处理的视频故障诊断方法，其特征在于，所述步 骤一中图像灰度化的方法如下： 将当前帧图像按照RGB三原色拆分为三个图像通道； 则位置（i，j)处的像素点灰度值表示为：f(i，j) =fr(i，j)*〇. 3+fg(i，j)*0. 59+fb(i，j)*0· 11 其中，f；(i，j)、fg(i，j)和fb(i，j)分别表示三通道图像中位置（i，j)处像素点红、绿、 蓝三个颜色通道分量值； 所述步骤一中获得帧差图像的方法是将连续两帧图像之间对应像素点的灰度值求差 值的绝对值； 所述步骤一中的边缘检测的方法如下： 针对位置（i，j)处的像素点，其沿X方向的边缘检测值为：fx=f(i-1,j+l)+2f(i,j+l)+f(i+1,j+1)； -f(i-1,j-l)-2f(i,j-l)-f(i+1,j-1) 其中f(a，b)表示位置（a，b)处的像素点灰度值； 针对位置（i，j)处的像素点，其沿y方向的边缘检测值为：fy=f(i+1,j-1)+2f(i+1,j)+f(i+1,j+1)； -f(i-1,j-1)-2f(i-1,j)-f(i-1,j+1) 则位置（i，j)处像素点的边缘检测值为： fsobel= If xl + lfyU
3. 如权利要求I或2所述的一种基于图像处理的视频故障诊断方法，其特征在于，所述 步骤二中视频偏色的判断方法如下：
521. 统计当前帧图像中像素点灰度值在25至240范围内的像素点，并分别计算这些像 素点在RGB三通道上的均值RAvg、GAvg和BAvg;
522. 采用余弦函数分别计算三通道颜色的比重：
选择出比重最大的颜色，作 为当前帧图像的近色；
523. 分别计算偏色角和偏色度：
524. 如果偏色度大于50,则当前帧视频存在偏色，偏向的颜色为步骤S22确定的近色； 如果偏色度小于或等于50,则当前帧图像不存在偏色。
4. 如权利要求1或2所述的一种基于图像处理的视频故障诊断方法，其特征在于，所述 步骤二中视频噪声的判断方法如下：
531. 获得当前帧图像和上一帧图像对应的边缘检测图的二值化图像，然后采用八连通 区域方法去除当前帧图像和上一帧图像的边缘检测二值图像中的零散小区域；
532. 针对每个像素点，如果该像素点邻域内的8个像素点在去除零散小区域的上一帧 图像和去除零散小区域的当前帧图像中均不为零，则该像素点为噪声点；
533. 计算噪声点的噪声值： 4=I4f(i,j)+f(i-2,j-2) -2f(i-2,j)+f(i-2,j+2)； -2f(i,j-2)-2f(i,j+2)+f(i+2,j-2)-2f(i+2,j)+f(i+2,j-2) 其中fn表示的是当前噪声点的噪声值；f(a，b)表示位置为（a，b)处的噪声点的像素灰 度值；
534. 根据步骤S32的方法统计整幅图像的噪声点数量；并根据噪声点的数量和对应的 噪声值计算噪声点的平均噪声值Avg;
535. 如果整幅图像的噪声点数小于100,则无噪声； 如果噪声点数量大于或等于100,再判断噪声度：如果噪声度大于50,则当前帧视频存 在噪声，否则不存在噪声；其中，噪声度的定义如下：
5. 如权利要求4所述的一种基于图像处理的视频故障诊断方法，其特征在于，所述步 骤一中的二值化方法如下： 计算所述边缘检测图像中像素边缘检测值的均值Sobelavgl和方差sobelsdv: 对边缘检测图像边缘检测值的均值进行修正： Sobelavg=SobelavglXO. 95+SobeladvX0. 05 确定二值化阈值Th
如果边缘检测图像中的像素值大于二值化阈值Th,则该像素值为255,否则该像素值 为〇。
6. 如权利要求1或2所述的一种基于图像处理的视频故障诊断方法，其特征在于，所述 步骤二中视频丢失的判断方法如下：
541. 在当前的帧差图像中统计像素值大于3的像素点数量，记为DiffCnt;
542. 在边缘检测图中统计像素值大于15的像素点数量，记为SobelCnt;
543. 如果数量DiffCnt占整幅图像总像素点个数的1%。以下，并且数量SobelCnt占整 幅图像总像素点个数的3. 3%。以下，则判定当前帧视频丢失；否则，当前视频不丢失。
7. 如权利要求1或2所述的一种基于图像处理的视频故障诊断方法，其特征在于，所述 步骤二中视频冻结的判断方法如下： 统计帧差图像中像素值大于3的像素点数量，如果该像素点数量占整幅图像总像素点 数的1%。以下，则判定为视频冻结。
8. 如权利要求1或2所述的一种基于图像处理的视频故障诊断方法，其特征在于，所述 步骤二中视频条纹的判断方法如下：
561. 用八连通区域方法去除帧差图像中的零散小区域，得到帧差图像C;
562. 用HOUGH检测直线方法检测帧差图像C中的直线的数量，记为LineNum;
563. 在帧差图像C中寻找一组平行线，使其在帧差图像C中存在的概率最大；
564. 计算所述存在概率最大的平行直线组中所有线段的长度，记为LineLength;根据 存在概率最大的平行直线组中的线段长度与直线数量确定条纹度：
565. 如果条纹度大于50,则认为当前帧图像存在条纹，否则不存在条纹。
9. 如权利要求1或2所述的一种基于图像处理的视频故障诊断方法，其特征在于，所述 步骤二中视频抖动的判断方法如下：
571. 判断当前帧图像是否被判定为噪声故障，如果是，则不进行抖动故障的判定；如 果否，继续执行步骤2;
572. 统计当前帧图像对应的边缘检测二值图像中非零像素数，记为mCnt，前一帧图像 对应的边缘检测二值图像的非零像素数，记为nCnt，比较mCnt和nCnt的大小，将较大的数 记为MaxBCnt,较小的数记为MinBCnt;
573. 判断帧差图像对应的边缘检测图像中各像素的边缘检测值，如果边缘检测值的绝 对值小于12,则匹配点数累积1次，遍历所有的像素，得到匹配点总数；
574. 判断MinBCnt的值是否达到匹配点总数的四分之一，如果没有达到，则判定当前 帧视频抖动；如果达到了，则判定当前视频未发生抖动故障。
10. 如权利要求1或2所述的一种基于图像处理的视频故障诊断方法，其特征在于，所 述步骤二中视频遮挡的判断方法如下：
581. 从当前帧图像上边缘开始，截取掉当前帧图像的十分之一，得到的图像定义为图 像JT;
582. 利用积分图像和快速Hessian矩阵计算图像JT的关键点，并统计其数量；
583. 判断关键点数量是否大于1200 :如果大于，则采用等间隔距离选取的方法选择出 1200个关键点，其他关键点剔除，然后执行S84 ; 如果不大于，执行S84 ;
584. 将图像JT均匀分成四个区域；
585. 确定各个关键点在当前帧图像中的区域位置；
586. 如果关键点总数KeyPt小于50或者任意两个区域关键点之和小于20,判定当前 帧图像存在遮挡；否则，判定当前帧图像不存在遮挡。
【文档编号】H04N17/00GK104469345SQ201410571965
【公开日】2015年3月25日 申请日期:2014年12月10日 优先权日:2014年12月10日
【发明者】李位星, 苏海军, 潘峰, 高琪 申请人:北京理工大学