专利名称：运动矢量法检测云台摄像机工作状态的方法
技术领域：
本发明涉及自动检测技术领域，尤其是视频监控用云台摄像机故障自动检测方法。
背景技术：
云台摄像机在视频监控、工业监测、工业机器人等领域应用广泛。云台摄像机的数量和运行时间与日俱增，设备维护和故障检测的工作量随着系统的扩大也日趋复杂和庞大，传统的人工手动检查方法效率低，应用中亟需一种对云台摄像机自动故障检测的方法。已有的方法“云台自诊断监控电路(发明公开号101776914A)”需要额外的硬件电 路实现云台故障自动检测的功能，系统成本增加。“云台检测方法和检测装置(101631260)”、“图像比对法检测云台摄像机工作状态的方法(101420593)”、“摄像机故障自动检测和管理方法、装置和系统(101783970A )”利用云台控制指令发送前后两帧图像数据的差异是否超过阈值，判断云台运动是否正常；该类方法受图像噪声和干扰的影响大，易造成误检。“一种视频监控设备前端云台故障的自动监测方法和装置(101098466)”通过比较当前图像与静态背景图像的静态区域的差异判断摄像机是否运动；该方法易受局部运动物体的影响，而造成误检。“一种视频质量诊断系统及其实现方法(102176758A)”中提到了 PTZ控制的诊断，其中利用图像透视变换匹配技术检测画面的运动；该方法易受噪声干扰、物体运动等因素的影响，可靠性不高。
发明内容
本发明针对现有技术的不足，提供了一种运动矢量法检测云台摄像机工作状态的方法，云台摄像机工作状态包括摄像机放大、摄像机缩小、云台左右平移、云台上下平移。本发明方法具体为
步骤一向云台摄像机发送某一控制指令，连续采样并保存发送控制指令后、持续一段时间的N帧图像序列，N兰2。步骤二 求当前帧的梯度图；对梯度图二值化，将梯度小于阈值的像素视为平坦区域的像素，形成平坦区域的二值掩膜，对该平坦区域掩膜进行形态学滤波；计算平坦区域的面积，当平坦区域的面积超过阈值时，判定该帧为特征不显著；对于特征不显著视频，执
行步骤三。否则，按照传统运动矢量估计方法中图像块的划分，将当前帧划分为不重叠的块，统计当前帧中平坦块的个数
平坦块为平坦像素数大于块面积设定百分比的块，将当前帧的所有块标记为待求运动矢量的块，执行步骤四。步骤三对于特征不显著视频，求当前帧的显著特征；在当前帧中，将显著特征所在的块标记为待求运动矢量的块；其中，显著特征可选边缘、角点。步骤四根据前一帧图像，对当前帧中待求运动矢量的块，求当前帧的运动矢量；运动矢量方向角以非负整数标记
MVDirection e,DirectionBins}
DirectionBins -M ,表示将0 ~ 2n的方向角M等分,MVDirection- 0 ,表示估计得至Ij的运动矢量(,pA^) = (0，0),即该块在图像的横、纵坐标上均没有运动；当图像中的显
著特征静止或没有显著特征时，MrDtmcUon=Q , 表示x轴方向的运动分量，表示I轴方向的运动分量。步骤五针对不同的云台控制指令，统计连续N-I帧的运动矢量特征，所述的云台控制指令包括摄像机缩放指令和摄像机平移指令； (I)对于摄像机缩放指令
将图像划分为四个象限Ql、Q2、Q3和Q4，在放大和缩小指令下，放大时，图像四个象限上的运动矢量的方向角均向外；缩小时，运动矢量方向角均向内；由此可得，摄像机在放大和缩小时，单帧图像的四个象限上，分别统计运动矢量方向角的直方图，得到对应于四个象
限的四个方向角直方图，分别取每个直方图的最大值对应的方向角，该方向角肖范围应满
足下表_
方向角^节围Q1 Q2 Q3 Q4
放大I 4 5 8 9 12 13 16
缩小|9 12|l3 16 |l 4丨5 8_
摄像机缩放的判断对于连续N帧图像序列的每一帧，分别统计该帧图像四个象限上
的运动矢量方向角的直方图乓，2 = 1，2，3，4 ;求乓取最大值时的方向角兵，判断A的范围
是否满足上表；考虑到噪声和图像序列中运动物体对缩放判断的影响，该条件可以放宽为四个象限中，不少于三个象限满足缩放的角度范围模式时，即可判断该帧为缩小或放大；否则判为既非缩小也非放大；记录每一巾贞的缩放标记在数组ZoomRecord中；统计ZoomRecord数组中非缩放、缩小和放大标记的个数
当缩小的标记数大于预先设定的阈值时，该图像序列表示摄像机在缩小；
当放大的标记数大于预先设定的阈值时，该图像序列表示摄像机在放大；
当非缩小非放大的标记数大于预先设定的阈值时，该图像序列表示摄像机没有缩放。(2)对于平移指令，所述的平移指令是指左右运动和上下运动；
向云台发送平移指令后，摄像机向某一方向连续运动，图像块的运动矢量方向角应与摄像机运动方向相反，一帧图像中，运动矢量方向角直方图的最大值对应的方向角，应与摄像机运动方向相关。摄像机平移或转动的判断对于连续N帧图像序列的每一帧，分别统计运动矢量方向角直方图，求每一巾贞中方向角直方图最大值对应的方向角，为该巾贞的主方向；对于非平坦视频，为消除平坦块对该帧主方向估计的影响，在每一帧的运动矢量方向角直方图中，方向角为0的统计量减去该帧的平坦块数;记录每一帧的主方向在DirectionRecord 数组中，对 DirectionRecord 数组中的方向角做 DirectionBins+1 个方向上的统计直方图；由该直方图最大值对应的方向角即可判断与该图像序列对应的摄像机运动方向
当直方图最大值对应的方向角为O时,表示摄像机静止；
当直方图最大值对应的方向角在{1，2，15，16}范围内时，该图像序列的运动方向向左，表不摄像机向右运动；
当直方图最大值对应的方向角在{3，4，5，6}范围内时，该图像序列的运动方向向下，表示摄像机向上运动；
当直方图最大值对应的方向角在{7，8，9，10}范围内时，该图像序列的运动方向向右，表不摄像机向左运动；
当直方图最大值对应的方向角在{11，12，13，14}范围内时，该图像序列的运动方向向上，表示摄像机向下运动。 本发明采用图像序列的运动矢量估计检测云台摄像机运动功能是否正常。该方法只需已有的带云台摄像机，无需额外的硬件设备，能够自动检测云台摄像机的工作状态；受噪声干扰和运动物体等影响小；对特征不显著的监视场景也能判断云台摄像机的运动状态。
图I为运动矢量方向角的划分和标记 图2为图像划分为四个象限示意 图3 (a)为摄像机放大时图像上运动矢量的方向特征；
图3 (b)为摄像机缩小时图像上运动矢量的方向特征；
图4 Ca)为摄像机左右运动时图像上运动矢量的方向特征；
图4 (b)为摄像机上下运动时图像上运动矢量的方向特征；
图5为本发明方法流程图。
具体实施例方式以下结合附图对本发明作进一步说明。本发明方法的具体步骤是
步骤一向云台摄像机发送某一控制指令，连续采样并保存发送控制指令后、持续一段时间的N帧图像序列，N12。步骤二 求当前帧的梯度图；对梯度图二值化，将梯度小于阈值的像素视为平坦区域的像素，形成平坦区域的二值掩膜，对该平坦区域掩膜进行形态学滤波；计算平坦区域的面积，当平坦区域的面积超过阈值时，判定该帧为特征不显著；对于特征不显著视频，执
行步骤三。否则，按照传统运动矢量估计方法中图像块的划分，将当前帧划分为不重叠的块，统计当前帧中平坦块的个数，平坦块为平坦像素数大于块面积一定百分比的块，将当前帧的所有块标记为待求运动矢量的块，执行步骤四。步骤三对于特征不显著视频，求当前帧的显著特征；在当前帧中，将显著特征所在的块标记为待求运动矢量的块；其中，显著特征可选边缘、角点。
步骤四根据前一帧图像，对当前帧中待求运动矢量的块，求当前帧的运动矢量；运动矢量方向角iWQreclS'CM以非负整数标记
MVDirection € {0,1,2,..., 1 rsciionBins\
DirectionBins = M表示将0 ~ 2冗的方向角If等分,如图I。本实施例中if = 16。步骤五针对不同的云台控制指令，统计连续N-I帧的运动矢量特征，所述的云台控制指令包括摄像机缩放指令和摄像机平移指令；
(1)对于摄像机缩放指令
将图像划分为四个象限，如图2所示。在放大和缩小指令下，图像上运动矢量的方向角如图3 (a)和图3 (b)所示，放大时，图像四个象限上的运动矢量的方向角均向外；缩小时，运动矢量方向角均向内。例如，当摄像机放大时，对图像第一象限Ql的运动矢量方向角做统计直方图，该直方图最大值的角度范围应该为方向角I 4。由此可得，摄像机在放大和缩小时，单帧图像的四个象限上，分别统计运动矢量方向角的直方图，得到对应于四个象限 的四个方向角直方图，分别取每个直方图的最大值对应的方向角，该方向角范围应满足表
Io表I摄像机缩小和放大时，一帧图像的四个象限上，运动矢量方向角统计直方图最大值的方向角4范围
权利要求
1.运动矢量法检测云台摄像机工作状态的方法，其特征在于该方法包括如下步骤步骤一向云台摄像机发送某一控制指令，连续采样并保存发送控制指令后、持续一段时间的N帧图像序列，N会2 ； 步骤二 求当前帧的梯度图；对梯度图二值化，将梯度小于阈值的像素视为平坦区域的像素，形成平坦区域的二值掩膜，对该平坦区域掩膜进行形态学滤波；计算平坦区域的面积，当平坦区域的面积超过阈值时，判定该帧为特征不显著；对于特征不显著视频，执行步骤三； 否则，按照传统运动矢量估计方法中图像块的划分，将当前帧划分为不重叠的块，统计当前帧中平坦块的个数平坦块为平坦像素数大于块面积设定百分比的块，将当前帧的所有块标记为待求运动矢量的块，执行步骤四； 步骤三对于特征不显著视频，求当前帧的显著特征；在当前帧中，将显著特征所在的块标记为待求运动矢量的块；其中，显著特征可选边缘、角点； 步骤四根据前一帧图像，对当前帧中待求运动矢量的块，求当前帧的运动矢量；运动矢量方向角以非负整数标记MVDirection e {0,1,2,..., DirectionBins} DirsctionBins = M ,表示将0 ~ 2/r的方向角M等分，0 ,表示估计得到的运动矢量(Hjf,Mi) = (0，0),即该块在图像的横、纵坐标上均没有运动；当图像中的显著特征静止或没有显著特征时，MlrDireciiofi = 0 , 表示x轴方向的运动分量，表示I轴方向的运动分量； 步骤五针对不同的云台控制指令，统计连续N-I帧的运动矢量特征，所述的云台控制指令包括摄像机缩放指令和摄像机平移指令； (I)对于摄像机缩放指令 将图像划分为四个象限Ql、Q2、Q3和Q4，在放大和缩小指令下，放大时，图像四个象限上的运动矢量的方向角均向外；缩小时，运动矢量方向角均向内；由此可得，摄像机在放大和缩小时，单帧图像的四个象限上，分别统计运动矢量方向角的直方图，得到对应于四个象限的四个方向角直方图，分别取每个直方图的最大值对应的方向角，该方向角4范围应满足下表 _____ 方向角句范围Q1Q2Q3Q4 放大I 45 89 1213 16 缩小|9 12丨13 16 |l 4|5 8摄像机缩放的判断对于连续N帧图像序列的每一帧，分别统计该帧图像四个象限上的运动矢量方向角的直方图乓， = 1,2,3,4 ;求乓取最大值时的方向角4判断爲的范围是否满足上表；考虑到噪声和图像序列中运动物体对缩放判断的影响，该条件可以放宽为四个象限中，不少于三个象限满足缩放的角度范围模式时，即可判断该帧为缩小或放大；否则判为既非缩小也非放大；记录每一巾贞的缩放标记在数组ZoomRecord中；统计ZoomRecord数组中非缩放、缩小和放大标记的个数当缩小的标记数大于预先设定的阈值时，该图像序列表示摄像机在缩小； 当放大的标记数大于预先设定的阈值时，该图像序列表示摄像机在放大； 当非缩小非放大的标记数大于预先设定的阈值时，该图像序列表示摄像机没有缩放； (2)对于平移指令，所述的平移指令是指左右运动和上下运动； 向云台发送平移指令后，摄像机向某一方向连续运动，图像块的运动矢量方向角应与摄像机运动方向相反，一帧图像中，运动矢量方向角直方图的最大值对应的方向角，应与摄像机运动方向相关； 摄像机平移或转动的判断对于连续N帧图像序列的每一帧，分别统计运动矢量方向角直方图，求每一巾贞中方向角直方图最大值对应的方向角，为该巾贞的主方向；对于非平坦视频，为消除平坦块对该帧主方向估计的影响，在每一帧的运动矢量方向角直方图 中，方向角为O的统计量减去该帧的平坦块数用如51&= & ;记录每一帧的主方向在DirectionRecord 数组中，对 DirectionRecord 数组中的方向角做 DirectionBins+1 个方向上的统计直方图；由该直方图最大值对应的方向角即可判断与该图像序列对应的摄像机运动方向 当直方图最大值对应的方向角为0时,表示摄像机静止； 当直方图最大值对应的方向角在{1，2，15，16}范围内时，该图像序列的运动方向向左，表不摄像机向右运动； 当直方图最大值对应的方向角在{3，4，5，6}范围内时，该图像序列的运动方向向下，表示摄像机向上运动； 当直方图最大值对应的方向角在{7，8，9，10}范围内时，该图像序列的运动方向向右，表不摄像机向左运动； 当直方图最大值对应的方向角在{11，12，13，14}范围内时，该图像序列的运动方向向 上，表示摄像机向下运动。
全文摘要
本发明涉及一种运动矢量法检测云台摄像机工作状态的方法。本发明首先向云台摄像机发送某一控制指令，连续采样并保存发送控制指令后、持续一段时间的N帧图像序列。其次求当前帧的梯度图；对梯度图二值化，将梯度小于阈值的像素视为平坦区域的像素，形成平坦区域的二值掩膜，对该平坦区域掩膜进行形态学滤波；然后根据前一帧图像，对当前帧中待求运动矢量的块，求当前帧的运动矢量；最后针对不同的云台控制指令，统计连续N-1帧的运动矢量特征，确定云台摄像机工作状态。本发明采用图像序列的运动矢量估计检测云台摄像机运动功能是否正常。该方法只需已有的带云台摄像机，无需额外的硬件设备，能够自动检测云台摄像机的工作状态。
文档编号H04N17/00GK102724542SQ20121020239
公开日2012年10月10日 申请日期2012年6月19日 优先权日2012年6月19日
发明者尚凌辉, 林国锡, 王亚利, 高勇 申请人:浙江捷尚视觉科技有限公司