专利名称：一种视频质量诊断系统及其实现方法
技术领域：
本发明涉及一种摄像机故障检测技术，尤其涉及一种视频质量诊断系统及其实现方法。
背景技术：
初始阶段对于监控摄像机的故障发现主要依赖人工排查，以规模为1000的监控网络为例，每天有专人依次察看1000个监控摄像机的实时画面，发现其中发生故障的摄像机；除人工排查之外，现有某些视频转接传输设备上的信号无报警功能。以上问题缺陷主要体现在(1)人工排查的工作方式非常落后；( 随着监控摄像机网络规模的扩大，人工排查劳动强度迅速增加，可行性越来越低；C3)随着监控摄像机网络规模的扩大，人工排查的频率逐渐降低，故障被遗漏或没有及时发现的风险逐步提高，以交通监控网络为例，交通事故发生后调取录像时才发现事发地附近的摄像机故障无法正常录像的情况；(4)视频传输设备的信号报警功能单一，只能简单区分信号是否中断，对于视频发生干扰、抖动、模糊等其它问题都无法做出反应；(5)视频传输设备的信号报警功能没有统一标准，只能实现局部的报警，缺乏通用性。自2003年以来，我国用于保障社会安全的摄像机网络，无论从规模还是数量上都有突飞猛进的发展。主要城市以10000为量级的公共监控摄像机网络已比较普遍，摄像机中的大部分都无法被监控人员实时观察到，同时也放大了摄像机故障几率的影响假设摄像机平均三年发生一次故障，那么一个500个摄像机组成的监控网络，如果不能及时发现并维修故障，平均3个月(100天)就有50台摄像机处于故障中。可观的绝对故障数量和难以保障的实时观察时间之间的矛盾使中等以上规模的摄像机网络急需有效的故障主动发现机制，在没有视频诊断系统以前，这种主动发现机制一般是由某个监控值班人员定期逐个的观察所有摄像机的画面，用纸笔记录下发生故障的摄像机以及故障的情况，再把记录反馈给维修部门，这样繁琐、原始的工作方式是人们所不愿接受的。目前的监控摄像机网络可分为纯模拟、纯数字(相机直接输出数字信号)、模数混合三类。首先，在模拟系统中，视频转接设备主要是指模拟视频矩阵，目前只有少数矩阵提供了信号中断报警功能，主要以蜂鸣器的方式报警，多用于设备的调试，当矩阵连接的摄像机数量较多，或矩阵数量较多，或矩阵以层级方式连接的情况下(这些情况在中等以上规模的监控网络中非常普遍)，很难根据报警声音来判断出现问题的具体摄像机；其次，纯数字监控摄像机网络一般提供相机信号有无的自动监测功能，但对于模糊、对焦不准、干扰、 抖动等其它许多常见相机信号故障，则无法自动识别，而且纯数字监控网络只支持同品牌的相机搭建，它的故障报警功能通用性较差；最后，模数混合摄像机网络是将模拟摄像机的信号数字化后在数字网络中传播，这类摄像机网络由于要整合许多不同厂商的设备，也迫切需要通用的基于视频的摄像机故障监测功能
发明内容
针对以上缺陷，本发明的目的是提供一种运用计算机视觉技术对监控摄像机视频质量进行自动分析而实现对摄像机各种视频故障自动检测的视频质量诊断系统及其实现方法，以解决现有技术的诸多不足。为实现上述目的，本发明提供一种视频质量诊断系统，包括诊断任务管理模块、相机视频接入模块、相机视频分割模块、视频质量分析模块及诊断结果管理模块，所述诊断任务管理模块与相机视频接入模块连接，所述相机视频接入模块依次连接相机视频分割模块、视频质量分析模块，最后连接诊断结果管理模块；所述视频质量分析模块由清晰度检测子模块、亮度检测子模块、干扰检测子模块、信号缺失检测单元、色彩平衡检测单元、信号冻结检测单元及PTZ控制检测单元组成；所述诊断任务管理模块可由用户定制诊断任务，通过诊断任务的产生和解析，指定在具体时间对网络中所需摄像机进行视频质量诊断；所述相机视频接入模块按诊断任务安排的顺序依次切换到指定的摄像机；所述相机视频分割模块通过分割算法在相机视频接入模块输出的视频流上以设置时间窗的方式实现识别场景的切换；所述视频质量分析模块完成相应的故障判断并由诊断结果管理模块得出最后的诊断结果。同时提供一种基于上述系统的视频质量诊断实现方法，包括以下步骤(1)由用户定制诊断任务，通过诊断任务的产生和解析，指定在具体时间对网络中所需摄像机进行视频质量诊断；(2)通过相机视频接入模块按诊断任务安排的顺序依次切换到指定的摄像机；进一步通过分割算法在相机视频接入模块输出的视频流上以设置时间窗的方式实现识别场景的切换；(3)调用相应的清晰度检测子模块、亮度检测子模块、干扰检测子模块、信号缺失检测单元、色彩平衡检测单元、信号冻结检测单元或PTZ控制检测单元对视频质量进行相应的故障判断并由诊断结果管理模块得出最后的诊断结果。所述清晰度检测子模块采用模式分类的方法实现，即采集大量正常和异常场景的频谱数据，学习场景信号能量在频谱各段的分布规律，以此为特征设计分类器，对检测摄像机对焦不准，或被柳絮灰尘等异物遮挡住镜头，或因恶意调整而使镜头面对地面或天空等等摄像机视野的信息量异常低下的情况作出识别。所述亮度检测子模块采用智能的分区检测算法，通过分析各区域亮度的一致程度，用于检测摄像机白平衡紊乱，或亮度调节过高过低，导致相机画面过亮或者过暗的异常情况。所述干扰检测子模块在实现时首先通过3D频谱分析以及2D纹理采集得到大量相关的特征，再通过特征筛选，确定和干扰问题相关程度较高的特征，使用这些特征设计分类器，并以该分类器对待检测视频的干扰程度进行判断，用于检测花屏(画面出现雪花或者混乱花纹)、抖动(画面出现周期性振颤或不规则扭曲)、滚屏(画面上下翻滚)等异常情况。所述信号缺失检测单元采用图像特征点匹配技术实现各种无信号画面的统一识别；用于检测摄像机信号中断的异常情况，如黑屏(屏幕全黑)，蓝屏(屏幕呈蓝色)，彩屏(屏幕为信号校验图)以及其他特定图像(比如黑屏中央显示无信号字样等等)。所述色彩平衡检测单元在实现时采用智能的分区检测算法，通过分析各区域色彩的一致性，避免因场景自身色彩较丰富而将正常的摄像机错误的判断为偏色的问题，用于检测摄像机画面出现偏色的异常情况。所述信号冻结检测单元通过特征点匹配技术检测视频各帧画面之间是否高度匹配，用来检测摄像机画面停止不再更新的异常情况。 所述PTZ控制检测单元在实现时首先模拟操作人员向待检测摄像机发送PTZ运动指令，再使用图像的透视变换匹配技术来检测画面的运动方式，从而确定摄像机的运动机能是否正常，用于检测摄像机云台控制失灵的异常情况。本发明所述的视频质量诊断系统及其实现方法的有益效果为通过设置诊断任务管理模块、相机视频接入模块、相机视频分割模块、视频质量分析模块及诊断结果管理模块，同时结合相应的实现方法，能够有效运用计算机视觉技术对监控摄像机视频质量进行自动分析，从而实现对摄像机各种视频故障自动检测问题。
下面根据实施例和附图对本发明作进一步详细说明。图1是本发明实施例所述视频质量诊断系统的结构组成示意图；图2是本发明实施例的视频质量诊断系统的视频接入模块视频流示意图；图3是本发明实施例所述视频质量诊断系统的相机视频分割原理示意图；图4是本发明实施例所述视频质量诊断系统的清晰度检测模块原理图；图5是本发明实施例所述视频质量诊断系统的亮度检测模块原理图；图6是本发明实施例所述视频质量诊断系统的干扰检测模块原理图；图7是本发明实施例所述视频质量诊断系统的信号缺失检测原理示意图；图8是本发明实施例所述视频质量诊断系统的色彩平衡检测模块原理图；图9是本发明实施例所述视频质量诊断系统的信号冻结检测原理示意图。
具体实施例方式如图1所示，本发明所述的视频质量诊断系统，包括诊断任务管理模块1、相机视频接入模块2、相机视频分割模块3、视频质量分析模块4及诊断结果管理模块5，所述诊断任务管理模块1首先与相机视频接入模块2连接，其中的相机视频接入模块2、相机视频分割模块3、视频质量分析模块4依次连接，所述视频质量分析模块4最后连接诊断结果管理模块5 ；所述视频质量分析模块4由清晰度检测子模块、亮度检测子模块、干扰检测子模块、 信号缺失检测单元、色彩平衡检测单元、信号冻结检测单元及PTZ控制检测单元组成。如图2所示，本发明所述的视频质量诊断系统的实现方法，对于诊断任务管理模块1与相机视频接入模块2的实现方式，首先，其中的诊断任务管理模块1通过诊断任务的产生和解析，并且诊断任务由用户定制，再指定在具体时间对网络中所需摄像机进行视频质量诊断；然后，其中的相机视频接入模块2按诊断任务安排的顺序依次切换到指定的摄像机，输出本图2所示的视频信号，其中在每个摄像机停留的时间一般为5-8s，系统即根据这段时间内相机的视频画面来评价各相机的视频质量。对于接入方式，为使系统具备很强的通用性则可设置模拟和数字两种接入方式在模拟摄像机网络下，相机视频接入模块2 通过视频采集卡与摄像机网络的中心矩阵相连，自动控制矩阵将待诊断的摄像机视频信号依次接入系统；在数字摄像机网络下，各摄像机的视频信号经过数字编码后再由流媒体服务器负责转发，相机视频接入模块2通过流媒体服务器的解码SDK依次解析各摄像机的数字视频流，再将解码后的视频接入系统。如图3所示，本发明所述的视频质量诊断系统的实现方法，对于相机视频分割模块3的实现过程，首先由于控制信号传输存在不可避免的迟延，相机视频接入模块尽管控制相机视频之间的切换，但并不能准确给出所输出视频流中各相机视频间的分界时间点， 因此该模块需要确定这些切换时间点的精确位置，即自动识别视频流中的场景切换；具体作法是通过分割算法在接入模块输出的视频流上设置一个长度为1.25秒的时间窗，并以 0. 25s的间隔滑动(即定位精度为0. 25s)，时间窗有三个小时间区间组成即长度为0. 5s 的区间A与区间B，以及长度为0. 25s的区间G ；分割算法使用基于纹理特征聚类的方法分别对区间A和区间B进行场景一致性评价(即计算区间内只包含同一场景视频的概率)，假设相机视频的切换发生在区间G，则A与B各自的一致性评价都很高，而A+B的一致性评价则很低；反之，如果视频切换没有发生在区间G，即区间A，B都属于同一场景，则A+B的一致性评价仍然会很高。如图4-9所示，本发明所述的视频质量诊断系统的实现方法，对于作为系统核心的视频质量分析模块4的实现过程，用于对已经分割好的各摄像机视频片断进行各项视频质量的评价并发现其中发生故障的摄像机，详细实现方式为(1)其中的清晰度检测子模块对检测摄像机对焦不准，或被柳絮灰尘等异物遮挡住镜头，或因恶意调整而使镜头面对地面或天空等等摄像机视野的信息量异常低下的情况，当相机发生这些异常时，视频中的高频信息量(即通常所说的“细节”，细节越丰富，画面越清晰)和正常情况相比将出现明显下降，这种下降的具体幅度又和视频所包含场景在正常情况下的总体信息量有关，该子模块采用模式分类的方法实现，即采集大量正常和异常场景的频谱数据，学习场景信号能量在频谱各段的分布规律，以此为特征设计分类器；(2)其中的亮度检测子模块用于检测摄像机白平衡紊乱，或亮度调节过高过低，导致相机画面过亮或者过暗的异常情况。其主要实现方式为采用智能的分区检测算法，通过分析各区域亮度的一致程度，避免因场景自身亮度较高或较低而对摄像机的亮度产生错误的判断结果；(3)其中的干扰检测子模块用于检测花屏(画面出现雪花或者混乱花纹)、抖动 (画面出现周期性振颤或不规则扭曲)、滚屏(画面上下翻滚)等异常情况；这些异常中，花屏类异常主要表现在图像2D空域上，而抖动和滚屏类异常则同时包含了时域和空域上的信息干扰，该子模块在实现时首先通过3D频谱分析以及2D纹理采集得到大量相关的特征， 再通过特征筛选，确定和干扰问题相关程度较高的特征，使用这些特征设计分类器，并以该分类器对待检测视频的干扰程度进行判断。(4)其中的信号缺失检测单元用于检测摄像机信号中断的异常情况，模拟/数字系统出现无信号的情况主要有以下几种黑屏(屏幕全黑)，蓝屏(屏幕呈蓝色)，彩屏(屏幕为信号校验图)以及其他特定图象(比如黑屏中央显示无信号字样等等)；作为通用的无信号检测模块在实现时，该单元采用图像特征点匹配技术实现各种无信号画面的统一识别，能够有效避免传输干扰或多级系统信号叠加对于结果的影响；(5)其中的色彩平衡检测单元用于检测摄像机画面出现偏色的异常情况，该单元在实现时采用智能的分区检测算法，通过分析各区域色彩的一致性，避免因场景自身色彩较丰富而将正常的摄像机错误的判断为偏色的问题；(6)其中的信号冻结检测单元用于通过特征点匹配技术检测视频各帧画面之间是否高度匹配来检测摄像机画面停止不再更新的异常情况；(7)其中的PTZ控制检测单元用于检测摄像机云台控制失灵的异常情况，具体的说，即对带有云台控制的摄像机的上下左右运动机能进行检测，发现无法正常运动的情况； 该模块在实现时首先模拟操作人员向待检测摄像机发送PTZ运动指令，再使用图像的透视变换匹配技术来检测画面的运动方式，从而确定摄像机的运动机能是否正常。
权利要求
1.一种视频质量诊断系统，其特征在于包括诊断任务管理模块、相机视频接入模块、 相机视频分割模块、视频质量分析模块及诊断结果管理模块，所述诊断任务管理模块与相机视频接入模块连接，所述相机视频接入模块依次连接相机视频分割模块、视频质量分析模块，最后连接诊断结果管理模块；所述视频质量分析模块由清晰度检测子模块、亮度检测子模块、干扰检测子模块、信号缺失检测单元、色彩平衡检测单元、信号冻结检测单元及PTZ 控制检测单元组成；所述诊断任务管理模块可由用户定制诊断任务，通过诊断任务的产生和解析，指定在具体时间对网络中所需摄像机进行视频质量诊断；所述相机视频接入模块按诊断任务安排的顺序依次切换到指定的摄像机；所述相机视频分割模块通过分割算法在相机视频接入模块输出的视频流上以设置时间窗的方式实现识别场景的切换；所述视频质量分析模块完成相应的故障判断并由诊断结果管理模块得出最后的诊断结果。
2.一种基于权利要求1所述系统的视频质量诊断实现方法，其特征在于包括以下步骤(1)由用户定制诊断任务，通过诊断任务的产生和解析，指定在具体时间对网络中所需摄像机进行视频质量诊断；(2)通过相机视频接入模块按诊断任务安排的顺序依次切换到指定的摄像机；进一步通过分割算法在相机视频接入模块输出的视频流上以设置时间窗的方式实现识别场景的切换；(3)调用相应的清晰度检测子模块、亮度检测子模块、干扰检测子模块、信号缺失检测单元、色彩平衡检测单元、信号冻结检测单元或PTZ控制检测单元对视频质量进行相应的故障判断并由诊断结果管理模块得出最后的诊断结果。
3.根据权利要求2所述的视频质量诊断实现方法，其特征在于所述清晰度检测子模块采用模式分类的方法实现，即采集大量正常和异常场景的频谱数据，学习场景信号能量在频谱各段的分布规律，以此为特征设计分类器，对检测摄像机对焦不准，或被柳絮灰尘等异物遮挡住镜头，或因恶意调整而使镜头面对地面或天空等等摄像机视野的信息量异常低下的情况作出识别。
4.根据权利要求2所述的视频质量诊断实现方法，其特征在于所述亮度检测子模块采用智能的分区检测算法，通过分析各区域亮度的一致程度，用于检测摄像机白平衡紊乱， 或亮度调节过高过低，导致相机画面过亮或者过暗的异常情况。
5.根据权利要求2所述的视频质量诊断实现方法，其特征在于所述干扰检测子模块在实现时首先通过3D频谱分析以及2D纹理采集得到大量相关的特征，再通过特征筛选，确定和干扰问题相关程度较高的特征，使用这些特征设计分类器，并以该分类器对待检测视频的干扰程度进行判断，用于检测花屏(画面出现雪花或者混乱花纹)、抖动(画面出现周期性振颤或不规则扭曲)、滚屏(画面上下翻滚)等异常情况。
6.根据权利要求2所述的视频质量诊断实现方法，其特征在于所述信号缺失检测单元采用图像特征点匹配技术实现各种无信号画面的统一识别；用于检测摄像机信号中断的异常情况，如黑屏(屏幕全黑)，蓝屏(屏幕呈蓝色)，彩屏(屏幕为信号校验图)以及其他特定图像(比如黑屏中央显示无信号字样等等)。
7.根据权利要求2所述的视频质量诊断实现方法，其特征在于所述色彩平衡检测单元在实现时采用智能的分区检测算法，通过分析各区域色彩的一致性，避免因场景自身色彩较丰富而将正常的摄像机错误的判断为偏色的问题，用于检测摄像机画面出现偏色的异常情况。
8.根据权利要求2所述的视频质量诊断实现方法，其特征在于所述信号冻结检测单元通过特征点匹配技术检测视频各帧画面之间是否高度匹配，用来检测摄像机画面停止不再更新的异常情况。
9.根据权利要求2所述的视频质量诊断实现方法，其特征在于所述PTZ控制检测单元在实现时首先模拟操作人员向待检测摄像机发送PTZ运动指令，再使用图像的透视变换匹配技术来检测画面的运动方式，从而确定摄像机的运动机能是否正常，用于检测摄像机云台控制失灵的异常情况。
全文摘要
一种视频质量诊断系统及其实现方法，包括诊断任务管理模块、相机视频接入模块、相机视频分割模块、视频质量分析模块及诊断结果管理模块，所述视频质量分析模块由清晰度检测子模块、亮度检测子模块、干扰检测子模块、信号缺失检测单元、色彩平衡检测单元、信号冻结检测单元及PTZ控制检测单元组成。本发明通过设置上述模块并同时结合相应的实现方法，能够有效运用计算机视觉技术对监控摄像机视频质量进行自动分析，从而实现对摄像机各种视频故障自动检测问题。
文档编号H04N17/02GK102176758SQ20111005343
公开日2011年9月7日 申请日期2011年3月7日 优先权日2011年3月7日
发明者林宇, 郑翔, 陶海 申请人:北京文安科技发展有限公司