专利名称：数字化的实时多通道视、音频异态检测的方法
技术领域：
本发明属于视频、音频异态检测的方法，应用在广播电视监测网络中检测视频、音频异态告警。
背景技术：
在我国，随着有线电视覆盖网的迅猛发展，与之相适应的广播电视监测网络将很快形成。它对改善广播电视传输和播出质量，核查广播电视覆盖网效果，为拟定、修改覆盖网技术规划提供科学依据，是开展节目制作、传输和播出系统技术质量评比竞赛的评判依据，是各级广播电视行政主管部门和各级电视台、有线台进行科学管理的现代化技术手段。
有线电视监测网络的主要任务是实时地监视整个有线电视网络中播出的电视信号质量和电视节目内容，视频、音频异态主要包括无视频、无音频和视频图象静止。目前，有线电视网络中的视频、音频的异态检测主要靠人工观察完成，很难实现长时间、多通道的检测。
发明内容
本发明的目的是为克服已有对有线电视监测手段的不足之处，提供一种数字化的实时多通道视频、音频异态检测方法。实现长时间、实时、多通道的视频、音频异态自动检测。
本发明包括将多路视频、音频信号数字化后，对数据进行实时处理，将处理结果与相关异态阈值比较，超出阈值将被判为异态，该方法具体包括视频信号异态检测，其步骤为1)利用视频采集卡实时采集多路视频信号，存储在帧图象缓冲区中；2)帧图象缓冲区中提取当前帧图象转换成为数字化灰度图象后，对该当前帧图象各列灰度值的和nC进行分类；3)以判别各分类内的nC分布是否均匀来确定该分类是否为非噪声分类；4)若属于非噪声分类的列数占到全部列数的比例达到均匀分布阈值SR以上，则认为是彩底或彩条信号，进一步，若非噪声分类数小于最小彩条数阈值CBMin为彩底，大于CBMin且小于最大彩条数阈值CBMax为彩条，其中，0％＜SR＜100％，SR越大，条件越苛刻，1＜CBMin＜5，8＜CBMax＜12；5)若属于非噪声分类的列数占到全部列数的比例小于SR，计算当前帧图象与事先存储的用来和当前帧图象比较的特定图样矢量的相关值A；6)如果相关值A大于相似阈值Amin则认为当前帧图象与特定图样相似，则当前帧图像异态，采用不同的特定图样可以判定当前帧图象的不同异态，其中，90％＜Amin＜100％，Amin越大，则条件越苛刻；音频信号异态检测，其步骤为1)采集多路音频信号进行模数转换成数字化信号后从中提取音频信号幅度值，减去平均噪声幅度得到信噪比snr；2)比较音频信号信噪比snr与音频门限阈值AT，如果snr大于AT则认为音频正常，否则认为是无声音，并继续判断音频是否正常，若无声音时间超过静音时间间隔阈值MT则判断出无音频异态；其中，3＜AT＜30db，1秒＜MT＜10分。
所说的分类方法可为判断nC与前一类各列nC的平均值(即重心nCg)的距离是否大于分类阈值S，大于则产生一新类，否则归入前一类，其中，100＜S＜500，S越大条件越宽松。
所说的判别各分类内的nC分布是否均匀的方法可为计算分类内nC的均方差N，与线性阈值nL比较，均方差小于nL的则为均匀分布，即确定为非噪声分类，5000＜nL＜15000，nL越大，条件越宽松。
计算所说的特定图样的矢量和当前帧图象矢量的方法可为将图样分为多个正方形面积(例如8*8)的小块，计算每一块灰度的平均值，然后从左上到右下排列，即为图样的矢量。计算当前帧图象矢量与特定图样矢量的相关值A的方法可为设当前帧图象矢量为X(x1，x2，....xn)，其中x1，x2......xn为图象中各个小块的灰度平均值，特定图样矢量为Y(y1，y2，....yn)，其中y1，y2......yn为特定图样中各个小块的灰度平均值，则相关值A=X·Y=x1y1+x2y2+...+xnyn(x12+x22+...+xn2)(y12+y22+...+yn2);]]>所说的特定图样可包括前一帧图象、噪声图象和自定义异态图象；若当前帧图象与前一帧图象相似，则判定前帧图像是静止异态；若当前帧图象图象与特定噪声图样相似，则判定前帧图像是无视频异态；若当前帧图象与自定义异态图象相似，则判定前帧图像是自定义异态。
在本发明中各项阈值可以根据实际情况自行设定，特定图样也可以根据实际情况自定义。
本发明的特点为本发明利用数字图像处理技术可对当前帧图象进行实时自动检测，确定出视频异态图象(无图象、图象静止、彩条、彩底及任意自定义图象)；利用检测音频信噪比方法对音频进行自动检测确定其是否异态；并可实现长时间、多通道的检测；还可根据本发明检测出的异态情况，很容易实现自动告警上报和记录的功能。
图1为本发明的视频异态检测方法实施例流程图；图2为本发明的音频异态检测方法实施例流程图。
具体实施例方式
以下结合附图及实施例进一步说明。本发明方法的实施例为在视频、音频处理工作站中安装5片视频、音频采集卡，每卡4路，用来实时检测20路视频、音频。由该卡实时采集的20路视频、音频数据送给采用本发明方法编制的固化在工作站中的视频、音频异态检测告警应用程序处理，这样就可以实时地将检测到的各种视频、音频异态告警通过网络发送给监测(分)中心，并且可以在本地工作站中存储视频、音频异态告警日志信息。
在本发明的实施例中视频、音频采集卡可以采用德加拉AVE2000卡，工作站采用奔腾4工控机，操作系统为WINDOWS2000。
本实施例的视频异态检测方法是提取视频采集卡实时采集的20路视频图像进行模数转换后，成为数字化图像，对当前帧图像的处理程序流程如图1所示，包括以下步骤1)对当前帧图像的各列灰度值的和nC进行分类，分类方法可为判断nC与前一类各列nC的平均值(即重心nCg)的距离是否大于分类阈值S大于则产生一新类，否则归入前一类，本实施例的分类阈值S＝300；2)然后判别各分类是否均匀分布，确定该分类是否为非噪声分类，判别方法为计算各分类内nC的均方差N，与线性阈值nL(本实施例取线性阈值nL＝10000；)比较，均方差小于nL的则为均匀分布，即确定为非噪声分类；3)计算均匀分布的分类中列数占全部列数的比例，本实施例取均匀分布阈值SR＝80％，如果该比例大于SR，则认为是彩底或彩条信号，进一步，判别是彩条还是彩底，取最小彩条数阈值CBMin＝4，最大彩条数阈值CBMax＝10，如果非噪声分类数小于CBMin为彩底，大于CBMin且小于CBMax为彩条；4)如果均匀分布的分类中样本数占全部样本比例小于SR，计算图象与特定图样矢量的相关值A；特定图样的矢量和当前帧图象矢量的计算方法为将图样分为8*8的小块，计算每一块灰度的平均值，然后从左上到右下排列，即为图样的矢量；计算该当前帧图象矢量与特定图样矢量的相关值A的方法为设当前帧图象矢量为X(x1，x2，....xn)，其中x1，x2......xn为图象中各个小块的灰度平均值，特定图样矢量为Y(y1，y2，....yn)，其中y1，y2......yn为特定图样中各个小块的灰度平均值，则相关值A=X·Y=x1y1+x2y2+...+xnyn(x12+x22+...+xn2)(y12+y22+...+yn2);]]>5)如果相关值A大于相似阈值Amin(本实施例取0.98)，则可判定图象与特定图样相似，采用不同的特定图样可以判定图象静止、无图象(噪声)异态；本实施例的特定图样包括前一帧图象、噪声图象和自定义异态图象；若当前帧图象与前一帧图象相似，则判定前帧图像是静止异态；若当前帧图象图象与特定噪声图样相似，则判定前帧图像是无视频异态(无图象)；若当前帧图象图象与自定义异态图象相似，则判定前帧图像是自定义异态。
本实施例的音频异态检测是从采集卡中采集20路音频信号进行模数转换成数字化信号后，对该数字信号的处理流程如图2所示，包括以下步骤1)提取音频信号幅度值，减去平均噪声幅度得到信噪比snr；2)比较snr和音频门限阈值AT，如果snr＞AT，则认为音频正常，否则认为无音频，如果在持续的MT时间内始终无音频，则判断出无音频异态，其中音频门限阈值AT取20db，静音时间间隔阈值MT取20秒。
权利要求
1.一种数字化的实时多通道视、音频异态检测的方法，其特征在于，包括将多路视频、音频信号数字化后，对数据进行实时处理，将处理结果与相关异态阈值比较，超出阈值将被判为异态，该方法具体包括视频信号异态检测，其步骤为1)利用视频采集卡实时多路采集视频信号，存储在帧图象缓冲区中；2)从帧图象缓冲区中提取当前帧图象转换成为数字化灰度图象后，对该当前帧图象各列灰度值的和nC进行分类；3)以判别各分类内的nC分布是否均匀来确定该分类是否为非噪声分类；4)若属于非噪声分类的列数占到全部列数的比例达到均匀分布阈值SR以上，则认为是彩底或彩条信号，进一步，若非噪声分类数小于最小彩条数阈值CBMin为彩底，大于CBMin且小于最大彩条数阈值CBMax为彩条，其中，0％＜SR＜100％，1＜CBMin＜5，8＜CBMax＜12；5)若属于非噪声分类的列数占到全部列数的比例小于SR，计算当前帧图象与事先存储的用来和当前帧图象比较的特定图样矢量的相关值A；6)如果相关值A大于相似阈值Amin则认为当前帧图象与特定图样相似，则当前帧图像异态，采用不同的特定图样可以判定当前帧图象的不同异态，其中，90％＜Amin＜100％；音频信号异态检测，其步骤为1)采集多路音频信号进行模数转换成数字化信号后从中提取音频信号幅度值，减去平均噪声幅度得到信噪比snr；2)比较音频信号信噪比snr与音频门限阈值AT，如果snr大于AT则认为音频正常，否则认为是无声音，并继续判断音频是否正常，若无声音时间超过静音时间间隔阈值MT则判断出无音频异态；其中，3＜AT＜30db，1秒＜MT＜10分。
2.如权利要求1所述的数字化的实时多通道视、音频异态检测的方法，其特征在于，所说的分类方法为判断nC与前一类各列nC的平均值的距离是否大于分类阈值S，大于则产生一新类，否则归入前一类，其中，100＜S＜500。
3.如权利要求1所述的数字化的实时多通道视、音频异态检测的方法，其特征在于，所说的判别各分类内的nC分布是否均匀的方法为计算分类内nC的均方差N，与线性阈值nL比较，均方差小于nL的则为均匀分布，即确定为非噪声分类，5000＜nL＜15000。
4.如权利要求1所述的数字化的实时多通道视、音频异态检测的方法，其特征在于，所说的特定图样的矢量和当前帧图象矢量的计算方法为将图样分为多个正方形面积的小块，计算每一块灰度的平均值，然后从左上到右下排列，即为图样的矢量。
5.如权利要求4所述的数字化的实时多通道视、音频异态检测的方法，其特征在于，所说的当前帧图象矢量与特定图样矢量的相关值A的计算方法为设当前帧图象矢量为X(x1，x2，....xn)，其中x1，x2......xn为图象中各个小块的灰度平均值，特定图样矢量为Y(y1，y2，....yn)，其中y1，y2......yn为特定图样中各个小块的灰度平均值，则相关值A=X·Y=x1y1+x2y2+...+xnyn(x12+x22+...+xn2)(y12+y22+...+yn2).]]>
6.如权利要求1所述的数字化的实时多通道视、音频异态检测的方法，其特征在于，所说的特定图样包括前一帧图象、噪声图象或自定义异态图象的一种或多种；若当前帧图象与前一帧图象相似，则判定前帧图像是静止异态；若当前帧图象图象与特定噪声图样相似，则判定前帧图像是无视频异态；若当前帧图象与自定义异态图象相似，则判定前帧图像是自定义异态。
全文摘要
本发明属于视频、音频异态检测的方法，涉及数字化的实时多通道视、音频异态检测的方法。包括将多路视频、音频信号数字化后，对数据进行实时处理，将处理结果与相关异态阈值比较，超出阈值将被判为异态。本发明利用数字图像处理技术可对当前帧图象进行实时自动检测，确定出视频异态图象(无图象、图象静止、彩条、彩底及任意自定义图象)；利用检测音频信噪比方法对音频进行自动检测确定其是否异态；并可实现长时间、多通道的检测；还可根据本发明检测出的异态情况，很容易实现自动告警上报和记录的功能。
文档编号H04B17/00GK1452331SQ0312870
公开日2003年10月29日 申请日期2003年4月24日 优先权日2003年4月24日
发明者洪钧, 肖子辉 申请人:北京永新同方信息工程有限公司