专利名称：蔬菜病害场景检测方法
技术领域：
本发明涉及视频分析与检测技术领域，特别涉及一种蔬菜病害场景检测方法。
背景技术：
病害是制约我国蔬菜生产可持续发展的重要因素，而农民对信息的接受能力差导致蔬菜病害诊断困难，病害致使菜农损失严重。随着网络中蔬菜病害防治视频节目的日益增多，视频检索系统能够满足农民学习病害防治知识的迫切性与实时性，同时提高病害知识学习的准确性与趣味性。场景是一组表达同一主题的镜头的集合，是视频语义分析的基础。场景检测的准确性，对视频数据库的建立、实现基于内容的视频检索具有重要的意义。近年来，关于场景检测方法的研究有很多，常用方法有以下几种I、基于帧差的场景检测方法，类似于镜头边界检测算法，其主要原理是在场景的边界处会有较大的帧差，但是该方法只考虑了镜头的开始帧和结束帧，而镜头的开始帧和结束帧往往不能代表镜头的全部内容。2、基于视觉特征的聚类算法，其主要思想是将具有相同视觉特征的镜头聚类为场
景。
3、基于场景转移图的方法，该算法通过设定一个相似度阈值，把相似度大于该阈值的镜头组合成场景，再根据时间上的相邻关系形成场景转移图。4、应用统计学方法，该类算法使用统计学方法对镜头进行聚类。5、基于电影剪辑技术的方法，该方法利用电影剪辑技术构造视频的高层描述，采用聚类的方法对视频流分割后的镜头进行相似性归并，形成镜头的层次化组织，从而实现对视频流的分级浏览，但是该方法无法体现镜头间的时序关系。蔬菜病害防治视频以压缩形式存储传输，其主体为绿色植物，具有运动强度小，视觉特征相似等特点，其视频中语音是对视频的精确描述，视频是对语音的视觉补充。上述方案只是基于视频的场景检测方案，场景检测的准确性差。因此，结合视频和音频的场景检测是亟待解决的问题。
发明内容
(一)要解决的技术问题本发明要解决的技术问题是如何实现更准确地蔬菜病害场景检测。(二)技术方案为解决上述技术问题，本发明提供了一种蔬菜病害场景检测方法，包括以下步骤SI :检测压缩视频镜头边界点，并检测声音镜头边界点；S2 :检测出声音镜头边界点后，标记声音镜头类型为语音类型或非语音类型；
S3:判断声音镜头类型的改变及声音镜头与视频镜头的边界点是否重合得到场景边界检测结果。其中，所述步骤SI中检测压缩视频镜头边界点具体包括根据MPEG压缩标准从视频流中提取I帧的离散余弦变换系数；预处理离散余弦变换系数得到I帧的直流系数，根据直流系数建立以直流系数为行、I帧为列的二维表；计算所述二维表中相邻两I帧的直流系数的差异度，若差异度大于预定阈值，则该两帧的分界点作为镜头边界点，将该两I帧划分在不同的镜头，否则将该两I帧归为同一镜头，继续比较下一相邻两I帧，将得到镜头序列用向量Sk = (sk)表示。其中，计算相邻两I帧的直流系数的差异度的方式如下
权利要求
1.一种蔬菜病害场景检测方法，其特征在于，包括以下步骤 Si:检测压缩视频镜头边界点，并检测声音镜头边界点； 52:检测出声音镜头边界点后，标记声音镜头类型为语音类型或非语音类型； 53:判断声音镜头类型的改变及声音镜头与视频镜头的边界点是否重合得到场景边界检测结果。
2.如权利要求I所述的蔬菜病害场景检测方法，其特征在于，所述步骤SI中检测压缩视频镜头边界点具体包括 根据MPEG压缩标准从视频流中提取I帧的离散余弦变换系数； 预处理离散余弦变换系数得到I帧的直流系数，根据直流系数建立以直流系数为行、I帧为列的二维表； 计算所述二维表中相邻两I帧的直流系数的差异度，若差异度大于预定阈值，则该两帧的分界点作为镜头边界点，将该两I帧划分在不同的镜头，否则将该两I帧归为同一镜头，继续比较下一相邻两I帧，将得到镜头序列用向量Sk = (sk)表示。
3.如权利要求2所述的蔬菜病害场景检测方法，其特征在于，计算相邻两I帧的直流系数的差异度的方式如下
4.如权利要求I所述的蔬菜病害场景检测方法，其特征在于，所述步骤SI中检测声音镜头边界点具体包括 通过预设的响度阈值消除背景声，计算前景声的短时平均能量； 根据预设的能量阈值和持续时间阈值检测语音中的停顿，以所述停顿作为所述声音镜头的边界点，从而得到声音镜头序列。
5.如权利要求4所述的蔬菜病害场景检测方法，其特征在于，计算前景声的短时平均能量的方式如下 En = E m [X (m) w (n-m) ]2 其中，m为音频帧，x(m)为音频信号的离散采样时间，n表示短时平均能量特征的时间索引，w( )是长度为N的汉明窗口函数,当0≤n≤N-I时，w(n) = I ;否则w(n) = 0, En为n时刻的短时平均能量。
6.如权利要求I所述的蔬菜病害场景检测方法，其特征在于，所述步骤S2具体包括 计算音频信号的过零率协方差和基本频率能量比； 若过零率协方差高于过零率阈值，且基本频率能量比高于能量比阈值，则该段音频信号对应的声音镜头为语音类型。
7.如权利要求6所述的蔬菜病害场景检测方法，其特征在于，计算音频信号的过零率协方差的方式如下
8.如权利要求6所述的蔬菜病害场景检测方法，其特征在于，计算基本频率能量比的方式如下
9.如权利要求I所述的蔬菜病害场景检测方法，其特征在于，所述步骤S3具体包括 S3. I :检测两相邻声音镜头A与fi+1的类型\与ti+1是否相同，相同继续，否则进入步骤 S3. 4 ； S3. 2 :检测两相邻声音镜头类型为语音或非语音，当\和ti+1为语音时继续，否则进入步骤S3. 5 ； S3. 3 :检测是否有与声音镜头边界点A重合的视频镜头边界点\_，即当声音镜头边界点对应的视频帧同为视频镜头边界点对应的视频帧时继续，否则进入步骤S3. 5 ； S3. 4 :标记场景边界点fsyfsi = fi;得到蔬菜病害场景序列，以向量FSk = (fsk,tk)表示； S3.5 i = i+1，转入步骤S3. I检测下一声音镜头，当& = V时，检测结束，输出蔬菜病害场景检测结果，以向量FSk= (fsk，tk)表示，V表示原始视频总长度。
全文摘要
本发明公开了一种蔬菜病害场景检测方法，涉及视频分析与检测技术领域，包括以下步骤S1检测压缩视频镜头边界点，并检测声音镜头边界点；S2检测出声音镜头边界点后，标记声音镜头类型为语音类型或非语音类型；S3判断声音镜头类型的改变及声音镜头与视频镜头的边界点是否重合得到场景边界检测结果。本发明的蔬菜病害场景检测方法以蔬菜病害场景的语义模型为判断依据，对视频进行场景检测时不仅考虑了镜头的时间连续性，还综合考虑音频镜头与视频镜头的相关性，因此实现了更准确地蔬菜病害场景检测。
文档编号G06T7/60GK102752479SQ20121017572
公开日2012年10月24日 申请日期2012年5月30日 优先权日2012年5月30日
发明者傅泽田, 刘雪, 张领先, 李鑫星, 温皓杰, 苏叶 申请人:中国农业大学