一种基于上下文稀疏表示的恐怖视频识别方法及装置制造方法
【专利摘要】本发明公开了一种基于上下文稀疏表示的恐怖视频识别方法及装置，该方法包括：对训练视频样本进行镜头分割，然后针对每个镜头选取一幅关键帧来代表该镜头；提取每个关键帧的视觉特征，并提取整个训练视频样本的音频特征；建立起每一个训练视频样本内部各个关键帧之间的上下文关系图；提取待识别视频的视觉特征、音频特征；构建待识别视频与训练视频样本之间的代价矩阵；基于上下文稀疏表示模型，利用所有训练视频样本对所述待识别视频进行重构，重构误差最小的训练视频样本的类别即为待识别视频的类别；其中所述上下文稀疏表示模块以所述训练视频样本的上下文关系图作为稀疏表示的词典，并利用所述代价矩阵对其进行约束。
【专利说明】—种基于上下文稀疏表示的恐怖视频识别方法及装置
【技术领域】
[0001]本发明涉及模式识别和计算机网络内容安全领域，特别涉及一种基于上下文稀疏表示的恐怖视频识别方法及装置。
【背景技术】
[0002]随着互联网技术和应用的迅速发展，互联网也给人们的生活带来便利的同时，也给不良信息的传播提供了方便。在互联网高速发展的基础上，色情、暴力、恐怖等有害信息的传播也变得越来越容易。心理学和生理学研究表明，互联网中的恐怖信息对青少年的身心健康产生的危害绝不亚于色情信息的危害。过多的恐怖信息可能使人长期处于极度的焦虑和恐惧中，甚至使人身心受到损害，容易产生心理失衡或障碍，严重时出现病理症状，导致各种恐怖症产生，甚至引发其它的精神疾病。过多恐怖信息的接触是恐惧症及其它心理病症的根源所在。同时，恐怖信息的过剩导致儿童、青少年的恐惧泛化，进而影响他们的社会认知及未来人格的健康发展；过多恐怖信息的接触将左右孩子的阅读取向，影响儿童青少年的审美情趣，可能引发学习不良问题，甚至引发犯罪。
[0003]网络不良信息的危害早已得到国际社会的广泛关注，现有的研究主要关注色情信息的过滤。虽然恐怖信息的危害不亚于色情信息，但之前的研究主要关色情图像和色情视频的识别与过滤。目前尚未有太多的研究注恐怖信息的过滤。
【发明内容】
[0004](一 )要解决的技术问题
[0005]本发明的主要目的是提出一种可以兼顾关键帧之间上下文关系以及音视频融合的恐怖视频识别的方法。
[0006]( 二 )技术方案
[0007]为达到上述目的，本发明提供了一种基于上下文稀疏表示的恐怖视频识别方法，该方法包括:
[0008]步骤1:对训练视频样本进行镜头分割，然后针对每个镜头选取一幅关键帧来代表该镜头；
[0009]步骤2:提取每个关键帧的视觉特征，并提取整个训练视频样本的音频特征；
[0010]步骤3:利用ε -graph建图方法，建立起每一个训练视频样本内部各个关键帧之间的上下文关系图；
[0011]步骤4:对待识别视频进行镜头分割，并针对每个镜头选取一幅关键帧，提取所选取关键帧的视觉特征；并提取待识别视频的音频特征；
[0012]步骤5:构建待识别视频与训练视频样本之间的代价矩阵，其对角元素为待识别视频与各个训练视频样本的音频特征之间的距离；
[0013]步骤6:基于上下文稀疏表示模型，利用所有训练视频样本对所述待识别视频进行重构，重构误差最小的训练视频样本的类别即为待识别视频的类别；其中所述上下文稀疏表示模块以所述训练视频样本的上下文关系图作为稀疏表示的词典，并利用所述代价矩阵对其进行约束。
[0014]本发明还提供了一种基于上下文稀疏表示的恐怖视频识别装置，包括:
[0015]镜头提取模块，对训练视频样本进行镜头分割，然后针对每个镜头选取一幅关键帧来代表该镜头；
[0016]特征提取模块，提取每个关键帧的视觉特征，并提取整个训练视频样本的音频特征；
[0017]关系建立模块，利用ε-graph建图方法，建立起每一个训练视频样本内部各个关键帧之间的上下文关系图；
[0018]待识别视频特征提取模块，对待识别视频进行镜头分割，并针对每个镜头选取一幅关键帧，提取所选取关键帧的视觉特征；并提取待识别视频的音频特征；
[0019]距离构建模块，构建待识别视频与训练视频样本之间的代价矩阵，其对角元素为待识别视频与各个训练视频样本的音频特征之间的距离；
[0020]识别模块，基于上下文稀疏表示模型，利用所有训练视频样本对所述待识别视频进行重构，重构误差最小的训练视频样本的类别即为待识别视频的类别；其中所述上下文稀疏表示模块以所述训练视频样本的上下文关系图作为稀疏表示的词典，并利用所述代价矩阵对其进行约束。
[0021](三)有益效果
[0022]从上述技术方案可以看出，本发明具有以下优点:
[0023]1、本发明提供的这种恐怖视频识别方法，首次将视频帧的上下文关系考虑进识别算法中。
[0024]2、本发明利用代价约束的方法有效地融合了音频和视觉信息。
[0025]3、本发明所提出的恐怖视频识别方法基于上下文稀疏表示模型，该模型无需学习过程，可扩充性强，能够快捷、高效地完成视频识别。
【专利附图】
【附图说明】
[0026]图1为本发明提供的基于上下文稀疏表示的恐怖视频识别流程图。
【具体实施方式】
[0027]为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明作进一步的详细说明。
[0028]图1示出了本发明提出的一种基于上下文稀疏表示的恐怖视频识别方法的过程示意图。如图1所述，该方法包括以下几方面内容:
[0029]步骤1:对每一个训练视频样本进行视频镜头分割和关键帧选取，然后提取关键帧的视觉特征，并提取整个视频场景的音频特征。将每个关键帧对应的视觉特征向量构成多示例学习中的示例，每个场景对应的所有的关键巾贞的特征向量集合构成一个示例包。
[0030]本发明采用基于信息论的镜头检测方法分割视频镜头，该方法通过计算相邻帧之间的互信息和联合熵来检测镜头边界，这种检测方法在包含各种类型的镜头边界、有显著目标运动和摄像机运动的视频数据库上取得了很好的检测结果。对于每个镜头选取镜头的中间帧作为关键帧。
[0031]特征提取在恐怖视频识别框中起着最重要的作用，本发明中主要提取了以下视音频特征:
[0032]表1特征汇总表
[0033]
【权利要求】
1.一种基于上下文稀疏表示的恐怖视频识别方法，该方法包括: 步骤1:对训练视频样本进行镜头分割，然后针对每个镜头选取一幅关键帧来代表该镜头; 步骤2:提取每个关键帧的视觉特征，并提取整个训练视频样本的音频特征； 步骤3:利用ε -graph建图方法，建立起每一个训练视频样本内部各个关键帧之间的上下文关系图； 步骤4:对待识别视频进行镜头分割，并针对每个镜头选取一幅关键帧，提取所选取关键帧的视觉特征；并提取待识别视频的音频特征； 步骤5:构建待识别视频与训练视频样本之间的代价矩阵，其对角元素为待识别视频与各个训练视频样本的音频特征之间的距离； 步骤6:基于上下文稀疏表示模型，利用所有训练视频样本对所述待识别视频进行重构，重构误差最小的训练视频样本的类别即为待识别视频的类别；其中所述上下文稀疏表示模块以所述训练视频样本的上下文关系图作为稀疏表示的词典，并利用所述代价矩阵对其进行约束。
2.如权利要求1所述的方法，其特征在于，所述音频特征包括Mel频率倒谱系数、谱功率和频谱质心中的一种或几种的组合；所述视觉特征包括:情感强度、颜色和谐度、颜色变化、亮度基调和纹理特征中的一种或几种组合。
3.如权利要求1所述的方法，其特征在于，采用基于互信息熵的镜头分割算法对视频进行镜头分割。
4.如权利要求1所述的方法，其特征在于，所述上下文稀疏模型如下表示:
5.如权利要求4所述的方法，其特征在于，求解所述上下文稀疏模型时，通过图核函数Kg(Gi7Gj)来表达视频场景上下文图之间的相似度，所述图核函数如下表示:
6.一种基于上下文稀疏表示的恐怖视频识别装置，包括: 镜头提取模块，对训练视频样本进行镜头分割，然后针对每个镜头选取一幅关键帧来代表该镜头；特征提取模块，提取每个关键帧的视觉特征，并提取整个训练视频样本的音频特征； 关系建立模块，利用ε -graph建图方法，建立起每一个训练视频样本内部各个关键帧之间的上下文关系图； 待识别视频特征提取模块，对待识别视频进行镜头分割，并针对每个镜头选取一幅关键帧，提取所选取关键帧的视觉特征；并提取待识别视频的音频特征； 距离构建模块，构建待识别视频与训练视频样本之间的代价矩阵，其对角元素为待识别视频与各个训练视频样本的音频特征之间的距离； 识别模块，基于上下文稀疏表示模型，利用所有训练视频样本对所述待识别视频进行重构，重构误差最小的训练视频样本的类别即为待识别视频的类别；其中所述上下文稀疏表示模块以所述训练视频样本的上下文关系图作为稀疏表示的词典，并利用所述代价矩阵对其进行约束。
7.如权利要求6所述的装置，其特征在于，所述音频特征包括Mel频率倒谱系数、谱功率和频谱质心中的一种或几种的组合；所述视觉特征包括:情感强度、颜色和谐度、颜色变化、亮度基调和纹理特征中的一种或几种组合。
8.如权利要求6所述的装置，其特征在于，采用基于互信息熵的镜头分割算法对视频进行镜头分割。
9.如权利要求6所述的装置，其特征在于，所述上下文稀疏模型如下表示:
10.如权利要求9所述的装置，其特征在于，求解所述上下文稀疏模型时，通过图核函来表达视频场景上下文图之间的相似度，所述图核函数如下表示:
【文档编号】G06K9/00GK103854014SQ201410065197
【公开日】2014年6月11日 申请日期:2014年2月25日 优先权日:2014年2月25日
【发明者】李兵, 胡卫明, 丁昕苗, 祝守宇 申请人:中国科学院自动化研究所