专利名称：一种基于信息理论与支持向量机的镜头边界检测算法的制作方法
技术领域：
本发明是一种在信息理论的基础上，通过互信量和联合熵的值，构造特征向量，训练向量机，并用支持向量机进行镜头边界检测的算法，是非结构化的视频数据进行基于内容检索的前提。
背景技术：
随着多媒体技术和网络技术的飞速发展，数字视频的获取和传播变得越来越容易，已经逐渐成为人类信息传播的主要载体之一。在视频信息高度膨胀的今天，随之而来的问题就是对海量视频的高效检索和浏览。传统的视频检索通过对视频以手工的方法添加文字标识符的方式进行检索，这种检索方式工作量巨大、效率很低，而且受主观因素的影响， 因此不能满足实际使用的需要。基于内容的视频检索技术借助计算机对视频进行从低层到高层的处理、分析和理解的过程获取其内容并根据内容进行检索，克服了传统的基于文本检索方式的不足，已成为多媒体信息检索领域的研究热点。视频镜头分割是基于内容视频检索的前提。到目前为止出现了很多镜头边界检测算法有基于像素点比较的方法，基于亮度或颜色直方图比较的方法，基于互信息量比较的方法，基于机器学习的方法等。传统的基于阈值比较的方法，很难寻找一个通用的阈值；基于机器学习的方法需要构造好的训练集，才能进行预测。
发明内容
本发明的技术解决问题选择在镜头突变时变化明显的互信息量作为基本特征， 构造分类明显的特征向量，用机器学习中基于支持向量机的方法，进行镜头边界检测，克服现有传统的基于阈值比较的方法的不足，更准确有效地检测视频中的镜头边界。本发明的技术解决方案一种基于信息理论与支持向量机的镜头边界检测算法， 其特征在于步骤如下(1)获取视频的总帧数据nFrame，提取视频中每一帧中每个像素点的RGB颜色信息，并计算所有相邻帧的互信息量MI1和联合熵JE1,并计算所有相隔一帧的两帧间互信息量MI2，并保存这些量；(2)对满足第一边界条件的每一帧t，对每一个帧间隔k，k= 1或2，计算以t为中心，长度为wl的窗口内互信息量MIk的均值与MIk (t)的比值，作为帧t与帧t+k之间不相似性，记作Dk⑴；(3)对满足第二边界条件的每一帧t，以t为中心，取长度为w2的窗口，根据Dk(t) 构造一个维度为2女w2的特征向量F(t)；(4)将F(t)作为训练好的向量机的输入，输出帧t是否为镜头边界；根据本发明的又一个方面，其中步骤(1)进一步包括步骤(a)设置i的初始值为1，获取视频的总帧数nFrame ； (b)捕获视频的第i帧，提取帧中每个像点的RGB信息，分别对RGB三个颜色分量计算颜色直方图4(1)，氏(1)，压(士)；(c)若i-Ι彡1，分别对RGB三个分量计算帧i_l与i的联合直方图JHk (i_l，i)， JHg(i-1, i)，JHb (i-1, i)，利用直方图和联合直方图计算两帧的互信息MI1G-I),联合熵 JE1(I-I)；(d)若i-2彡1，分别对RGB三个分量计算帧i-2与i的联合直方图JHK(i_2，i)， JHe (i-2，i), JHb (i-2, i)，利用直方图和联合直方图计算两帧的互信息MI2 (i-2)，并删除i_2 帧缓存的RGB数据，直方图和联合直方图等临时数据；(
权利要求
1.一种基于信息理论与支持向量机的镜头边界检测算法，其特征在于步骤如下(1)获取视频的总帧数据nFrame，提取视频中每一帧中每个像素点的RGB颜色信息，并计算所有相邻帧的互信息量MI1和联合熵JE1，并计算所有相隔一帧的两帧间互信息量MI2, 并保存这些量；(2)对满足第一边界条件的每一帧t，对每一个帧间隔k，k=1或2，计算以t为中心， 长度为的窗口内互信息量MIk的均值与MIk(t)的比值，作为帧t与帧t+k之间不相似性，记作Dk⑴；(3)对满足边第二界条件的每一帧t，以t为中心，取长度为w2的窗口，根据Dk(t)构造一个维度为2女w2的特征向量F(t)；(4)将F(t)作为训练好的向量机的输入，输出帧t是否为镜头边界。
2.根据权利要求1所述的基于信息理论与支持向量机的镜头边界检测算法，其特征在于所述的步骤(1)进一步包括(a)设置i的初始值为1，获取视频的总帧数nFrame；(b)捕获视频的第i帧，提取帧中每个像点的RGB信息，分别对RGB三个颜色分量计算颜色直方图 HK(i)，Hc(i)，HB(i)；(c)若i-Ι彡1，分别对RGB三个分量计算帧i-Ι与i的联合直方图JHK(i-l，i)， JHg(i-1, i)，JHb (i-1, i)，利用直方图和联合直方图计算两帧的互信息MI1G-I),联合熵 JE1(I-I)；(d)若i-2彡1，分别对RGB三个分量计算帧i-2与i的联合直方图JHK(i-2，i)， JHG(i-2, i), JHb (i-2, i)，利用直方图和联合直方图计算两帧的互信息MI2 (i-2)，并删除第 i-2帧缓存的RGB数据，直方图和联合直方图等临时数据；(e)若i < nFrame，i = i+1，转(b)。
3.根据权利要求1所述的基于信息理论与支持向量机的镜头边界检测算法，其特征在于所述的步骤(2)进一步包括(a)计算Dk(t)时，对t设置的第一边界条件如下:t-wl/2彡1，t+k+wl/2( nFrame, 1彡k彡2 ；(b)计算Dk(t)的公式如下
4.根据权利要求1所述的基于信息理论与支持向量机的镜头边界检测算法，其特征在于所述的步骤(3)进一步包括(a)计算特征向量F(t)时，对t设置的第二边界条件如下t-w2/2彡1， t+w2/2-l ( nFrame ；(b)对k=1，2分别构造W2维的向量
5.根据权利要求1所述的基于信息理论与支持向量机的镜头边界检测算法，其特征在于所述的步骤(4)进一步包括向量机训练时数据集的构造(a)选取包含多种类型突变镜头的视频作为原始训练数据，这样的突变镜头包括前后两个镜头有相似的视觉信息；镜头中包含物体或摄像机的运动；变化过程包括2-3帧的镜头；(b)选择训练视频中所有的突变帧为正例；(c)以概率Pl选择训练视频中突变帧前一帧或后一帧为反例；(d)以概率P2选择训练视频中的普通帧为反例；(e)为保证正反例的平衡，设置Pl= 0.1，P2 = 0.8 *突变镜头数/总帧数。
全文摘要
一种基于信息理论与支持向量机的镜头边界检测算法(1)获取视频的总帧数据nFrame，并计算所有相邻帧的互信息量MI1和联合熵JE1，并计算所有相隔一帧的两帧间互信息量MI2；(2)对满足边界条件的每一帧t，对每一个k，计算以t为中心，窗口w1内互信息量MIk的均值与MIk(t)的比值，作为帧t与帧t+k之间不相似性，记作Dk(t)；(3)对满足边界条件的每一帧t，以t为中心，w2为窗口，根据Dk(t)构造一个维度为2＊w2的特征向量F(t)；(4)将F(t)作为训练好的向量机的输入，输出帧t是否为镜头边界。本发明算法可以避免传统基于阈值方法的不足，同时还达到更高的准确率和召回率。
文档编号G06K9/66GK102314613SQ201110188738
公开日2012年1月11日 申请日期2011年7月6日 优先权日2011年7月6日
发明者刘祥龙, 李未, 毕佳磊, 郎波 申请人:北京航空航天大学