含幻灯片的教学视频的索引建立方法及幻灯片定位方法
【专利摘要】一种含幻灯片的教学视频的索引建立方法及幻灯片定位方法，该索引建立方法包括：读入教学视频和电子版幻灯片的步骤；视频预分割步骤，在教学视频的幻灯片区域内确定若干特征点，基于所述若干特征点的概率分布确定幻灯片切换时刻，从而将所述教学视频分割为若干预分割视频片段；及匹配步骤，采用启发式搜索匹配法分别将若干预分割视频片段中的帧与电子版幻灯片进行匹配，找出各帧对应的幻灯片，从而获得所述教学视频的索引。该定位方法包括：采用上述索引建立方法建立教学视频的索引；将索引载入用户界面；以及通过在用户界面点击索引中的幻灯片，将教学视频的播放指针定位到含有该幻灯片的视频片段。本方法鲁棒性好，速度快且准确。
【专利说明】含幻灯片的教学视频的索引建立方法及幻灯片定位方法
【技术领域】
[0001]本发明属于计算机视觉领域，具体涉及教学视频的索引建立方法，以及幻灯片定位方法。
【背景技术】
[0002]随着网络多媒体信息丰富，教育相关的视频信息愈加丰富，用户在浏览教学视频时，快速定位、分析视频内容的需求日益增长。
[0003]为归并大量教学视频信息，使用计算机程序来提取关键帧成为最常用的做法。
[0004]传统的关键帧提取方法大多是基于像素的方法，例如通过分割和聚类的方式，对突然出现的非语义影响极其敏感，往往会提取出不必要的关键帧，而由于教学视频中会有场景切换、摄像头变焦、亮度变化等非幻灯片语义切换的情况，因此，使用传统的关键帧提取方法往往会提取出冗余的关键帧。另一方面，这种方式提取的关键帧，无法与教学演示视频对应的幻灯片进行一一对应，用户在浏览教学视频时需要将已有的电子版幻灯片和教学视频进行对应匹配，工作繁琐且会花费大量精力。
[0005]本发明主要关注在已有含有幻灯片的教学视频和电子版幻灯片情况下，如何快速正确寻找出对应的教学视频中电子版幻灯片出现时刻，以该信息来建立教学视频的索引。
【发明内容】
[0006]本发明的目的是提供一种含幻灯片的教学视频的索引建立方法，该方法能够根据已有的含有幻灯片的教学视频和电子版幻灯片进行匹配快速准确地建立索引，以方便用户浏览教学视频中感兴趣的片段。
[0007]为达上述目的，本发明提供的一种含幻灯片的教学视频的索引建立方法包括:
[0008]读入教学视频和电子版幻灯片的步骤；
[0009]视频预分割步骤，在教学视频的幻灯片区域内确定若干特征点，基于所述若干特征点的概率分布确定幻灯片切换时刻，从而将所述教学视频分割为若干预分割视频片段；以及
[0010]匹配步骤，采用启发式搜索匹配法分别将若干预分割视频片段中的帧与电子版幻灯片进行匹配，找出各帧对应的幻灯片，从而获得所述教学视频的索引。
[0011]在上述的含幻灯片的教学视频的索引建立方法中，优选地，所述匹配步骤还包括:当启发式搜索匹配法未找出预分割视频片段中首帧对应的幻灯片时，将该首帧与全部幻灯片进行匹配。
[0012]在上述的含幻灯片的教学视频的索引建立方法中，优选地，所述匹配步骤还包括:对于第一个预分割视频片段，在采用启发式搜索匹配法进行匹配前，采用与全部幻灯片进行匹配的方式从第一帧开始匹配直至找出含有幻灯片的帧。
[0013]在上述的含幻灯片的教学视频的索引建立方法中，优选地，所述启发式搜索匹配法包括:读取预分割视频片段中的帧；以该帧的前一帧对应的幻灯片为中心在电子版幻灯片序列中选择复数个幻灯片构成幻灯片组；以及将该帧与构造的幻灯片组进行匹配，寻找该帧对应的幻灯片。
[0014]在上述的含幻灯片的教学视频的索引建立方法中，优选地，所述匹配步骤采用SURF算法进行匹配。
[0015]在上述的含幻灯片的教学视频的索引建立方法中，优选地，所述视频预分割步骤中，采用Kanade-Lucas-Tomasi算法来确定特征点,所述特征点为角点。
[0016]在上述的含幻灯片的教学视频的索引建立方法中，优选地，所述视频预分割步骤中，基于所述若干特征点的概率分布确定幻灯片切换时刻的方法包括:将每一时刻角点数量与所有时刻全部角点数量相除，得到随时刻变化每一帧角点的百分比图；以及比较相邻两帧角点的百分比，当差值大于第一阈值时，认定在该相邻两帧中的后一帧，幻灯片被切换。
[0017]在上述的含幻灯片的教学视频的索引建立方法中，优选地，所述视频预分割步骤中，基于所述若干特征点的概率分布确定幻灯片切换时刻的方法还包括:在计算角点的百分比图之前，首先在每一个角点的轨迹线上去除坏点。
[0018]在上述的含幻灯片的教学视频的索引建立方法中，优选地，该索引建立方法还包括:对匹配后的电子版幻灯片位置，使用双边滤波平滑的步骤；和/或过滤冗余匹配结果的步骤。
[0019]本发明提供的一种教学视频中幻灯片的定位方法包括:
[0020]采用上述任意一项所述的索引建立方法建立所述教学视频的索引；
[0021]将所述索引载入用户界面；以及
[0022]通过在用户界面点击索引中的幻灯片，将所述教学视频的播放指针定位到含有该幻灯片的视频片段。
[0023]本发明具有以下有益效果:
[0024]本发明采用识别特征点的方法，通过特征点的概率分布来分割预视频，具有很好的鲁棒性。
[0025]其采用SURF算法进行幻灯片匹配，不仅速度快，而且匹配对于幻灯片的内容、大小等干扰特征不敏感。
[0026]其匹配过程无监督，无需干预即可产生索引信息。
[0027]用户只需在完成的索引点击需要浏览的幻灯片即可查看到教学视频当前幻灯片位置，也即能够根据已有的幻灯片来定位到教学视频中自己感兴趣的内容。
【专利附图】
【附图说明】
[0028]图1为一实施例含幻灯片的教学视频的索引建立流程图；
[0029]图2为一实施例的用户界面示意图。
【具体实施方式】
[0030]下面结合附图和实施例对本发明进一步说明。这些更详细的描述旨在帮助理解本发明，而不应被用于限制本发明。根据本发明公开的内容，本领域技术人员明白，可以不需要一些或者所有这些特定细节即可实施本发明。而在其它情况下，为了避免将发明创造淡化，未详细描述众所周知的操作过程。
[0031]如图1所示，本含幻灯片的教学视频的索引建立方法包括以下步骤:
[0032]步骤SI，载入教学视频。用^^……仁卜-…^表示’仁表示第七帧’共!^^
[0033]步骤S2，载入电子版幻灯片序列。用Sl，s2，...，Sp...，Sm表示，S,表示第r张，共m张。
[0034]步骤S3，视频预分割步骤，在教学视频的幻灯片区域内确定若干特征点，基于所述若干特征点的概率分布确定幻灯片切换时刻，从而将所述教学视频分割为若干预分割视频片段。更具体地说，该视频预分割步骤的流程如下:
[0035]31)使用Kanade-Lucas-Tomasi (KLT)特征跟踪法在教学视频的幻灯片区域内确定若干角点；
[0036]32)每一个角点在连续的时刻在时间域上会组成一条轨迹线,去除由于物体移动或出现、亮度变化和摄像机运动造成的坏点；
[0037]33)将每一时刻角点数量与所有时刻全部角点数量相除，得到随时刻变化每一帧角点的百分比图；
[0038]34)比较相邻两帧角点的百分比，当相邻两帧角点之差大于第一阈值τ。时，认定幻灯片进行切换，即在该相邻两帧中的后一帧中幻灯片被切换，记录当前时刻。
[0039]步骤S4，匹配步骤，采用启发式搜索匹配法分别将若干预分割视频片段中的帧与电子版幻灯片进行匹配，找出各帧对应的幻灯片，从而获得所述教学视频的索引。
[0040]使用SURF检测学习算法，将电子版幻灯片(object)与分割后的若干预分割视频片段中的帧(target)进行匹配。SURF是一种对于尺度、旋转不变，并且运行速度快的算法。对视频序列的图像来说，处理流程主要包括计算积分图、获取兴趣点、计算主方向，从而得到主方向上的描述子。对匹配电子版幻灯片图像来说，处理流程主要包括计算积分图、计算兴趣点。对每一帧教学视频图像，SURF匹配首先通过Hessian近似矩阵来检测兴趣点,然后基于兴趣点的邻域分布来描述和匹配。在匹配过程中对每一次匹配均有匹配误差ME，该匹配过程共取r个特征点，对于每一对对应的特征点误差为ek，所有特征点取绝对值平均作为匹配误差大小，ME的取值如下公式所示:
【权利要求】
1.一种含幻灯片的教学视频的索引建立方法，其特征在于，该索引建立方法包括: 读入教学视频和电子版幻灯片的步骤； 视频预分割步骤，在教学视频的幻灯片区域内确定若干特征点，基于所述若干特征点的概率分布确定幻灯片切换时刻，从而将所述教学视频分割为若干预分割视频片段；以及 匹配步骤，采用启发式搜索匹配法分别将若干预分割视频片段中的帧与电子版幻灯片进行匹配，找出各帧对应的幻灯片，从而获得所述教学视频的索引。
2.根据权利要求1所述的含幻 灯片的教学视频的索引建立方法，其特征在于，所述匹配步骤还包括:当启发式搜索匹配法未找出预分割视频片段中首帧对应的幻灯片时，将该首帧与全部幻灯片进行匹配。
3.根据权利要求1所述的含幻灯片的教学视频的索引建立方法，其特征在于，所述匹配步骤还包括:对于第一个预分割视频片段，在采用启发式搜索匹配法进行匹配前，采用与全部幻灯片进行匹配的方式从第一帧开始匹配直至找出含有幻灯片的帧。
4.根据权利要求1所述的含幻灯片的教学视频的索引建立方法，其特征在于，所述启发式搜索匹配法包括 读取预分割视频片段中的帧； 以该帧的前一帧对应的幻灯片为中心在电子版幻灯片序列中选择复数个幻灯片构成幻灯片组；以及 将该帧与构造的幻灯片组进行匹配，寻找该帧对应的幻灯片。
5.根据权利要求1所述的含幻灯片的教学视频的索引建立方法，其特征在于，所述匹配步骤采用SURF算法进行匹配。
6.根据权利要求1所述的含幻灯片的教学视频的索引建立方法，其特征在于，所述视频预分割步骤中，采用Kanade-Lucas-Tomasi算法来确定特征点,所述特征点为角点。
7.根据权利要求6所述的含幻灯片的教学视频的索引建立方法，其特征在于，所述视频预分割步骤中，基于所述若干特征点的概率分布确定幻灯片切换时刻的方法包括: 将每一时刻角点数量与所有时刻全部角点数量相除，得到随时刻变化每一帧角点的百分比图； 比较相邻两帧角点的百分比，当差值大于第一阈值时，认定在该相邻两帧中的后一帧，幻灯片被切换。
8.根据权利要求7所述的含幻灯片的教学视频的索引建立方法，其特征在于，所述视频预分割步骤中，基于所述若干特征点的概率分布确定幻灯片切换时刻的方法还包括:在计算角点的百分比图之前，首先在每一个角点的轨迹线上去除坏点。
9.根据权利要求1所述的含幻灯片的教学视频的索引建立方法，其特征在于，该索引建立方法还包括: 对匹配后的电子版幻灯片位置，使用双边滤波平滑的步骤；和/或 过滤冗余匹配结果的步骤。
10.一种教学视频中幻灯片的定位方法，其特征在于，该定位方法包括: 采用权利要求1 一 9中任意一项所述的索引建立方法建立所述教学视频的索引； 将所述索引载入用户界面；以及 通过在用户界面点击索引中的幻灯片，将所述教学视频的播放指针定位到含有该幻灯片的视频片段。
【文档编号】G06F3/0484GK103970868SQ201410196544
【公开日】2014年8月6日 申请日期:2014年5月9日 优先权日:2014年5月9日
【发明者】王好谦, 郭震远, 李凯, 戴琼海 申请人:清华大学深圳研究生院