基于时空双维度索引的视频播放系统的制作方法

本发明涉及的是视频播放系统技术领域，具体涉及一种基于时空双维度索引的视频播放系统。

背景技术：

信息化教学是目前国内外教育均衡化的重要手段，教学活动的视频直播点播是这项工作的重要内容。目前教育信息化行业内的视频直播点播系统主要发展自民用视频播放方式。采用单流单画面或单流多画面拼接，进行直播点播，行业称“电影模式”。这一视频中主要包含的是教师的教学活动，例如板书内容、ppt内容和教师的讲授过程，以及部分学生起立回答问题的过程。教学视频以类似电影的方式，将编辑好的教学内容呈现给学生。这种播放方式从视频采集到视频播放都使用成熟的技术，特别是播放技术主要用于民用娱乐视频的观看。

这种方式主要是服务于学生的在线自学需求，所以单视频画面中更注重教师的讲授过程。但是教学视频的录制，除了服务于学生自学外，还可以起到教师间相互学习，教学研修方面的作用。而教学活动中另一个主体学生的活动，没法在视频中得到充分体现。除此之外，现代的教学理念越来越注重对学生活动的关注，完整的教学活动必须包含完整的学生活动内容。这个需求是目前教学视频直播点播系统没有充分考虑的问题。这也是本发明主要解决的问题。

目前行业内最接近本发明的名为三分屏的教学视频播放方式，并没有申请专利。这种方式采用多流播放，其中包括教师视频、学生视频和标题栏三个区域，按照如图1方式排版：其中教师视频和学生视频分别是教师和学生场景的视频内容，两个视频在播放时基本同步，并且可以相互切换位置。标题栏显示的是课程中的章节名称，点击章节名称，两个视频会跳转至对应时间点。

这种方式只为观看者提供了在时间维度上查找视频内容的方式，并且在时间维度上没有对学生行为特征进行数据分析与索引。这种播放方式只适合于简单的视频观看，而不适合关注教室内各个区域学生行为状态的教学研修相关应用。

目前教学视频播放更多是在时间维度上通过抓取ppt索引信息等方式，记录时间索引点，帮助回看教学视频的学生快速查找知识点。而这种方式不关注教学过程中学生的行为状态，不利于教师利用视频进行教学研修相关应用。例如教师想要关注教室内后排学生的学生状态，只有通过拖动教学视频播放进度，查找教学视频中，有限的几次出现后排学生视频的片断。查找过程缓慢低效，或常会出现跳过重要镜头的情况。这种传统的视频播放方式，缺乏对空间定位的索引的信息造成的。这也是本发明重点解决的问题。

技术实现要素：

针对现有技术上存在的不足，本发明目的是在于提供一种基于时空双维度索引的视频播放系统，为主讲方的教学研修活动，提供了更为直观的时间和空间维度视频索引，为主讲方优化教学流程，分析听讲方学习状态提供有力工具。

为了实现上述目的，本发明是通过如下的技术方案来实现：基于时空双维度索引的视频播放系统，包括视频采集和视频播放两个部分；所述的视频采集和视频播放包括以下步骤：1、采集主讲方教学活动视频；本例中主讲方教学活动通过全自动方式采集，方式与目前全自动录课方式基本类似。

2、采集听讲方学习活动视频；听讲方学习活动视频为教学过程中，听讲方分组活动镜头会以事先设定好的巡视方式对教室各个听讲方区域进行扫视，并且会对每个区域进行停留拍摄。除了拍摄视频之外，系统还会记录在该区域拍摄的时间点，为系统随后的回放点播过程提供空间信息；

3、在步骤2听讲方学习活动视频的采集过程中，系统还会同步分析听讲方的行为状态。分析的听讲方状态包括:听讲方的运动状态，一定程度上代表听讲方的活跃度；听讲方的面部识别算法，分析出听讲方自学状态和接受状态；通过表情识别算法，一定程度上代表听讲方对当前知识点的接受度；这些数据全部与视频数据同步保存。

4、主讲方教学提纲采集。主讲方教学提纲采集通过分析主讲方电脑的ppt等教学资料自动提取。(以上三个步骤所述的采集方式，为目前录课方式整合，并不是本发明的关键)

5、通过步骤4中获取的主讲方教学提纲，生成知识点环节信息。本例中知识点环节信息存储为xml格式，信息中包含知识点名称，知识点在视频中的开始时间和结束时间。除此之外还可以为知识点加入难易程度、重要程度等关键信息；

6、通过教学活动视频的切换时间点，生成教学环节信息，其中记录视频中主讲方讲课、板书书写、电脑演示、听讲方答题等环节点的时间；

7、将以上步骤得到的资源通过播放器进行展示，该播放器可以是软件形式，也可以是网页应用的形式。播放器可以是软件形式，也可以是网页应用的形式；视频播放器中除通常的播放按钮、进度条、时间显示、音量调整和最大化以外，还在视频左上角设置三个按钮，分别为‘知识点’、‘教学环节’、‘听讲方分析’，其功能为：

“知识点”：点击知识点按钮，播放器中央将出现浮动窗口，其中显示步骤4中采集的知识点环节；知识点环节在该窗口中可以进行增删改查操作；并且选择知识点会使视频跳转到该知识点时间；再次点击’知识点’按钮时，窗口隐藏；

“教学环节”：点击教学环节按钮，播放器中央的浮动窗口显示步骤5中采集的教学环节列表，用户可以对其进行增删改查操作；单击任意环节视频跳转到该环节时间；再次点击‘教学环节’按钮将隐藏窗口；

“听讲方分析”：点击该按钮，播放器左下角出现画中画听讲方行为视频(视频左下角粗线框提示)和教室模拟区域显示(视频右侧黑色框提示)；听讲方行为视频显示步骤2中采集的听讲方活动视频；通过鼠标，或键盘等方式可以调整小视屏框的位置，或是将大小视频调换，已达到更清晰的观看听讲方状态的目的。

作为优选，所述的面部识别算法采用支持向量机(svm)的人脸识别方法：支持向量机是统计模式识别领域的一个新的热点，它试图使得学习机在经验风险和泛化能力上达到一种妥协，从而提高学习机的性能；支持向量机主要解决的是一个2分类问题，其基本思想是试图把一个低维的线性不可分的问题转化成一个高维的线性可分的问题，表明svm有较好的识别率。

作为优选，所述的表情识别算法采用支持向量机(svm)分类算法：泛化能力很强、解决小样本、非线性及高维模式识别问题方面表、新的研究热点，其基本思想：对于非线性可分样本，首先通过非线性变换将输入空间变换到一个高维空间，然后在这个新空间中求取最优线性分界面；这种非线性变换通过定义适当的内积函数实现，常用的三种内积函数为：多项式内积函数、径向基内积函数、sigmoid内积函数。

本发明具有以下有益效果：

1、通过教室模拟区域选择，在视频回放时，观看任意位置的视频片断。

2、在任意位置的多个视频片段中，展示听讲方行为相关数据。

3、将课堂上听讲方活动的视频隐藏或浮现在主视频中，并且可以与主视频相互切换。

附图说明

下面结合附图和具体实施方式来详细说明本发明；

图1为本发明背景技术中传统教学视频播放方式图；

图2为本发明的具体实施方式中的播放器界面图；

图3为本发明的具体实施方式中的教室模拟区中视频片段列表图。

具体实施方式

为使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体实施方式，进一步阐述本发明。

参照图2-3本具体实施方式采用以下技术方案：基于时空双维度索引的视频播放系统，包括视频采集和视频播放两个部分；所述的视频采集和视频播放包括以下步骤：1、采集主讲方教学活动视频；本例中主讲方教学活动通过全自动方式采集，方式与目前全自动录课方式基本类似。

2、采集听讲方学习活动视频；听讲方学习活动视频为教学过程中，听讲方分组活动镜头会以事先设定好的巡视方式对教室各个听讲方区域进行扫视，并且会对每个区域进行停留拍摄。除了拍摄视频之外，系统还会记录在该区域拍摄的时间点，为系统随后的回放点播过程提供空间信息；

3、在步骤2听讲方学习活动视频的采集过程中，系统还会同步分析听讲方的行为状态。分析的听讲方状态包括:听讲方的运动状态，一定程度上代表听讲方的活跃度；听讲方的面部识别算法，分析出听讲方自学状态和接受状态；通过表情识别算法，一定程度上代表听讲方对当前知识点的接受度；这些数据全部与视频数据同步保存。

4、主讲方教学提纲采集。主讲方教学提纲采集通过分析主讲方电脑的ppt等教学资料自动提取。

5、通过步骤4中获取的主讲方教学提纲，生成知识点环节信息。本例中知识点环节信息存储为xml格式，信息中包含知识点名称，知识点在视频中的开始时间和结束时间。除此之外还可以为知识点加入难易程度、重要程度等关键信息；

6、通过教学活动视频的切换时间点，生成教学环节信息，其中记录视频中主讲方讲课、板书书写、电脑演示、听讲方答题等环节点的时间；

7、将以上步骤得到的资源通过播放器进行展示，该播放器可以是软件形式，也可以是网页应用的形式。具体形式如图2所示：视频播放器中除了通常的播放按钮、进度条、时间显示、音量调整和最大化以外，还在视频左上角设置了3个按钮(三个按钮的位置可能在任意位置，在本例中是左上角)。三个按钮的名称在本例中分别为‘知识点’、‘教学环节’、‘听讲方分析’。它们的功能分别为：

“知识点”：点击知识点按钮，播放器中央将出现浮动窗口，其中显示步骤4中采集的知识点环节。知识点环节在该窗口中可以进行增删改查操作；并且选择知识点会使视频跳转到该知识点时间。再次点击’知识点’按钮时，窗口隐藏。

“教学环节”：点击教学环节按钮，播放器中央的浮动窗口显示步骤5中采集的教学环节列表，用户可以对其进行增删改查操作。单击任意环节视频跳转到该环节时间。再次点击‘教学环节’按钮将隐藏窗口。

“听讲方分析”：点击该按钮，播放器左下角出现画中画听讲方行为视频，(本例中视频左下角粗线框提示)和教室模拟区域显示(本例中在视频右侧黑色框提示)。听讲方行为视频显示步骤2中采集的听讲方活动视频。通过鼠标，或键盘等方式可以调整小视屏框的位置，或是将大小视频调换，已达到更清晰的观看听讲方状态的目的。

本具体实施方式所述的面部识别算法采用支持向量机(svm)的人脸识别方法：支持向量机是统计模式识别领域的一个新的热点，它试图使得学习机在经验风险和泛化能力上达到一种妥协，从而提高学习机的性能；支持向量机主要解决的是一个2分类问题，其基本思想是试图把一个低维的线性不可分的问题转化成一个高维的线性可分的问题，表明svm有较好的识别率。此外，该面部识别算法也支持采用几何特征的人脸识别方法、基于特征脸（pca）的人脸识别方法、神经网络的人脸识别方法、弹性图匹配的人脸识别方法、线段hausdorff距离(lhd)的人脸识别方法中的任何一种已有或新方法。

表情识别算法采用支持向量机(svm)分类算法：泛化能力很强、解决小样本、非线性及高维模式识别问题方面表、新的研究热点，其基本思想：对于非线性可分样本，首先通过非线性变换将输入空间变换到一个高维空间，然后在这个新空间中求取最优线性分界面；这种非线性变换通过定义适当的内积函数实现，常用的三种内积函数为：多项式内积函数、径向基内积函数、sigmoid内积函数。

在教室模拟区中，选择其中任意一个区域例如”3-1”,则播放器将展示在整个录课过程中，拍摄到该区域的视频片断列表，并且对每个片段给出步骤3中采集的听讲方行为状态数据，例如活跃度，接受度等。如图3所示，点击任意片断，例如片断4，则播放器视频将自动跳转到片断4的开始时间点，并播放，知道片断4结束。这样主讲方在教学研修过程中，可以轻易的找到所关注的听讲方，在任意特点时间点的行为状态。

本系统为主讲方的教学研修活动，提供了更为直观的时间和空间维度视频索引，为主讲方优化教学流程，分析听讲方学习状态提供有力工具。

本技术方案中，视频的播放器是一种布局。其它任何形式实现虚拟教室区域，以达成自动找到该区域视频片断的播放器都属于本发明的实现。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。