一种基于知识关联的资源组织及展示方法与流程

本发明属于教育技术学领域，具体说是一种基于知识关联的资源展示方法。

背景技术：

目前随着技术的发展与教学需求的不断改善，教学不在是以单屏幕为主，多屏教学逐渐兴起。在多屏教学中，双轨教学无疑是主力军。

在双轨教学中，应用的最多是学生在学习教学内容时，可以同时查看其他与课堂教学相关的资料，这样就大大增加了学习的效率与效果。

但这种教学模式中，双屏所展示的资源之间并无密切的连接关系，双方在展示时互不影响。当学生在学习观看视频时，还需要在文档资源中将视频中所提到的知识点查找出来；同样在查看文档资源中某些内容时，如果想观看与之相关的视频资源片段，也需要在视频资源中手动查找与这些内容相关的视频片段。

这样不仅加大了学生学习的成本，而且学习效率也极为低下，学习效果大大减弱。

技术实现要素：

针对现有技术的以上缺陷或改进需求，本发明的目的是提供一种基于知识关联的资源展示方法，可将文档与视频通过知识点相关联。

本发明解决其技术问题所采用的技术方案是：一种基于知识关联的资源展示方法，包括如下步骤

s01，用户终端以知识点为匹配依据，根据包括文档的标题、文档的字数、文档的行数、文档的段落数量、文档的页码在内的文档特征来查找文档资源信息，将提取的文档资源信息与存储在服务器中知识库的知识点进行相似度匹配，生成包含知识点id，文档资源信息id，文本相似匹配权重、推荐匹配权重、添加时间在内的知识点与文档资源匹配列表；

s02，用户终端对提取的知识点信息进行分类，采用基于知识关联的相似度匹配方法计算知识关联相似度匹配权重，所述基于知识关联的相似度匹配方法基于同义词词林的相似度匹配方法，步骤为：

（1）对于某一类别下的知识点a，查找知识库中相同或相似类别下的所有知识点，从第一个知识点b开始遍历；

（2）判断知识点a和知识点b在同义词词林中作为叶子节点的两个义项所处的分支，从第一层开始判断，相同乘以1，否则在分支层乘以相应的系数，然后乘以调节参数cos(n*)，然后乘以控制参数(n-k+1)/n，两个义项的相似度用similar表示，若两个义项不在同一树上，则similar(a，b)=0；若两个义项在同一树上：

（21）若在第2层分支，系数为x，则similar(a，b)=1*x*cos(n*)*；

（22）若在第3层分支，系数为y，则similar(a，b)=1*1*y*cos(n*)*；

（23）若在第4层分支，系数为z，则similar(a，b)=1*1*1*z*cos(n*)*；

（24）若在第5层分支，系数为q，则similar(a，b)=1*1*1*q*cos(n*)*；

在计算a和b相似度时，把a和b的义项分别两两计算，取其中的最大值作为两个词语的相似度的值；根据以上的计算方法，得到从文档中提取的知识点信息与知识库的知识点关联的相似匹配权重；推荐匹配权重初始化与知识关联相似匹配权重相等，后期根据用户反馈、评价修改推荐匹配权重，增加灵活性；

s03，用户终端将知识点与文档资源匹配列表上传到服务器的资源处理中心；

s04，用户终端以知识点为匹配依据，分时段提取包括视频的标题、视频的大小、视频的格式、视频的时间长度在内的视频中内容描述性信息，以服务器中知识库的知识点为基础，对提取的视频资源时间表进行基于知识关联的视频相似度匹配，用户终端按照步骤s02中的同义词词林的相似度匹配方法，生成包含知识点id，视频资源信息id，文本相似匹配权重、推荐匹配权重、添加时间在内的知识点与视频资源匹配列表；

s05，用户终端将知识点与视频资源匹配列表上传到服务器的资源处理中心；

s06，用户终端通过知识点来获取相应的文档资源信息时，服务器依照用户自定义匹配权重优先提取文本相似匹配权重高的记录，将多条记录按照权重大小排列发送到客户终端；若文本相似度匹配无法满足要求，则增加推荐匹配权重并优先提取与之相关的记录；

s07，用户终端改变文档状态时，服务器端先获取文档改变状态的信息，根据改变状态的信息获取知识点与文档资源的匹配列表，查找到对应的知识点，通过读取知识点与视频资源匹配列表，动态调整视频播放进度，自适应完成视频资源的展示；

s08，用户终端播放视频资源时，服务器端检测视频资源中有包括全屏文档资源、更改文档资源呈现页面、做笔记等设定好的教学动作时，若此时文档没有人为操作或控制，根据教学动作动态修改文档资源呈现页面，自适应完成文档资源的展示；

s09，用户终端改变视频播放的状态时，服务器端先获取视频资源改变状态的信息，根据改变状态的信息获取知识点与视频资源的匹配列表，查找到对应的知识点，通过读取知识点与文档资源匹配列表，动态调整文档呈现页面，自适应完成文档资源的展示。

所述的一种基于知识关联的资源展示方法，其文档包括txt、doc、html、pdf、ppt或xls文件。

所述的一种基于知识关联的资源展示方法，提取txt文档信息时先针对段落处理，然后针对行、句子进行处理。

所述的一种基于知识关联的资源展示方法，提取ppt文档信息时先进行分页处理，然后针对标题、内容进行处理。

所述的一种基于知识关联的资源展示方法，其步骤s01中的文本相似匹配权重通过文本相似度算法获取。

所述的一种基于知识关联的资源展示方法，所述的视频资源包括mp4、3gp、mkv、avi、rmvb或wmv文件，用户终端对视频资源的处理包含视频语音部分的处理和视频图像部分的处理。

所述的一种基于知识关联的资源展示方法，用户终端针对视频语音部分，先使用语音识别技术来提取视频资源中知识内容，形成包括视频资源时间表id的视频资源时间表，再根据语音含义分段提取的资源知识内容和提取知识内容对应的时间点。

所述的一种基于知识关联的资源展示方法，其用户终端针对视频图像部分，使用图像识别技术来获取视频中包含全屏文档资源、更改文档资源呈现页面、做笔记在内的教学动作。

所述的一种基于知识关联的资源展示方法，其步骤s07中教学者或学习者在用户终端通过改变文档的内容来改变视频教学内容：教学者或学习者在打开文档资源和视频资源后，通过修改文档资源的显示状态，获取文档改变的状态，同时读取知识点与文档资源匹配列表，获取知识点与文档资源的关联关系，根据读取的知识点与视频资源匹配列表，以知识点为中心，来改变视频的播放进度。

所述的一种基于知识关联的资源展示方法，其步骤s08中教学者或学习者在用户终端通过改变视频进度来改变文档显示内容：教学者或学习者在打开文档资源和视频资源后，在视频自动播放或手动改变视频的播放进度时，获取视频的播放状态，读取知识点与视频资源匹配列表，获取知识点与视频资源的关联关系，同时根据读取的知识点与文档资源匹配列表，以知识点为中心，来改变文档资源的呈现页面；或者在视频资源中提取提前预备好的视频资源的教学动作，根据这些教学动作来改变文档资源的呈现内容。

本发明的有益效果是：

本发明在移动端、web端、双屏教学等方面有着很大的应用范围，让学生在学习过程中可以文档资源与视频资源同步呈现，学生在学习过程中更加方便，提高学习效率；在双轨教学上，教师无需同时操作两个屏幕，只要操作一个屏幕基本可以满足教学的需求，方便了教师教学过程，提升了教师教学的质量；本发明可以让教师在资源中设计自己的教学教案，设计完教学教案后教学过程很大程度上无需自身亲自展示指导，减轻了教师工作强度，同时也新颖了教学活动。进一步地，以知识点为中心的资源列表，更加丰富了教学资源，更加丰富了教学内容，更加丰富了教学质量。

附图说明

图1是本发明资源展示的方法流程图；

图2是本发明文档资源的处理流程图；

图3是本发明视频资源的处理流程图；

图4是本发明资源的呈现流程图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

本发明公开了一种基于知识关联的资源展示方法，基于用户终端和服务器，其中

用户终端用于对用户上传的文档资源内容和视频资源内容进行处理，得到文档资源与知识点匹配列表和视频资源时间点与知识点匹配列表，将两种列表上传到服务器。

服务器用于提取文档资源与知识点匹配列表和视频资源时间点与知识点匹配列表中的相关信息，以知识点为匹配依据，将提取的文档资源内容，包括文档标题、文档页码、文档字数、每段或每页的信息与对应页码，与知识点相匹配起来；以知识点为匹配依据，将提取的视频资源内容，包括视频名称、视频大小、视频长度、每段视频对应的含义，与知识点相匹配起来。

如图1所示，基于知识关联的资源展示方法，包含以下的步骤：

s01，根据文档特征提取知识点信息：用户终端以知识点为匹配依据，根据文档特征来查找文档信息，在进行查找文档信息时，根据文档的特征不同，进行不同方式的处理，信息查找完成后，通过文本关键词提取等算法来提取文档信息中的知识点信息。

提取文档的特征，包括文档的标题、文档的字数、文档的行数、文档的段落数量、文档的页码；文档资源的类型有多种，包括txt、doc、html、pdf、ppt、xls等，每种类型的资源都不同种类的特点，针对不同资源要进行相应的处理。

例如：txt文档中没有页码信息，只是包含了段落、行、句子等，故提取其信息时要先针对段落处理，然后再针对行处理或句子处理。而在ppt中，包含了页码、标题、内容、段落、行，这里就需要首先对其进行分页处理，然后就是标题、内容。

知识库中包含种类丰富、数据量极大的知识点，这里以知识点为基础，对已经提取出来的文档资源信息表进行基于知识关联的相似度匹配，最终生成知识点与文档资源匹配列表，列表包括：知识点id，文档资源信息id，知识关联相似匹配权重、推荐匹配权重、添加时间。

s02，用户终端对提取的知识点信息进行分类，采用基于知识关联的相似度匹配方法计算知识关联相似度匹配权重，所述基于知识关联的相似度匹配方法基于同义词词林的相似度匹配方法，步骤为：

（1）对于某一类别下的知识点a，查找知识库中相同或相似类别下的所有知识点，从第一个知识点b开始遍历；

（2）判断知识点a和知识点b在同义词词林中作为叶子节点的两个义项所处的分支，从第一层开始判断，相同乘以1，否则在分支层乘以相应的系数，然后乘以调节参数cos(n*)，然后乘以控制参数(n-k+1)/n。具体如下：

若两个义项的相似度用similar表示

若两个义项不在同一树上，则similar(a，b)=0;

若两个义项在同一树上，

若在第2层分支，系数为x，则similar(a，b)=1*x*cos(n*)*；

若在第3层分支，系数为y，则similar(a，b)=1*1*y*cos(n*)*；

若在第4层分支，系数为z，则similar(a，b)=1*1*1*z*cos(n*)*；

若在第5层分支，系数为q，则similar(a，b)=1*1*1*q*cos(n*)*；

在计算a和b相似度时，把a和b的义项分别两两计算，取其中的最大值作为两个词语的相似度的值。

根据以上的计算方法，可以得到从文档中提取的知识点信息与服务器知识库关联的相似匹配权重。推荐匹配权重初始化与知识关联相似匹配权重相等，后期根据用户反馈、评价修改推荐匹配权重，增加灵活性。

知识关联相似匹配权重是知识点与文档资源信息的关联紧密程度，关联越紧密，权重越大，关联越弱，权重越小。用户通过知识点来获取相应的文档资源信息时，优先提取知识关联相似匹配权重高的记录，若需提取相关的多条记录，则按照权重大小分别提取相应的记录。推荐匹配权重是由根据用户反馈、评价修改而来，当基于知识关联的相似度匹配无法满足要求时，可以增加推荐匹配权重，这时将优先提取与之相关的记录，这样大大提高了灵活性，满足不同的需求。

s03，用户终端将知识点与文档资源匹配列表上传到服务器的资源处理中心；

s04，用户终端以知识点为匹配依据，提取视频的特征，包括视频的标题、视频的大小、视频的格式、视频的时间长度，分时段提取视频中内容描述性信息（视频特征）；这里以知识点为基础，对已经提取出来的视频资源时间表进行基于知识关联的相似度匹配，用户终端按照步骤s02中的同义词词林的相似度匹配方法，生成包含知识点id，视频资源信息id，文本相似匹配权重、推荐匹配权重、添加时间在内的知识点与视频资源匹配列表。

视频资源的类型有多种，包括mp4、3gp、mkv、avi、rmvb、wmv等，对于视频资源的处理包含了两个方面：一个是视频资源语音部分的处理，一个是视频图像部分的处理。针对视频语音部分，先使用语音识别技术来提取视频资源中知识内容，形成包括视频资源时间表id的视频资源时间表，再根据语音含义分段提取的资源知识内容和提取知识内容对应的时间点；针对视频图像部分的处理，使用图像识别技术来获取视频中包含全屏文档资源、更改文档资源呈现页面、做笔记在内的教学动作。

视频资源中包含的教学动作是特有的教学动作，主要是为了学生在现场没有教师指导的前提下更好与听从教师的引导，提高学习效率。

s05，用户终端将知识点与视频资源匹配列表上传到服务器的资源处理中心；

s06，用户终端通过知识点来获取相应的文档资源信息时，服务器依照用户自定义匹配权重优先提取文本相似匹配权重高的记录，将多条记录按照权重大小排列发送到客户终端；若文本相似度匹配无法满足要求，则增加推荐匹配权重并优先提取与之相关的记录；

s07，用户终端改变文档状态时，服务器端先获取文档改变状态的信息，根据改变状态的信息获取知识点与文档资源的匹配列表，查找到对应的知识点，通过读取知识点与视频资源匹配列表，动态调整视频播放进度，自适应完成视频资源的展示。

本步骤中教学者或学习者在用户终端通过改变文档的内容来改变视频教学内容：教学者或学习者在打开文档资源和视频资源后，通过修改文档资源的显示状态，获取文档改变的状态，同时读取知识点与文档资源匹配列表，获取知识点与文档资源的关联关系，根据读取的知识点与视频资源匹配列表，以知识点为中心，来改变视频的播放进度。

s08，用户终端播放视频资源时，服务器端检测视频资源中有包括全屏文档资源、更改文档资源呈现页面、做笔记等设定好的教学动作时，若此时文档没有人为操作或控制，根据教学动作动态修改文档资源呈现页面，自适应完成文档资源的展示。

本步骤中教学者或学习者在用户终端通过改变视频进度来改变文档显示内容：

教学者或学习者在打开文档资源和视频资源后，在视频自动播放或手动改变视频的播放进度时，获取视频的播放状态，读取知识点与视频资源匹配列表，获取知识点与视频资源的关联关系，同时根据读取的知识点与文档资源匹配列表，以知识点为中心，来改变文档资源的呈现页面；

或者在视频资源中提取提前预备好的视频资源的教学动作，根据这些教学动作来改变文档资源的呈现内容。

s09，用户终端改变视频播放的状态时，服务器端先获取视频资源改变状态的信息，根据改变状态的信息获取知识点与视频资源的匹配列表，查找到对应的知识点，通过读取知识点与文档资源匹配列表，动态调整文档呈现页面，自适应完成文档资源的展示。

教学者或学习者可以通过两种方式来进行教学或学习，一种是通过改变文档的内容来改变视频教学内容，一种是通过改变视频进度来改变文档显示内容。

在第一种方式中，教学者或学习者在打开文档资源和视频资源后，修改了文档资源的显示状态，比如：改变了文档资源的页面发生变化（如果有页码的话），改变了鼠标光标的位置，选中文档中一段文字等，这样可以获取文档改变的状态，同时在这里读取知识点与文档资源匹配列表，获取知识点与文档资源的关联关系，接着根据读取知识点与视频资源匹配列表，包括：知识点id，视频资源信息id，知识关联相似匹配权重、推荐匹配权重、添加时间，以知识点为中心，来改变视频的播放进度。

在第二种方式中，教学者或学习者在打开文档资源和视频资源后，有两种改变方式：第1种是在视频自动播放或手动改变视频的播放进度时，可以获取视频的播放状态，包括：视频名称、视频播放时间点、是否改变，在这里读取知识点与视频资源匹配列表，获取知识点与视频资源的关联关系，接着根据读取知识点与文档资源匹配列表，列表包括：知识点id，文档资源信息id，知识关联相似匹配权重、推荐匹配权重、添加时间。以知识点为中心，来改变文档资源的呈现页面。第2种方法是在视频资源中提取提前预备好的视频资源的教学动作，包括全屏文档资源、更改文档资源呈现页面、做笔记等，根据这些教学动作，来改变文档资源的呈现内容（在改变之前，首先判断文档资源是否有认为操作，如果有，则以人为操作为主，不改变呈现内容。

进一步地，视频播放进度改变时，在资源处理中心查找视频进度改变后对应的知识点id，接着根据知识点id再查找相对应的文档资源信息，最后改变文档资源信息的状态；

进一步地，文档资源页面或鼠标光标改变时，在资源处理中心查找文档信息页面对应的知识点id，接着根据知识点id再查找相对应的视频资源信息，最后改变视频资源的播放状态；

进一步地，知识点按照知识点之间相关性强弱存储知识点的关联关系；

进一步地，知识点与文档资源匹配列表中存储知识点与文档资源匹配的关联权重，查找时优先提取权重最高的记录；

进一步地，知识点与视频资源匹配列表中存储知识点与视频资源匹配的关联权重，查找时优先提取权重最高的记录；

进一步地，视频进度改变时，在资源处理中心查找视频进度改变后对应的知识点id，根据知识点id查找不到相对应的文档资源信息时，在知识点关联关系库中查找关联关系最强的知识点id，然后根据查找后的知识点id查找相对应的文档资源信息；若还是无法查到，则按照以上操作，继续在知识点关联库中查找关联关系第二紧密的知识点id，以此类推，直到能够查找到相对应的文档资源信息。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。