多模态在线学习资源网络推荐系统及其推荐方法与流程

本发明涉及在线学习技术领域，特别的，涉及一种基于学习者学习能力和资源难度的多模态在线学习资源网络推荐系统及推荐方法。

背景技术：

人们对公平教育的不断探索和线下学习对时间和空间的诸多限制，促进了在线学习领域的蓬勃发展。在线学习可以通过网络将名校名师课程以低廉的价格和快捷的方式分享给数以万计的学习者。

同时，快节奏的现代生活使得越来越多的人有了终生学习的需求，但与之冲突的学习时间碎片化，使得占用大片时间的线下学习模式的时空代价超过人们的承受能力。

因此，不受时间地点限制、随时随地学习和暂停的线上学习模式，受到越来越多学习者的青睐。

众所周知，对于学习者通过学习行为来掌握知识或者技能的过程中，其是由多种因素共同决定学习者的学习结果。其中对于学习结果有较大影响的因素主要包括如下三个方面，分别是：学习者的学习能力、所学知识或者技能的难易度(或“学习资源难度”)及学习资源的表达形式。

所谓学习者的学习能力是指学习个体从事学习活动所需具备的心理特征和智力特征，所述心理特征和智力特征是指能够进行学习的生理能力和潜力的总和，包括感知观察能力、记忆能力、阅读能力、解决问题能力等。对学习者个体而言，能够容纳、储存知识、信息的种类和数量、行为活动模式种类、新旧信息更替的能力等外延出学习者的学习能力高低，所述学习者的学习能力在有机体一生中呈动态变化。

所谓所学知识或者技能的难易度是指知识或者技能客观的复杂程度，针对具有统一学习能力的学习者来学习特定知识或者特定技能时，相对复杂的知识或者技能，可以认定为具有难度的知识或者技能，例如：核动力学相关能量转换原理；相对容易掌握的知识或者技能，可以认定为容易的知识或者技能，例如：数学公式1+1＝2。所学知识或者技能的难易度是相对的，即：相对于不同学习能力的学习者而言，所学知识或者技能的难易度可以对应变换。

所谓学习资源的表达形式是指学习资源的呈现方式和学习者所采用的硬件设备所支持的各种格式。相比于传统线下学习模式，线上学习模式中的学习资源对资源上传者的要求较低，任何机构和个人都可以上传各种各样的学习资源，例如：文字、图像、音频、视频等形式表达的学习资源。针对不同的所述学习者，学习资源的不同呈现方式对于在线学习有较大区别，例如：对于儿童型学习者，图片及视频的表达形式有利于其学习，但是文字类表达形式则不利于其学习。

因此，所述学习者在线学习时，需要兼顾学习者的学习能力、所学知识或者技能的难易度、学习资源的表达形式等因素对学习效果的影响。

现有技术中，所述学习者在线上学习时，需要从纷繁芜杂数以万计的学习资源中找到适合自己的资源，如何为学习者挑选合适的学习资源成为复杂的技术难题，因此，针对在线学习模式的学习资源网络推荐技术应运而生。

但现有技术中的学习资源推荐技术存在还存在如下技术问题：

缺陷一：鉴于学习者的学习能力的动态变化属性，及所学知识或者技能的难易度针对不同学习者，其难易度对应变换的特点，使得当在线学习模式中推荐在线学习资源时，不能孤立考虑任何单一因素，需要综合考虑学习者学习能力与学习资源难度的匹配程度；

缺陷二：对于不同的学习者，鉴于学习资源的不同表达形式影响学习效果，因此，当想学习者推荐学习资源时，需要兼顾不同学习者对不同类型表达形式的学习资源的偏好。

针对以上两个技术问题，本专利提出基于学习能力和学习资源难度匹配的多模态在线学习资源推荐方法。从多个维度评估学习资源难度以及学习资源的表达形式，分别得到资源难度分数向量和资源表达分数向量；根据学习者资料和学习者记录中学习资源的难度来评估学习者的学习能力和资源类型偏好。最后，根据学习者学习能力和学习资源难度的匹配，结合学习者对学习资源的类型偏好，向学习者推荐相应的学习资源。

技术实现要素：

鉴于现有技术的缺陷，本发明的目的在于提供一种基于学习者学习能力和资源难度的多模态在线学习资源推荐系统。

同时，还提供一种采用上述基于学习者学习能力和资源难度的多模态在线学习资源推荐系统的推荐方法。

一种基于学习者学习能力和资源难度的多模态在线学习资源推荐系统，其包括数据采集模组、学习能力评估模组、学习资源难度计算模组及学习资源推荐模组，所述数据采集模组采集学习者信息及学习资源信息，所述学习能力评估模组根据所述数据采集模组所采集的学习者信息获得学习者的学习能力值，所述学习资源难度计算模组根据所述数据采集模组所采集的学习资源信息计算学习资源难度值，所述学习资源推荐模组分别接收来自所述学习能力评估模组的学习能力值以及所述学习资源难度计算模组的学习资源难度值，并根据所述学习能力值及所述学习资源难度值之间的相互匹配值生成学习资源推荐方案，并选择性推荐满足设定匹配值的学习资源至学习者。

进一步的，所述学习资源信息包括多种表达形式，所述学习资源网络推荐系统还包括学习资源表达形式识别模组，所述学习资源表达形式识别模组接收所述学习资源信息，并识别所述学习资源信息的表达形式。

进一步的，所述学习资源推荐模组根据所述学习资源信息的表达形式、所述学习能力值与所述学习资源难度值之间的相互匹配值生成学习资源推荐方案，其中所述学习资源的表达形式包括文字、语音、图片、音频及视频中的任意一种或多种。

进一步的，所述学习资源网络推荐系统还包括学习行为识别模组，所述数据采集模组还进一步采集所述学习者的学习行为信息，所述学习行为识别模组接收所述学习行为信息，并识别所述学习行为，所述学习资源推荐模组根据所述学习者学习行为结合所述学习资源表达形式的匹配值，对应推荐学习资源至所述学习者。

进一步的，所述学习资源信息包括多个概念，所述学习资源难度计算模组根据所述多个概念之间的关系及对所述概念的限定通过评估计算学习资源的难度值和/或所述学习资源难度计算模组根据所述学习者的学习行为信息计算所述学习资源的难度值。

进一步的，所述学习资源难度计算模组根据学习资源信息包括所述多个概念之间的关系及所述概念的内容、以及所述学习者的学习行为计算学习资源的至少一难度值，将其分别标准化并连接在一起组成学习资源难度向量；

所述标准化公式如下：

其中，x是当前变量，xmin是所有x变量中的最小值，xmax是所有x变量中的最大值，xnew是标准化之后的变量值；

所述连接方法公式如下：

d＝d1⊕d2⊕d3⊕d4⊕d5⊕d6

其中，d1-d6是根据不同方法并经过标准化后获得的学习资源难度值，至此，获得所述学习资源的难度值，d1是根据学习资源中所述概念之间的关系计算获得的学习资源难度值，d2是根据学习资源的学习人数计算获得的学习资源难度值，d3是根据学习资源中的文字描述计算获得的学习资源难度值，d4是根据学习资源的评分计算获得的学习资源难度值，d5是根据学习者在学习资源中的行为信息计算获得的学习资源难度值，d6是根据学习者在学习资源中做题、考试的得分计算获得的学习资源难度值，符号⊕为向量拼接操作。

一种基于学习者学习能力和资源难度的多模态在线学习资源网络推荐方法包括如下步骤：

提供数据采集模组，采集学习者信息、学习资源信息及学习行为信息；

提供学习资源难度计算模组，根据所述学习资源信息计算所述学习资源难度值；

提供学习能力评估模组，根据所述学习者信息评估所述学习者的学习能力值；

匹配所述学习资源难度计算模组获得的学习资源难度值及所述学习能力评估模组的学习能力值，并将所述匹配结果传输至所述学习资源推荐模组；

提供所述学习行为识别模组根据所述学习行为信息判断所述学习者的学习喜好；

提供学习资源表达形式识别模组根据所述学习资源识别所述学习资源信息的表达方式；

匹配根据所述学习行为信息获得的学习喜好及所述学习资源的表达方式，并将所述匹配结果传输至所述学习资源推荐模组；

所述学习资源推荐模组根据所述学习资源难度值及所述学习能力值之间的相互匹配值，结合所述学习者的学习喜好及所述学习资源表达方式的匹配度生成推荐结果，并推荐至所述学习者；

至此，完成所述基于学习者学习能力和资源难度的多模态在线学习资源推荐系统的网络学习资源推荐。

进一步的，计算所述学习资源难度值包括如下步骤：

获取学习资源信息的概念，并在网络上爬取所述概念的维基百科内容、学习行为信息；

根据所述学习资源的概念在维基百科中的内容和概念之间的关系计算学习资源的难度值d1；

根据所述学习者的学习行为信息和学习资源信息计算学习资源的难度值，获得学习资源难度d2、d3、d4、d5及d6；

将步骤s02及s03中获得的学习资源难度值标准化并连接在一起组成学习资源难度向量，所述标准化公式如下：

其中，x是当前变量，xmin是所有x变量中的最小值，xmax是所有x变量中的最大值，xnew是标准化之后的变量值，

所述连接方法公式如下：

d＝d1⊕d2⊕d3⊕d4⊕d5⊕d6

其中，d1-d6是根据不同方法并经过标准化后获得的学习资源难度值，至此，获得所述学习资源的难度值，其中d1是根据学习资源中所述概念之间的关系计算获得的学习资源难度值，d2是根据学习资源的学习人数计算获得的学习资源难度值，d3是根据学习资源中的文字描述计算获得的学习资源难度值，d4是根据学习资源的评分计算获得的学习资源难度值，d5是根据学习者在学习资源中的行为信息计算获得的学习资源难度值，d6是根据学习者在学习资源中做题、考试的得分计算获得的学习资源难度值，符号⊕为向量拼接操作，至此，获得所述学习资源难度值。

进一步的，计算所述学习者学习能力值包括如下步骤：

基于所述数据采集模组所采集的学习者信息判断所述学习者的学习能力；

根据所述学习者在线学习资源的难度值，获得所述学习者受已经学习过的学习资源影响获得的学习能力值。

将步骤s11获得的基于学习者信息的学习能力值和步骤s12基于学习者在线学习记录获得的学习者学习能力值连接在一起，生成学习者的学习能力。

与相关技术相比，在本发明的基于学习者学习能力和资源难度的多模态在线学习资源推荐系统中，依据所述学习能力评估模组的学习能力值与所述学习资源难度计算模组的难度值相互匹配作为推荐学习资源，同时结合所述学习资源表达形式识别模组与所述学习行为识别模组的匹配度，依据学习者的历史学习记录使用已有方法根据学习者的学习序列抽取一般意义上学习者喜欢的学习资源，进一步提高推荐精度。

附图说明

图1是本发明一种多模态在线学习资源网络推荐系统的示意图；

图2是学习资源难度计算流程示意图；

图3从知识图谱中获得所述概念之间关系的示意图；

图4是学习者能力计算示意图；

图5是所述学习者信息与学习能力值、学习资源难度值之间的关系示意图；及

图6是本发明采用图1所示多模态在线学习资源网络推荐系统的推荐方法示意图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1，是本发明一种基于学习者学习能力和资源难度的多模态在线学习资源网络推荐系统的示意图。所述基于学习者在线学习模式的学习资源网络推荐系统10根据学习者的学习资源、学习者自身的属性及学习行为，向在线学习者主动精准推荐最佳的学习资源以提高学习效果和提升学习体验。

所述学习者学习能力和资源难度的多模态在线学习资源网络推荐系统10包括数据采集模组11、学习资源难度计算模组13、学习能力评估模组15、学习行为识别模组16、学习资源表达形式识别模组17及学习资源推荐模组19。所述学习资源难度计算模组13根据所述数据采集模组11所采集的信息计算学习资源的难度值。所述学习能力评估模组15根据所述数据采集模组11所采集的信息获得学习者的学习能力值。所述学习能力评估模组15的学习能力值与所述学习资源难度计算模组13的难度值相互匹配后传输至所述学习资源推荐模组19。另一方面，所述学习行为识别模组16识别所述学习者的学习行为信息，所述学习资源表达形式识别模组17识别所述学习资源的表达形式，所述学习者的学习行为信息与所述学习资源的表达形式相互匹配后传输至所述学习资源推荐模组19。所述学习资源推荐模组19根据上述匹配结果生成学习资源推荐结果，并选择性推荐满足推荐需求的学习资源给所述学习者。

所述数据采集模组11分别从所述学习者和学习资源来采集信息。其中，所述数据采集模组11所采集的信息包括学习者信息111、学习行为信息113及学习资源信息115。

所述学习者信息111是指参与在线学习者的注册信息、性别、年龄等其自身背景属性的信息。所述学习者信息111用于作为判断所述学习者学习能力的参考信息。所谓学习能力是指能够进行学习的各种能力和潜力的总和，不同背景的学习者其学习能力有所区别。例如：针对生理年龄4岁以下的学习者，其学习能力限于弱于较高生理年龄的学习者；性别为女性的学习者其记忆能力优于性别为男性的学习者等。

所述学习行为信息113是指学习者的学习次数、学习序列、答题成绩、考试成绩和是否获得证书、在学习资源上花费的时间等记录学习者的历史学习行为的信息。所述学习行为信息113用于判断所述学习者的学习喜好。

所述学习资源信息115是指任何机构和个人都可以上传的各种各样的学习资源，如文字、图像、音频、视频等学习内容。所述学习资源信息115可以采用不同的表达形式以诠释所述学习资源所涉内容，不同表达形式的学习资源适合于不同学习喜好的学习者。

所述学习资源难度计算模组13根据学习资源计算学习资源的难度值。所述学习资源信息113包括多个概念，通过知识图谱算出所述概念之间的关系。所述概念的获取是采用如下方式获取：抽取所述学习资源中的概念并爬取所述概念对应的维基百科内容，同时获取所述学习者的学习记录中页面的停留时间、评价、证书和/或得分进而计算所述学习资源的难度值，具体步骤如图2所示，包括如下步骤：

步骤s01，获取学习资源的概念，并在网络上爬取所述概念的维基百科内容、学习行为信息；

在该步骤s01中，所述学习行为信息包括学习者的学习记录中的页面停留时间、学习者对学习资源的评价、是否获得证书信息。

步骤s02，根据所述学习资源的概念在维基百科中的内容和概念之间的关系评估学习资源的难度，获得学习资源难度d1；所述内容如入门、精通等；所述概念之间的关系如进阶等。

在该步骤s02中，所述概念之间的关系从知识图谱中获得，如图3所示，是从知识图谱中获得所述概念之间关系的示意图。计算机包括算法、软件工程；所述算法包括排序，这些关系指示了概念的难度，包含更多概念的概念难度更大。同时还需要根据学习资源的一些关键词，比如说初级，高级，导论，简介等来计算所述学习资源的难度值。

步骤s03，根据所述学习者的学习行为信息计算学习资源之间的难度值获得学习资源难度d2、d3、d4、d5及d6；

其中，d2是根据学习资源的学习人数计算获得的学习资源难度值，d3是根据学习资源中的文字描述计算获得的学习资源难度值，d4是根据学习资源的评分计算获得的学习资源难度值，d5是根据学习者在学习资源中的行为信息计算获得的学习资源难度值，d6是根据学习者在学习资源中做题、考试的得分计算获得的学习资源难度值。在该步骤中，学习者的学习次数与学习资源的难度值成反比，学习资源的难度值与其在学习者的学习序列中的序号成正比，与所述学习者答题成绩、考试成绩和是否获得证书成反比，与所述学习者在对应的学习资源上花费的时间成正比。此外所述学习者对所述学习资源的评价中也会有关于学习资源难度的信息，例如学习资源中出现难度较大，很难，吃力等词及其同义词都表示对应的学习资源的难度值较大。反之简单，容易等词都表示学习资源难度值较小。

步骤s04，将步骤s02及s03中获得的学习资源难度标准化并连接在一起组成学习资源难度向量。

在该步骤中，如果所述学习资源在所选择的学习资源难度计算方法上没有相关数据可以利用，则判断该维度的难度系数为0。其中所述标准化公式如下：

其中，x是当前变量，xmin是所有x变量中的最小值，xmax是所有x变量中的最大值，xnew是标准化之后的变量值。

所述连接方法公式如下所示：

d＝d1⊕d2⊕d3⊕d4⊕d5⊕d6

其中，符号⊕为向量拼接操作。

至此，获得所述学习资源的难度值。

所述学习能力评估模组15接收来自所述数据采集模组11所采集的学习者信息111及学习行为信息115以判断所述学习者的学习能力值。

首先，因为所述学习者的学习能力和所述学习者信息111相关，例如，所述学习者的年龄，受教育程度，国籍，职业等均影响所述学习者的学习能力。博士的学习能力一般比初中生要好；机械工程师对于机械方面的学习能力会好于生物学家在机械方面的学习能力。其次，所述学习者的学习能力还受到所述学习行为信息影响，所述学习者学习的知识所属技术领域、学习的过程以及交流方式等行为会提升学习者的学习能力。如表一所示，假设这两个学习者在学习这些在线资源之前的学习能力是一样的。但是在学习的过程中他们的学习能力都被动态的改变了。学习者1因为在在学习了更多学习资源，因此现在他的学习能力会比学习者2的学习能力更强一点。

表一

因此，判断所述学习者的学习能力时，依据所述学习者信息111和所述学习行为信息115综合判断所述学习能力值，如图4所示，具体包括如下步骤：

步骤s11，基于所述数据采集模组11所采集的学习者信息111判断所述学习者的学习能力；

如图5所示，是所述学习者信息与学习能力值、学习资源难度值之间的关系示意图。在该步骤中，不同学习者信息111中的背景信息会影响所述学习者对于学习资源难度的选择，因此可以通过对具有某种身份的人选择的学习资源的难度，以身份为约束得到该身份为学习者带来的学习能力，所谓特定身份信息的人即是所述学习者信息111。

步骤s12，根据所述学习者在线学习资源的难度值，获得所述学习者受已经学习过的学习资源影响获得的学习能力值。

对于已经学习过的学习资源对学习者的影响是不一样的，因此本方法使用注意力机制来反映已学资源对学习者学习能力的影响。且该部分的内容不是一成不变的，在学习者学习过新的学习资源之后，需要对学习者在线学习获得的能力动态更新。

步骤s13，将步骤s11获得的基于学习者信息的学习能力值和步骤s12基于学习者在线学习记录获得的学习者学习能力值连接在一起，生成学习者的学习能力值。

所述学习行为识别模组16根据所述数据采集模组11的学习行为信息113识别所述学习者的学习行为，并根据所述学习行为判断所述学习者对于所要学习的学习资源表达形式的喜好。通常，不同的学习者对于学习资源的不同表达形式的接收程度有一定的偏好，所以特定的学习者会选择适合自己学习体验的学习资源表达形式，例如：生理年龄较小的学习者，更愿意接受图片与视频类学习资源。

所述学习资源表达形式识别模组17用于识别对应学习资源的表达形式，以方便与不同学习行为信息相匹配。众所周知，不同学习资源的表达形式是多样的，可以是文本、图片、音频或者视频中的一种或者多种，通过所述学习资源表达形式识别模组17判断学习者所要学习的学习资源的表达形式，当某一学习资源对应有多种表达形式时，对应于生理年龄较小的学习者可以匹配图片或者视频表达形式的学习资源，对应于生理年龄较大的学习者，可以匹配文本或者语音表达形式的学习资源。

另一方面，根据所述学习资源内容的不同，需要使用不同的合适的表达形式才能完整清晰的表达内容。学习资源的表达形式会影响学习者对内容的感知能力。采用正确的表达方式表达学习资源内容，会大幅度地提高学习资源的学习质量和学习者的学习体验。

在本发明中，使用已有方法抽取学习资源中的内容和它们的表达形式，结合学习者对学习资源的评价、页面停留时间和学习资源的流行度等信息对学习资源表达形式的进行评价。

所述学习资源推荐模组19接收所述学习能力评估模组15的学习能力值与所述学习资源难度计算模组13的难度值相互匹配结果。同时结合所述学习资源表达形式识别模组17与所述学习行为识别模组16的匹配度，对应综合制定最佳推荐方案，进而推荐适合于学习者学习的学习资源，提高学习效率和提升学习体验。

在本发明的学习资源推荐系统10中，根据学习者对学习资源的评论可以获得学习者对学习资源的满意程度，学习者对学习资源感到满意意味着该学习资源是适合学习者的。说明学习者的学习能力能够和学习资源的难度匹配。因此，可以根据这样的学习记录学习者学习能力和学习资源难度的匹配模式。

相较于现有技术，在本发明的学习资源推荐系统10中，首先，依据所述学习能力评估模组15的学习能力值与所述学习资源难度计算模组13的难度值相互匹配作为推荐学习资源的依据，但是对学习资源比较满意的人的学习能力和学习资源的难度的匹配模式，如果以这个模式为唯一的推荐标准，则推荐的结果中学习者的满意度会比较高。但这样的推荐结果可能会使推荐结果的命中率不高，因为不是所有学习者都在寻找其学习能力范围之内的学习资源，有些学习者会偏向于学习简单的，有些学习者热衷于挑战新事物，因此在推荐的过程中还需要考虑学习者的学习行为喜好。本发明依据所述学习能力评估模组15的学习能力值与所述学习资源难度计算模组13的难度值相互匹配作为推荐学习资源的依据之外，进一步根据所述学习资源表达形式识别模组17与所述学习行为识别模组16的匹配度，依据学习者的历史学习记录使用已有方法(如深度学习模型lstm等)根据学习者的学习序列抽取一般意义上(即不考虑学习者学习能力和学习资源匹配的情况下)学习者喜欢的学习资源，进一步提高推荐精度。

再请参阅图6，是本发明采用图1所示学习资源推荐系统的推荐方法示意图。当采用上述学习者学习能力和资源难度的多模态在线学习模式的学习资源网络推荐系统10向学习者推荐学习资源时，其包括如下步骤：

步骤s21，提供数据采集模组11，采集学习者信息111、学习资源信息115及学习行为信息113；

步骤s22，提供学习资源难度计算模组13，根据所述学习资源信息115计算所述学习资源难度值；

步骤s23，提供学习能力评估模组，根据所述学习者信息111评估所述学习者的学习能力值；

步骤s23，匹配所述学习资源难度计算模组13获得的学习资源难度值及所述学习者信息111的学习能力值，并将所述匹配结果传输至所述学习资源推荐模组19；

步骤s24，提供学习行为识别模组16根据所述学习行为信息113判断所述学习者的学习喜好；

步骤s25，提供学习资源表达形式识别模组17根据所述学习资源识别所述学习资源的表达方式；

步骤s26，匹配所述学习行为信息113的学习喜好及所述学习资源的表达方式，并将所述匹配结果传输至所述学习资源推荐模组19；

步骤s27，所述学习资源推荐模组19根据所述学习资源难度值及所述学习能力值之间的相互匹配度，结合所述学习者的学习喜好及所述学习资源表达方式的匹配度生成推荐结果，并推荐至所述学习者。

至此，完成所述学习者学习能力和资源难度的多模态在线学习资源网络推荐系统10的网络资源推荐。

以上所述仅为本发明的实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其它相关的技术领域，均同理包括在本发明的专利保护范围内。