一种基于情感状态的在线学习系统的制作方法

本发明涉及智能服务及在线教育技术领域，特别是指一种基于情感状态的在线学习系统。

背景技术：

随着人工智能、计算机、大数据等技术的不断进步以及人类需求的不断增加，通过网络进行在线教育的人数也在飞速地增长。但这种新兴的教育方式引领的无监督类自学模式欠缺传统教育方式中的情感互动，导致学习效率低下、学习内容过眼不过脑。为了提高在线学习效率，获得更加精准的私人订制式知识结构，我们急需在在线学习中加入情感互动，实现更加智能的人机交互。

目前已有许多高校采用mooc等大型开放式网络课程进行辅助教学，教师将一部分教学内容转移至网络，学生通过在线学习的方式进行相应内容的学习。但目前的在线学习系统；一方面，对教师而言，很难分析学生线上学习的状态，无法获得学生的薄弱知识环节，无法根据在线学习的反馈进行课堂内容的动态调整。另一方面，对学生而言，缺乏互动的授课模式极易产生疲劳情绪，为了应付教师和作业进行机械的观看也使学生缺乏主动学习的动力，对自己的学习进展和掌握程度缺乏认知，很难获得最优的学习效率。

技术实现要素：

本发明要解决的技术问题是针对上述现有在线教学系统存在的缺陷，提供一种基于情感状态的在线学习系统，通过学习者头部图像和输入设备的交互频率综合分析学习者的学习情感状态，依据不同的情感状态对学习内容进行动态调整和安排课间休息，进而提升学习者的学习效率，使在线学习成为有效的学习媒介，使学习者更加主动投入地进行学习，在短时间内获得最大的学习效率。

为解决上述技术问题，本发明提供一种基于情感状态的在线学习系统，所述基于情感状态的在线学习系统包括：

数据采集模块，用于采集学习者的头部图像数据和在线交互行为数据；

学习情感评定模块，用于对所述数据采集模块所采集的学习者的头部图像数据和在线交互行为数据分别进行分析处理，并通过分析处理结果，基于预先建立的学习情感模型，实时获取所述学习者的学习情感状态；

专注度调整模块，用于依据所述学习者的当前学习情感状态，判断当前是否需要暂停学习，进入交互放松模式；

学习内容干预模块，用于依据所述学习者的当前学习情感状态，动态调整学习内容库中的学习内容；所述学习内容库中包括学习者待学习的内容。

进一步地，所述数据采集模块包括头部图像数据采集单元和在线交互行为数据采集单元；

其中，所述头部图像数据采集单元用于采集包括学习者在线学习时的面部表情特征和学习者在线学习过程中的头部转动姿态的头部图像数据；

所述在线交互行为数据采集单元用于采集学习者在定时问答测试过程中的对输入设备的操作时长和频率。

进一步地，所述学习情感评定模块包括数据处理单元和情感评定单元；

其中，所述数据处理单元用于对学习者的头部图像数据和在线交互行为数据进行分析处理，获得学习者的主观情感状态和客观学习效果；

所述情感评定单元用于在所述学习情感映射模型的基础上，融合学习者的主观情感状态和客观学习效果，获取学习者的当前情感状态。

进一步地，所述数据处理单元包括图像数据处理子单元和交互行为数据处理子单元；

其中，所述图像数据处理子单元用于对学习者的头部图像数据进行降噪、分割和归一化预处理，然后进行面部表情特征识别和头部转动姿态分析，得到学习者的面部表情特征和头部转动姿态，进而获得学习者的主观情感状态；

当学习者面部表情特征为愉悦、平静且头部转动姿态为头部偏转幅度在预设范围内时，表明所述学习者的主观情感状态为积极学习状态；当学习者的面部表情特征为悲伤、惊讶或头部转动姿态为头部在预设时长内一直偏离屏幕时，表明所述学习者的主观情感状态为消极学习状态；

所述交互行为数据处理子单元用于提取学习者的在线交互行为数据和问答结果数据，然后计算学习者的答题时长和答题准确率，并基于学习者的答题时长和答题准确率分析所述学习者的客观学习效果。

进一步地，所述学习情感映射模型通过学习者的面部表情特征反映学习者对当前学习内容的理解程度，通过学习者的头部转动姿态反映学习者在学习过程中的专注程度，通过学习者的在线交互行为数据反映学习者对当前学习内容的掌握程度。

进一步地，所述图像数据处理子单元进行面部表情特征识别的过程包括：

采用卷积神经网络对大量公开表情数据集进行训练，得到表情分类模型；

将学习者经过预处理后的头部图像与所述表情分类模型进行匹配，得到所述学习者的面部表情特征。

进一步地，所述图像数据处理子单元进行头部转动姿态分析的过程包括：

选用主动形状模型定位人脸面部特征点；

建立三维坐标系，提取各特征点的位置坐标；

将提取的位置坐标与学习者的头部图像的特征点坐标进行几何运算，得到所述学习者的头部转动姿态。

进一步地，所述情感评定单元具体用于：

在所述学习情感映射模型的基础上，融合学习者的主观情感状态和客观学习效果，根据学习者的面部表情获取所述学习者对当前学习内容的理解程度，根据学习者的头部转动姿态获取所述学习者在当前学习过程中的专注程度，根据学习者的在线交互行为数据获得所述学习者对当前学习内容的掌握程度；

并根据预设分类方式获取学习者当前的学习情感状态；其中，所述预设分类方式将学习者的学习情感状态划分为：专注及熟练、专注及生疏、涣散及熟练、涣散及生疏四类状态。

进一步地，所述专注度调整模块具体用于：

当评定学习者处于“涣散”状态时，判断所述学习者此时处于注意力下降状态，不适合继续学习；进而暂停学习，进入语音交互放松模式，提示所述学习者进行预设放松时长的放松时段。

进一步地，所述学习内容干预模块具体用于：

当判定学习者处于“熟练”状态时，将对应的学习内容置入已掌握内容库，并将其从学习内容库中移除，不再继续学习；

当判定学习者处于“生疏”状态时，仍将对应的学习内容留在学习内容库中，在所述学习者结束一轮学习后，仍需继续学习对应的学习内容。

本发明的上述技术方案的有益效果如下：

本发明的基于情感状态的在线学习系统将融合了面部表情识别、头部姿态识别和交互行为分析的学习情感评定机制应用到在线学习的整个学习过程；通过采集学习者的头部图像数据和在线交互行为数据，利用学习情感评定机制对采集到的数据进行实时分析，对学习者的学习过程进行持续地监控；根据学习者的情感状态及时进行学习内容调整和课间休息；一旦发现学习者的专注度偏离正常学习维度，则激活语音交互系统进入放松环节，引导学习者提高注意力。当发现学习者对当前学习内容不甚理解时，动态调整学习内容库中的内容，结束一轮学习后马上进入重复学习阶段，直到学习内容库中的内容全部完成后进入综合测试。从而有效减少了无效学习，提高了在线学习效率。

此外，本发明的基于情感状态的在线学习系统采用500万像素，最高支持720p@30fps流畅高清录像的cam500a摄像头采集学习者的头部图像数据，获取学习者的实时面部表情特征和头部转动姿态，可以如家庭教师般实时关注学习者的学习状态，并着重分析学习者对学习内容的接受程度，同时有效减少重复劳动，使得学习者在学习过程中获得最佳学习效果。

附图说明

图1为本发明实施例的基于情感状态的在线学习系统的结构示意图；

图2为本发明实施例的基于情感状态的在线学习系统的工作流程示意图；

图3为本发明实施例的基于情感状态的在线学习系统的功能示意图；

图4为本发明实施例的头部转动姿态识别的流程示意图；

图5为本发明实施例的学习情感识别的流程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下将结合附图及具体实施例，对本发明进行详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

首先需要说明的是，本发明致力于将在线学习与实时情感状态有机结合，通过学习者的情感表达分析其学习状态，并根据不同的学习状态适度调整学习内容，进行实现更加智能的人机交互，达到提高学习效率的目的。

而为了研究学习当中学习者的情感状态，可以选择使用多种方式。心理学家指出，人的情感表达由55％的面部表情，38％的声音和7％的语言构成。因此本发明对学习者的学习情感的分析主要通过学习者的面部表情进行，辅助以语音进行情感调节，同时头部的转动姿态作为学习情感识别的媒介。

在线学习过程中的情感状态主要包括学习者对学习内容的理解程度，学习者对学习内容的掌握程度，以及学习者当前的关注程度等方面；在学习过程中，学习者的表情、身体姿态及反应时间是对当前学习内容理解程度的一种反馈，具有一定普遍性。当学习者对所学内容难以理解时，学习者表情通常是焦虑、困惑，头部姿态较僵硬，反应时间较长。当学习者对所学内容接受时，学习者表情通常较平静，呈现出轻度的愉悦，视线稳定集中在屏幕区域，反应时间较短。当学习者疲劳时，往往会发呆、走神，头部姿态较自由，坐立难安等。

基于上述理论基础，本实施例提出一种基于情感状态的在线学习系统，该基于情感状态的在线学习系统如图1所示，包括：

数据采集模块，用于采集学习者的头部图像数据和在线交互行为数据；

学习情感评定模块，用于对数据采集模块所采集的学习者的头部图像数据和在线交互行为数据分别进行分析处理，并通过分析处理结果，基于预先建立的学习情感模型，实时获取学习者的学习情感状态；

专注度调整模块，用于依据学习者的当前学习情感状态，判断当前是否需要暂停学习，进入交互放松模式；

学习内容干预模块，用于依据学习者的当前学习情感状态，动态调整学习内容库中的学习内容；该学习内容库中包括学习者待学习的内容。

进一步地，上述数据采集模块包括头部图像数据采集单元和在线交互行为数据采集单元；其中，头部图像数据采集单元采用500万像素，最高支持720p@30fps流畅高清录像的cam500a摄像头，主要用于采集包括学习者在线学习时的面部表情特征和学习者在线学习过程中的头部转动姿态的头部图像数据；在线交互行为数据采集单元用于采集学习者在定时问答测试过程中的对输入设备的操作时长和频率等行为数据。主要用于分析学习者在线学习过程中答题的反应时间和对相应知识点的熟练程度。

上述学习情感评定模块包括数据处理单元和情感评定单元；其中，数据处理单元包括图像数据处理子单元和交互行为数据处理子单元；该图像数据处理子单元用于分别采用大量公开表情数据集训练得到相应的面部表情特征分类模型和头部转动姿态数据集训练得到头部转动姿态分类模型，将头部图像数据采集单元采集到的图像数据进行降噪、分割、归一化等预处理后与面部表情特征分类模型和头部转动姿态分类模型进行对比，从而输出面部表情特征分类结果和头部转动姿态特征分类结果，进而获得学习者的主观情感状态；

也即，当学习者面部表情特征为愉悦、平静且头部转动姿态为头部偏转幅度在预设范围内时，表明学习者的主观情感状态为积极学习状态；当学习者的面部表情特征为悲伤、惊讶或头部转动姿态为头部在预设时长内一直偏离屏幕时，表明学习者的主观情感状态为消极学习状态；

交互行为数据处理子单元用于提取学习者的在线交互行为数据和问答结果数据，然后计算学习者的答题时长和答题准确率，基于学习者的答题时长和答题准确率分析学习者的客观学习效果，获得学习者对测试内容的掌握程度。

情感评定单元用于在上述学习情感映射模型的基础上，融合学习者的主观情感状态和客观学习效果，获取学习者的当前情感状态。该学习情感映射模型通过学习者面部表情特征反映学习者对当前学习内容的理解程度，通过学习者头部转动姿态反映学习者在学习过程中的专注程度，通过学习者在线交互行为数据反映学习者对当前学习内容的掌握程度，三者融合构成学习情感状态。

具体地，上述图像数据处理子单元进行面部表情特征识别的过程包括：采用卷积神经网络对大量公开表情数据集进行训练，得表情分类模型；将学习者预处理后的头部图像与表情分类模型进行匹配，得到学习者的面部表情特征。

上述图像数据处理子单元进行头部转动姿态分析的过程包括：选用主动形状模型定位人脸面部特征点；建立三维坐标系，提取各特征点的位置坐标；将提取的位置坐标与学习者的头部图像的特征点坐标进行几何运算，得到学习者的头部转动姿态。

上述情感评定单元具体用于：

在学习情感映射模型的基础上，融合学习者的主观情感状态和客观学习效果，根据学习者的面部表情获取学习者对当前学习内容的理解程度，根据学习者的头部转动姿态获取学习者在当前学习过程中的专注程度，根据学习者的在线交互行为数据获得学习者对当前学习内容的掌握程度；并根据预设分类方式获取学习者当前的学习情感状态；其中，预设分类方式将学习者的学习情感状态划分为：专注及熟练、专注及生疏、涣散及熟练、涣散及生疏四类状态。

进一步地，专注度调整模块具体用于：

当评定学习者处于“涣散”状态时，也即当学习者头部运动幅度超出主屏幕范围或长时间处于同一个偏转角度时，判断学习者此时处于注意力下降状态，不适合继续学习；进而暂停学习，进入语音交互放松模式，提示学习者进行30s-60s的课间休息，引导学习者重新集中注意力，及时调整学习者专注状态。该模块旨在活跃课堂气氛，提高学习者的学习兴趣，通过物理打断的方式及时阻断效率低下的学习行为。当然用户可保留不进行专注度调整的权利。

进一步地，学习内容干预模块具体用于：

当判定学习者处于“熟练”状态时，将对应的学习内容置入已掌握内容库，并将其从学习内容库中移除，不再继续学习；当判定学习者处于“生疏”状态时，仍将对应的学习内容留在学习内容库中，在学习者结束一轮学习后，仍需继续学习对应的学习内容。当所有内容学习完毕后，即学习内容库中数据为零时，会有一则综合测试，检测学习者在线学习效果。该模块通过对学习内容重复度的动态调整，使用户的学习目标始终集中在自己不熟悉的部分，减少了无效学习和时间浪费，实现在线学习者与在线学习系统的智能交互。

上述基于情感状态的在线学习系统的工作流程如图2所示，首先，在线学习系统采集学习者的学习数据，包括学习者的头部图像数据和输入设备在线交互行为数据，然后在学习者进入系统的学习内容库进行学习的过程中，系统通过构建的融合在线表情识别、实时姿态分析与交互行为判定的学习情感评定机制对采集到的数据进行实时分析，对学习者的学习过程进行持续地监控。一旦发现用户的专注度偏离正常学习维度，那么系统激活语音交互系统进入放松环节，吸引学习者提高注意力。当发现学习者对当前学习内容不甚理解时，动态调整学习内容库，结束一轮学习后马上进入重复学习阶段，直到学习内容库中的内容全部完成后进入综合测试，系统运行结束。

图3为本实施例的基于情感状态的在线学习系统的功能示意图。在线学习系统完成向用户提供学习资源并及时分析存储反馈其学习效果的功能，使用户能够进行高效的学习活动。主要功能包括用户注册，用户登录，课程查询，在线课程学习，学习效果查询和个人信息查询等。用户结束学习后，系统会自动保存整个在线学习过程中的情感趋势，以供用户查询任意时间段的学习状态，了解自己的知识薄弱环节，及时展开复习。

图4为本实施例的基于情感状态的在线学习系统所采用的头部姿态识别算法流程示意图。该部分选择主动形状模型asm作为头部姿态识别的主要算法，该算法的优点是将头部姿态估计的关键定为面部特征点的提取，获取到面部关键特征点的位置坐标后只需进行简单的几何运算即可进行判断头部的运动姿态，其包括如下步骤：

步骤一，建立基于人脸的asm特征点模型，选取边缘点、大曲率点和t型连接点等可以较好地描述人脸基本轮廓的68个特征点来建立asm模型；

步骤二，对选取的n个训练样本进行模型训练，将每个标记好特征点的训练样本看作68个特征点组成的二维形状向量ai，i表示第i幅图像。接下来对训练集中的所有训练样本进行对齐操作，以一幅参考图像为标准样本，将其他模型通过几何变换都对齐到标准样本上。随后使用主成分分析法构建统计模型重复执行以下步骤，直到对齐后的相邻平均形状收敛：

a.计算平均形状向量：

b.计算协方差矩阵：

c.计算s的特征值并排序，顺序为由大到小：

spi＝λipi(λi≥λi+1,pi^tpi＝1,i＝1,2,...,2n)

用pi表示矩阵s中的特征向量λi所对应的特征向量。

d.选取前t个特征值及特征向量构成p向量：p＝(p1,p2,...,pt)

步骤三，对模型进行搜索匹配：

a.对平均形状进行仿射,得到初始模型：x＝m(s,θ)x+xc

m(s,θ)x是x进行的位置变化，s代表缩放，θ代表旋转，xc表示平移量。

b.计算图像中每个特征点的新位置：x+dx

c.为了使当前特征点的位置x与新位置x+dx最接近，即dx最小，利用仿射重新计算形状和姿态等参数：

可以求出：

由可以求出db＝p^tda

d.将参数进行更新:

s＝s(1+ds)

θ＝θ(1+dθ)

b＝b(1+d)

t＝t(1+d)

e.计算出新的形状：x＝m(s,θ)x+xc

f.重复b至e的过程使最终模型中的特征点与实际图像中的特征点最接近，得到最终匹配后的形状，也就是实际的人脸形状。

步骤四，建立头部模型的三维坐标系，将图像的左上角设定为坐标原点(0,0)，水平向右和垂直向下分别表示x轴的正方向和y轴的正方向，依据右手定则规定垂直屏幕且指向屏幕内部为z轴的正方向。

步骤五，选取面部五个特征点，左眼中心点、右眼中心点、左嘴角、右嘴角、鼻尖作为下一步计算的面部关键特征点。

步骤六，将特征点的位置坐标带入头部姿态判断的三角函数，推断出pitch、yaw、roll三个角度所属的范围，就可以估计用户的头部姿态范围。pitch表示头部绕x轴旋转的角度，又称为俯仰角。yaw表示头部绕y轴的旋转角度，又称为偏航角。roll表示头部绕z轴的旋转角度，又称为滚转角。

图5是本实施例的基于情感状态的在线学习系统的学习情感识别流程示意图。所述学习情感评定机制包括图像数据分析和输入设备在线交互行为数据分析两部分，利用在线学习平台采集学习者在线学习过程中的图像数据和操作行为数据，同时利用开放的人类表情数据集训练表情分类模型和用于头部姿态识别的特征匹配模型。

对采集到的图像数据进行降噪、增强、归一化等预处理，并对处理后的图像进行人脸检测，将目标区域锁定在面部。通过主动形状模型算法提取人脸关键特征点，获得关键点位置坐标，由位置坐标的变化得出头部姿态运动趋势，从而判断学习者的专注程度；对预处理后的图像提取纹理特征，与训练好的表情分类模型进行对比，输出“愉悦”、“平静”、“悲伤”、“惊讶”等表情分类结果，从而判断学习者对学习内容的理解程度。对采集到的交互行为数据进行作答时间计算，由此获得学习者在回答问题时的思考时间，结合作答准确率，综合分析学习者对所学内容的掌握程度。融合表情特征、运动趋势和行为分析三个通道的信息综合评定学习者的学习情感状态，分为理解程度、专注程度、掌握程度三个方面。

本发明的基于情感状态的在线学习系统将融合了面部表情识别、头部姿态识别和交互行为分析的学习情感评定机制应用到在线学习的整个学习过程；通过采集学习者的头部图像数据和在线交互行为数据，利用学习情感评定机制对采集到的数据进行实时分析，对学习者的学习过程进行持续地监控；根据学习者的情感状态及时进行学习内容调整和课间休息；一旦发现学习者的专注度偏离正常学习维度，则激活语音交互系统进入放松环节，引导学习者提高注意力。当发现学习者对当前学习内容不甚理解时，动态调整学习内容库中的内容，结束一轮学习后马上进入重复学习阶段，直到学习内容库中的内容全部完成后进入综合测试。从而有效减少了无效学习，提高了在线学习效率。

此外，本发明的基于情感状态的在线学习系统采用500万像素，最高支持720p@30fps流畅高清录像的cam500a摄像头采集学习者的头部图像数据，获取学习者的实时面部表情特征和头部转动姿态，可以如家庭教师般实时关注学习者的学习状态，并着重分析学习者对学习内容的接受程度，同时有效减少重复劳动，使得学习者在学习过程中获得最佳学习效果。

此外，需要说明的是，本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

还需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。