一种针对在线学习的情感状态调节系统的制作方法

本发明涉及智能服务技术领域，特别是指一种针对在线学习的情感状态调节系统。

背景技术：

在线学习在世界范围内迅速发展，越来越多的人开始使用这种新兴的教育方式学习，但在线学习欠缺情感和互动是一直存在的问题，而情感计算能够很好地解决在线学习欠缺的情感和互动问题。为了让人机之间实现更加和谐的交流，我们需要在交互过程中充分发挥情感的价值。

技术实现要素：

本发明要解决的技术问题是提供一种针对在线学习的情感状态调节系统，以解决现有技术所存在的在线学习欠缺情感和互动的问题。

为解决上述技术问题，本发明实施例提供一种针对在线学习的情感状态调节系统，包括：

采集模块，用于采集用户在线学习时的生理信号和面部表情图像，并将其上传至情感识别模块；

情感识别模块，用于对接收到的用户的生理信号和面部表情图像进行分析，预测用户对学习素材的情感状态；

情感调节模块，用于若用户的情感状态不在预设的最优学习状态，则根据预设的情感调节策略进行学习素材的调整。

进一步地，所述采集模块包括：

生理信号采集模块，用于利用可穿戴生理传感器采集用户在线学习时的生理信号，其中，所述生理信号包括：皮肤电信号、血容量脉冲信号、血压信号、皮肤温度中的一种或多种；

面部表情采集模块，用于利用摄像装置采集用户在线学习时的面部表情图像。

进一步地，所述情感状态包括：感知难度、感知压力、兴趣度中的一种或多种。

进一步地，所述情感识别模块，用于对接收到的生理信号和面部表情图像进行处理、提取情感特征，使用粒子群优化算法从提取的情感特征中进行特征选择，将选择的特征和用户自我报告中的标签，输入到机器学习模型中，使用逻辑回归预测算法对用户的感知难度、感知压力和/或兴趣度进行预测；

其中，所述情感特征包括：时域特征、频域特征、时频域特征及非线性特征。

进一步地，用户自我报告通过自我评价模型对在线学习中用户的情感状态定量分析，产生机器学习时需要的标签数据：归一化后的唤醒度、效价和控制度分数；

其中，对于第x组学习素材，通过用平均评分μx除以标准差σx归一化唤醒度、效价和控制度的分数。

进一步地，所述情感识别模块，用于对接收到的生理信号和面部表情图像进行处理、提取情感特征，使用粒子群优化算法从提取的情感特征中进行特征选择，将选择的特征并将用户自我报告中归一化后的唤醒度、效价和控制度分数作为机器学习的标签，输入到机器学习模型中，使用机器学习实现对情感特征的avs回归分析，并将其映射在avs情感空间中对其进行聚类或逻辑回归，结合用户自我报告，预测用户的感知难度、感知压力和/或兴趣度。

进一步地，所述机器学习模型为支持向量机模型，所述支持向量机模型的参数优化步骤包括：

步骤一，初始化参数：每个个体的维数m，种群个体总数n，子种群个数m，子群局部搜索次数n，控制参数的初值t及其衰减因子δt和停止条件s；

步骤二，随机产生一个个体x，该个体的每维变量xi∈(0,1)，i＝1,…,m，对x进行混沌映射，得到x′i+1，即：

将xi′映射回原优化空间中：

newxi＝a+(b-a)*xi′(2)

其中，[a，b]是原优化空间中第i维变量的定义域，则得到混沌扰动量newx＝(newx1,newx2,…,newxi,…,newxm)；

利用式(1)产生n1个个体x^j,j＝1,…,n1，再利用式(2)将x^j的每一维映射到原优化空间中，得到n1个在优化范围的初始个体newx^j，并计算其适应度函数，从中选取性能达到预设条件的n个个体形成混合蛙跳算法的初始个体；

步骤三，将n个个体的适应度值从优到劣排序，依次将个体划分到各子群；

步骤四，对每个子群体进行局部深度搜索，重复执行以下步骤n次：

a.根据适应度值更新当前迭代中子群体的最优个体位置xb和全局最优个体位置xg，并确定当前迭代中子群体的最差个体位置xw；

b.对xw执行以下更新操作：

蛙跳步长更新：

di＝rand()(xb-xw)(-dmax≤di≤dmax)(3)

位置更新：

newxw＝xw+di(4)

其中，rand()表示均匀分布在[0,1]之间的随机数；dmax表示青蛙所允许更新步长的最大值；如果newxw的适应度值有改进，则取代xw；若无改进，则di＝rand()(xg-xw)(-dmax≤di≤dmax)；如果newxw的适应度值仍没有改进，则随机产生一个新的xw，然后计算当前子群体的平均适应度值f′；

c.对适应度值优于f′的所有个体进行高斯变异：mutation(x)＝x(1+n(0,1))，x表示当前个体，n(0,1)表示期望为0、标准差为1的正态分布随机数；依照梅特罗波利斯接受准则来接受变异后的个体：δf为变异后个体与变异前个体的适应度差值，如果δf<0，则用高斯变异后的个体代替高斯变异前的个体；如果δf≥0且其中，t为控制参数，rand()表示均匀分布在[0,1]之间的随机数，则用高斯变异后的个体代替高斯变异前的个体，否则，原个体保持不变；

d.对适应度值差于f′的所有个体，按照式(1)和式(2)进行混沌映射；映射后得到的新个体也依照梅特罗波利斯接受准则来选择：

如果δf<0或者δf≥0且其中，t为控制参数，rand()表示均匀分布在[0,1]之间的随机数，则用映射后的新个体代替原个体，否则原个体保持不变；

步骤五，所有子群体都完成局部深度搜索后，若达到停止条件s，则搜索过程结束，输出全局最优值；否则，修改控制参数t＝δt*t，将全部个体重新混合，转至步骤三。

进一步地，所述情感调节模块，用于若用户的情感状态不在预设的最优状态时，则根据情感识别模块预测得到的用户的情感状态，结合预设的心流理论以及学习难度变化对学习心理的影响，调整学习素材，使用户的情感状态处于最优学习状态。

进一步地，所述系统还包括：

询问模块，用于当用户的情感状态不在预设的最优学习状态时，询问用户是否同意调整；若同意，则执行根据预设的情感调节策略进行学习素材的调整步进一步地，所述系统还包括：

可视化模块，用于保存采集的用户的生理信号和面部表情图像进行备份，并显示用户的生理信号的波形图及用户的面部表情。

本发明的上述技术方案的有益效果如下：

上述方案中，通过采集模块采集用户在线学习时的生理信号和面部表情图像，并将其上传至情感识别模块；情感识别模块对接收到的用户的生理信号和面部表情图像进行分析，预测用户对学习素材的情感状态；若用户的情感状态不在预设的最优学习状态，情感调节模块则根据预设的情感调节策略进行学习素材的调整，使用户的情感状态处于最优学习状态，最终实现在线学习者与在线学习系统的智能交互。

附图说明

图1为本发明实施例提供的针对在线学习的情感状态调节系统的结构示意图；

图2为本发明实施例提供的针对在线学习的情感状态调节系统的详细结构示意图；

图3为本发明实施例提供的基于难度感知的动态难度调整示意图；

图4为本发明实施例提供的基于改进sfla算法优化svm模型参数流程示意图；

图5为本发明实施例提供的情感识别流程示意图；

图6为本发明实施例提供的针对在线学习的情感状态调节系统的工作流程示意图。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明针对现有的在线学习欠缺情感和互动的问题，提供一种针对在线学习的情感状态调节系统。

如图1所示，本发明实施例提供的针对在线学习的情感状态调节系统，包括：

采集模块11，用于采集用户在线学习时的生理信号和面部表情图像，并将其上传至情感识别模块11；

情感识别模块12，用于对接收到的用户的生理信号和面部表情图像进行分析，预测用户对学习素材的情感状态；

情感调节模块12，用于若用户的情感状态不在预设的最优学习状态，则根据预设的情感调节策略进行学习素材的调整。

本发明实施例所述的针对在线学习的情感状态调节系统，通过采集模块采集用户在线学习时的生理信号和面部表情图像，并将其上传至情感识别模块；情感识别模块对接收到的用户的生理信号和面部表情图像进行分析，预测用户对学习素材的情感状态；若用户的情感状态不在预设的最优学习状态，情感调节模块则根据预设的情感调节策略进行学习素材的调整，使用户的情感状态处于最优学习状态，最终实现在线学习者与在线学习系统的智能交互。

在前述针对在线学习的情感状态调节系统的具体实施方式中，进一步地，所述采集模块包括：

生理信号采集模块，用于利用可穿戴生理传感器采集用户在线学习时的生理信号，其中，所述生理信号包括：皮肤电信号、血容量脉冲信号、血压信号、皮肤温度中的一种或多种；

面部表情采集模块，用于利用摄像装置采集用户在线学习时的面部表情图像。

本实施例中，采集模块包括：生理信号采集模块和面部表情采集模块，能够实时采集用户在线学习时的生理信号和面部表情。

本实施例中，生理信号采集模块通过用户将可穿戴生理传感器(例如，可穿戴式腕带)佩戴到自己手腕处来采集用户生理信号。该腕带可以由多种生理传感器集成，例如，eda传感器/gsr传感器、ppg传感器、红外热电堆传感器、脉搏波血压传感器，其中，

eda传感器/gsr传感器，用于采集用户皮肤电信号，用于测量交感神经系统觉醒，并获得与压力、兴趣度等相关的特征，其中，eda传感器的分辨率可以为1digit～900psiemens，采样频率可以为4hz；

ppg传感器，用于采集用户血容量脉冲(bvp)信号，由此可以计算出用户心率，得到心率变异性和血容量脉冲等数据，其中，ppg传感器的分辨率可以为0.9nw/digit，采样频率可以为64hz；

红外热电堆传感器，用于采集用户的皮肤温度，其中，红外热电堆传感器的分辨率可以为0.02℃，采样频率可以为4hz；

脉搏波血压传感器，用于采集用户的高低血压，其中，脉搏波血压传感器可以为ykb1712脉搏波血压传感器，其动态和静态测试有100％的准确度。

本实施例中，采集的是用户的皮肤电信号、血容量脉冲信号、血压信号、皮肤温度，具有非侵入性，并穿戴舒适方便，采集用户在线学习时的生理数据更能接近实际学习状态。

本实施例中，面部表情采集模块通过放置在用户正前方的摄像装置采集用户在线学习时的面部表情信息；其中，所述摄像装置可以是具有500万像素，最高支持720p@30fps流畅高清录像的cam500a摄像头。

本实施例中，生理信号作为情感计算中情感识别的媒介更为可靠。其主要受自身分泌系统的控制，在测试情况下不容易受实验对象主观意志的控制，在分析用户情感状态时，以生理信号为主，辅以面部表情信息，使分析更加精准。

在前述针对在线学习的情感状态调节系统的具体实施方式中，进一步地，所述系统还包括：

可视化模块，用于保存采集的用户的生理信号和面部表情图像进行备份，并显示用户的生理信号的波形图及用户的面部表情。

本实施例中，如图2所示，所述系统还包括：可视化模块，所述可视化模块，可以是远程云端计算机，所述远程云端计算机，用于获取生理信号采集模块采集的生理信号和面部表情采集模块采集的面部表情图像并保存到数据库中进行备份，同时还可以将生理信号的实时波形图及用户学习时的面部图像视频显示在远程云端计算机的显示屏上，从而能够更直观的反映在线学习者的情感变化状态；其中，所述实时波形图的横坐标为时间，纵坐标为生理信号值，其中皮肤电信号的纵坐标单位为微西门子(μs)。

本实施例中，如图2所示，采集的皮肤电信号、血容量脉冲信号、皮肤温度可以通过蓝牙无线发射模块发送至可视化模块和情感识别模块，采集的血压信号可以通过wifi无线发射模块1发送至可视化模块和情感识别模块，采集的面部表情图像可以通过wifi无线发射模块2发送至可视化模块和情感识别模块。

在前述针对在线学习的情感状态调节系统的具体实施方式中，进一步地，所述情感状态包括：感知难度、感知压力、兴趣度中的一种或多种。

在前述针对在线学习的情感状态调节系统的具体实施方式中，进一步地，所述情感识别模块，用于对接收到的生理信号和面部表情图像进行处理(例如，去噪、小波变化、傅里叶变化)、提取情感特征，使用粒子群优化算法从提取的情感特征中进行特征选择，将选择的特征和用户自我报告中的标签，输入到机器学习模型中，使用逻辑回归预测算法对用户的感知难度、感知压力和/或兴趣度进行预测；

其中，所述情感特征包括：时域特征、频域特征、时频域特征及非线性特征。

本实施例中，图3为难度感知的动态难度调整状态图，其中，a为用户对学习素材的感知难度。如果将学习素材划分为四个难度，学习第一难度等级素材时，如果a＝low，即用户觉得素材太简单，感知难度很低，则将学习素材调整到第二难度等级；如果在第二难度等级学习时，a＝high，即用户觉得素材太难，感知难度太高时，则将学习素材调整到第一难度等级；如果在第二难度等级学习时，a＝medium，即用户觉得素材难度适中，则素材不调整。以此类推，实现对学习素材的动态调整，保证用户在学习素材难度时对难度情况的感知在最优难度梯度，使用户的情感状态处于学习最优状态。调整学习素材前会征求用户意见，用户保留不调整学习素材的权利。

在前述针对在线学习的情感状态调节系统的具体实施方式中，进一步地，用户自我报告通过自我评价模型对在线学习中用户的情感状态定量分析，产生机器学习时需要的标签数据：归一化后的唤醒度(arousal)、效价(valence)和控制度(dominance)分数。

本实施例中，用户自我报告是用户对于在线学习过程中arousal、valence和dominance等级的自我评估，具体的：可以使用自我评价模型(sam)对arousal、valence和dominance进行9个程度的定级；其中，arousal的程度从不活跃(例如，不感兴趣，无聊)到活跃(例如，警觉，兴奋)；valence的程度从不愉快(例如，悲伤，紧张)到愉快(例如，快乐，兴高采烈)，dominance从一种无助和软弱的感觉到一种可以掌控一切的感觉。

本实施例中，对于第x组学习素材，通过用平均评分μx除以标准差σx归一化arousal、valence和dominance的分数，将得到的归一化后的arousal、valence和dominance的分数作为机器学习训练集的标签输入机器学习模型中，以便识别出用户的情感状态。

在前述针对在线学习的情感状态调节系统的具体实施方式中，进一步地，所述情感识别模块，用于对接收到的生理信号和面部表情图像进行处理、提取情感特征，使用粒子群优化算法从提取的情感特征中进行特征选择，将选择的特征并将用户自我报告中归一化后的arousal、valence和dominance分数作为机器学习的标签，输入到机器学习模型中，使用机器学习实现对情感特征的唤醒度-效价-开放度(arousal-valence-stance，avs)回归分析，并将其映射在avs情感空间中对其进行聚类或逻辑回归，结合用户自我报告，预测用户的感知难度、感知压力和/或兴趣度。

本实施例中，所述机器学习模型为支持向量机(svm)模型，在训练过程中使用一种改进的混合蛙跳算法(sfla)实现支持向量机模型的参数优化。

本实施例中，所述改进的混合蛙跳算法，是利用混沌运动的遍历性改善初始个体的质量，并引入高斯变异，同时利用模拟退火算法的梅特罗波利斯(metropolis)接受准则以预设的概率接受恶化解，从而使算法具有逃脱局部极值和避免过早收敛的全局优化能力，最终将改进后的混合蛙跳算法与支持向量机结合，实现支持向量机的参数优化，把它应用到情感识别模块中。

图4是基于改进混合蛙跳算法优化支持向量机模型参数流程图，具体步骤可以包括：

步骤一，初始化参数：每个个体的维数m，种群个体总数n，子种群个数m，子群局部搜索次数n，控制参数的初值t及其衰减因子δt和停止条件s；

步骤二，随机产生一个个体x，该个体的每维变量xi∈(0,1)，i＝1,…,m，对x进行混沌映射，得到x′i+1，即：

将xi′映射回原优化空间中：

newxi＝a+(b-a)*xi′(2)

其中，[a，b]是原优化空间中第i维变量的定义域，则得到混沌扰动量newx＝(newx1,newx2,…,newxi,…,newxm)；

利用式(1)产生n1个个体x^j,j＝1,…,n1，再利用式(2)将x^j的每一维映射到原优化空间中，得到n1个在优化范围的初始个体newx^j，并计算其适应度函数，从中选取性能达到预设条件的n个个体形成混合蛙跳算法的初始个体；

步骤三，将n个个体的适应度值从优到劣排序，依次将个体划分到各子群；

步骤四，对每个子群体进行局部深度搜索，重复执行以下步骤n次：

a.根据适应度值更新当前迭代中子群体的最优个体位置xb和全局最优个体位置xg，并确定当前迭代中子群体的最差个体位置xw；

b.对xw执行以下更新操作：

蛙跳步长更新：

di＝rand()(xb-xw)(-dmax≤di≤dmax)(3)

位置更新：

newxw＝xw+di(4)

其中，rand()表示均匀分布在[0,1]之间的随机数；dmax表示青蛙所允许更新步长的最大值；如果newxw的适应度值有改进，则取代xw；若无改进，则di＝rand()(xg-xw)(-dmax≤di≤dmax)；如果newxw的适应度值仍没有改进，则随机产生一个新的xw，然后计算当前子群体的平均适应度值f′；

c.对适应度值优于f′的所有个体进行高斯变异：mutation(x)＝x(1+n(0,1))，x表示当前个体，n(0,1)表示期望为0、标准差为1的正态分布随机数；依照metropolis接受准则来接受变异后的个体：δf为变异后个体与变异前个体的适应度差值，如果δf<0，则用高斯变异后的个体代替高斯变异前的个体；如果δf≥0且其中，t为控制参数，rand()表示均匀分布在[0,1]之间的随机数，则用高斯变异后的个体代替高斯变异前的个体，否则，原个体保持不变；

d.对适应度值差于f′的所有个体，按照式(1)和式(2)进行混沌映射；映射后得到的新个体也依照metropolis接受准则来选择：

如果δf<0或者δf≥0且其中，t为控制参数，rand()表示均匀分布在[0,1]之间的随机数，则用映射后的新个体代替原个体，否则原个体保持不变；

步骤五，所有子群体都完成局部深度搜索后，若达到停止条件s，则搜索过程结束，输出全局最优值；否则，修改控制参数t＝δt*t，将全部个体重新混合，转至步骤三。

在前述针对在线学习的情感状态调节系统的具体实施方式中，进一步地，所述情感调节模块，用于若用户的情感状态不在预设的最优状态时，则根据情感识别模块预测得到的用户的情感状态，结合预设的心流理论以及学习难度变化对学习心理的影响，调整学习素材，使用户的情感状态处于最优学习状态。

本实施例中，所述情感调节模块将情感识别模块得到的情感状态结合心流理论以及学习难度变化对学习心理的影响，实现对学习素材难度的动态调整，使用户的情感状态处于最优学习状态，最终实现在线学习者与在线学习系统的智能交互。

本实施例中，所述情感调节模块对于用户在线学习过程中的感知难度、感知压力和/或兴趣度进行持续性的机器学习监督，保证用户在学习时对学习素材的难度、压力情况、兴趣度的感知在最优状态之间动态调节。调节机制为远端云端计算机发送命令给本地计算机，使用学习素材库中的学习素材对学习内容进行调整，然后继续监测用户的情感状态，确认用户的情感状态处于学习最优状态。

本实施例中，情感识别模块通过分析处理用户的皮肤电、血容量脉冲等生理信号和用户的面部表情图像，对在线学习用户的情感状态进行预测，并对用户的情感状态进行持续性的机器学习监督，将识别及预测出的情感状态传至情感调节模块；最后，情感调节模块根据情感调节策略对学习素材进行适度调整，从而使学习者的情感状态处于最优学习状态，达到了保证学习者在线学习过程中能够保持持续学习动力的目的。通过这种方式构建的情感与学习内容的关系模型可以根据用户在学习过程当中出现困惑与沉浸，无聊与沮丧以及困惑与沮丧交替出现的情况时进行学习内容调节，进而提升学习者在线学习过程中的表现。

图5为情感识别流程示意图。首先，通过可穿戴生理传感器采集皮肤电信号、血容量脉冲信号等生理信号，对采集到的皮肤电信号、血容量脉冲等生理信号和面部表情图像进行预处理(去噪、小波变化、傅里叶变化)。对预处理后的信号进行特征提取，分别提取他们的时域特征、频域特征、时频域特征及非线性特征，形成情感数据集，根据机器学习模型对情感数据集进行划分，将情感数据集分为训练集和测试集，在训练过程中通过特征选择或特征抽取等方法选择有效的情感判别特征，并通过训练分类器建立情感分类模型；在识别过程中，通过抽取训练过程中选取的情感特征使用建立的情感分类模型对情感数据进行分类预测，最后输出情感预测结果，包括：感知难度，感知压力和兴趣度三个方面。

在前述针对在线学习的情感状态调节系统的具体实施方式中，进一步地，所述系统还包括：

询问模块，用于当用户的情感状态不在预设的最优学习状态时，询问用户是否同意调整；若同意，则执行根据预设的情感调节策略进行学习素材的调整步骤；否则，则继续学习，如图6所示。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。