技术特征：
1.基于因果图神经网络的学习者情感演化分析方法，其特征在于，所述方法包括：设计基于“学习者-活动-情感”多层级的情感关联语义描述框架，以获取学习者多模态时序数据；基于z-transformer的跨模态时序融合方式，融合所述多模态时序数据；根据融合后的学习者时序数据，构建面向学习者细粒度情感演化的情感结构因果模型；根据所述情感结构因果模型，利用干预变分图自编码器建立情感异质因果图；根据所述情感异质因果图，构建因果图神经网络分析学习者情感演化。2.根据权利要求1所述的基于因果图神经网络的学习者情感演化分析方法，其特征在于，所述设计基于“学习者-活动-情感”多层级的情感关联语义描述框架，以获取学习者多模态时序数据，具体为：构建描述学习者层：学习者与教师是课堂学习的主体与主导，该层涉及“学习者-教师-学习内容”等交互关系要素。其中，学习者方面包括学习者课堂情感、学习者年龄、性别、作业完成度等个体因素，对上述因素形式化定义，构建学习者实例集合s＝{s1,
…
,s
n
}；教师方面。其相关年龄、性别、职称等因素同样会对学习者情感产生影响，构建教师因素实例集合n＝{d1,
…
,d
n
}；另外，课程相关学科、难度等学习内容因素作为连接学习者与教师的桥梁同样影响学习者情感，构建课程因素实例集合c＝{c1,
…
,c
n
}；构建描述活动层：基于学习者层面已有因素，课堂教与学活动等活动中包括课堂听讲、课程阅读、同伴交流、课堂讨论、回答问题等学习者参与活动，和教师课程阅读、课堂提问等教师参于活动，收集课堂活动因素数据量化，构建课堂活动实例集合a＝{a1,
…
,a
n
}；构建描述情感层：基于学习者层面与活动层面基础上，感知时序课堂教与学过程，学习者情感状态受以上两层面集合数据影响，将学习者情感状态定义为学习者情感演化趋势定义为学习者i情感类型状态表示为三元组其中，h
t
表示在t时刻的学习者情感状态，h
p
为学习者的情感极性，h
q
为学习者的情感强度。课堂教与学活动全过程的交互激发学习者认知过程的情感变化，这些情感的演化趋势从两方面进行表征，则学习者情感有负面上升、负面下降、正面上升、正面下降四种演化趋势，为此将学习者情感演化定义为三元组其中表示学习者i在t时刻情感演化趋势，y
p
为学习者情感演化极性包括正面1与负面-1两种状态，y
q
为学习者情感强度变化包括上升1与下降-1两种变化。3.根据权利要求1所述的基于因果图神经网络的学习者情感演化分析方法，其特征在于，所述基于z-transformer的跨模态时序融合方式，融合所述多模态时序数据，包括：根据已语义化学习者情感关联实例集合及其相应的图像、音频与文字等多模态时序数据，构建跨模态注意力融合模型，将所述多模态数据输入所述跨模态注意力融合模型，将融合后的数据时序对齐输入到跨模态多头交叉自注意力堆叠的循环网络函数；其中，图像、音频与文字等模态时序数据融合模型的输入集为z∈m，跨模态时序数据融合过程为：
式中，z为多模态数据融合定义模型输入集，m为数据模态类型集合，等为不同模态下情感关联实例集合，transformer为自注意力机制，θ为参数，ln为归一化处理，z
′
为融合后的时序情感关联实例集合数据，η
t
表示t时刻的扩散因子，σ为激活函数，u
z∈m
为遍历符号，[]为特征拼接。4.根据权利要求1所述的基于因果图神经网络的学习者情感演化分析方法，其特征在于，所述根据融合后的学习者时序数据，构建面向学习者细粒度情感演化的情感结构因果模型，包括：针对学习者情感多维要素动态性复杂时空因果特性，通过融合后的学习者时序数据集，所述情感结构因果模型sscm定义为四元组<u,v,f,p(u)>构成，包括外生变量u、内生变量集合v、一组函数方程f、定义在u定义域上的概率函数p(u)；为了构建精准的情感结构因果模型，需要对学习者情感的因果效应进行反事实推理，从而消除混杂因素带来的混杂效应。通过对情感实例链接关系反事实推理do(x)，获取该情感状态因果关系估计结果p
(θ)
，当观测值集合v
i
存在情感变化时为1，不存在情感变化时为0，计算得出该情感关系效应估计推理函数消除混杂变量；最后基于反事实计算结果，通过情感因果约束构建所述情感结构因果模型的数学式为：式中，g为构建的有向无环图，g
s
为sscm隐式包含的图结构数据，i为情感状态节点，f
i
为推理函数集合，z
i
为一组因果变量实例集合，u
i
为噪声变量集合，pa为情感节点i的父节点，v
i
为观测值集合，v为参数范围，u为单个噪声变量，为关系元路径集合，σ为sigmoid激活函数，为i情感状态节点对应路径，j为i情感对应元路径权重参数，gumbel为随机变量。5.根据权利要求1所述的基于因果图神经网络的学习者情感演化分析方法，其特征在于，所述根据所述情感结构因果模型，利用干预变分图自编码器建立情感异质因果图，包括：根据上述的情感结构因果模型，多变量的互联互通构成了课堂学习者情感相关信息的异质性，该异质情感因果中多类型学习者及其关系共存，且不同的情感关系元路径中包含有丰富的结构和语义信息。利用干预变分图自编码器，对课堂学习过程情感因果模型sscm所隐式包含的图结构数据进行重构；将上述重构的时序sscm图的邻接矩阵输入编码器的输入，通过干预变分图自编码器，计算图网络节点的结构邻居和属性来学习图网络节点的表示，将时序状态下不同节点数据通过gnn解码层输出情感异质因果图结构数据集合。6.根据权利要求1所述的基于因果图神经网络的学习者情感演化分析方法，其特征在于，所述根据所述情感异质因果图，构建因果图神经网络分析学习者情感演化，包括：嵌入学习者情感异质因果图节点；
计算长短时多尺度时序支持下学习者的情感因果注意力，分别捕获学习者情感多尺度演化特征和因果关系特征；图卷积更新运算分析学习者的情感状态及其变化趋势。7.根据权利要求6所述的基于因果图神经网络的学习者情感演化分析方法，其特征在于，所述嵌入学习者情感异质因果图节点，包括：嵌入学习者情感异质因果图节点，构建因果节点注意力学习基于元路径邻居的权重；根据对异质因果图所有元路径对重复预设次数的学习得到的权重做最终节点嵌入，使得图中具有因果关系的节点在不同特征空间的嵌入仍然相似。8.根据权利要求6所述的基于因果图神经网络的学习者情感演化分析方法，其特征在于，所述计算长短时多尺度时序支持下学习者的情感因果注意力，分别捕获学习者情感多尺度演化特征和因果关系特征，包括：对具体时刻异质图嵌入后，对所有学习者情感短时特征向量加权平均计算，对多尺度特征向量加权平均求和，获取学习者情感长时特征向量；根据上述抽取的长短时特征，采用归一化加权几何平均近似将多尺度采样结果融入到特征层注意力计算，计算短时特征与长时特征之间的因果关系，获取因果特征向量矩阵。9.根据权利要求6所述的基于因果图神经网络的学习者情感演化分析方法，其特征在于，所述图卷积更新运算分析学习者的情感状态及其变化趋势，包括：根据上述学习的因果特征向量矩阵，通过图卷积更新运算输出某一时刻学习者状态及其变化趋势，其操作为：其变化趋势，其操作为：式中，i为情感状态节点，为t时刻情感状态，为t时刻第i个情感结点的情感演化状态，为所学习的因果特征向量矩阵，w
l
为线性变换权值，b
l
为偏置项，而σ与relu为激活函数，j为i情感对应元路径权重参数，v为参数范围，为映射函数，为异质邻居节点权重信息。10.基于因果图神经网络的学习者情感演化分析系统，其特征在于，所述系统包括：获取模块，用于设计基于“学习者-活动-情感”多层级的情感关联语义描述框架，以获取学习者多模态时序数据；融合模块，用于基于z-transformer的跨模态时序融合方式，融合所述多模态时序数据；第一构建模块，用于根据融合后的学习者时序数据，构建面向学习者细粒度情感演化的情感结构因果模型；第二构建模块，根据所述情感结构因果模型，利用干预变分图自编码器建立情感异质因果图；分析模块，用于根据所述情感异质因果图，构建因果图神经网络分析学习者情感演化。
技术总结
本申请公开了本申请实施例提供的基于因果图神经网络的学习者情感演化分析方法与系统的有益效果为：本申请设计基于“学习者-活动-情感”多层级的情感关联语义描述框架，以获取学习者多模态时序数据；基于Z-Transformer的跨模态时序融合方式，融合所述多模态时序数据；根据融合后的学习者时序数据，构建面向学习者细粒度情感演化的情感结构因果模型；根据所述情感结构因果模型，利用干预变分图自编码器建立情感异质因果图；根据所述情感异质因果图，构建因果图神经网络分析学习者情感演化。本申请能够动态追踪学习者真实情感状态及其趋势，深度剖析学习者情感变化的时空因果关系，实现课堂中学习者情感变化及其溯源规律的深层次揭示，助力于课堂精准施教。助力于课堂精准施教。助力于课堂精准施教。
技术研发人员：韩中美 韩守港 黄昌勤 黄琼浩 吴雪梅
受保护的技术使用者：浙江师范大学
技术研发日：2022.07.22
技术公布日：2022/11/22