基于因果图神经网络的学习者情感演化分析方法与系统

1.本技术涉及图神经网络领域，尤其是基于因果图神经网络的学习者情感演化分析方法与系统。


背景技术：

2.学习者作为课堂的主体，其情感是在开展学习认知活动时产生的内心体验和相应的外部表现，是教育教学提质增效的关键所在，也是育人质量提升的重要依据。人工智能技术是高质量课堂教学创新的重要驱动引擎，对课堂教学三维目标之一“情感态度价值观”达成和全面素质人才培养作用重大。然而，课堂学习者情感呈现人际交互网络复杂化下情感的难感知、人机高度协同过程下情感的动态易变、课堂活动群智化下情感的多源关联等特性，皆导致以课堂全过程为线索的情感难以获得并理解，严重阻碍课堂教与学效率效果提升、学习者全面发展。因此，以课堂为支撑环境，在新一代人工智能支持下提出及时感知课堂全过程的学习者情感状态及演化趋势的方法，理解情感多维要素动态性复杂时空因果关系，实现课堂学习者情感变化及其溯源规律的深层次揭示，有助于促进课堂的提质增效。
3.学习者情感分析是模拟人类智慧，有更新和优化数据能力，并可结合具体情境识别、理解、表达和适应学习者的情感的能力，以接近人的最佳决策不断自我升级。已有情感分析相关技术主要包括：基于学生的表情数据，利用haar-like特征的adaboost标记学生人脸，构建卷积神经网络模型将学生学习情感识别为积极情感和消极情感并反馈给教师；或者，通过抽取学习者情感状态最相关的眼动、心率等信号融合深层和浅层特征，提出长短时记忆网络等机器学习方法，识别感兴趣，困惑，无聊，高兴四种情感。相关技术的缺点主要包括：(1)采集人脸、眼动与生理层面等多模态同质信息进行情感分析，未考虑课堂教学全过程中涉及学习者差异性(性别、爱好、认知水平等)、情感多维度(极性、强度等)等情感相关的多类型异质信息，无法全面感知课堂学习者的细粒度情感状态；(2)仅对学习者静态情感状态进行分类，忽略了复杂教与学场景中的时序情感演化，无法实现深层次学习者情感分析与归因；(3)采集人脸面部动态变化数据识别仅对不同时刻学习者情感识别，并未对时序动态情感演化趋势分析；(4)未分析引发学习者情感变化的因果关系，无法做出精准溯源并予以针对性干预，甚至产生负面效果。
4.因此，相关技术存在的上述技术问题亟待解决。


技术实现要素：

5.本技术旨在解决相关技术中的技术问题之一。为此，本技术实施例提供一种准确率与鲁棒性高的基于因果图神经网络的学习者情感演化分析方法与系统，从学习者情感呈现人际交互网络复杂化下情感及其变化角度出发，利用学习者情感关联的多模态数据，学习学习者动态性情感的复杂时空因果关系，分析学习者情感演化趋势，助力课堂精准施教。
6.根据本技术实施例一方面，提供基于因果图神经网络的学习者情感演化分析方法，所述方法包括：
7.设计基于“学习者-活动-情感”多层级的情感关联语义描述框架，以获取学习者多模态时序数据；
8.基于z-transformer的跨模态时序融合方式，融合所述多模态时序数据；
9.根据融合后的学习者时序数据，构建面向学习者细粒度情感演化的情感结构因果模型；
10.根据所述情感结构因果模型，利用干预变分图自编码器建立情感异质因果图；
11.根据所述情感异质因果图，构建因果图神经网络分析学习者情感演化。
12.在其中一个实施例中，所述设计基于“学习者-活动-情感”多层级的情感关联语义描述框架，以获取学习者多模态时序数据，包括：
13.构建描述学习者层：学习者与教师是课堂学习的主体与主导，该层涉及“学习者-教师-学习内容”等交互关系要素。其中，学习者方面包括学习者课堂情感、学习者年龄、性别、作业完成度等个体因素，对上述因素形式化定义，构建学习者实例集合s＝{s1,
…
,sn}；教师方面。其相关年龄、性别、职称等因素同样会对学习者情感产生影响，构建教师因素实例集合d＝{d1,
…
,dn}；另外，课程相关学科、难度等学习内容因素作为连接学习者与教师的桥梁同样影响学习者情感，构建课程因素实例集合c＝{c1,
…
,cn}；
14.构建描述活动层：基于学习者层面已有因素，课堂教与学活动等活动中包括课堂听讲、课程阅读、同伴交流、课堂讨论、回答问题等学习者参与活动，和教师课程阅读、课堂提问等教师参于活动，收集课堂活动因素数据量化，构建课堂活动实例集合a＝{a1,
…
,an}；
15.构建描述情感层：基于学习者层面与活动层面基础上，感知时序课堂教与学过程，学习者情感状态受以上两层面集合数据影响，将学习者情感状态定义为学习者情感演化趋势定义为学习者i情感类型状态表示为三元组其中，h
t
表示在t时刻的学习者情感状态，h
p
为学习者的情感极性，hq为学习者的情感强度。课堂教与学活动全过程的交互激发学习者认知过程的情感变化，这些情感的演化趋势从两方面进行表征，则学习者情感有负面上升、负面下降、正面上升、正面下降四种演化趋势，为此将学习者情感演化定义为三元组其中表示学习者i在t时刻情感演化趋势，y
p
为学习者情感演化极性包括正面1与负面-1两种状态，yq为学习者情感强度变化包括上升1与下降-1两种变化。
16.在其中一个实施例中，所述基于z-transformer的跨模态时序融合方式，融合所述多模态时序数据，包括：
17.根据已语义化学习者情感关联实例集合及其相应的图像、音频与文字等多模态时序数据，构建跨模态注意力融合模型，将所述多模态数据输入所述跨模态注意力融合模型，将融合后的数据时序对齐输入到跨模态多头交叉自注意力堆叠的循环网络函数；
18.其中，图像、音频与文字等模态时序数据融合模型的输入集为z∈m，跨模态时序数据融合过程为：
[0019][0020]
[0021]
式中，z为多模态数据融合定义模型输入集，m为数据模态类型集合，等为不同模态下情感关联实例集合，transformer为自注意力机制，θ为参数，ln为归一化处理，z
′
为融合后的时序情感关联实例集合数据，η
t
表示t时刻的扩散因子，σ为激活函数，u
z∈m
为遍历符号，[]为特征拼接。
[0022]
在其中一个实施例中，所述根据融合后的学习者时序数据，构建面向学习者细粒度情感演化的情感结构因果模型，包括：
[0023]
针对学习者情感多维要素动态性复杂时空因果特性，通过融合后的学习者时序数据集，所述情感结构因果模型sscm定义为四元组《u,v,f,p(u)》构成，包括外生变量u、内生变量集合v、一组函数方程f、定义在u定义域上的概率函数p(u)；
[0024]
为了构建精准的情感结构因果模型，去除混杂因素的混杂效应，需要对学习者情感的因果效应进行反事实推理，。通过对情感实例链接关系反事实推理do(x)，获取该情感状态因果关系估计结果p
(θ)
，当观测值集合vi存在情感变化时为1，不存在情感变化时为0，计算得出该情感关系效应估计推理函数消除混杂变量；
[0025]
最后基于反事实计算结果，通过情感因果约束构建所述情感结构因果模型的数学式为：
[0026][0027]
式中，g为构建的有向无环图，gs为sscm隐式包含的图结构数据，i为情感状态节点，fi为推理函数集合，zi为一组因果变量实例集合，ui为噪声变量集合，pa为情感节点i的父节点，vi为观测值集合，v为参数范围，u为单个噪声变量，为关系元路径集合，σ为sigmoid激活函数，为i情感状态节点对应路径，j为i情感对应元路径权重参数，gumbel为随机变量。
[0028]
在其中一个实施例中，根据所述情感结构因果模型，利用干预变分图自编码器建立情感异质因果图，包括：
[0029]
根据上述的情感结构因果模型，多变量的互联互通构成了课堂学习者情感相关信息的异质性，该异质情感因果中多类型学习者及其关系共存，且不同的情感关系元路径中包含有丰富的结构和语义信息。利用干预变分图自编码器，对课堂学习过程情感因果模型sscm所隐式包含的图结构数据进行重构；
[0030]
将上述重构的时序sscm图的邻接矩阵输入编码器的输入，通过干预变分图自编码器，计算图网络节点的结构邻居和属性来学习图网络节点的表示，将时序状态下不同节点数据通过gnn解码层输出情感异质因果图结构数据集合。
[0031]
在其中一个实施例中，根据所述情感异质因果图，构建因果图神经网络分析学习者情感演化，包括：
[0032]
嵌入学习者情感异质因果图节点；
[0033]
计算长短时多尺度时序支持下学习者的情感因果注意力，分别捕获学习者情感多尺度演化特征和因果关系特征；
[0034]
图卷积更新运算分析学习者的情感状态及其变化趋势。
[0035]
在其中一个实施例中，嵌入学习者情感异质因果图节点，包括：
[0036]
嵌入学习者情感异质因果图节点，构建因果节点注意力学习基于元路径邻居的权重；根据对异质因果图所有元路径对重复预设次数的学习得到的权重做最终节点嵌入，使得图中具有因果关系的节点在不同特征空间的嵌入仍然相似。
[0037]
在其中一个实施例中，所述计算长短时多尺度时序支持下学习者的情感因果注意力，分别捕获学习者情感多尺度演化特征和因果关系特征，包括：
[0038]
对具体时刻异质图嵌入后，对所有学习者情感短时特征向量加权平均计算，对多尺度特征向量加权平均求和，获取学习者情感长时特征向量；
[0039]
根据上述抽取的长短时特征，采用归一化加权几何平均近似将多尺度采样结果融入到特征层注意力计算，计算短时特征与长时特征之间的因果关系，获取因果特征向量矩阵；
[0040]
在其中一个实施例中，所述图卷积更新运算分析学习者的情感状态及其变化趋势，包括：
[0041]
根据上述学习的因果特征向量矩阵，通过图卷积更新运算输出某一时刻学习者状态及其变化趋势，其操作为：
[0042][0043][0044]
式中，i为情感状态节点，为t时刻情感状态，为t时刻第i个情感结点的情感演化状态，为所学习的因果特征向量矩阵，w
l
为线性变换权值，b
l
为偏置项，而σ与relu为激活函数，j为i情感对应元路径权重参数，v为参数范围，为映射函数，为异质邻居节点权重信息。
[0045]
根据本技术实施例一方面，提供基于因果图神经网络的学习者情感演化分析系统，所述系统包括：
[0046]
获取模块，用于设计基于“学习者-活动-情感”多层级的情感关联语义描述框架，以获取学习者多模态时序数据；
[0047]
融合模块，用于基于z-transformer的跨模态时序融合方式，融合所述多模态时序数据；
[0048]
第一构建模块，用于根据融合后的学习者时序数据，构建面向学习者细粒度情感演化的情感结构因果模型；
[0049]
第二构建模块，根据所述情感结构因果模型，利用干预变分图自编码器建立情感异质因果图；
[0050]
分析模块，用于根据所述情感异质因果图，构建因果图神经网络分析学习者情感演化。
[0051]
本技术实施例提供的基于因果图神经网络的学习者情感演化分析方法与系统的有益效果为：本技术设计基于“学习者-活动-情感”多层级的情感关联语义描述框架，以获取学习者多模态时序数据；基于z-transformer的跨模态时序融合方式，融合所述多模态时序数据；根据融合后的学习者时序数据，构建面向学习者细粒度情感演化的情感结构因果
模型；根据所述情感结构因果模型，利用干预变分图自编码器建立情感异质因果图；根据所述情感异质因果图，构建因果图神经网络分析学习者情感演化。本技术能够动态追踪学习者真实情感状态及其趋势，深度剖析学习者情感变化的时空因果关系，实现课堂中学习者情感变化及其溯源规律的深层次揭示，助力于课堂精准施教。
[0052]
本技术的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
[0053]
为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0054]
图1为本技术实施例提供的基于因果图神经网络的学习者情感演化分析方法的流程图；
[0055]
图2为本技术实施例提供的学习者情感类别及演化表征图；
[0056]
图3为本技术实施例提供的干预变分图自编码器建立情感异质因果图；
[0057]
图4为本技术实施例提供的因果图神经网络分析学习者情感演化；
[0058]
图5为本技术实施例提供的长短时多尺度时序特征计算；
[0059]
图6为本技术实施例提供的因果注意力计算。
具体实施方式
[0060]
为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
[0061]
本技术的说明书和权利要求书及附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0062]
在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
[0063]
学习者作为课堂的主体，其情感是在开展学习认知活动时产生的内心体验和相应的外部表现，是教育教学提质增效的关键所在，也是育人质量提升的重要依据。人工智能技术是高质量课堂教学创新的重要驱动引擎，对课堂教学三维目标之一“情感态度价值观”达成和全面素质人才培养作用重大。然而，课堂学习者情感呈现人际交互网络复杂化下情感
的难感知、人机高度协同过程下情感的动态易变、课堂活动群智化下情感的多源关联等特性，皆导致以课堂全过程为线索的情感难以获得并理解，严重阻碍课堂教与学效率效果提升、学习者全面发展。因此，以课堂为支撑环境，在新一代人工智能支持下提出及时感知课堂全过程的学习者情感状态及演化趋势的方法，理解情感多维要素动态性复杂时空因果关系，实现课堂学习者情感变化及其溯源规律的深层次揭示，有助于促进课堂的提质增效。
[0064]
学习者情感分析是模拟人类智慧，有更新和优化数据能力，并可结合具体情境识别、理解、表达和适应学习者的情感的能力，以接近人的最佳决策不断自我升级。已有情感分析相关技术主要包括：基于学生的表情数据，利用haar-like特征的adaboost标记学生人脸，构建卷积神经网络模型将学生学习情感识别为积极情感和消极情感并反馈给教师；或者，通过抽取学习者情感状态最相关的眼动、心率等信号融合深层和浅层特征，提出长短时记忆网络等机器学习方法，识别感兴趣，困惑，无聊，高兴四种情感。相关技术的缺点主要包括：(1)采集人脸、眼动与生理层面等多模态同质信息进行情感分析，未考虑课堂教学全过程中涉及学习者差异性(性别、爱好、认知水平等)、情感多维度(极性、强度等)等情感相关的多类型异质信息，无法全面感知课堂学习者的细粒度情感状态；(2)仅对学习者静态情感状态进行分类，忽略了复杂教与学场景中的时序情感演化，无法实现深层次学习者情感分析与归因；(3)采集人脸面部动态变化数据识别仅对不同时刻学习者情感识别，并未对时序动态情感演化趋势分析；(4)未分析引发学习者情感变化的因果关系，无法做出精准溯源并予以针对性干预，甚至产生负面效果。
[0065]
为了解决上述问题，本技术提出了基于因果图神经网络的学习者情感演化分析方法与系统。
[0066]
图1为本技术实施例提供的基于因果图神经网络的学习者情感演化分析方法的流程图，如图1所示，本技术提供了基于因果图神经网络的学习者情感演化分析方法，包括：
[0067]
s101、基于“学习者-活动-情感”多层级的情感关联语义描述框架设计。
[0068]
s102、基于z-transformer的跨模态时序数据融合。
[0069]
s103、面向学习者细粒度情感演化的情感结构因果模型构建。
[0070]
s104、干预变分图自编码器支持下情感异质因果图建立。
[0071]
s105、基于因果图神经网络的学习者情感演化分析。
[0072]
接下来介绍本技术的主要定义：
[0073]
(1)学习者情感类别及演化趋势
[0074]
学习者情感是课堂活动的重要内隐性特征，在复杂教与学的课堂环境中，拥有一系列属性，包括情感类型、情感极性、情感强度以及情感演化趋势等。为了准确挖掘学习者的情感，如图2所示，本技术基于学业情感量表构建了学习者情感类别及其演化表征图，考虑到多样化的情感分类会传递不同极性的不同情感，所以进一步细化学习者的情感分类，根据认知交互过程中体验到的情感，本技术将学习者细粒度情感划分为正负面情感极性p与高低情感强度q两个维度20个类型，每个维度值范围为-1到1，每个情感存在二维情感状态量化值，如“轻松”的情感状态值(p,q)为(0.5,-0.2)。将学习者i情感类型状态表示为三元组其中，h
t
表示在t时刻的学习者情感状态，h
p
为学习者的情感极性，hq为学习者的情感强度。课堂教与学活动全过程的交互激发学习者认知过程的情感变化，这些情感的演化趋势从两方面进行表征，则学习者情感有负面上升、负面下降、正面上升、正
面下降四种演化趋势，为此将学习者情感演化定义为三元组其中表示学习者i在t时刻情感演化趋势，y
p
为学习者情感演化极性包括正面1与负面-1两种状态，yq为学习者情感强度变化包括上升1与下降-1两种变化。
[0075]
(2)课堂学习者情感相关异质信息
[0076]
课堂学习者情感相关要素多源复杂，多类型学习者通过教学活动产生多样化交互，在此过程中学习者体验到不同的情感强度、极性及其细粒度情感状态。由此可见，课堂多要素的互联互通构成了课堂学习者情感相关信息的异质性，该异质情感网络中多类型学习者及其关系共存，且不同的情感关系元路径中包含有丰富的结构和语义信息，便于捕获异质情感关联信息中复杂高阶语义关系，从而为发现隐含情感因果模式提供了精准可解释的新途径。因此，本技术剖析课堂大量类型各异的情感相关对象相互作用构成的异质信息集合，采用学习者-教学活动-情感等多层级情感因果语义化描述分析，设课堂学习者情感相关异质信息由学习者i差异化相关属性包括学习者因素集合s、教师因素集合d、课程因素集合c与教学活动集合a等对象及其相互作用关系构成。上述对象及其关系构成了课堂学习者情感异质网络集合每个对象v属于对象集合v，e为关系链接集合，t表示时间序列，为映射函数，每条链接的路径称为元路径e∈e，组成情感关系集合中一个特定的情感因果关系类型权重值，且节点在不同时刻可以建立多个关系链接。
[0077]
步骤s101中的基于“学习者-活动-情感”多层级的情感关联语义描述框架设计，具体包括：
[0078]
在复杂教与学课堂过程中，利用相关工具与问卷收集课堂活动学习者相关多模态时序数据，由于课堂学习者情感相关因素众多，不同的情感关联元路径中包含有丰富的结构和语义信息，为捕获异质情感关联信息中复杂高阶语义关系，本技术从课堂学习过程时序活动情感影响因果关系角度出发，借助课堂学习活动过程数据可感知语义化机制，分析现在课堂数据中层级相关因素，将课堂学习者情感相关因素，设计基于“学习者-活动-情感“三层级语义描述框架，该三层框架可形式化描述为：
[0079]
person(student,teacher),attributes.collect{s,d,c}
……
(1)
[0080]
action(s,d,activities,t),e.g.read:{s.a,d.a}
……
(2)
[0081][0082]
其中，等式(1)描述学习者层面，person代表学习者相关主体，attributes.collect表示属性收集。等式(2)分析活动层面，action表示活动，e.g.read表示获取学习者教师相关活动数据，等式(3)为情感层面。该描述框架实现需依据教与学过程学习者情感关联要素数据，建立相关影响要素实例集。
[0083]
学习者层面中，学习者与教师分别构成课堂学习的主体与主导与课堂学习者情感密切相关，对学习者个体情感进行语义化分析量化，学习者课堂情感与学习者年龄、性别、作业完成度
…
等个体因素关系紧密，收集学习者因素数据量化并构建学习者因素集合s＝{s1,
…
,sn}。教师相关年龄、性别、职称等因素同样会对学习者情感产生影响，收集教师因素时序数据量化并构建教师因素时序集合d＝{d1,
…
,dn}，另外，课程相关学科、难度
…
等因素作为连接学习者与教师的桥梁同样影响学习者情感，收集相关数据量化构建课程因素时序集合c＝{c1,
…
,cn}。
[0084]
活动层面中，自我效能感理论为学习者参与课堂学习行为提供了依据，基于学习者层面已有因素，课堂教与学活动等行为中包括课堂听讲、课程阅读、同伴交流、课堂讨论、回答问题
…
等学习者参与活动，和教师课程阅读、课堂提问
…
等教师参于活动，收集活动时序数据量化并构建课堂活动时序集合a＝{a1,
…
,an}。
[0085]
情感层面基于学习者层面与活动层面基础上，感知时序课堂教与学过程，学习者情感状态受以上两层面集合数据影响，将学习者情感状态定义为学习者情感演化趋势定义为学习者i情感类型状态表示为三元组其中，h
t
表示在t时刻的学习者情感状态，h
p
为学习者的情感极性，hq为学习者的情感强度。课堂教与学活动全过程的交互激发学习者认知过程的情感变化，这些情感的演化趋势从两方面进行表征，则学习者情感有负面上升、负面下降、正面上升、正面下降四种演化趋势，为此将学习者情感演化定义为三元组其中表示学习者i在t时刻情感演化趋势，y
p
为学习者情感演化极性包括正面1与负面-1两种状态，yq为学习者情感强度变化包括上升1与下降-1两种变化。
[0086]
步骤s102中的基于z-transformer的跨模态时序数据融合，具体包括：
[0087]
构建跨模态注意力融合模型，将所述多模态数据输入所述跨模态注意力融合模型；将融合后的数据时序对齐输入到跨模态多头交叉自注意力堆叠的循环网络函数。
[0088]
首先，通常传统的情感计算模型往往从单一模态数据感知输入分析预测情感状态，然而，课堂学习者情感相关要素多源复杂，具有大量可学习语义信息，且包括图像、音频与文字等多模态时序数据，基于收集到的已语义化学习者情感关联实例集合数据，需将这些拥有大量语义信息变量的多模态时序数据清洗处理融合统一。
[0089]
本技术构建了基于z-transformer的跨模态时序融合方式，采用自注意力机制连接多模态数据的方法，计算关联度计算函数，将图像、音频与文字等模态数据融合定义模型输入集为z∈m，其中等为不同模态下情感关联实例集合，z表示在t时段包含学习者情感关联集合数据模态，m为数据模态类型包括图像、音频与文字，采用跨模态交叉注意融合增强，任意两个模态数据在t时刻的关联度可通过随机门控神经网络残差连接与联合优化归一化实现计算，设计跨模态注意力融合模块为:
[0090][0091]
式中，transformer为自注意力机制，θ为参数，ln为归一化处理，将不同时段的时序对齐数据输入到跨模态多头交叉自注意力堆叠的循环网络函数中：
[0092][0093]
其中z
′
为融合后的情感关联实例集合数据，η
t
表示t时刻的扩散因子，σ为激活函数，[]为特征拼接,u为遍历符号，借助上述方法完成课堂学习者情感关联实例集合跨模态时序数据同步融合。
[0094]
步骤s103中面向学习者细粒度情感演化的情感结构因果模型构建，具体包括：
[0095]
针对学习者情感多维要素动态性复杂时空因果特性，通过融合后的学习者时序数据集，本技术将课堂学习者情感关联实例集合建构为情感结构因果模型(sentiment structural causal model,sscm)，其包含了由隐式控制的结构方程集决定的图结构数据
关系，携带课堂情感实例变量及其因果关系的有序四元组《u,v,f,p(u)》，u为外生变量，v是一个内生变量集合{v
1,v2,
…
,vn}，f为一组函数方程{f
1,f2,
…
,fn}，通过f可以对融合后的模态数据用外生变量推导内生变量关系权值，p(u)是定义在u定义域上的概率函数，可以通过融合后的学习者时序数据集对实例集反事实推理构建sscm。
[0096]
学习者情感关联实例集合中，包括有向无环图的顶点相关的一组观测内生变量集合v，所有学习者情感相关变量可分为因变量和果变量，果变量是课堂学习者情感状态，因变量是造成学习者情感变化因素，是可以进行干预的变量，噪声变量指与学习者情感关系无关的因素，通过随机化实验可去除噪声变量。其中每一个情感状态i由一组因果变量实例集合zi和噪声变量集合ui构成，每个观测值根据以下公式得出：
[0097]vi
＝fi{zi,ui},(i＝1,
…
,n)
……
(6)
[0098]
对因果变量实例集合进行随机化实验获取概率分布，随机化实验分别采用伯努利随机化、完全随机化以及分层随机化三种方式，利用因果推断从观察数据中计算因果效应。因果分析构造有向无环图，对于有向无环图中某些潜在结果是否依附于其他变量关系，需要使用d分隔算法来确定该潜在结果的独立性问题，构造概率表达式中所有变量的有向图，将每个节点的父节点两两相连，将有向边替换为无向边，如果独立性问题具有任何给定的变量，便从有向无环图中删除变量以及其所有连接，若在此图中要判断的变量之间没有路径，则它们是独立的。对实例集合关系结合反事实干预推理计算情感因果关系：
[0099][0100][0101]
其中，p
(θ)
表示学习者情感因果关系估计结果，θ代表情感数据推理参数，do(x)为反事实干预参数，g为构建的有向无环图，为效应估计推理函数，pa为该节点的父节点，u是噪声变量，为关系元路径集合，σ为sigmoid激活函数。通过对实例集合建立有向无环图，对链接关系反事实推理do(x)，获取该情感状态因果关系估计结果p
(θ)
，当观测值集合vi存在情感变化时为1，不存在情感变化时为0，计算得出该情感关系效应估计推理函数消除混杂变量。最后基于反事实计算结果，通过情感因果约束构建情感结构因果模型：
[0102][0103]
求得sscm四元组其中gs为sscm隐式包含的图结构数据，为i情感状态下节点对应路径，j为i情感对应元路径权重参数，fi为推理函数集合，gumbel为随机变量。
[0104]
步骤s104中干预变分图自编码器支持下情感异质因果图建立，包括：利用干预变分图自编码器ivgae，对课堂学习过程情感因果模型sscm所隐式包含的图结构数据重构；计算图网络节点的结构邻居和属性来学习图网络节点的表示，通过gnn解码层输出构建为情感异质图结构数据。
[0105]
根据上述的情感结构因果模型，多变量的互联互通构成了课堂学习者情感相关信息的异质性，该异质情感因果中多类型学习者及其关系共存，且不同的情感关系元路径中包含有丰富的结构和语义信息。sscm引出了一个由一组隐含地控制被建模变量之间因果关系的结构方程所包含的图结构数据gs，近年来以图神经网络(graph neural network，gnn)为代表的新兴深度学习方法具备高效处理复杂图结构数据的能力，然而时序sscm包含的时序图结构数据中的拓扑和节点属性变化不能很好地被图神经网络捕获学习，需要将图数据重构学习其中有效特征，同时确保图数据的性质在向量空间中也能够得到对应。
[0106]
对此，本技术采用干预变分图自编码器(interventional variational graphauto-encoders,ivgae)对课堂学习过程情感因果模型sscm所隐式包含的图结构数据重构,其本质是对图中的节点找到适合的embedding向量，利用编码器与解码器来重构图结构样本数据，对课堂学习过程数据构建的学习者情感因果关系sscm包含的图结构数据gs编码重构，如图3所示。
[0107]
通过ivgae，可以将时序sscm图的邻接矩阵ag输入编码器的输入，编码器为一个图神经网络组成，通过编码器层学习节点低维向量表示μ与方差ω，计算得出概率分布函数f
θ
：
[0108]
gnn(gs,ag)＝d-1/2ag
d-1/2
relu(d-1/2ag
d-1/2gs
w)
……
(10)
[0109]
μ＝gmn(gs,ag)
……
(11)
[0110]
logω＝gnn
ω
(gs,ag)
……
(12)
[0111][0112]
对于特征映射空间取做映射：
[0113]
f＝∑
ifθ
(u
ij
,v
ij
)
……
(14)
[0114]
其中，gnn是指作为编码器的图神经网络，gs为情感结构因果模型隐含的图结构，ag为图gs的邻接矩阵，d-1/2
为度矩阵，relu为激活函数，f为映射后的特征空间。
[0115]
解码过程从每个潜在状态分布中随机采样，作为解码器层的输入，通过概率分布函数来计算链路预测，两两计算两点之间存在边的概率重构图从而生成新的情感异质图结构数据g：
[0116]gθ
＝f
θ
σ(fiu
ij
)
……
(15)
[0117][0118]gθ
为矩阵计算解码函数，σ为sigmoid激活函数，f
ij
为节点元路径概率计算函数，计算情感网络节点的结构ui和邻居uj属性来干预映射特征空间的情感节点表示，p(g|u)表示在情感节点干预支持下构建的图结构数据，最后将时序状态下不同节点数据通过gnn解码层输出情感异质因果图结构数据集合g。
[0119]
可选地，步骤s105中，基于因果图神经网络的学习者情感演化分析，包括：嵌入学习者情感异质因果图节点；计算长短时多尺度时序支持下学习者的情感因果注意力，分别捕获学习者情感多尺度演化特征和因果关系特征；图卷积更新运算分析学习者的情感状态及其变化趋势。
[0120]
需要说明的是，所述嵌入学习者情感异质因果图节点，包括：嵌入学习者情感异质因果图节点，构建因果节点注意力学习基于元路径邻居的权重；根据对异质因果图所有元
路径对重复预设次数的学习得到的权重做最终节点嵌入，使得图中具有因果关系的节点在不同特征空间的嵌入仍然相似；
[0121]
所述计算长短时多尺度时序支持下学习者的情感因果注意力，分别捕获学习者情感多尺度演化特征和因果关系特征，包括：对具体时刻异质图嵌入后，对所有学习者情感短时特征向量加权平均计算，对多尺度特征向量加权平均求和，获取学习者情感长时特征向量；根据上述抽取的长短时特征，采用归一化加权几何平均近似将多尺度采样结果融入到特征层注意力计算，计算短时特征与长时特征之间的因果关系，获取因果特征向量矩阵。
[0122]
本技术由所得的课堂学习者情感因果关系异质因果图数据集合结合图神经网络技术，构建了因果图神经网络分析学习者情感演化，实现获取学习者情感状态及演化趋势，如图4所示，具体地，基于因果图神经网络的学习者情感演化分析包括有：
[0123]
(1)嵌入学习者情感异质因果图节点
[0124]
首先需对不同时刻的异质因果图进行节点嵌入，目的是为了将图中每一个节点映射到一个低维的向量表示，传统的局部线性嵌入和拉普拉斯特征映射嵌入方法主要是基于矩阵特征向量的计算。由于以上两种方法过于复杂不合适大规模包含复杂语义信息的因果图数据，本技术采用异质因果节点嵌入，使得在图中具有因果关系的节点在特征空间中的嵌入仍然相似。学习者情感时序异质图数据集合表示为由对象集v和链路集e组成，还与节点链接关系映射函数相关联，课堂活动与学习者链接过程中每一个因果链接节点对(i,j)链接的路径称为元路径初始节点特征为si，特征工程后的节点特征为s
i’，基于元路径的节点i邻居为由于异质因果图节点具有不同的特征空间，我们定义特定类型的转换矩阵将转化不同类型节点的特征，使其投影到同一特征空间。本技术采用因果节点级注意力来学习基于元路径的邻居的权重，catt
node
代表因果节点注意力的深度神经网络，聚合以获得因果关系语义节点嵌入的节点相似度函数为
[0125][0126][0127][0128]
对异质因果图所有元路径重复学习取得因果关系语义节点相似度函数后，将不同时刻的异质因果图做最终节点嵌入：
[0129][0130]
获得特征向量矩阵集合
[0131]
(2)计算长短时多尺度时序支持下学习者的情感因果注意力，分别捕获学习者情感多尺度演化特征和因果关系特征
[0132]
课堂过程中学习者情感演化是一个动态的过程，其核心在于如何有效捕获情感序列中短时和尝试周期时序规律，并考虑多活动之间的相互依赖关系。由于课堂会存在多类型的活动间交互，如听讲、协作、讨论等，学习者情感变化会受到不同时期的时序影响，呈现出不同的数据表征。例如，预测课堂环境下学习者协作交互过程中情感及其变化，与预测时
段直接相邻时段(如前一协作交互时段)、对应上节课的相同活动时段以及一周前的相同时段均能提供有用信息，而本次课堂的讲授时段数据提供的信息会少很多。为了得到充分的时序信息，同时减少不相关历史信息带来的影响，本技术提出了长短时间多尺度时序机制与因果注意力机制，分别捕获学习者情感多尺度演化特征和因果关系特征。
[0133]
鉴于上述构建的异质图时序数据特征中包含大量情感演化可学习的表示，因此，本技术对具体时刻异质图嵌入后，对所有短时特征向量加权平均计算，对多尺度特征向量x
t
∈rn加权平均求和，获取长时特征向量xs，如图5所示。
[0134]
xs＝[(x
t0
+x
t1
)+
…
+(x
t(n-1)
+x
tn
)]/2n
……
(21)
[0135]
获取长时特征后，在每个具体时刻情感演化分析过程，将短时特征与长时特征融合构建情感因果注意力计算。传统注意力机制可以概括为query-key-value线性变化矩阵运算，v(value)是表示输入特征的向量，q(query)、k(key)是计算因果权重的特征向量，由于节点的异质性，不同类型的节点具有不同的特征空间，通过因果效应中介从输入集长短时特征传递到目标集，本技术将因果注意力融合于因果图神经网络任务中，采用归一化加权几何平均近似将多尺度采样结果融入到特征层注意力计算，计算短时特征与长时特征之间的因果关系，在长短时多尺度支持下的因果注意力函数中，对当前的q和所有的k矩阵计算相似度，将相似度值通过softmax层进行得到一组权重，根据这组权重与对应v的矩阵相乘得到因果注意力value值，最后将向量送入堆叠计算，如图6所示。
[0136]
其中，首先将该时刻短时特征向量xi与长时特征向量xs输入，即(xi,xs)为因果注意力的输入。将qk通过矩阵运算，与v矩阵相乘运算，输出此刻向量x
′
链接输入堆叠计算，得出计算后的特征向量矩阵yi，再送入前馈残差网络运算输出因果特征向量矩阵
[0137][0138][0139][0140]
其中qk矩阵运算x
′
连接输出与堆叠，softmax为归一化指数函数，为矩阵线性变换权值，embed()表示前馈残差网络运算，为元路径节点矩阵线性变换权值，[.]表示拼接运算，最后经过前馈残差网络运算输出时序因果特征向量矩阵
[0141]
(3)图卷积更新运算分析学习者的情感状态及其变化趋势
[0142]
基于所述因果特征向量矩阵本技术构造情感图卷积神经网络gcn更新运算分析情感演化状态，其中t时刻情感状态为t时刻情感演化状态定义第i个情感结点下的演化输出w
l
为线性变换权值，b
l
为偏置项，而σ与relu为激活函数，为映射函数，为异质邻居节点权重信息，图卷积运算更新学习情感演化操作为：
[0143][0144][0145]
设某节课堂教学过程学习者情感相关异质数据集合经过以上方法处理建构为因
果图数据集合分析计算该学习者在t时刻的情感状态与学习者情感演化趋势的流程如下：
[0146]
(1)获取需要计算学习者情感演化状态相关因果图数据集合
[0147]
(2)图嵌入学习者情感异质因果节点获得特征向量矩阵
[0148]
(3)将局部特征向量通过节点注意力与全局特征向量加权融合送入因果注意力模块计算，获得因果特征向量矩阵
[0149]
(4)将因果特征向量矩阵送入图卷积运算更新t时刻学习者情感状态
[0150]
(5)计算输出t时刻学习者情感演化趋势
[0151]
本技术针对大部分方法停留在静态同质图模型，而课堂教学中需要处理具有时序且因果关联的特性，提出一种基于因果图神经网络的课堂学习者情感演化分析方法，动态追踪学习者真实情感状态及其趋势，深度剖析学习者情感变化的时空因果关系，实现课堂中学习者情感变化及其溯源规律的深层次揭示，助力于课堂精准施教。
[0152]
此外，本技术还提供了基于因果图神经网络的学习者情感演化分析系统，所述系统包括：
[0153]
获取模块，用于设计基于“学习者-活动-情感”多层级的情感关联语义描述框架，以获取学习者多模态时序数据；
[0154]
融合模块，用于基于z-transformer的跨模态时序融合方式，融合所述多模态时序数据；
[0155]
第一构建模块，用于根据融合后的学习者时序数据，构建面向学习者细粒度情感演化的情感结构因果模型；
[0156]
第二构建模块，根据所述情感结构因果模型，利用干预变分图自编码器建立情感异质因果图；
[0157]
分析模块，用于根据所述情感异质因果图，构建因果图神经网络分析学习者情感演化。
[0158]
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或方框有时能以相反顺序被执行。此外，在本技术的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
[0159]
此外，虽然在功能性模块的背景下描述了本技术，但应当理解的是，除非另有相反说明，功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本技术是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本技术。还可以理解的是，所公开的特定概念
仅仅是说明性的，并不意在限制本技术的范围，本技术的范围由所附权利要求书及其等同方案的全部范围来决定。
[0160]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
[0161]
在本说明书的上述描述中，参考术语“一个实施方式/实施例”、“另一实施方式/实施例”或“某些实施方式/实施例”等的描述意指结合实施方式或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施方式或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施方式或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施方式或示例中以合适的方式结合。
[0162]
尽管已经示出和描述了本技术的实施方式，本领域的普通技术人员可以理解：在不脱离本技术的原理和宗旨的情况下可以对这些实施方式进行多种变化、修改、替换和变型，本技术的范围由权利要求及其等同物限定。
[0163]
以上，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围。