脑电数据处理方法、装置、系统、计算机设备和存储介质与流程

文档序号:31053150发布日期:2022-08-06 08:50阅读:137来源:国知局
脑电数据处理方法、装置、系统、计算机设备和存储介质与流程

1.本发明涉及脑电技术领域,特别是涉及一种脑电数据处理方法、装置、系统、计算机设备和存储介质。


背景技术:

2.随着生活水平的提高,人们对生活方方面面均提出了更高的要求。业务方需要对当前业务质量进行评估,以对业务进行相应调整,进而为用户提供更优质的服务。
3.示例性的,以教学业务场景为例,教师需要对当前教学质量进行评估,以基于评估结果对教学方式、教学内容进行调整。目前采用的方式是基于学生的反馈或者基于学生的考试成绩对教学质量进行评估,但学生的反馈以及考试成绩均具有一定主观性,导致教学质量评估结果精准度低,并且无法实时对教学质量进行评估。或者,以游戏业务场景为例,游戏开发者需要对用户的游戏体验进行评估,目前采用的方式是基于用户游戏时长、用户反馈意见等方式进行评估,用户游戏时长与用户反馈意见均只能在一定程度上反映用户的感受,仍然具有一定的主观性,进而导致游戏体验评估结果准确度低,且无法实时进行游戏体验质量评估。
4.因此,相关技术中采用用户反馈或者业务相关数据的评估手段,评估结果的精准度低且实时性差。


技术实现要素:

5.本发明实施例所要解决的一个技术问题是采用用户反馈或者业务相关数据的评估手段,业评估结果的精准度低且实时性差。
6.第一方面,本发明提供了一种脑电数据处理方法,所述方法包括:
7.获取目标对象的脑电数据;
8.对所述脑电数据进行预处理操作,得到目标脑电数据;
9.根据所述目标脑电数据,确定所述目标对象的当前情绪状态,所述当前情绪状态为与所述目标对象的情绪关联的状态数据;
10.在展示界面中对所述目标对象的所述当前情绪状态进行相应展示。
11.在其中一个实施例中,所述当前情绪状态包括情绪类别、情绪变化轨迹、专注度、监测期间各情绪类别的占比、所述脑电数据的脑电成分中的至少一项。
12.在其中一个实施例中,所述当前情绪状态包括情绪类别,所述根据所述目标脑电数据,确定所述目标对象的当前情绪状态,包括:
13.对所述目标脑电数据进行特征提取操作,得到第一脑电特征和第二脑电特征,其中,所述第一脑电特征为所述目标脑电数据的时域特征,所述第二脑电特征为所述目标脑电数据的频域特征;
14.采用情绪预测模型对所述第一脑电特征及所述第二脑电特征进行情绪预测处理,得到所述目标对象在当前时刻的情绪类别。
15.在其中一个实施例中,所述对所述目标脑电数据进行特征提取操作之前,所述方法包括:
16.针对所述目标脑电数据的任一通道,确定所述通道对应的脑电数据与眼电模板的相似度;
17.根据各所述通道对应的脑电数据与所述眼电模板的相似度,对所述目标脑电数据进行眼电去伪迹处理,得到去伪迹的目标脑电数据。
18.在其中一个实施例中,所述方法还包括:
19.采集多个样本脑电数据,所述样本脑电数据为采样对象眨眼情况下采集的脑电数据;
20.对所述多个样本脑电数据进行融合处理,得到目标样本脑电数据;
21.根据所述目标样本脑电数据进行成分分析,得到所述目标样本脑电数据对应的脑电成分;
22.对所述脑电成分进行眼电成分提取,得到所述眼电模板。
23.在其中一个实施例中,所述当前情绪状态还包括专注度,所述根据所述目标脑电数据,确定所述目标对象的当前情绪状态,还包括:
24.对所述目标脑电数据各通道内的数据进行窗口划分,得到多个窗口;
25.从所述多个窗口内确定眨眼窗口,其中,所述眨眼窗口内的脑电数据的标准差大于标准差阈值;
26.根据所述眨眼窗口的总数与所述目标脑电数据的通道总数,确定所述目标对象在当前时刻的专注度。
27.在其中一个实施例中,所述根据所述眨眼窗口的总数与所述目标脑电数据的通道总数,确定所述目标对象在当前时刻的专注度,包括:
28.根据所述眨眼窗口的总数与所述目标脑电数据的通道总数,确定所述目标对象在当前时刻的初始专注度;
29.对所述目标对象在第一预置时间段内的历史专注度及所述初始专注度进行平滑处理,得到所述目标对象在当前时刻的专注度。
30.在其中一个实施例中,所述当前情绪状态还包括情绪变化轨迹,所述根据所述目标脑电数据,确定所述目标对象的当前情绪状态,还包括:
31.根据所述目标对象在当前时刻的情绪类别及所述目标对象在当前时刻的专注度,确定所述目标对象在心流坐标系下的坐标信息,所述心流坐标系的横坐标用于表征所述目标对象的专注度,所述心流坐标系的纵坐标用于表征所述目标对象的情绪变化速率;
32.在所述展示界面的心流轨迹区域中,根据所述坐标信息对心流标记进行移动,根据所述心流标记的移动轨迹,得到所述目标对象对应的情绪变化轨迹;
33.其中,所述心流轨迹区域包括多个展示区域,各所述展示区域分别对应不同的情绪类别。
34.在其中一个实施例中,所述心流轨迹区域通过所述心流坐标系的四个象限,划分得到四个展示区域,所述四个展示区域包括:所述心流坐标系的第一象限对应第一情绪和第一展示区域、所述心流坐标系的第二象限对应第二情绪和第二展示区域、所述心流坐标系的第三象限对应第三情绪和第三展示区域、及所述心流坐标系的第四象限对应第四情绪
和第四展示区域。
35.在其中一个实施例中,所述根据所述目标对象在当前时刻的情绪类别及所述目标对象在当前时刻的专注度,确定所述目标对象在心流坐标系下的坐标信息,包括:
36.根据所述目标对象在当前时刻的情绪类别及所述目标对象在当前时刻的专注度,确定所述目标对象在所述心流坐标系下的横坐标;
37.根据所述目标对象在第二预置时间段内相邻时刻的两个情绪类别的差异,确定所述目标对象在所述心流坐标系下的纵坐标。
38.在其中一个实施例中,所述情绪变化轨迹中所述心流标记停留过的位置处展示有能量标记,所述能量标记的尺寸和/或亮度与所述能量标记的展示时长负相关。
39.第二方面,本发明还提供了一种脑电数据处理系统,所述系统包括脑电数据采集设备、数据处理设备及显示设备;其中,
40.所述脑电数据采集,用于采集目标对象的脑电数据,并将所述目标对象的脑电数据发送至所述数据处理设备;
41.所述数据处理设备,用于对所述目标对象的脑电数据进行预处理操作,得到目标脑电数据后,根据所述目标脑电数据确定所述目标对象的当前情绪状态;
42.所述显示设备,用于响应于针对所述目标对象的查看操作,在展示界面中对所述目标对象的所述当前情绪状态进行相应展示。
43.第三方面,本发明还提供了一种脑电数据处理装置,所述装置包括:
44.获取模块,用于获取目标对象的脑电数据;
45.预处理模块,用于对所述脑电数据进行预处理操作,得到目标脑电数据;
46.第一确定模块,用于根据所述目标脑电数据,确定所述目标对象的当前情绪状态,所述当前情绪状态为与所述目标对象的情绪关联的状态数据;
47.展示模块,用于在展示界面中对所述目标对象的所述当前情绪状态进行相应展示。
48.在其中一个实施例中,所述当前情绪状态包括情绪类别、情绪变化轨迹、专注度、监测期间各情绪类别的占比、所述脑电数据的脑电成分中的至少一项。
49.在其中一个实施例中,所述当前情绪状态包括情绪类别,所述第一确定模块还用于:
50.对所述目标脑电数据进行特征提取操作,得到第一脑电特征和第二脑电特征,其中,所述第一脑电特征为所述目标脑电数据的时域特征,所述第二脑电特征为所述目标脑电数据的频域特征;
51.采用情绪预测模型对所述第一脑电特征及所述第二脑电特征进行情绪预测处理,得到所述目标对象在当前时刻的情绪类别。
52.在其中一个实施例中,所述装置还包括:
53.第二确定模块,用于针对所述目标脑电数据的任一通道,确定所述通道对应的脑电数据与眼电模板的相似度;
54.去伪迹模块,用于根据各所述通道对应的脑电数据与所述眼电模板的相似度,对所述目标脑电数据进行眼电去伪迹处理,得到去伪迹的目标脑电数据。
55.在其中一个实施例中,所述装置还包括:
56.采集模块,用于采集多个样本脑电数据,所述样本脑电数据为采样对象眨眼情况下采集的脑电数据;
57.融合模块,用于对所述多个样本脑电数据进行融合处理,得到目标样本脑电数据;
58.分析模块,用于根据所述目标样本脑电数据进行成分分析,得到所述目标样本脑电数据对应的脑电成分;
59.提取模块,用于对所述脑电成分进行眼电成分提取,得到所述眼电模板。
60.在其中一个实施例中,所述当前情绪状态还包括专注度,所述第一确定模块还用于:
61.对所述目标脑电数据各通道内的数据进行窗口划分,得到多个窗口;
62.从所述多个窗口内确定眨眼窗口,其中,所述眨眼窗口内的脑电数据的标准差大于标准差阈值;
63.根据所述眨眼窗口的总数与所述目标脑电数据的通道总数,确定所述目标对象在当前时刻的专注度。
64.在其中一个实施例中,所述第一确定模块还用于:
65.根据所述眨眼窗口的总数与所述目标脑电数据的通道总数,确定所述目标对象在当前时刻的初始专注度;
66.对所述目标对象在第一预置时间段内的历史专注度及所述初始专注度进行平滑处理,得到所述目标对象在当前时刻的专注度。
67.在其中一个实施例中,所述当前情绪状态还包括情绪变化轨迹,所述第一确定模块还用于:
68.根据所述目标对象在当前时刻的情绪类别及所述目标对象在当前时刻的专注度,确定所述目标对象在心流坐标系下的坐标信息,所述心流坐标系的横坐标用于表征所述目标对象的专注度,所述心流坐标系的纵坐标用于表征所述目标对象的情绪变化速率;
69.在所述展示界面的心流轨迹区域中,根据所述坐标信息对心流标记进行移动,根据所述心流标记的移动轨迹,得到所述目标对象对应的情绪变化轨迹;
70.其中,所述心流轨迹区域包括多个展示区域,各所述展示区域分别对应不同的情绪类别。
71.在其中一个实施例中,所述心流轨迹区域通过所述心流坐标系的四个象限,划分得到四个展示区域,所述四个展示区域包括:所述心流坐标系的第一象限对应第一情绪和第一展示区域、所述心流坐标系的第二象限对应第二情绪和第二展示区域、所述心流坐标系的第三象限对应第三情绪和第三展示区域、及所述心流坐标系的第四象限对应第四情绪和第四展示区域。
72.在其中一个实施例中,所述第一确定模块还用于:
73.根据所述目标对象在当前时刻的情绪类别及所述目标对象在当前时刻的专注度,确定所述目标对象在所述心流坐标系下的横坐标;
74.根据所述目标对象在第二预置时间段内相邻时刻的两个情绪类别的差异,确定所述目标对象在所述心流坐标系下的纵坐标。
75.在其中一个实施例中,所述情绪变化轨迹中所述心流标记停留过的位置处展示有能量标记,所述能量标记的尺寸和/或亮度与所述能量标记的展示时长负相关。
76.第四方面,本发明还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现以上任一项的脑电数据处理方法。
77.第五方面,本发明还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现以上任一项的脑电数据处理方法。
78.第六方面,本发明还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现以上任一项的脑电数据处理方法。
79.上述脑电数据处理方法、装置、系统、计算机设备和存储介质,可以在获取目标对象的脑电数据后,对脑电数据进行预处理操作,得到目标脑电数据,并根据目标脑电数据,确定目标对象的当前情绪状态,在展示界面中对目标对象的当前情绪状态进行相应展示,其中,当前情绪状态为与目标对象的情绪关联的状态数据。基于本公开实施例提供的脑电数据处理方法、装置、系统、计算机设备和存储介质,可以通过目标对象的脑电数据实时获取目标对象的当前情绪状态并进行相应展示,以使得用户可以实时获取目标对象的情绪状态,进而通过目标对象的情绪状态实时对业务进行评估,由于情绪状态可以更为真实的表征用户的感受,不受目标对象主观意识的影响,不仅可以提高业务评估精度,且使得业务评估的实时性更好。
80.下面通过附图和实施例,对本发明的技术方案做进一步的详细描述。
附图说明
81.构成说明书的一部分的附图描述了本发明的实施例,并且连同描述一起用于解释本发明的原理。
82.参照附图,根据下面的详细描述,可以更加清楚地理解本发明,其中:
83.图1a为一个实施例中脑电数据处理方法的应用环境图;
84.图1b为一个实施例中脑电数据处理方法的应用环境图;
85.图2为一个实施例中脑电数据处理方法的流程示意图;
86.图3为一个实施例中脑电数据处理方法的示意图;
87.图4为一个实施例中步骤206的流程示意图;
88.图5为一个实施例中脑电数据处理方法的展示界面示意图;
89.图6为一个实施例中脑电数据处理方法的流程示意图;
90.图7为一个实施例中脑电数据处理方法的流程示意图;
91.图8为一个实施例中脑电数据处理方法的流程示意图;
92.图9为一个实施例中脑电数据处理方法的流程示意图;
93.图10为一个实施例中步骤206的流程示意图;
94.图11为一个实施例中脑电数据处理方法的流程示意图;
95.图12为一个实施例中步骤1006的流程示意图;
96.图13为一个实施例中步骤206的流程示意图;
97.图14为一个实施例中步骤1302的流程示意图;
98.图15为一个实施例中脑电数据处理方法的示意图;
99.图16为一个实施例中脑电数据处理装置的结构框图;
100.图17为一个实施例中计算机设备的内部结构图。
具体实施方式
101.现在将参照附图来详细描述本发明的各种示例性实施例。应注意到:除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。
102.同时,应当明白,为了便于描述,附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。
103.以下对至少一个示例性实施例的描述实际上仅仅是说明性的,决不作为对本发明及其应用或使用的任何限制。
104.对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论,但在适当情况下,所述技术、方法和设备应当被视为说明书的一部分。
105.应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步讨论。
106.本发明实施例可以应用于计算机系统/服务器,其可与众多其它通用或专用计算系统环境或配置一起操作。适于与计算机系统/服务器一起使用的众所周知的计算系统、环境和/或配置的例子包括但不限于:个人计算机系统、服务器计算机系统、瘦客户机、厚客户机、手持或膝上设备、基于微处理器的系统、机顶盒、可编程消费电子产品、网络个人电脑、小型计算机系统﹑大型计算机系统和包括上述任何系统的分布式云计算技术环境,等等。
107.计算机系统/服务器可以在由计算机系统执行的计算机系统可执行指令(诸如程序模块)的一般语境下描述。通常,程序模块可以包括例程、程序、目标程序、组件、逻辑、数据结构等等,它们执行特定的任务或者实现特定的抽象数据类型。计算机系统/服务器可以在分布式云计算环境中实施,分布式云计算环境中,任务是由通过通信网络链接的远程处理设备执行的。在分布式云计算环境中,程序模块可以位于包括存储设备的本地或远程计算系统存储介质上。
108.本发明实施例提供的脑电数据处理方法,可以应用于如图1a所示的应用环境中。其中,脑电数据采集设备102通过网络与数据处理设备104进行通信。数据存储系统可以存储数据处理设备104需要处理的数据。数据存储系统可以集成在数据处理设备104上,也可以放在云上或其他网络服务器上。脑电数据采集设备102可以实时采集目标对象的脑电数据,并将目标对象的脑电数据发送至数据处理设备104。数据处理设备104可以对目标对象的脑电数据进行预处理后,得到目标脑电数据,并根据目标脑电数据,确定目标对象的当前情绪状态,包括情绪类别、情绪变化轨迹、专注度、监测期间各情绪类别的占比、所述脑电数据的脑电成分中的至少一项。显示设备可以在展示界面中对目标对象的当前情绪状态进行相应展示。示例性的,本发明实施例可以应用于图1b所示的场景中,用于进行教学质量评估。
109.其中,数据处理设备104可以但不限于是各种个人计算机、笔记本电脑、智能手机、平板电脑、物联网设备和便携式可穿戴设备,物联网设备可为智能音箱、智能电视、智能空调、智能车载设备等。便携式可穿戴设备可为智能手表、智能手环、头戴设备等,还可以用独
立的服务器或者是多个服务器组成的服务器集群来实现。
110.在一个实施例中,如图2所示,提供了一种脑电数据处理方法,以该方法应用于图1中的数据处理设备104为例进行说明,包括以下步骤:
111.步骤202,获取目标对象的脑电数据。
112.本公开实施例中,数据处理设备可以与脑电数据采集设备通信连接,通过脑电数据采集设备采集目标对象的脑电数据。其中,脑电数据采集设备可以包括脑机设备或者ar(augmented reality,增强现实)设备等设备,在脑电数据采集设备为ar设备的情况下,可以将前额脑电监测模块整合至该ar设备的眼镜边框上,以采集目标对象的脑电数据。
113.脑电数据采集设备与数据处理设备可以采用网络、蓝牙等无线通信方式进行通信,或者也可以采用数据线等有线通信方式进行通信,本公开实施例中对此不做具体限定。
114.举例来说,脑电数据采集设备可以实时采集目标对象的脑电数据,具体采集频率可以由本领域技术人员根据需求进行设定。数据处理设备实时从脑电数据采集设备处接收目标对象的脑电数据,并可以获取当前时刻所在滑动窗口内的脑电数据,其中滑动窗口的窗口时长为预置时长(预设的时长,本领域技术人员对具体取值不做具体限定),例如:滑动窗口的窗口时长可以为5s,则当前时刻为第10s的情况下,可以获取目标对象在第6s至第10s的脑电数据。
115.步骤204,对脑电数据进行预处理操作,得到目标脑电数据。
116.本公开实施例中,在获取目标对象的脑电数据之后,可以对获取的脑电数据进行预处理操作,以去除脑电数据中的干扰数据和冗余信息,进而得到目标脑电数据。其中,针对脑电数据的预处理操作可以包括高通滤波、低通滤波等操作,示例性的,参照图3所示,可以将脑电数据通过45~55hz带阻滤波器进行高通滤波,滤除50hz工频干扰,再通过0.5~50hz带通滤波器进行低通滤波,以提取脑电数据中的有效成分,本公开实施例对预处理操作不做具体限定。
117.步骤206,根据目标脑电数据,确定目标对象的当前情绪状态,当前情绪状态为与目标对象的情绪关联的状态数据。
118.本公开实施例中,在得到目标对象的目标脑电数据后,可以根据目标脑电数据确定目标对象的当前情绪状态,例如:可以对目标对象的目标脑电数据进行分析或者预测等处理,以得到目标对象的当前情绪状态,其中当前情绪状态可以包括与目标对象的情绪关联的状态数据,例如:可以包括能够表征用户当前情绪、当前的专注度、历史情绪、情绪变化等的数据。
119.步骤208,在展示界面中对目标对象的当前情绪状态进行相应展示。
120.本公开实施例中,在确定目标对象的当前情绪状态后,可以通过显示设备的展示界面对目标对象的当前情绪状态进行相应展示,以使得用户可以通过展示界面所展示的信息获取目标对象的当前情绪状态。
121.其中,显示设备可以集成在数据处理设备内,或者显示设备可以为数据处理设备的外接设备,本公开实施例对此不做具体限定。
122.本公开实施例提供的脑电数据处理方法,可以在获取目标对象的脑电数据后,对脑电数据进行预处理操作,得到目标脑电数据,并根据目标脑电数据,确定目标对象的当前情绪状态,在展示界面中对目标对象的当前情绪状态进行相应展示,其中,当前情绪状态为
与目标对象的情绪关联的状态数据。基于本公开实施例提供的脑电数据处理方法,可以通过目标对象的脑电数据实时获取目标对象的当前情绪状态并进行相应展示,以使得用户可以实时获取目标对象的情绪状态,进而通过目标对象的情绪状态实时对业务进行评估,由于情绪状态可以更为真实的表征用户的感受,不受目标对象主观意识的影响,不仅可以提高业务评估精度,且使得业务评估的实时性更好。
123.在其中一个实施例中,当前情绪状态包括情绪类别、情绪变化轨迹、专注度、监测期间各情绪类别的占比、所述脑电数据的脑电成分中的至少一项。
124.本公开实施例中,当前情绪状态可以包括情绪类别、情绪变化轨迹、专注度、监测期间各情绪类别的占比、所述脑电数据的脑电成分中的至少一项,也即展示界面中可以展示目标对象在当前时刻的情绪类别、情绪变化轨迹、专注度、监测期间各情绪类别的占比、所述脑电数据的脑电成分中的至少一项。
125.举例来说,本公开实施例不对情绪类别做具体限定,可以由本领域技术人员根据需求进行情绪类别划分,例如:情绪类别可以包括轻松、兴奋、焦躁、无聊等类别,或者还可以根据需求对情绪类别进行更高维度的划分。情绪变化轨迹可以用于表征用户在监测时间段内的情绪变化,可以展示为轨迹图或者情绪列表等,本公开实施例不对情绪变化轨迹的展示形式做具体限定。
126.专注度可以用于表征用户在当前时刻的专注程度,本公开实施例不对专注度的表现形式做具体限定,凡是可以表征用户专注度的方式均适用于本公开实施例中,例如:用户的专注度可以表示为1-100的数值,数值越大可以表征用户的专注程度越高;或者,用户的专注度可以表示为对应的级别,级别越高表征用户的专注程度越高。
127.可以实时统计目标对象在监测期间各情绪类别出现的次数,并实时统计各情绪类别出现的次数在情绪类别总数中的占比,进而得到监测期间各情绪类别的占比,本公开实施例不对监测期间内各情绪类别的占比的展示方式做具体限定,例如:可以采用展示占比数值的方式进行展示,也可以采用统计图表等方式进行展示。
128.可以通过对目标对象的脑电数据进行成分分析,得到脑电数据对应的脑电成分。展示界面中可以展示人脑三维模型,本公开实施例中可以根据脑电数据对应的脑电成分在人脑三维模型中对脑电数据进行展示,例如:根据脑电数据对应的脑电成分,在人脑三维模型中该脑电成分对应的位置处展示对应的脑电信号标记。
129.基于本公开实施例提供的脑电数据处理方法,可以通过目标对象的脑电数据实时获取目标对象的情绪类别、情绪变化轨迹、专注度、监测期间各情绪类别的占比、所述脑电数据的脑电成分等信息,并进行相应展示,以使得用户可以实时获取目标对象的当前情绪状态,进而通过目标对象的当前情绪状态实时对业务进行评估,可以提高业务评估精度,且实现业务的实时性评估。
130.在其中一个实施例中,当前情绪状态包括情绪类别,参照图4所示,在步骤206中,根据目标脑电数据,确定目标对象的当前情绪状态,可以包括:
131.步骤402,对目标脑电数据进行特征提取操作,得到第一脑电特征和第二脑电特征,其中,第一脑电特征为目标脑电数据的时域特征,第二脑电特征为所述目标脑电数据的频域特征;
132.步骤404,采用情绪预测模型对第一脑电特征及第二脑电特征进行情绪预测处理,
得到目标对象在当前时刻的情绪类别。
133.本公开实施例中,可以针对目标脑电数据进行特征提取,得到目标脑电数据在时域上的第一脑电特征及在频域上的第二脑电特征。其中,第一脑电特征可以包括hjorth特征(包括活动性、移动性和复杂度三方面的特征),第二脑电特征可以包括脑电数据节律(delta、theta、alpha、beta、gamma)的微分熵特征。
134.示例性的,可以分别提取目标脑电数据每个通道的hjorth特征(活动性、移动性和复杂度)以及每个通道每个节律(delta、theta、alpha、beta、gamma)的微分熵特征。再示例性的,参照图3所示,本公开实施例还可以将目标脑电数据的各通道数据分为预置数量(预先设定的数值,本公开实施例不对具体取值做具体限定,例如:可以取值为5)个主要频带后,针对各个频带进行特征提取,可以进一步提高特征提取精度。本公开实施例不对特征提取的具体过程做具体限定。
135.其中,第一脑电特征的提取过程可以参照下述公式(一)至公式(三)。第二脑电特征的提取过程可以参照下述公式(四)。
136.activity=var(y(t))(公式一)
[0137][0138][0139][0140]
其中,activity表示hjorth特征中的活动性特征,mobility用于表示hjorth特征中的移动性特征,complexity用于表征hjorth特征中的复杂度特征,de用于表征微分熵特征,t用于表征当前时刻,y(t)用于表征当前时刻获取的脑电数据,[a,b]表示频带对应频率区间,p(x)用于表征频率区间[a,b]对应的功率谱密度。
[0141]
在得到目标脑电数据所有通道提取的hjorth特征(第一脑电特征)和微分熵特征(第二脑电特征)之后,可以将hjorth特征和微分熵特征拼接成一维向量,得到目标脑电数据对应的特征向量。
[0142]
参照图3所示,可以将目标脑电数据对应的特征向量输入情绪预测模型中进行情绪预测处理,得到目标对象在当前时刻的情绪类别。其中,情绪预测模型可以为预先训练的用于进行情绪分类的模型,可以包括选取随机森林分类器、知识向量机、逻辑回归网络、卷积回归神经网络、循环回归神经网络等,本公开实施例不对情绪预测模型做具体限定,且对情绪预测模型的训练过程不再赘述,凡是能够训练上述情绪预测模型的训练方式均适用于本公开实施例中。
[0143]
在得到目标对象在当前时刻的情绪类别之后,可以在展示界面中对目标对象在当前时刻的情绪类别进行相应展示,以使得用户可以实时获知目标对象在当前时刻的情绪类别,进而根据目标对象在当前时刻的情绪类别对业务进行相应评估。
[0144]
示例性的,参照图5所示,展示界面中包括对情绪类别进行展示的情绪展示区域,可以在该情绪展示区域中展示目标对象在当前时刻的情绪类别,包括展示情绪类别对应的
文字,展示界面中不同情绪类别对应不同的展示标识,还可以对目标对象在当前时刻的情绪类别对应的展示标识进行高亮、动画、变换颜色等特殊展示。
[0145]
需要说明的是,上述示例中情绪类别的展示方式仅作为本公开实施例中的情绪类别展示方式的一种示例,实际上,本公开实施例中不对情绪类别在展示界面中的展示方式做具体限定,凡是可以表现目标对象在当前时刻的情绪类别的展示方式均适用于本公开实施例中。
[0146]
基于本公开实施例提供的脑电数据处理方法,可以通过提取目标脑电数据在时域的第一脑电特征及在频域的第二脑电特征,以通过第一脑电特征及第二脑电特征预测目标对象在当前时刻的情绪类别,采用时域及频域两个维度的特征进行预测,可以提高情绪类别的预测精度。
[0147]
在其中一个实施例中,参照图6所示,在步骤402之前,上述方法还可以包括:
[0148]
步骤602,针对目标脑电数据的任一通道,确定通道对应的脑电数据与眼电模板的相似度;
[0149]
步骤604,根据各通道对应的脑电数据与眼电模板的相似度,对目标脑电数据进行眼电去伪迹处理,得到去伪迹的目标脑电数据。
[0150]
本公开实施例中,参照图7所示,在对目标脑电数据进行特征提取之前,可以执行对目标脑电数据的眼电去伪迹处理,以去除目标脑电数据中的眼电数据,缓解眼电数据对情绪预测的干扰,得到去伪迹的目标脑电数据,进而对去伪迹的目标脑电数据进行特征提取,并通过情绪预测模型对提取的特征进行情绪预测处理,可以得到目标对象在当前时刻的情绪类别。
[0151]
示例性的,针对目标脑电数据的任一通道,可以确定该通道对应的脑电数据与眼电模板的相似度,该眼电模板可以为预先构建、可以用于描述眼电成分的模板。确定各通道对应的脑电数据与眼电模板的相似度,相似度越高,则说明该通道的脑电数据为眼电成分的可能性越大,故可以将该通道的脑电数据剔除,实现眼电去伪迹处理,得到去伪迹的目标脑电数据。
[0152]
以目标脑电数据为三通道、采样频率为250赫兹、滑动窗口时间长度为5秒为例,则目标脑电数据的数据维度可以表征为3
×
1250,眼电模板表征为1
×
1250的行向量。则针对任一通道的脑电数据,可以确定其与眼电模板的相似度,在相似度大于预设的相似度阈值(预先设定的数值,本公开实施例不对具体取值做具体限定,例如:相似度阈值可以设置为0.8)的情况下,可以将该通道的脑电数据剔除,剩余通道的脑电数据即为去伪迹的目标脑电数据。
[0153]
基于本公开实施例提供的脑电数据处理方法,可以通过眼电模板对目标脑电数据进行眼电去伪迹处理,可以避免眼电数据对情绪预测的影响,进而可以提高目标对象情绪类别的预测精度。
[0154]
在其中一个实施例中,参照图8所示,上述方法还可以包括:
[0155]
步骤802,采集多个样本脑电数据,样本脑电数据为采样对象眨眼情况下采集的脑电数据;
[0156]
步骤804,对多个样本脑电数据进行融合处理,得到目标样本脑电数据;
[0157]
步骤806,根据目标样本脑电数据进行成分分析,得到目标样本脑电数据对应的脑
电成分;
[0158]
步骤808,对脑电成分进行眼电成分提取,得到眼电模板。
[0159]
本公开实施例中,可以预设采集多个样本脑电数据。示例性的,可以采集多名采样对象在眨眼状态下的脑电数据,例如:采样对象在5-10秒内持续眨眼,采集采样对象的脑电数据,作为样本脑电数据。
[0160]
可以将多个样本脑电数据进行预处理后,进一步进行融合处理,以融合得到一个目标样本脑电数据,本公开实施例不对融合方式做具体限定。示例性的,可以将多个样本脑电数据分割成5秒的样本片段,并对所有的样本片段进行叠加平均,得到目标样本脑电数据。
[0161]
在得到目标样本脑电数据后,可以采用eeglab对脑电数据进行ica(independent component analysis,脑电成分独立)分析,得到目标脑电数据对应的脑电成分。其中,ica分析的具体过程可以参照下述公式(五)至公式(八)。
[0162]
s=(a-1
)x
ꢀꢀꢀ
公式(五)
[0163]
x=as
ꢀꢀꢀ
公式(六)
[0164]
w=a-1
ꢀꢀꢀ
公式(七)
[0165]
s=wx
ꢀꢀꢀ
公式(八)
[0166]
其中,x为预处理后的目标样本脑电数据,维度为(通道数*采样点);s为目标样本脑电数据的脑电成分,维度为(导联数*采样点);a为ica权重矩阵,维度为(导联数*导联数);w为矩阵a的逆矩阵。
[0167]
在得到目标样本脑电数据对应的脑电成分之后,可以根据目标样本脑电数据对应的脑电成分绘制脑电地形图,并基于先验知识,从目标样本脑电数据对应的脑电成分中挑选出眼电成分,进而根据挑选出的眼电成分构建得到眼电模板。
[0168]
参照图9所示,得到眼电模板之后,可以将目标脑电数据进行ica分析,得到目标脑电数据各通道对应的脑电成分,分别确定各通道的脑电成分与眼电模板的相似度。示例性的,可以确定各通道的脑电成分与眼电模板的相关性系数,作为脑电成分与眼电模板的相似度,相似性系数的确定过程可以参照下述公式(九)。
[0169][0170]
其中,p用于表征相关性系数,y用于表征目标脑电数据对应的脑电成分。
[0171]
对目标电脑数据进行眼电去伪迹处理后,将相似度大于相似度阈值的通道剔除,将相似度小于或者等于相似度阈值的通道保留,对于保留的通道,将保留的通道的脑电成分恢复成脑电数据,得到去伪迹的目标脑电数据,以供下一步特征提取,具体回复脑电数据的方式可以参照下述公式(八)和公式(九)。
[0172]
可以根据先验知识,去伪迹的目标脑电成分作为新的组成分量矩阵s’。在恢复脑电数据的过程中,同时剔除ica权重矩阵中对应眼电成分的成分,得到新的矩阵w’。再通过公式x=w’s’,可以得到去伪迹的目标脑电数据。
[0173]
基于本公开实施例提供的脑电数据处理方法,可以通过多个采样对象对应的样本脑电数据构建眼电模板,进而基于眼电模板对目标脑电数据进行眼电去伪迹处理,可以提高眼电去伪迹的精度,进而可以提高目标对象情绪类别的预测精度。
[0174]
在其中一个实施例中,当前情绪状态还可以包括专注度,参照图10和图11所示,在步骤206中,根据目标脑电数据,确定目标对象的当前情绪状态,还可以包括:
[0175]
步骤1002,对目标脑电数据各通道内的数据进行窗口划分,得到多个窗口;
[0176]
步骤1004,从多个窗口内确定眨眼窗口,其中,眨眼窗口内的脑电数据的标准差大于标准差阈值;
[0177]
步骤1006,根据眨眼窗口的总数与目标脑电数据的通道总数,确定目标对象在当前时刻的专注度。
[0178]
本公开实施例中,可以将目标脑电数据的各通道按照预置数据量,进行窗口划分,得到多个窗口。例如:以前述示例为例,目标脑电数据的数据维度为3
×
1250,假设预置数据量设置为125,则针对任一通道,可以将该通道的脑电数据以125个数据点设为1个窗口,将每通道划分为10个窗口,共3个通道,则目标脑电数据共划分为30个窗口。
[0179]
可以从多个窗口中确定眨眼窗口。示例性的,针对任一窗口,可以确定该窗口的标准差,在标准差大于预设的标准差阈值(预设的数值,本公开实施例不对具体取值做具体限定,具体取值可以由本领域技术人员根据需求设定)的情况下,可以确定该窗口为眨眼窗口。
[0180]
可以确定窗口中眨眼窗口的总数(也即目标对象在采样时间内眨眼的总数),根据眨眼窗口的总数与目标脑电数据的通道总数的比值,确定目标对象在当前时刻的专注度。在专注度为1-100的数值的情况下,眨眼窗口的总数与目标脑电数据的通道总数的比值,与专注度对应的数值负相关,也即眨眼窗口的总数与目标脑电数据的通道总数的比值越大,说明目标对象眨眼的次数越多,进而可以确定目标对象的专注度越低,专注度对应的数值越小。
[0181]
基于本公开实施例提供的脑电数据处理方法,可以通过目标对象的目标脑电数据分析目标对象的眨眼次数,进而基于目标对象的眨眼次数确定目标对象的专注度,可以提高目标对象的专注度的精准度。
[0182]
在其中一个实施例中,参照图12所示,步骤1006中,根据眨眼窗口的总数与目标脑电数据的通道总数,确定目标对象在当前时刻的专注度,可以包括:
[0183]
步骤1202,根据眨眼窗口的总数与目标脑电数据的通道总数,确定目标对象在当前时刻的初始专注度;
[0184]
步骤1204,对目标对象在第一预置时间段内的历史专注度及初始专注度进行平滑处理,得到目标对象在当前时刻的专注度。
[0185]
本公开实施例中,可以基于眨眼窗口的总数与目标脑电数据的通道总数,确定目标对象在当前时刻的专注度为初始专注度。在确定目标对象在当前时刻的初始专注度之后,可以获取目标对象在当前时刻之前第一预置时间段(与当前时刻间隔预置时长的时间段)内的历史专注度,基于历史专注度对初始专注度进行平滑处理,可以得到目标对象在当前时刻的专注度。例如:可以取5秒内的专注度(包括历史专注度和当前时刻的初始专注度)进行平滑处理,可以得到目标对象在当前时刻的专注度。
[0186]
在得到目标对象在当前时刻的专注度之后,可以在展示界面中对目标对象在当前时刻的专注度进行相应展示,以使得用户可以实时获知目标对象在当前时刻的专注度,进而根据目标对象在当前时刻的专注度对业务水平或者质量等评估维度进行业务评估。
[0187]
示例性的,参照图5所示,展示界面中包括对专注度进行展示的专注度展示区域,可以在该专注度展示区域中展示目标对象在当前时刻的专注度,可以包括展示专注度对应的数值或者级别,以及展示专注度的监测时间段内的变化曲线等,本公开实施例中不对专注度的展示方式做具体限定。
[0188]
基于本公开实施例提供的脑电数据处理方法,可以通过第一预置时间段内的历史专注度对初始专注度进行平滑处理,进而可以提高目标对象的专注度的精准度。
[0189]
在其中一个实施例中,当前情绪状态还包括情绪变化轨迹,参照图13所示,在步骤206中,根据目标脑电数据,确定目标对象的当前情绪状态,还可以包括:
[0190]
步骤1302,根据目标对象在当前时刻的情绪类别及目标对象在当前时刻的专注度,确定目标对象在心流坐标系下的坐标信息,心流坐标系的横坐标用于表征目标对象的专注度,心流坐标系的纵坐标用于表征目标对象的情绪变化速率;
[0191]
步骤1304,在展示界面的心流轨迹区域中,根据坐标信息对心流标记进行移动,根据心流标记的移动轨迹,得到目标对象对应的情绪变化轨迹;
[0192]
其中,心流轨迹区域包括多个展示区域,各展示区域分别对应不同的情绪类别。
[0193]
本公开实施例中,展示界面中包括心流轨迹区域,该心流轨迹区域用于展示目标对象的情绪变化轨迹。心流轨迹区域中包括心流坐标系,心流坐标系可以以心流轨迹区域的中心位置为坐标原点,其横坐标可以用于表征目标对象的专注度,纵坐标可以用于表征目标对象的情绪变化速率。
[0194]
心流轨迹区域可以划分为多个展示区域,各展示区域可以对应不同的情绪类别。心流轨迹区域中展示有心流标记(也可以称为浮游点),心流标记所在的位置可以表征目标对象的情绪类别、情绪变化速率及专注度。例如:当心流标记位于展示区域1时,可以确定目标对象的情绪类别为该区域1对应的情绪类别,当心流标记所在位置的横坐标的绝对值越大,说明该目标对象的专注度越高,纵坐标的绝对值越大,则说明目标对象的情绪变化速率越快。
[0195]
在得到目标对象在当前时刻的情绪类别和目标对象在当前时刻的专注度之后,可以根据目标对象在当前时刻的情绪类别和目标对象在当前时刻的专注度,确定目标对象当前时刻在心流坐标系下的坐标信息。在确定目标对象在心流坐标系下的坐标信息后,可以将心流标记由前一时刻所在的展示位置,移动到该坐标信息所对应的位置处进行展示,进而基于心流标记在监测期间的移动轨迹,可以得到目标对象对应的情绪变化轨迹。
[0196]
基于本公开实施例提供的脑电数据处理方法,可以通过目标对象在当前时刻的情绪类别及目标对象在当前时刻的专注度,确定目标对象在心流坐标系下的坐标信息,进而基于坐标信息在心流轨迹区域移动心流标记,得到目标对象的情绪变化轨迹,使得用户可以基于该情绪变化轨迹实时获知目标对象的情绪变化情况,以实时基于该情绪变化轨迹对业务进行实时评估或者实时调整。
[0197]
在其中一个实施例中,参照图5所示,心流轨迹区域通过心流坐标系的四个象限,划分得到四个展示区域,四个展示区域包括:心流坐标系的第一象限对应第一情绪和第一展示区域、心流坐标系的第二象限对应第二情绪和第二展示区域、心流坐标系的第三象限对应第三情绪和第三展示区域、及心流坐标系的第四象限对应第四情绪和第四展示区域。
[0198]
本公开实施例中,可以通过心流坐标系的四个象限将心流轨迹区域划分为四个展
示区域,四个展示区域可以对应四种情绪类别。例如:第一象限可以对应第一情绪和第一展示区域,第一情绪可以为轻松,也即第一展示区域对应的情绪类别为轻松;第二象限可以对应第二情绪和第二展示区域,第二情绪可以为兴奋,也即第二展示区域对应的情绪类别为兴奋;第三象限对应第三情绪和第三展示区域,第三情绪可以为无聊,也即第三展示区域对应的情绪类别为无聊;第四象限对应第四情绪和第四展示区域,第四展示区域可以为焦躁,也即第四展示区域对应的情绪类别为焦躁。
[0199]
基于本公开实施例提供的脑电数据处理方法,可以通过心流标记的移动得到目标对象的情绪变化轨迹,使得用户可以基于该情绪变化轨迹实时获知目标对象的情绪变化情况,以实时基于该情绪变化轨迹对业务进行实时评估或者实时调整。
[0200]
在其中一个实施例中,参照图14所示,在步骤1302中,根据目标对象在当前时刻的情绪类别及目标对象在当前时刻的专注度,确定目标对象在心流坐标系下的坐标信息,可以包括:
[0201]
步骤1402,根据目标对象在当前时刻的情绪类别及目标对象在当前时刻的专注度,确定目标对象在心流坐标系下的横坐标;
[0202]
步骤1404,根据目标对象在第二预置时间段内相邻时刻的两个情绪类别的差异,确定目标对象在心流坐标系下的纵坐标。
[0203]
本公开实施例中,当目标对象在当前时刻的情绪类别为第一象限对应的情绪类别或者第四象限对应的情绪类别的情况下,目标对象在心流坐标系下的横坐标与目标对象在当前时刻的专注度负相关。示例性的,以专注度为1至100的数值为例,目标对象在心流坐标系下的横坐标x=-专注度+100。
[0204]
当目标对象在当前时刻的情绪类别为第二象限对应的情绪类别或者第三象限对应的情绪类别的情况下,目标对象在心流坐标系下的横坐标与目标对象在当前时刻的专注度正相关。示例性的,仍以专注度为1至100的数值为例,目标对象在心流坐标系下的横坐标x=专注度-100。
[0205]
可以获取目标对象在当前时刻之前第二预置时间段(与当前时刻间隔预置时长的时间段,还第二预置时间段可以与第一预置时间段相同,也可以与第一预置时间段不同)内在各个时刻的情绪类别,例如:可以取当前时刻前5秒的情绪类别,与当前时刻的情绪类别可以组成情绪类别集合。
[0206]
针对情绪类别集合内任一相邻时刻的两个情绪类别,在两个情绪类别一致的情况下,可以确定两个情绪类别的比值为1,否则可以确定两个情绪类别的比值为0。进一步的,可以针对情绪类别集合内各两个相邻时刻的情绪类别的比值的和、及第二预置时间段内情绪类别的总数,可以确定目标对象的情绪变化速率,也即确定目标对象在心流坐标系下的纵坐标。
[0207]
当目标对象在当前时刻的情绪类别为第一象限对应的情绪类别或者第二象限对应的情绪类别的情况下,目标对象在心流坐标系下的纵坐标与情绪类别集合内各两个相邻时刻的情绪类别的比值的和负相关;当目标对象在当前时刻的情绪类别为第三象限对应的情绪类别或者第四象限对应的情绪类别的情况下,目标对象在心流坐标系下的纵坐标与情绪类别集合内各两个相邻时刻的情绪类别的比值的和正相关。
[0208]
示例性的,当目标对象的情绪类别为第一象限对应的情绪类别或者第二象限对应
的情绪类别的情况下,目标对象在心流坐标系下的纵坐标为,第二预置时间段内情绪类别的总数与情绪类别集合内各两个相邻时刻的情绪类别的比值的和做差后,得到的差值。当目标对象的情绪类别为第三象限对应的情绪类别或者第四象限对应的情绪类别的情况下,目标对象在心流坐标系下的纵坐标为,情绪类别集合内各两个相邻时刻的情绪类别的比值的和与第二预置时间段内情绪类别的总数做差后,得到的差值。
[0209]
以第二预置时长为5秒为例,目标对象在当前时刻的情绪类别表征为m0,在当前时刻之前1秒到5秒的情绪类别分别为m1、m2、m3、m4、m5。可以分别确定m0/m1,m1/m2,m2/m3,m3/m4,m4/m5,则当m0为第一象限对应的情绪类别或者第二象限对应的情绪类别的情况下,第二预置时间段内情绪类别的总数为5,则目标对象在心流坐标系下的纵坐标y=-(m0/m1+m1/m2+m2/m3+m3/m4+m4/m5)+5。或者,当m0为第三象限对应的情绪类别或者第四象限对应的情绪类别的情况下,目标对象在心流坐标系下的纵坐标y=(m0/m1+m1/m2+m2/m3+m3/m4+m4/m5)-5。
[0210]
参照图15所示,在得到目标对象当前时刻在心流坐标系下的坐标信息(x1,y1)后,可以将心流标记从前一时刻位置(x0,y0)移动到(x1,y1),并在得到目标对象下一时刻在心流坐标系下的坐标信息(x2,y2)后,可以将心流标记从位置(x1,y1)移动到(x2,y2)。
[0211]
在一个示例中,在得到目标对象在当前时刻在心流坐标系下的坐标信息(x1,y1)后,可以进一步对该坐标信息(x1,y1)进行转换,以将其转化为在展示界面的心流轨迹区域中的坐标信息,进而根据该心流轨迹区域中的坐标信息对心流标记在心流轨迹区域中进行移动,得到目标对象对应的情绪变化轨迹。
[0212]
其中,目标对象在心流轨迹区域中坐标信息的横坐标的绝对值,可以为x1取对数的绝对值,根据目标对象当前情绪类别所在象限,即可得到目标对象在心流轨迹区域中坐标信息的横坐标,例如:当目标对象的当前情绪类别对应第一象限或者第四象限的时候,目标对象在心流轨迹区域中坐标信息的横坐标为x1取对数的绝对值;当目标对象的当前情绪类别对应第二象限或者第三象限的时候,目标对象在心流轨迹区域中坐标信息的横坐标为-(x1取对数的绝对值)。
[0213]
目标对象在心流轨迹区域中坐标信息的纵坐标的绝对值,可以为y值取对数的绝对值,其中y值为预置时段内目标对象在心流坐标系下的纵坐标的均值,该预置时段可以为预设的时段,具体取值不做具体限定,例如:预置时段可以为3秒内,也即可以获取目标对象在当前时刻前1秒和前2秒的纵坐标,与当前y1求均值,得到y值。进一步的,根据目标对象当前情绪类别所在象限,即可得到目标对象在心流轨迹区域中坐标信息的纵坐标,例如:当目标对象的当前情绪类别对应第一象限或者第二象限的时候,目标对象在心流轨迹区域中坐标信息的横坐标为y取对数的绝对值;当目标对象的当前情绪类别对应第三象限或者第四象限的时候,目标对象在心流轨迹区域中坐标信息的横坐标为-(y取对数的绝对值)。
[0214]
根据该心流轨迹区域中的坐标信息对心流标记进行移动,所得到的目标对象对应的情绪变化轨迹,在展示界面中可以更为显著的展示出目标对象的情绪变化。
[0215]
基于本公开实施例提供的脑电数据处理方法,可以通过目标对象在当前时刻的情绪类别及目标对象在当前时刻的专注度,确定目标对象在心流坐标系下的坐标信息,进而根据坐标信息移动心流标记,得到目标对象的情绪变化轨迹,使得用户可以基于该情绪变化轨迹实时获知目标对象的情绪变化情况,以实时基于该情绪变化轨迹对业务进行实时评
估或者实时调整。
[0216]
在其中一个实施例中,情绪变化轨迹中心流标记停留过的位置处展示有能量标记,能量标记的尺寸和/或亮度与能量标记的展示时长负相关。
[0217]
本公开实施例中,心流标记从当前位置移动到下一位置后,可以在当前位置处生成并展示对应的能量标记,该能量标记的尺寸和/或亮度与能量标记的展示时长负相关,也即能量标记随着能量标记的展示时长的增长,尺寸逐渐减小和/或亮度逐渐变暗。
[0218]
参照图5所示,心流轨迹区域中展示的情绪变化轨迹中能量标记的尺寸和亮度不同,展示时间越久的能量标记越暗淡、尺寸越小。基于此,用户可以清楚的获知目标对象在监测时间段内的情绪变化,可以更好的基于目标对象的情绪变化进行业务评估。
[0219]
为使本领域技术人员更好的理解本公开实施例,以下通过具体示例对本公开实施例加以说明。
[0220]
本公开实施例提供的脑电数据处理方法可以应用于教学业务场景,参照图1b所示。在该场景下,学生可以在听课过程中佩戴脑电数据采集设备,授课教师可以基于展示界面中展示的学生的当前情绪状态,确定学生当前的听课状态,进而可以反映出授课教师的授课质量,进而对教学内容或者教学方式做适应性调整,或者还可以基于学生的当前情绪状态,获知学生对当前授课内容的接受程度,有针对性的对学生进行个性化辅导。
[0221]
举例来说,参照图5所示,展示界面中包括监测对象展示区域,该监测对象展示区域展示的是被监测学生列表,该被监测学生列表中可以包括学生的个人信息,监测时长等信息。展示界面中还包括开始控件和结束控件,终端可以响应于针对该开始控件的触发操作,开始基于被监测学生的脑电数据,确定该被监测学生的当前情绪状态,或者终端可以响应于针对该结束控件的触发操作,结束对被监测学生的当前情绪状态的分析和预测。
[0222]
授课教师可以在监测对象展示区域所展示的学生中,选中待查看的目标对象,进一步的终端可以响应于针对该目标对象的选中操作,在展示界面中展示该目标对象的当前情绪状态,包括展示目标对象的脑电数据对应的波形图、在当前时刻的情绪类别、情绪变化轨迹、在当前时刻的专注度、监测期间各情绪类别的占比、脑电数据的脑电成分等当前情绪状。进而授权教师可以基于展示界面中所展示的目标对象的当前情绪状态,确定目标对象当前的听课状态。
[0223]
或者,展示界面中还可以展示全部被监测学生的情绪类别分布图,该情绪类别分布图中可以展示全部被监测学生在同一时刻的情绪类别分布,或者展示全部被监测学生在被监测期间的情绪类别分布,基于该情绪类别分布图,授权教师可以实时评估当前教学内容的质量。
[0224]
示例性的,如果从展示界面中获知学生的总体专注度比较高,整体比较兴奋且轻松,那么可以确定授课老师教学质量比较好;或者,如果从展示界面中获知学生的总体专注度比较低,且比较焦躁或者无聊,那么可以确定授课教师的教学质量可能有待提高。
[0225]
或者,本公开实施例提供的脑电数据处理方法可以应用于游戏业务场景,如果从展示界面中获知玩家的总体专注度比较高,整体比较兴奋且轻松,那么可以代表当前的游戏难度与玩家水平适配,玩家的游戏体验较好;如果从展示界面中获知玩家的总体专注度比较低,且比较焦躁或者无聊,那么可以代表玩家的游戏体验一般,游戏的难度或内容可能有待提高。
[0226]
或者,本公开实施例提供的脑电数据处理方法可以应用于工程安全领域,可以通过展示界面所展示的目标对象的当前情绪状态分析相关操作人员的工作状态,进而可以给与相应的反馈,以保证操作人员的安全。
[0227]
以上领域仅作为本公开实施例应用领域的一种示例,实际上本公开实施例可以应用于任一能够基于用户的情绪进行业务或者操作评估的领域,本公开实施例对此不做具体限定。
[0228]
在一个实施例中,如图1所示,提供了一种脑电数据处理系统,所述系统包括脑电数据采集设备102、数据处理设备104及显示设备106;其中,
[0229]
脑电数据采集102,用于采集目标对象的脑电数据,并将目标对象的脑电数据发送至所述数据处理设备;
[0230]
数据处理设备104,用于对目标对象的脑电数据进行预处理操作,得到目标脑电数据后,根据目标脑电数据确定目标对象的当前情绪状态;
[0231]
显示设备106,用于响应于针对目标对象的查看操作,在展示界面中对目标对象的当前情绪状态进行相应展示。
[0232]
本公开实施例中,脑电数据采集设备102、数据处理设备104及显示设备106之间的数据交互及对脑电数据的处理过程与前述实施例对脑电数据的处理过程类似,本公开实施例在此对此不再赘述,具体参照前述实施例的相关描述即可。
[0233]
基于本公开实施例提供的脑电数据处理系统,可以通过目标对象的脑电数据实时获取目标对象的当前情绪状态并进行相应展示,以使得用户可以实时获取目标对象的情绪状态,进而通过目标对象的情绪状态实时对业务进行评估,由于情绪状态可以更为真实的表征用户的感受,不受目标对象主观意识的影响,不仅可以提高业务评估精度,且使得业务评估的实时性更好。
[0234]
应该理解的是,虽然如上所述的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示,但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明,这些步骤的执行并没有严格的顺序限制,这些步骤可以以其它的顺序执行。而且,如上所述的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段,这些步骤或者阶段并不必然是在同一时刻执行完成,而是可以在不同的时刻执行,这些步骤或者阶段的执行顺序也不必然是依次进行,而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0235]
基于同样的发明构思,本发明实施例还提供了一种用于实现上述所涉及的脑电数据处理方法的脑电数据处理装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似,故下面所提供的一个或多个脑电数据处理装置实施例中的具体限定可以参见上文中对于脑电数据处理方法的限定,在此不再赘述。
[0236]
在一个实施例中,如图16所示,提供了一种脑电数据处理装置,包括:获取模块1602、预处理模块1604、第一确定模块1606和展示模块1608,其中:
[0237]
获取模块1602,用于获取目标对象的脑电数据;
[0238]
预处理模块1604,用于对所述脑电数据进行预处理操作,得到目标脑电数据;
[0239]
第一确定模块1606,用于根据所述目标脑电数据,确定所述目标对象的当前情绪状态,所述当前情绪状态为与所述目标对象的情绪关联的状态数据;
[0240]
展示模块1608,用于在展示界面中对所述目标对象的所述当前情绪状态进行相应展示。
[0241]
上述脑电数据处理装置,可以在获取目标对象的脑电数据后,对脑电数据进行预处理操作,得到目标脑电数据,并根据目标脑电数据,确定目标对象的当前情绪状态,在展示界面中对目标对象的当前情绪状态进行相应展示,其中,当前情绪状态为与目标对象的情绪关联的状态数据。基于本公开实施例提供的脑电数据处理装置,可以通过目标对象的脑电数据实时获取目标对象的当前情绪状态并进行相应展示,以使得用户可以实时获取目标对象的情绪状态,进而通过目标对象的情绪状态实时对业务进行评估,由于情绪状态可以更为真实的表征用户的感受,不受目标对象主观意识的影响,不仅可以提高业务评估精度,且使得业务评估的实时性更好。
[0242]
在其中一个实施例中,所述当前情绪状态包括情绪类别、情绪变化轨迹、专注度、监测期间各情绪类别的占比、所述脑电数据的脑电成分中的至少一项。
[0243]
在其中一个实施例中,所述当前情绪状态包括情绪类别,所述第一确定模块1606还用于:
[0244]
对所述目标脑电数据进行特征提取操作,得到第一脑电特征和第二脑电特征,其中,所述第一脑电特征为所述目标脑电数据的时域特征,所述第二脑电特征为所述目标脑电数据的频域特征;
[0245]
采用情绪预测模型对所述第一脑电特征及所述第二脑电特征进行情绪预测处理,得到所述目标对象在当前时刻的情绪类别。
[0246]
在其中一个实施例中,所述装置还包括:
[0247]
第二确定模块,用于针对所述目标脑电数据的任一通道,确定所述通道对应的脑电数据与眼电模板的相似度;
[0248]
去伪迹模块,用于根据各所述通道对应的脑电数据与所述眼电模板的相似度,对所述目标脑电数据进行眼电去伪迹处理,得到去伪迹的目标脑电数据。
[0249]
在其中一个实施例中,所述装置还包括:
[0250]
采集模块,用于采集多个样本脑电数据,所述样本脑电数据为采样对象眨眼情况下采集的脑电数据;
[0251]
融合模块,用于对所述多个样本脑电数据进行融合处理,得到目标样本脑电数据;
[0252]
分析模块,用于根据所述目标样本脑电数据进行成分分析,得到所述目标样本脑电数据对应的脑电成分;
[0253]
提取模块,用于对所述脑电成分进行眼电成分提取,得到所述眼电模板。
[0254]
在其中一个实施例中,所述当前情绪状态还包括专注度,所述第一确定模块1606还用于:
[0255]
对所述目标脑电数据各通道内的数据进行窗口划分,得到多个窗口;
[0256]
从所述多个窗口内确定眨眼窗口,其中,所述眨眼窗口内的脑电数据的标准差大于标准差阈值;
[0257]
根据所述眨眼窗口的总数与所述目标脑电数据的通道总数,确定所述目标对象在当前时刻的专注度。
[0258]
在其中一个实施例中,所述第一确定模块还用于:
[0259]
根据所述眨眼窗口的总数与所述目标脑电数据的通道总数,确定所述目标对象在当前时刻的初始专注度;
[0260]
对所述目标对象在第一预置时间段内的历史专注度及所述初始专注度进行平滑处理,得到所述目标对象在当前时刻的专注度。
[0261]
在其中一个实施例中,所述当前情绪状态还包括情绪变化轨迹,所述第一确定模块1606还用于:
[0262]
根据所述目标对象在当前时刻的情绪类别及所述目标对象在当前时刻的专注度,确定所述目标对象在心流坐标系下的坐标信息,所述心流坐标系的横坐标用于表征所述目标对象的专注度,所述心流坐标系的纵坐标用于表征所述目标对象的情绪变化速率;
[0263]
在所述展示界面的心流轨迹区域中,根据所述坐标信息对心流标记进行移动,根据所述心流标记的移动轨迹,得到所述目标对象对应的情绪变化轨迹;
[0264]
其中,所述心流轨迹区域包括多个展示区域,各所述展示区域分别对应不同的情绪类别。
[0265]
在其中一个实施例中,所述心流轨迹区域通过所述心流坐标系的四个象限,划分得到四个展示区域,所述四个展示区域包括:所述心流坐标系的第一象限对应第一情绪和第一展示区域、所述心流坐标系的第二象限对应第二情绪和第二展示区域、所述心流坐标系的第三象限对应第三情绪和第三展示区域、及所述心流坐标系的第四象限对应第四情绪和第四展示区域。
[0266]
在其中一个实施例中,所述第一确定模块1606还用于:
[0267]
根据所述目标对象在当前时刻的情绪类别及所述目标对象在当前时刻的专注度,确定所述目标对象在所述心流坐标系下的横坐标;
[0268]
根据所述目标对象在第二预置时间段内相邻时刻的两个情绪类别的差异,确定所述目标对象在所述心流坐标系下的纵坐标。
[0269]
在其中一个实施例中,所述情绪变化轨迹中所述心流标记停留过的位置处展示有能量标记,所述能量标记的尺寸和/或亮度与所述能量标记的展示时长负相关。
[0270]
上述脑电数据处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中,也可以以软件形式存储于计算机设备中的存储器中,以便于处理器调用执行以上各个模块对应的操作。
[0271]
在一个实施例中,提供了一种计算机设备,该计算机设备可以是终端,其内部结构图可以如图17所示。该计算机设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中,该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的通信接口用于与外部的终端进行有线或无线方式的通信,无线方式可通过wifi、移动蜂窝网络、nfc(近场通信)或其他技术实现。该计算机程序被处理器执行时以实现一种脑电数据处理方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏,该计算机设备的输入装置可以是显示屏上覆盖的触摸层,也可以是计算机设备外壳上设置的按键、轨迹球或触控板,还可以是外接的键盘、触控板或鼠标等。
[0272]
本领域技术人员可以理解,图17中示出的结构,仅仅是与本发明方案相关的部分
结构的框图,并不构成对本发明方案所应用于其上的计算机设备的限定,具体的计算机设备可以包括比图中所示更多或更少的部件,或者组合某些部件,或者具有不同的部件布置。
[0273]
在一个实施例中,还提供了一种计算机设备,包括存储器和处理器,存储器中存储有计算机程序,该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0274]
在一个实施例中,提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0275]
在一个实施例中,提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0276]
需要说明的是,本发明所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
[0277]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程,是可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一非易失性计算机可读取存储介质中,该计算机程序在执行时,可包括如上述各方法的实施例的流程。其中,本发明所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用,均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory,rom)、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器(reram)、磁变存储器(magnetoresistive random access memory,mram)、铁电存储器(ferroelectric random access memory,fram)、相变存储器(phase change memory,pcm)、石墨烯存储器等。易失性存储器可包括随机存取存储器(random access memory,ram)或外部高速缓冲存储器等。作为说明而非局限,ram可以是多种形式,比如静态随机存取存储器(static random access memory,sram)或动态随机存取存储器(dynamic random access memory,dram)等。本发明所提供的各实施例中所涉及的数据库可包括关系型数据库和非关系型数据库中至少一种。非关系型数据库可包括基于区块链的分布式数据库等,不限于此。本发明所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等,不限于此。
[0278]
本说明书中各个实施例均采用递进的方式描述,每个实施例重点说明的都是与其它实施例的不同之处,各个实施例之间相同或相似的部分相互参见即可。对于系统实施例而言,由于其与方法实施例基本对应,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
[0279]
可能以许多方式来实现本发明的方法和系统。例如,可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法和系统。用于所述方法的步骤的上述顺序仅是为了进行说明,本发明的方法的步骤不限于以上具体描述的顺序,除非以其它方式特别说明。此外,在一些实施例中,还可将本发明实施为记录在记录介质中的程序,这些程序包括用于实现根据本发明的方法的机器可读指令。因而,本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。
[0280]
本发明的描述是为了示例和描述起见而给出的,而并不是无遗漏的或者将本发明限于所公开的形式。很多修改和变化对于本领域的普通技术人员而言是显然的。选择和描述实施例是为了更好说明本发明的原理和实际应用,并且使本领域的普通技术人员能够理
解本发明从而设计适于特定用途的带有各种修改的各种实施例。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1