一种采集和识别情绪数据的方法、系统、装置和介质与流程

1.本技术涉及数据处理技术领域，特别是涉及一种采集和识别情绪数据的方法、系统、装置和介质。


背景技术：

2.随着人工智能技术的快速发展，其应用越来越广泛，尤其适用于心理治疗上。然而通过人工智能技术监测人类情绪变化，需要大量情绪样本数据来训练和优化模型参数。
3.人类情绪受外界因素和当前心理状态的影响，复杂多变，不好捕捉，很难采集。情绪样本采集的困难一方面是人类情绪触发与多种有关因素，心理因素难以把握，触发条件也不好把控；另一方面是外部采集环境不可控，如视频采集易受外部光源变化和周边物体反光的影响等。此外，对采样到的情绪样本进行分类时需要专业知识，人工成本也比较高。
4.因此，在相关技术中缺少经标定的、与情绪相关的可用于训练深度学习模型的人脸视频特征库和相关生理数据，至今，人工智能技术还未能在人员情绪分析检测方面取得突破。
5.目前针对相关技术中缺少对情绪数据的采集分析的问题，尚未提出有效的解决方案。


技术实现要素：

6.本技术实施例提供了一种采集和识别情绪数据的方法、系统、装置和介质，以至少解决相关技术中缺少对情绪数据的采集分析的问题。
7.第一方面，本技术实施例提供了一种采集和识别情绪数据的方法，所述方法包括：
8.通过采集设备获取被采集人员的生理数据和脸部振动数据，通过时间采样标签将所述脸部振动数据与所述生理数据进行同步，并对同步后的脸部振动数据进行不同标签的关联标注，建立关联索引信息；
9.对标注后的脸部振动数据进行特征提取，分别生成脸部振动频次热度图和脸部振动幅度热度图，通过自定义卷积神经网络分别对所述脸部振动频次热度图和所述脸部振动幅度热度图进行数据处理，输出得到不同标签的概率分布值；
10.将所述不同标签的概率分布值输入自定义综合决策机，通过决策机对情绪标签向量进行分类识别，得到情绪识别结果。
11.在其中一些实施例中，在通过采集设备获取被采集人员的生理数据和脸部振动数据之前，所述方法包括：
12.获取能触发不同情绪的视频流数据，通过所述视频流数据触发被采集人员的情绪。
13.在其中一些实施例中，所述通过采集设备获取被采集人员的生理数据和脸部振动数据包括：
14.通过头部位置传感器和脑电波传感器分别获取被采集人员受情绪触发后的头部
全局运动参数和脑电波时域信号，以及通过腕带传感器获取心跳、脉搏时域数据，其中，获取的生理参数数据均带有采样时间信息；
15.还通过前端摄像机获取被采集人员在观看视频时的人脸图像数据，具体包括：摄像时采用940nm波段光源进行补光，并通过摄像机内部滤波在940nm波段附近采集图像；通过摄像机内置视频预处理软件对采集到的人脸图像数据进行双边滤波、人脸区域检测、帧差累积预处理，获取人脸区域微位移数据。
16.在其中一些实施例中，所述索引信息包括：触发不同情绪的视频流数据、被采集人员的观看视频、视频预处理数据、传感器获取的实时数据和情绪反馈类别。
17.在其中一些实施例中，对所述情绪类别的评定包括：
18.通过评估测试题评定被采集人员观看的触发流视频的情绪类别是否被有效触发，对索引信息的情绪类别信息进行交叉验证；
19.并通过交叉验证后的情绪类别标签数据训练决策机中的分类器。
20.在其中一些实施例中，通过自定义卷积神经网络分别对所述脸部振动频次热度图和所述脸部振动幅度热度图进行数据处理包括：
21.将所述脸部振动频次热度图和所述脸部振动幅度热度图分别输入到四个卷积层和四个池化层中，经扁平化处理得到两个512维度向量，其中，relu为激活函数，池化层采用最大池化函数；
22.将所述两个512维度向量串联后输入两个全连接层及softmax层中，输出得到10维度的概率分布值。
23.在其中一些实施例中，通过决策机对情绪标签向量进行分类识别包括：
24.通过多数投票集成机制对决策机中各个分类器的分类结果进行最终决策，具体包括：每个分类器进行0或1投票，0表示消极情绪，1表示积极情绪，当决策机输出结果大于或等于3分时，最终分类结果为积极，反之，当输出结果为0到2分时，最后分类结果为消极。
25.第二方面，本技术实施例提供了一种采集和识别情绪数据的系统，所述系统包括：
26.采集标注模块，用于通过采集设备获取被采集人员的生理数据和脸部振动数据，通过时间采样标签将所述脸部振动数据与所述生理数据进行同步，并对同步后的脸部振动数据进行不同标签的关联标注，建立关联索引信息；
27.特征提取模块，用于对标注后的脸部振动数据进行特征提取，分别生成脸部振动频次热度图和脸部振动幅度热度图，通过自定义卷积神经网络分别对所述脸部振动频次热度图和所述脸部振动幅度热度图进行数据处理，输出得到不同标签的概率分布值；
28.分类识别模块，用于将所述不同标签的概率分布值输入自定义综合决策机，通过决策机对情绪标签向量进行分类识别，得到情绪识别结果。
29.第三方面，本技术实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的采集和识别情绪数据的方法。
30.第四方面，本技术实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的采集和识别情绪数据的方法。
31.相比于相关技术，本技术实施例提供的采集和识别情绪数据的方法，通过采集设备获取被采集人员的生理数据和脸部振动数据，通过时间采样标签将脸部振动数据与生理
数据进行同步，并对同步后的脸部振动数据进行不同标签的关联标注，建立关联索引信息；对标注后的脸部振动数据进行特征提取，分别生成脸部振动频次热度图和脸部振动幅度热度图，通过自定义卷积神经网络分别对脸部振动频次热度图和脸部振动幅度热度图进行数据处理，输出得到不同标签的概率分布值；将不同标签的概率分布值输入自定义综合决策机，通过决策机对情绪标签向量进行分类识别，得到情绪识别结果。
32.本技术通过一套可触发观摩主体情绪的音视频材料，采集记录主体头肩部活动的影像以及传感器发送的体温、脉搏、心率变化等生理和头部位置信息，并对获取的数据信息进行自动分类标注；进标注后的数据包含多类情绪数据，对其进行特征提取和神经网络数据处理，能得到不同的情绪标签分类数据，最后通过本技术设计的综合决策机对情绪标签数据进行分类识别，得到最后的识别结果，从而解决相关技术中缺少对情绪数据的采集分析的问题，实现对情绪数据的采集和检测识别。
附图说明
33.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
34.图1是根据本技术实施例的采集和识别情绪数据的方法的流程图；
35.图2是根据本技术实施例的采集和识别情绪数据的系统的结构框图；
36.图3是根据本技术实施例的电子设备的内部结构示意图。
具体实施方式
37.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。基于本技术提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本技术公开的内容相关的本领域的普通技术人员而言，在本技术揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本技术公开的内容不充分。
38.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本技术所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
39.除非另作定义，本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连
接，而是可以包括电气的连接，不管是直接的还是间接的。本技术所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
40.本实施例提供了一种采集和识别情绪数据的方法，图1是根据本技术实施例的采集和识别情绪数据的方法的流程图，如图1所示，该流程包括如下步骤：
41.步骤s101，通过采集设备获取被采集人员的生理数据和脸部振动数据，通过时间采样标签将脸部振动数据与生理数据进行同步，并对同步后的脸部振动数据进行不同标签的关联标注，建立关联索引信息；
42.优选的，在通过采集设备获取被采集人员的生理数据和脸部振动数据之前，在被采集人员的手腕上戴智能手环、头部带上脑电波电极带及头部定位器。
43.接着，在能触发不同情绪的片源库中选取视频流数据，通过该视频流数据能相应的触发被采集人员的情绪。其中，片源库按触发条件可分为悲伤、愤怒、喜悦、压抑、乏味、恐惧等，可随机挑选；片源长度为3-10分钟。
44.上述准备完毕后，被采集人员深呼吸冷静1-3分钟后，播放挑选的视频，通过系统应用软件开始采样，其中，主机应用软件包括：情绪数据采集交互管理软件、数据库管理软件、设备配置管理工具、数据训练评估工具、情绪ai分析模型库；
45.具体采样过程包括：
46.1、通过头部位置传感器和脑电波传感器分别获取被采集人员在观看视频后情绪触发的头部全局运动参数和脑电波时域信号，其中，头部位置定位器采集到的头部全局运动参数，用于滤除面部肌肉群应头部运动而产生的全局运动参数，减少对脑电波的干扰；主机通过蓝牙接口与脑电波传感器进行通信，实时读取脑电波时域信号后，还会对其进行特征加工统计处理；
47.2、通过腕带传感器获取心跳、脉搏等时域数据，主机通过蓝牙接口与腕带传感器进行通信，实时读取相关数据并对其进行特征加工统计，其中，获取的原始数据：脑电波时域信号、心跳、脉搏等时域数据均存放于流式数据库，处理后的特征数据存放于sql关系型数据库；
48.3、在播放视频过程中，通过前端摄像机获取被采集人员在观看视频时的人脸图像数据，将该数据编码压缩存放于nvr中。为避免视频画面光源对人脸照射引起的光强变化而产生的干扰信息，本实施例中，在摄像时会采用940nm波段光源进行补光，并通过摄像机内部滤波在940nm波段附近采集图像，从而避开图像画面闪烁而产生的干扰信号；
49.4、通过摄像机内置视频预处理软件对采集到的原始人脸图像数据进行双边滤波、人脸区域检测、帧差累积预处理，获取人脸区域微位移数据；
50.5、将预处理后的数据和传感器获取的数据均存放于主机硬盘中。
51.通过上述过程即可获取被采集人员的生理数据和脸部振动数据。
52.然后，通过时间采样标签将脸部振动数据与生理数据进行同步，并对同步后的脸部振动数据进行不同标签的关联标注，建立关联索引信息，生成的索引信息存入树型数据库，其支持hash map数据类型，支持快速检索。需要说明的是，索引信息包括：触发不同情绪的视频流数据、被采集人员的观看视频、视频预处理数据、传感器获取的实时数据和情绪反
馈类别等数据位置。
53.需要说明的是，本技术实施例中的存储设备包括nvr图像及音频存储设备，本实施例中采用的主机型号为intel 12代i5以上，英伟达显卡geforce rtx2070，内存32g，带蓝牙接口卡，千兆网卡，双路hdmi，系统为window10os。此外，采用的摄像机为200万像素以上彩色双波段自动对焦摄像机，其支持电动同步变焦，照明角度30
°
～60
°
连续可调。
54.步骤s102，对标注后的脸部振动数据进行特征提取，分别生成脸部振动频次热度图和脸部振动幅度热度图，通过自定义卷积神经网络分别对脸部振动频次热度图和脸部振动幅度热度图进行数据处理，输出得到不同标签的概率分布值；
55.优选的，本实施例中对标注后的脸部振动数据进行特征提取，分别生成脸部振动频次热度图和脸部振动幅度热度图，图像分辨率是256x256。
56.然后将脸部振动频次热度图和脸部振动幅度热度图分别输入到四个卷积层和四个池化层中，经扁平化处理得到两个512维度向量，具体如下：
57.卷积层1：卷积核5x5，输入图像256x 256，输出图像256x 256x 32；
58.池化层1:4:1，输入256x 256x 32，输出64x 64x 32；
59.卷积层2:卷积核3x3，输入图像64x 64x 32，输出图像64x 64x 64；
60.池化层2:4:1，输入64x 64x 64，输出16x16 x 64；
61.卷积层3:卷积核3x3，输入16x16 x 64，输出16x16 x 256；
62.池化层3:4:1，输入16x 16x 256，输出4x 4x 256；
63.卷积层4:卷积核3x3，输入4x 4x 256，输出4x 4x 512；
64.池化层4:4:1，输入4x 4x 512，输出1x 1x 512。
65.其中，relu为激活函数，池化层采用最大池化函数；
66.最后将获取的两个512维度向量串联后输入两个全连接层及softmax层中，输出得到10维度的概率分布值，具体如下：
67.全连接层1：输入1024维度，输出256维度；
68.全连接层2：输入256维度，输出10维度；
69.softmax:输入10维度向量，输出10维度概率分布；
70.依据最大概率输出，确认情绪类别。
71.步骤s103，将不同标签的概率分布值输入自定义综合决策机，通过决策机对情绪标签向量进行分类识别，得到情绪识别结果。
72.优选的，本实施例中通过多数投票集成机制对决策机中各个分类器的分类结果进行最终决策，具体包括：每个分类器进行0或1投票，0表示消极情绪，1表示积极情绪，当决策机输出结果大于或等于3分时，最终分类结果为积极，反之，当输出结果为0到2分时，最后分类结果为消极。
73.优选的，本实施中采用五个分类器分别包括支持向量机、判别分析、k近邻、决策树、随机森林组合成决策机，并通过贝叶斯对分类器的超参数进行优化，以最大限度地提高准确性。本实施例采用组合分类器的方法进行分类决策可提高整体分类精度的可靠性。
74.通过上述步骤s101至步骤s103，本实施例通过一套可触发观摩主体情绪的音视频材料，采集记录主体头肩部活动的影像以及传感器发送的体温、脉搏、心率变化等生理和头部位置信息，并对获取的数据信息进行自动分类标注；进标注后的数据包含多类情绪数据，
对其进行特征提取和神经网络数据处理，能得到不同的情绪标签分类数据，最后通过本技术设计的综合决策机对情绪标签数据进行分类识别，得到最后的识别结果，从而解决相关技术中缺少对情绪数据的采集分析的问题，实现对情绪数据的采集和检测识别。
75.在其中一些实施例中，通过主观评估测试题，如选择题和文字填空，评定被采集人员观看的触发流视频的情绪类别是否被有效触发，通过评估结果可对索引信息的情绪类别信息进行交叉验证；交叉验证后的情绪类别标签数据可用于训练决策机中的各个分类器。能有效提高数据的标签数据的可靠性，提高情绪分类的准确性。
76.需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
77.本实施例还提供了一种采集和识别情绪数据的系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
78.图2是根据本技术实施例的采集和识别情绪数据的系统的结构框图，如图2所示，该系统包括采集标注模块21、特征提取模块22和分类识别模块23：
79.采集标注模块21，用于通过采集设备获取被采集人员的生理数据和脸部振动数据，通过时间采样标签将脸部振动数据与生理数据进行同步，并对同步后的脸部振动数据进行不同标签的关联标注，建立关联索引信息；特征提取模块22，用于对标注后的脸部振动数据进行特征提取，分别生成脸部振动频次热度图和脸部振动幅度热度图，通过自定义卷积神经网络分别对脸部振动频次热度图和脸部振动幅度热度图进行数据处理，输出得到不同标签的概率分布值；分类识别模块23，用于将不同标签的概率分布值输入自定义综合决策机，通过决策机对情绪标签向量进行分类识别，得到情绪识别结果。
80.通过上述系统，本实施例通过一套可触发观摩主体情绪的音视频材料，采集记录主体头肩部活动的影像以及传感器发送的体温、脉搏、心率变化等生理和头部位置信息，并对获取的数据信息进行自动分类标注；进标注后的数据包含多类情绪数据，对其进行特征提取和神经网络数据处理，能得到不同的情绪标签分类数据，最后通过本技术设计的综合决策机对情绪标签数据进行分类识别，得到最后的识别结果，从而解决相关技术中缺少对情绪数据的采集分析的问题，实现对情绪数据的采集和检测识别。
81.需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
82.此外，需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
83.本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
84.可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该5传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
85.另外，结合上述实施例中的采集和识别情绪数据的方法，本技术实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种采集和识别情绪数据的方法。
86.在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端。该0计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机
87.程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连5接通信。该计算机程序被处理器执行时以实现一种采集和识别情绪数据的方法。
88.该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
89.在一个实施例中，图3是根据本技术实施例的电子设备的内部结构示意图，0如图3所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图3所示。该电子设备包括通过内部总线连接的处理器、网络接口、内存储器和非易失性存储器，其中，该非易失性存储器存储有操作系统、计算机程序和数据库。处理器用于提供计算和控制能力，网络接口用于与外部的终端
90.通过网络连接通信，内存储器用于为操作系统和计算机程序的运行提供环境，5计算机程序被处理器执行时以实现一种采集和识别情绪数据的方法，数据库用于存储数据。
91.本领域技术人员可以理解，图3中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的电子设备的限定，
92.具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，0或者具有不同的部件布置。
93.本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)或者外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)等。
94.本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
95.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来
说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。