一种基于量子CNN-LSTM的情绪识别方法与流程

一种基于量子cnn-lstm的情绪识别方法
技术领域
1.本发明涉及量子计算技术领域，具体涉及一种基于量子cnn-lstm的情绪识别方法。


背景技术：

2.如何有效获取情绪信号，对个人情绪状态进行客观、准确地解读，使智能信息系统具备更好的感知和决策能力，是智能信息处理中的热点问题。人类情绪变化的本质是大脑皮层上的高级神经活动。近年来，现代神经影像技术的发展建立起了主观世界与客观世界的桥梁。其中，脑电(eeg)以其高时间分辨率和便携实用的特点，已成为研究大脑功能以及设计脑机接口的主流工具。研究基于脑电的情绪识别方法，在疾病治疗、脑机接口、信息评估等领域具有很好的理论和应用价值。
3.基于经典的cnn-lstm算法是人工智能领域的研究热点，被应用在多种应用场景，如生物医药、材料、神经科学等，然而这些模型的运行都需要消耗大量的计算资源。在过去算法运行的计算资源主要由电子集成电路制造的芯片提供，而随着电子遂穿效应对制程接近纳米极限后的制约，算力很难再持续提升。量子计算芯片是对电子芯片计算方式的补充，然而经典的cnn-lstm算法在量子芯片上的运行无法按照其在电子芯片上的方式进行处理。
4.虽然情绪识别问题基于cnn-lstm模型取得了不错的性能，但是cnn-lstm算法中的某一模块运算具有高度并行性并消耗大量计算资源，使量子芯片和电子芯片不能能够很好地协同工作。


技术实现要素：

5.本发明是为了解决上述问题而进行的，目的在于提供一种基于量子cnn-lstm的情绪识别方法。
6.本发明提供了一种基于量子cnn-lstm的情绪识别方法，具有这样的特征，包括：将脑电波数据进行预处理后，编码得到对应的脑电波编码量子态；将脑电波编码量子态输入至量子cnn-lstm中，得到识别的情绪分类信息。
7.在本发明提供的方法中，还具有这样的特征：其中，量子cnn用于提取脑电波编码量子态中的脑电特征，从而得到提取特征后的脑电处理矩阵；；量子lstm用于提取脑电处理矩阵的时序特征，测量后得到识别的情绪分类信息。
8.在本发明提供的方法中，还具有这样的特征：其中，量子cnn包括量子卷积模块和量子池化模块。量子卷积模块包括参数化泡利旋转门；量子池化模块包括参数化泡利旋转门与受控门。
9.在本发明提供的方法中，还具有这样的特征：其中，量子lstm包括第一量子线路、第二量子线路、第三量子线路及第四量子线路，第一量子线路用于遗忘细胞状态的先前脑电特征；第二量子线路用于输入当前的脑电特征；第三量子线路用于更新细胞状态当前的所有脑电特征；第四量子线路用于确定先前隐藏状态下需要保留的脑电特征。
10.在本发明提供的方法中，还具有这样的特征：其中，第一量子线路的表达式如下：
11.f
t
*c
t-1
＝σ'(vqc1(x
t
+h
t-1
))*c
t-1
12.f
t
为遗忘门，c
t-1
为先前的细胞状态，σ'为量子非线性激活函数，vqc1为第一变分量子线路，x
t
为t时刻的脑电特征，h
t-1
为t-1时刻的脑电特征生成的隐藏状态。
13.在本发明提供的方法中，还具有这样的特征：其中，第二量子线路的表达式如下：
14.i
t
*c
t
'＝σ'(vqc2(x
t
+h
t-1
))*c
t
'
15.i
t
为输入门，c
t
'为细胞候选门，σ'为量子非线性激活函数，vqc2为第二变分量子线路。
16.在本发明提供的方法中，还具有这样的特征：其中，第三量子线路的表达式如下：
17.c
t
＝f
t
*c
t-1
+i
t
*c
t
'
18.c
t
为当前细胞状态。
19.在本发明提供的方法中，还具有这样的特征：其中，第四量子线路的表达式如下：
20.o
t
＝σ'(vqc3(x
t
+h
t-1
))
21.h
t
＝o
t
*tanh'(c
t
)
22.o
t
为输出门，h
t
为先前隐藏状态下需要保留的脑电特征。
23.在本发明提供的方法中，还具有这样的特征：其中，σ'及tanh'对应的非线性输出线路的初始态通过测量变分量子线路输出的概率幅得到。
24.在本发明提供的方法中，还具有这样的特征：其中，设测量概率密度幅的预定次数为k，测量得到|0》的次数为ko，|1》的次数为k1，
25.若ko》k1，则非线性输出线路的初始态制备在|0》态，且经过控制旋转门后，量子态由初始态|0》演化为输出态
26.若ko《k1，则非线性输出线路的初始态制备在|1》态，且经过控制旋转门后，量子态由初始态|1》演化为输出态
27.若ko＝k1，控制旋转y门的相位额外平移π/2，则非线性输出线路的初始态可制备为|0》态或|1》态，非线性输出线路的输出态为|0》或|1》，且输出态为|0》或|1》的概率相等。
28.发明的作用与效果
29.根据本发明所涉及的基于量子cnn-lstm的情绪识别方法，该方法通过将脑电波数据编码为脑电波编码量子态，并输入量子cnn-lstm中，输出识别的情绪分类信息。因为该方法将脑电波编码量子态输入至量子cnn中，得到卷积、池化后提取到的脑电处理矩阵。再通过量子lstm提取脑电处理矩阵中的时序特征，经测量后输出识别的情绪分类信息，所以，本发明提出的基于量子cnn-lstm相比较经典的cnn-lstm，可以准确提取脑电特征，解决cnn-lstm中某一模块运算具有高度并行性并消耗大量计算资源的问题，并减少了参数量，使量子芯片和电子芯片能能够很好地协同工作。
附图说明
30.图1是本发明的实施例中基于量子cnn-lstm的情绪识别方法的总流程图；
31.图2是本发明的实施例中获取脑电波编码量子态的流程图；
32.图3是本发明的实施例中量子cnn的量子卷积模块的结构示意图；
33.图4是本发明的实施例中量子cnn的量子池化模块的结构示意图；
34.图5是本发明的实施例中量子lstm的整体结构示意图；
35.图6是本发明的实施例中量子lstm中映射权重与数据量子态的结构示意图；
36.图7是本发明的实施例中量子lstm中映射非线性激活函数的结构示意图；
37.图8是本发明的实施例中量子lstm中映射数据量子态相乘的结构示意图；
38.图9是本发明的实施例中量子lstm中映射数据量子态相加的结构示意图。
具体实施方式
39.为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，以下结合实施例及附图对本发明基于量子cnn-lstm的情绪识别方法作具体阐述。
40.《实施例》
41.图1是本发明的实施例中基于量子cnn-lstm的情绪识别方法的总流程图。
42.如图1所示，本发明的实施例提供的基于量子cnn-lstm的情绪识别方法包括如下步骤：
43.步骤s1，将脑电波数据进行预处理后，编码得到对应的脑电波编码量子态。
44.本实施例中，脑电波数据来自deap数据集，该数据集记录了32名参与者在观看40段音乐视频时的脑电波信号和外周生理信号，且该数据集包含32个通道脑电图信号和8个通道外周生理信号。本实施例中，将脑电图信号用于情绪识别，并消除外周生理信号，脑电图信号以512hz采样，降采样至128hz。
45.图2是本发明的实施例中获取脑电波编码量子态的流程图。
46.如图2所示，将脑电波信号编码为对应的脑电波编码量子态的过程包括如下步骤：
47.步骤s1-1，把长度为n的脑电波数据分段，每段长度为m的数据；
48.步骤s1-2，将长度为m的数据转换成m
×
m(其中m为2
qubit
，qubit为qutorch量子线路的比特数)的特征矩阵u1；
49.步骤s1-3，将矩阵u1的转置乘以u1(即)得到一个m
×
m的gram半正定矩阵；
50.步骤s1-4，将gram半正定矩阵带入encoding函数(encoding可以将m
×
m的gram半正定矩阵转换为m
×
m的量子态密度矩阵)得到脑电波序列对应的量子态数据，即脑电波编码量子态。
51.步骤s2，将步骤s1得到的脑电波编码量子态输入至构建好的量子cnn中进行脑电特征提取，得到提取特征后的脑电处理矩阵。
52.本实施例中，量子cnn包括量子卷积模块与量子池化模块，量子cnn用于对输入的脑电波编码量子态(m
×
m)进行特征提取，得到脑电波处理矩阵。
53.图3是本发明的实施例中量子cnn的量子卷积模块的结构示意图；图4是本发明的实施例中量子cnn的量子池化模块的结构示意图。
54.如图3-4所示，量子卷积模块包括参数化泡利旋转门，量子池化模块包括参数化泡
利旋转门与受控门。参数化的泡利旋转门作为神经网络的可学习参数，受控门用于量子态纠错，从而提取脑电特征。其中，参数化量子线路(量子cnn)部分可采用量子卷积核和量子池化核，即量子cnn可为全量子也可为量子-经典混合，同量子卷积模块与量子池化模块。
55.如图3所示，rx、ry、rz各自代表泡利旋转门对应的x旋转门、y旋转门、z旋转门，θ代表旋转角、表旋转角、张量积运算符。量子卷积模块中，输入为脑电波编码量子态，输出为量子卷积操作后的脑电波量子态。
56.如图4所示，量子池化模块中，输入为量子卷积操作后的脑电波量子态，经单比特泡利旋转、多比特泡利旋转后，输出量子池化操作后的脑电波量子态(脑电处理矩阵)。
57.步骤s3，将步骤s2输出的脑电处理矩阵输入至量子lstm中提取脑电波时序特征，测量后得到识别的情绪分类信息。
58.图5是本发明的实施例中量子lstm的整体结构示意图。
59.如图5所示，本发明的实施例中量子lstm包括第一量子线路、第二量子线路、第三量子线路及第四量子线路。
60.其中，第一量子线路用于遗忘细胞状态的先前脑电波特征，该第一量子线路的表达式如下：
61.f
t
*c
t-1
＝σ'(vqc1(x
t
+h
t-1
))*c
t-1
62.f
t
为遗忘门，c
t-1
为先前的细胞状态，σ'为量子非线性激活函数，vqc1为第一变分量子线路，x
t
为t时刻的脑电波特征，h
t-1
为t-1时刻的脑电波特征生成的隐藏状态。其中，输入态可写为其对应的所有量子比特的态的直积形式，具体如下：
[0063][0064][0065][0066]
图6是本发明的实施例的量子lstm中映射权重与数据量子态的结构示意图。
[0067]
如图6所示，以vqc1的一个输入态|x》为例，映射权重与量子态|x》相乘。
[0068]
本实施例中，对于一个输入态|x》所在的vqc1(输入线路，下同vqc2至vqc4)，增加一条相应的权重输出线路，该权重输出线路的初始量子态被制备为|0》态，并由输入线路控制该权重输出线路。权重的相乘通过一个受控旋转y(cry(θ))门进行操作，cry(θ)的矩阵可以表示为
[0069][0070]
参见图5，本实施例中输入控制线路为|x
t
》和|h
t-1
》的融合态，初始态|x
t
》及|h
t-1
》分别对应t时刻的脑电特征x
t
及t-1时刻生成的隐藏状态|h
t-1
》。其中，(x
t
、h
t-1
∈{0、1})，当
x
t
、h
t-1
＝0时，权重输出线路的旋转y门不执行操作，即|0》
→
|0》。当x
t
、h
t-1
＝1时，权重输出线路的旋转y门对|0》态进行旋转操作，可设置旋转的角度为-2w，w即为相乘的权重，则经过cry(-2w)后，量子态演变过程包括：|0》
→
cosw|0》+sinw|1》。
[0071]
参见图6，在权重输出线路上增设一旋转门ry(-2b)，从而因而权重输出线路的输出态可以表示为coswx|0》+sinwx|1》或coswh|0》+sinwh|1》，即
[0072]
使得从cry(-2w)输出的量子态经过旋转门ry(-2b)后输出量子态|ψ》，即量子态coswx|0》+sinwx|1》经过旋转门ry(-2b)后，变为cos(wx+b)|0》+sin(wx+b)|1》，从而实现了量子线路中偏置的添加。
[0073]
图7是本发明的实施例中量子lstm中映射非线性激活函数的结构示意图。
[0074]
如图7所示，在权重输出线路后增设非线性输出量子线路，并对量子态处于|0》态或|1》态的概率幅进行非线性操作，从而构建非线性激活函数。其中，增设的非线性输出量子线路用于对包含权重信息的量子态|ψ》进行非线性概率变换，并以该权重输出量子线路作为控制线路，对非线性输出量子线路执行控制旋转y门操作。
[0075]
本实施例中，对权重输出量子线路的量子态|ψ》多次测量，并根据多次测量获取的|0》态或|1》态的次数，对非线性输出量子线路的初始态及旋转相位进行选择。测量前，控制旋转y门的旋转相位初始化为0，设测量次数为k，测量结果为|0》的次数为ko，测量结果为|1》的次数为k1，当测量结果为|0》态时，对旋转y门的相位平移2π/k，当测量结果为|1》态时，对旋转y门的相位平移-2π/k。根据测量得到的ko与k1大小，非线性输出线路量子态的演化包括以下三种情况：
[0076]
若ko》k1(k0及k1与权重w相关)，表明权重态|0》态的概率幅值比|1》态高，则将非线性输出线路的初始态制备在|0》态，并经过控制旋转门后，量子态由初始态|0》演化为输出态
[0077]
若ko《k1，则非线性输出线路的初始态制备在|1》态，且经过控制旋转门后，量子态由初始态|1》演化为输出态
[0078]
若ko＝k1，控制旋转y门的相位额外平移π/2，则非线性输出线路的初始态制备为|0》态或|1》态，非线性输出线路的输出态为|0》或|1》，且输出态为|0》或|1》的概率相等，并将非线性输出线路的输出态进行量子门操作。
[0079]
本实施例中，将遗忘门f
t
与先前的细胞状态c
t-1
相乘，从而遗忘一些细胞状态中的先前脑电特征。
[0080]
图8是本发明的实施例中量子lstm中映射数据量子态相乘的结构示意图。
[0081]
如图8所示，增设辅助量子线路控制非线性输出线路的输出态|f
t
》(即|ψ》)与先前序列细胞输出态|c
t-1
》(即|φ》)，并利用swap-test构建|f
t
》与|c
t-1
》的内积《f
t
|c
t-1
》，具体如下：
[0082]
每条辅助量子线路的初态制备在|0》态，在每条辅助量子线路分别施加hadamard门，并在相应的辅助线路的控制作用下，共同实现控制交换门(c-swap门)的结果，经过(c-swap门)后再对每条辅助线路分别施加hadamard门，得到每条辅助线路的输出态与对应两条控制线路态的直积相关的态在本实施例中，两条控制线路分别为非线性输出线路f
t
及先前序列细胞c
t-1
，两条控制线路各自的初态分别为|ψ》及输出态|φ》，参见图8，可知每条辅助线路的输出态为：
[0083][0084]
本实施例中，辅助量子线路、先前序列细胞c
t-1
及非线性输出量子线路f
t
的量子比特线路数量相等，且非线性输出量子线路f
t
的量子比特数量等于输入量子态|x
t
》和|h
t-1
》量子比特数量之和。
[0085]
本实施例中，第二量子线路用于输入当前的脑电特征，其表达式如下：
[0086]it
*c
t
'＝σ'(vqc2(x
t
+h
t-1
))*c
t
'
[0087]it
为输入门，c
t
'为细胞候选门，σ'为量子非线性激活函数，vqc2为第二变分量子线路。
[0088]
本实施例中，利用与遗忘门相同的构建方式，使用swap-test方法构建|i
t
》和|c
t
'》内积《i
t
|c
t
'》相关的态'》相关的态
[0089]
将态|c
t1
》与态|c
t2
》信息融合更新细胞状态|c
t
》，再增加细胞输出线路，并由态|c
t1
》与态|c
t2
》所在的线路控制，分别在细胞输出线路上施加c-not门操作，将该细胞状态作为下一神经元的细胞输入。
[0090]
本实施例中，第三量子线路用于更新细胞状态当前的所有脑电特征，其表达式如下：
[0091]ct
＝f
t
*c
t-1
+i
t
*c
t
'
[0092]ct
为当前细胞状态，c
t
由态|c
t1
》与态|c
t2
》融合得到。
[0093]
本实施例中，第四量子线路用于确定先前隐藏状态下需要保留的脑电特征，其表达式下：
[0094]ot
＝σ'(vqc3(x
t
+h
t-1
))
[0095]ht
＝o
t
*tanh'(c
t
)
[0096]ot
为输出门，h
t
为t时刻隐藏状态下需要保留的所有脑电特征。
[0097]
本实施例中，利用f、i、c、o门对态概率非线性操作的方式，对细胞输出态|c
t
》进行非线性概率变换tanh'(c
t
)得到态|ct3》，并将o层的非线性输出态|o
t
》与态|c
t3
》作遗忘门相同的方法，得到与态|o
t
》和态|c
t3
》内积相关的态|h
t
》，|h
t
》可作为下一神经元隐层输入。将|h
t
》通过c-not操作，可将该态作为整个细胞输出的脑电特征。
[0098]
图9是本发明的实施例中量子lstm中映射数据量子态相加的结构示意图。
[0099]
如图9所示，controlled-not为受控非门，a所在的量子线路为控制路线，b所在的量子线路为被控制路线，用于实现两个量子态的加和，参见图5中出现的受控非门。
[0100]
将输出的态|h
t
》多次测量后，得到识别的情绪分类信息yout，并将yout输入到损
失函数中进行计算、训练，利用梯度下降优化量子cnn及量子lstm中的参数。本实施例中，使用的损失函数为平均交叉熵损失函数。
[0101]
实施例的作用与效果
[0102]
根据本实施例所涉及的基于量子cnn-lstm的情绪识别方法，该方法通过将脑电波数据编码为脑电波编码量子态，并输入量子cnn-lstm中，输出识别的情绪分类信息。因为该方法将脑电波编码量子态输入至量子cnn中，得到卷积、池化后提取到的脑电处理矩阵。再通过量子lstm提取脑电处理矩阵中的时序特征，经测量后输出识别的情绪分类信息，所以，本实施例提出的基于量子cnn-lstm相比较经典的cnn-lstm，可以准确提取脑电特征，解决cnn-lstm中某一模块运算具有高度并行性并消耗大量计算资源的问题，并减少了参数量，使量子芯片和电子芯片能能够很好地协同工作。
[0103]
进一步地，对于存储有计算机程序的存储介质，该计算机程序可以被设置为运行时执行本实施例提供的基于量子cnn-lstm的情绪识别方法。
[0104]
进一步地，对于包含存储器和处理器的电子产品，该存储器中存储有计算机程序，并且该处理器被设置为运行其存储的计算机程序以执行本实施例提供的基于量子cnn-lstm的情绪识别方法。
[0105]
上述实施方式为本发明的优选案例，并不用来限制本发明的保护范围。