基于脑电信号和时空多尺度联合网络的视频质量评价方法

1.本发明属于图像处理技术领域，更进一步涉及图像视频质量评价技术领域中的一种基于脑电信号和时空多尺度联合网络的视频质量评价的方法。本发明可用于对观察视频过程中采集的脑电信号进行分析，得到与视频质量相对应的质量评价。


背景技术：

2.视频的压缩和不完美传输不可避免地会导致失真，影响人们对视频的观感，因此对视频质量进行评价就成了重要而且普遍的问题。视频的质量评价可以分为客观质量评价和主观质量评价。其中客观质量评价的方法是通过建立模拟人眼感知视频过程的数学模型，得到视频的质量分数。这类方法可以依靠软件实现，且具有可批量处理、结果可复现、处理成本低的优点。然而客观方法计算模型所得到的质量分数能否代表人在现实中观看视频时的感知质量仍没有定论。主观质量评价通常要求被试来判断他们是否能察觉到失真，或对失真的强度进行分级，然而这种方法费时费力，且依赖于主观判断，很容易受被试个体策略与偏见的影响。脑电图作为一种非侵入型电生理设备，可以通过头表电极直接获取反映神经电位活动的脑电信号，进而用于视频质量评价，这是一种既简单又安全可靠的方法。该方法既克服了客观方法无法充分反映主观感知质量的缺点，又克服了主观方法耗时长、成本高的缺点，对获取真实的视频感知质量具有重要的理论意义和实用价值。
3.西安电子科技大学在其申请的专利文献“基于脑电信号和时空失真的视频质量评价方法”(专利申请号：cn202010341014.5，授权公告号：cn111510710a)中公开了一种基于脑电信号和时空失真的视频质量评价方法。该方法首先选取了水面波动的时空失真视频，并以此作为视觉激励；然后采集连续脑电信号和主观评价，并计算主观评价检测率；最后对脑电信号进行分段，并对分段后的脑电信号进行分类，计算脑电信号分类的准确率，以此来评价视频质量。该方法虽然具有视频质量评价结果与人类主观评价更加一致，评价结果更加准确的优点，但是该方法存在的不足之处是，该方法通过对脑电信号进行降维处理得到脑电信号的特征，仅考虑到单一尺度脑电信号时域特征，缺乏对脑电信号中表征视觉感知成分的时空域特性的考虑，提取到的特征不够具有代表性，进而影响分类结果，导致质量评价结果不准确。
4.清华大学在其发表的论文文献“an eeg-based study on perception of video distortion under various content motion conditions”中公开了一种基于脑电信号的不同内容运动条件下的视频失真感知研究方法。该方法首先记录受试者观看失真视频时的脑电图信号，根据对脑电图信号的特征分析，选取人类感知视频质量变化引起的p300分量作为人类感知失真的指标；通过基于线性判别分析的分类，发现p300分量的可分性与失真的感知度呈正相关；回归分析结果表明，失真的可感知性与p300成分的可分性之间存在着s型定量关系；基于这种关系利用脑电信号对不同运动速度内容对应的失真感知阈值进行标定。该方法存在的不足之处在于，线性判别分类器是传统的机器学习算法，采用线性判别分析对脑电信号进行分类前需要手动提取脑电信号特征，费时费力，无法高效率处理新采集
的脑电信号。


技术实现要素：

5.本发明目的在于针对上述现有技术的不足，提出一种基于脑电信号和时空多尺度联合网络的视频质量评价的方法，用于解决现有技术中未考虑视频质量感知脑电信号的脑部作用机理和人类视觉的阶段性时域感知特性，导致无法提取有效的特征，进而影响分类结果，质量评价结果不准确的问题，并且解决现有方法中使用传统机器学习需要手动提取特征，效率低下的问题。
6.实现本发明的具体思路是，针对现有的基于脑电信号的视频质量评价方法中存在的局限性，造成视频质量评价结果不准确的问题，通过生成不同等级的失真视频，采集受试者在观看不同失真等级的失真视频时的脑电信号，截取受试者在观看不同失真等级的失真视频时的脑电信号片段，将脑电信号片段标注生成训练集，利用训练集对构建的时空多尺度联合网络进行训练，再利用训练好时空多尺度联合网络对视频质量进行评价，得到准确率更高的视频质量评价结果。
7.为实现上述目的，本发明采取的技术方案包括如下步骤：
8.(1)获取不同失真等级的失真视频；
9.(2)采集受试者在观看不同失真等级的失真视频时的脑电信号；
10.(3)截取受试者在观看不同失真等级的失真视频时的脑电信号片段；
11.(4)利用脑电信号片段生成训练样本集、测试样本集；
12.(5)构建时空多尺度联合网络；
13.(6)训练时空多尺度联合网络；
14.(7)采用训练好时空多尺度联合网络对视频质量进行评价。
15.本发明与现有技术相比较，具有以下优点：
16.第一，本发明针对脑电信号兼具时间和空间上信息的特点，构建了时空多尺度联合网络，对脑电信号的时间和空间上的信息均提取多尺度特征，避免了以往脑电信号视频质量评价模型考虑只到脑电信号时域特征的缺点，使得本发明的时空多尺度联合网络能够学习到能够表征视觉感知成分的脑电信号特征，提高了分类准确率，使得本发明具有准确度高的优点。
17.第二，本发明提出的多尺度深度神经网络是一个端到端的模型，输入预处理过后的脑电信号就可以得到视频质量评价的结果，避免了传统方法在对的脑电信号进行分类前需要手动提取特征的缺点，减少了操作的复杂程度，能够自动批量化处理脑电数据，具有效率高的优点。
附图说明
18.图1是本发明的实现流程图。
19.图2是本发明构建的多尺度时空特征提取网络的结构示意图。
具体实施方式
20.下面结合附图和实施例，对本发明作进一步的描述。
21.参照图1和实施例，对本发明的实现步骤作进一步的描述。
22.步骤1，获取不同失真等级的失真视频；
23.步骤1.1，本发明的实施例选取截取自纪录片《our planet 2019》(《我们的星球2019》)中的“frozen worlds”(“冰冻世界”)单元，从该单元的31分29秒处开始截取时长为5s共150帧的视频，作为本发明实施例的未失真的刺激视频，该视频的分辨率为1928
×
1080；
24.步骤1.2，本发明的实施例中将matlab软件的videowriter工具的quality参数调整为{7,14,20,30,100}，将quality的五个参数对应五个表示不同失真等级的失真参数，其中失真参数等于100时表示未失真；
25.步骤1.3，将150帧的未失真刺激视频输入到matlab软件中，利用videowriter工具，输出150帧中第60帧到第89帧图像压缩后的失真视频刺激，得到失真参数下对应的5个时空失真视频作为失真刺激视频集；
26.步骤2，采集受试者在观看不同失真等级的失真视频时的脑电信号：
27.利用64位neuroscan脑电仪，采集每位被试者在观看失真刺激视频集的过程中产生连续的脑电信号，得到脑电信号集合包括每位被试人员每次观看失真刺激视频集的脑电信号样本。本发明的实施例中选取了8位被试者，每位被试观看每个视频40次，采样频率为1000hz，采样通道数为64，因此，每位被试共有200个脑电信号样本，其中40个脑电信号样本对应视频未失真，160个脑电样本对应视频失真。所以被试共有1600个脑电信号样本，其中320个脑电信号样本对应视频未失真，1280个脑电样本对应视频失真；
28.步骤3，截取受试者在观看不同失真等级的失真视频时的脑电信号片段：
29.将采集到的脑电信号通过截止频率下限和上限分别为0.2hz和30hz的带通滤波器，得到带通滤波后的单次脑电信号，并截取滤波后的单次脑电信号在失真刺激出现时刻以前200ms到失真刺激出现时刻以后1000ms的单次脑电信号片段；
30.步骤4，利用脑电信号片段生成训练集、测试集：
31.步骤4.1，将每位受试者的单次脑电信号片段集合中75％的样本作为训练样本集，将剩余的脑电信号片段作为测试样本集；
32.步骤4.2，对训练样本集和测试样本集中的单次脑电信号片段进行标注，单次脑电信号片段来自观看未失真视频，将其标签设为“1”；单次脑电信号片段来自观看失真视频，将其标签设为“0”；
33.步骤4.3，将训练样本集中的单次脑电信号片段及其标签组合，生成训练集，本发明实施例中，训练集的每个训练集样本作为时空多尺度联合网络模型的输入来训练网络模型；将测试样本集中的单次脑电信号片段及其标签组合，生成测试集，本发明实施例中，测试集中每个测试样本作为模型训练完成之后质量评价模型的输入来检测进行失真预测；
34.步骤5，构建时空多尺度联合网络：
35.本发明的实施例搭建一个由时空多尺度特征提取子网络和时空多尺度特征融合子网络串联而成的时空多尺度联合网络，其中时空多尺度特征提取子网络由时域特征提取模块和空域特征提取模块并联而成。
36.下面参照图2，对本发明构建的时空多尺度联合网络时空多尺度联合网络的结构做进一步的描述。
37.步骤5.1，搭建一个时域特征提取模块，该时域特征提取模块由两个子模块串联而成，第一个子模块包含三个并联的双向lstm层，第二个子模块的结构依次由特征拼接层，全连接层，relu激活层串联而成；
38.设置时域特征提取子网络中的第一个模块的各层参数：
39.将第一至第三双向lstm层的堆叠层数均设置为1，隐藏层节点个数设置均为128；
40.设置时域特征提取子网络中的第二个模块的各层参数：
41.特征拼接层采用concat函数实现；
42.将bn层输出维度设置为6；
43.将全连接层的神经元个数设置为2；
44.relu激活层采用relu函数实现，其inplace参数设置为true；
45.步骤5.2，搭建一个空域特征提取模块，该空域特征提取模块由两个子模块串联而成，第一个子模块由三个卷积层并联组成，第二个子模块的结构依次为：特征拼接层，bn层，全连接层，relu激活层串联而成；
46.设置空域特征提取模块中的第一个子模块的各层参数为：
47.将第一至第三卷积层中的卷积核大小分别设置为64
×
1、32
×
1、8
×
1，卷积核个数设置均为6，步长分别设置为1、32、8；
48.设置空域特征提取模块中的第二个子模块的各层参数为：
49.将bn层输出维度设置为6；
50.将全连接层神经元个数设置为2；
51.relu激活层采用relu函数实现，其参数inplace设置为true；
52.dropout层采用dropout实现，其参数drop_rate设置为0.05；
53.步骤5.3搭建一个时空多尺度特征融合子网络，其结构依次为：特征拼接层，全连接层，relu激活函数层，dropout层，全连接层；
54.设置时空多尺度特征融合子网络的各层参数：
55.将第一层全连接层神经元参数设置为2；
56.relu激活层采用relu实现，其参数inplace设置为true；
57.dropout层采用dropout实现，其参数drop_rate设置为0.05；
58.将第二层全连接层神经元参数设置为2；
59.步骤6，训练时空多尺度联合网络：
60.步骤6.1，对时空多尺度联合网络参数初始化：正则化系数设为1
×
10-5
,初始学习率设为2
×
10-4
，迭代次数每增加50的学习率学习率衰减率减少1/10，迭代次数设为150，批次大小设为64，衰减权重设置为2
×
10-3
；
61.步骤6.2，将训练集输入到时空多尺度联合网络中，利用反向传播法，对时空多尺度联合网络的参数进行迭代更新，直到损失函数收敛为止，得到训练好的时空多尺度联合网络；
62.损失函数如下：
[0063][0064]
其中，表示交叉熵损失函数，n表示训练集中所有样本输入多尺度联合神经
网络后分类结果的总数，∑表示求和操作，i表示训练集中第i个样本对应的多尺度联合神经网络分类结果的序号，y(i)表示训练集中第i个样本对应的多尺度联合神经网络第i个分类结果的真实值，log表示以10为底的对数操作，表示训练集中第i个样本对应的多尺度联合神经网络第i个分类结果的预测值，| |表示取绝对值操作，表示引入的l1正则化项，k表示l1正则化系数，ωi表示训练集中第i个样本对应的多尺度联合神经网络的第i个分类结果的权重值；
[0065]
步骤7，采用训练好时空多尺度联合网络对视频质量进行评价：
[0066]
步骤7.1，将具有失真标签的脑电信号片段的测试集输入到训练好的时空多尺度联合网络中，判断时空多尺度联合网络输出的每个分类数据，若输出为1，则评定该脑电信号片段对应的视频为未失真刺激视频，若输出为0，则评定该脑电信号片段对应的视频为失真刺激视频；
[0067]
步骤7.2，根据时空多尺度联合网络的判断结果与实际情况是否相符，统计时空多尺度联合网络对所有脑电信号片段分类结果。根据每个脑电信号片段的标签，获得脑电信号对应的失真刺激视频和未失真刺激视频的分类结果，将该分类结果作为视频质量评价结果。
[0068]
下面结合仿真实验对本发明的实现过程作进一步的描述：
[0069]
1，仿真条件：
[0070]
仿真实验的硬件测试平台是：cpu为intel(r)core(tm)i7-8700，主频为3.2ghz，内存16gb，gpu为nvidia geforce gt 710。
[0071]
仿真实验的软件测试平台是：widows7操作系统、专业脑电采集与分析软件curry7、心理学实验操作平台e-prime 2.0、数学软件matlab r2019a。
[0072]
2，仿真内容与结果分析：
[0073]
本发明的仿真实验是采用本发明的方法和两个现有技术，分别对脑电信号进行分类，并计算分类的平均准确率。
[0074]
采用的两个现有技术是指：
[0075]
现有技术1是指，vernon j lawhern等人在其发表的论文“eegnet:a compact convolutional neural network for eeg-based brain
–
computer interfaces”中提出的一种对脑电信号分类的方法。
[0076]
现有技术2是指，robin tibor schirrmeister等人在其发表的论文“deep learning with convolutional neural networks for eeg decoding and visualization”中提出的一种对脑电信号分类的方法。
[0077]
本发明的仿真实验采集8位受试者重复观看失真刺激视频和未失真刺激视频的脑电信号的实验流程是：首先，选取刺激视频的失真等级为7，14，20，30，100，在受试者观看的未失真刺激视频播放到第59帧后，接着播放以上五个失真等级生成的60到89帧失真刺激视频，然后采集受试者的脑电信号。采集脑电信号的实验流程由四个电脑屏幕界面组成。第一个界面为介绍界面，界面中介绍了本发明仿真实验的要求。第二个界面为黑屏界面，该界面在黑色的背景中间插入一个白色的“+”号，用于分隔每个实验视频，使其互不干扰。第三个界面为视频呈现界面，呈现一段由未失真转变为失真的刺激视频。第三个界面呈现完后，返
回第二个界面，准备下一次未失真转变为失真的视频。每个失真等级对应的刺激视频重复播放40次，呈现顺序随机。第五个界面为结束界面，当所有失真刺激视频均呈现完毕后，进入结束界面。
[0078]
本发明的仿真实验中对采集到的脑电信号进行分类的流程是：首先，将采集到的脑电信号进行转参考、基线矫正、滤波、分段，提取出单次脑电信号片段。其次，将分段后的脑电信号分别输入时域卷积网络和空域双向长短期记忆网络，得到单次脑电信号片段的时域特征与空域特征。接着，将单次脑电信号片段的时域特征与空域特征输入特征融合模块得到时空特征，对时空特征进行两次全连接操作并使用softmax函数输出分类结果，采用交叉熵损失函数对误差进行梯度分析，采用小批量随机梯度下降方法对时空多尺度联合网络进行参数优化，达到训练时空多尺度联合网络的目的。最后，利用训练好的时空多尺度联合网络对脑电信号进行分类，并计算准确率。
[0079]
利用两个评价指标(每类分类精度、平均精度aa)分别对三种方法的分类结果进行评价。利用下面公式，计算平均精度aa的分类精度，将所有结果绘制成表1：
[0080][0081][0082]
表1
[0083][0084]
结合表1可以看出所示，本发明的平均分类精度aa为87.5％，这个指标均高于2种现有技术方法，证明本发明可以得到更准确的脑电信号进行分类结果。
[0085]
以上仿真实验表明：本发明方法利用搭建的时空多尺度联合网络，能够提取脑电信号的多尺度时空特征，解决了现有技术中未考虑视频质量感知脑电信号的脑部作用机理和人类视觉的阶段性时域感知特性，导致无法提取有效的特征，进而影响分类结果，质量评价结果不准确的问题，是一种非常实用的视频质量评价方法。