基于三流卷积神经网络的眼部成像情绪检测方法及系统

本技术涉及眼部成像检测，尤其涉及一种基于三流卷积神经网络的眼部成像情绪检测方法及系统。

背景技术：

1、情绪是对一系列主观认知经验的通称，是多种感觉、思想和行为综合产生的心理和生理状态。无论正面的情绪还是负面的情绪，都是引发个体行动的动机，关注个体的情绪特征对于进行情绪引导和个体安全能够起到重要作用。对于喜、怒、哀、惊、恐等情绪可以通过面部表情来识别，而对于一些细腻微妙的情绪，例如嫉妒、惭愧、羞耻、自豪等，则需要通过眼球的特征变化来识别。

2、眼球的运动模式和瞳孔变化可以作为情绪和认知失调的生物标志物，对眼球的运动模式和瞳孔变化的检测，是一种基于生理信号数据的情绪检测。然而，在进行眼动行为识别时，忽略了一些未定义的眼部变化，使识别过程丢失眼部图像重要信息。同时，一些算法的性能很大程度上依赖于眼球运动特征设计的质量和选择，不同的情绪变化需要不同的特征，因此需要耗费大量的人力和时间来进行特征设计和调优。导致通过眼底成像对个体的情绪进行检测时，检测结果不准确。

技术实现思路

1、本技术提供一种基于三流卷积神经网络的眼部成像情绪检测方法及系统，以解决对个体情绪进行检测时检测结果不准确的问题。

2、本技术第一方面提供一种基于三流卷积神经网络的眼部成像情绪检测方法，包括：

3、获取眼部图像、光流图像和范式图像，所述眼部图像包括眼动行为图像，所述光流图像为两个所述眼部图像之间的运动关系图像，所述范式图像为范式视频中的图像；

4、将所述眼部图像、所述光流图像和所述范式图像输入三流卷积神经网络模型，所述三流卷积神经网络模型为使用样本图像训练获得的神经网络模型；所述样本图像包括带有训练标签的眼部图像和所述范式图像；所述三流卷积神经网络模型包括空间模块、时间模块和范式模块；

5、利用所述三流卷积神经网络模型提取所述眼部图像的时间特征、空间特征和所述范式图像的范式语义特征；

6、融合所述时间特征、所述空间特征和所述范式语义特征，以得到融合特征；

7、将所述融合特征输入全连接层，以利用组合函数计算所述眼部图像的分类结果标签，所述分类结果标签用于表示情绪变化结果，所述分类结果标签包括第一情绪变化标签和第二情绪变化标签；

8、根据所述分类结果标签输出分类结果。

9、可选的，所述获取眼部图像、光流图像和范式图像包括：

10、获取眼部视频，以及获取范式视频；

11、对所述眼部视频进行分帧处理，以得到若干个眼部图像；

12、对分帧处理后的每一对相邻帧的所述眼部图像计算光流，以得到光流图像；

13、对所述范式视频进行分帧处理，以得到若干个范式图像；所述范式图像包括：中性刺激图像、积极刺激图像和消极刺激图像。

14、可选的，所述将所述眼部图像、所述光流图像和所述范式图像输入三流卷积神经网络模型的步骤前还包括：

15、对所述眼部图像、所述光流图像和所述范式图像进行预处理以得到预处理图像，所述预处理为增强处理。

16、可选的，所述方法还包括：

17、构建眼部图像数据集和范式图像数据集；

18、将所述眼部图像数据集和所述范式图像数据集输入预训练模型；

19、对所述眼部图像数据集和所述范式图像数据集中的样本执行迭代训练，以提取所述眼部图像数据集的时间特征和空间特征，以及生成所述范式图像数据集的潜在代码；

20、根据所述时间特征、所述空间特征和所述潜在代码输出所述眼部图像的预测标签；

21、根据所述预测标签利用损失函数计算模型参数的损失；

22、利用所述损失更新所述模型参数，以得到三流卷积神经网络模型。

23、可选的，所述构建眼部图像数据集和范式图像数据集包括：

24、分别选取设定数量的所述眼部图像和所述光流图像，并均分处理，以得到若干组眼部图像数据集；

25、选取设定数量的所述范式图像并均分处理，以得到若干组范式图像数据集。

26、可选的，所述损失函数为交叉熵损失函数，按照下式根据所述预测标签利用损失函数计算模型参数的损失：

27、

28、其中，l为损失，li为第i个模型参数的损失，yi为眼部图像的标签，正类为1(情绪变化正常)，负类为0(情绪变化非正常)，pi为第i个眼部图像预测为正类的概率，n为眼部图像个数。

29、可选的，所述空间模块包括一个输入通道，所述空间模块的输入通道为rgb通道；

30、所述时间模块的输入通道包括慢帧率光流通道和快帧率光流通道；

31、所述范式模块包括三个范式卷积层、两个范式全连接层和一个batchnorm层，所述batchnorm层用于对所述范式卷积层和所述范式全连接层的输出结果进行归一化处理。

32、可选的，所述快帧率光流通道的光流密度为所述慢帧率光流通道的光流密度的8倍。

33、可选的，所述batchnorm层按照下式对所述范式卷积层和所述范式全连接层的输出结果进行归一化处理：

34、

35、其中，yparadigm′为范式图像的归一化结果，x为范式图像，e|x|为范式图像的均值，var[x]为范式图像的方差，ε为变量，γ和β为线性变换。

36、本技术第二方面提供一种基于三流卷积神经网络的眼部成像情绪检测系统，应用于上述第一方面所提供的基于三流卷积神经网络的眼部成像情绪检测方法，所述系统包括：

37、获取单元：用于获取眼部图像、光流图像和范式图像，所述眼部图像包括眼动行为图像，所述光流图像为两个所述眼部图像之间的运动关系图像，所述范式图像为范式视频中的图像；

38、输入单元：用于将所述眼部图像、所述光流图像和所述范式图像输入三流卷积神经网络模型，所述三流卷积神经网络模型为使用样本图像训练获得的神经网络模型；所述样本图像包括带有训练标签的眼部图像和所述范式图像；所述三流卷积神经网络模型包括空间模块、时间模块和范式模块；以及将融合特征输入全连接层；

39、提取单元：用于利用所述三流卷积神经网络模型提取所述眼部图像的时间特征、空间特征和所述范式图像的范式语义特征；

40、融合单元：用于融合所述时间特征、所述空间特征和所述范式语义特征，以得到融合特征；

41、计算单元：用于利用组合函数计算所述眼部图像的分类结果标签，所述分类结果标签用于表示情绪变化结果，所述分类结果标签包括第一情绪变化标签和第二情绪变化标签；

42、输出单元：用于根据所述分类结果标签输出分类结果。

43、由上述技术方案可知，本技术提供一种基于三流卷积神经网络的眼部成像情绪检测方法及系统，所述方法包括：获取眼部图像、光流图像和范式图像；将所述眼部图像、所述光流图像和所述范式图像输入三流卷积神经网络模型；利用所述三流卷积神经网络模型提取所述眼部图像的时间特征、空间特征和所述范式图像的范式语义特征；融合所述时间特征、所述空间特征和所述范式语义特征，以得到融合特征；将所述融合特征输入全连接层，以利用组合函数计算所述眼部图像的分类结果标签；根据所述分类结果标签输出分类结果。所述方法通过获取眼部图像的时间特征、空间特征和范式语义特征，可从眼部图像中获取更准确的眼部变化特征，进而来检测个体的情绪变化，可提高检测结果的准确性，解决对个体情绪进行检测时检测结果不准确的问题。