基于心电和眼电信号的三维显示视疲劳评估系统和方法与流程

本发明属于三维显示评估领域，具体涉及到一种基于心电和眼电信号的三维立体显示视疲劳评估系统和方法。

背景技术：

随着立体显示技术的发展，立体显示产品在很多行业得到了广泛应用，由于能够给用户带来更多的沉浸感和临场感而深受欢迎。然而，由于立体显示技术本身的成像原理和人的视觉工作机制存在冲突，造成了3D显示不可忽视的副作用。例如，长时间观看立体图像或视频会使观看者感到眼睛疲劳，头晕，呕吐等不适。甚至有研究表明，观看立体显示或许会对人们的健康产生长远影响或者不可逆的损害。这些问题不仅严重影响用户体验，也制约了三维显示技术的发展以及相关产品的应用普及。因此，预防立体显示对观看过程中造成的视疲劳等不适症状具有重要的意义。

为了避免这些问题，需要建立一套有效的视疲劳评估系统和方法，用于主动缓解观看视疲劳产生的影响。目前视疲劳主要的评估方法包括两种：主观评价和客观测量。前者是让被试在观看后表述观看不适感的程度或者完成一些特殊设计的问卷；后者主要是测量和视疲劳相关的一些生理指标。两种测量方法各有优缺点，其中主观方法受个体差异的影响较大，没有统一的量化标准，但采集方便，分析较为简单；客观测量数据较为准确，能够反映被试的生理心理变化，但测量起来麻烦，数据分析较为复杂。在实际评估时，往往将两者结合起来使用。为此，寻找一种操作简单且有效的立体资源视疲劳数据检测方法势在必行。因此，本发明提出了一种三维立体显示的视疲劳评估系统和方法，该系统提供了进行视疲劳评估所需的软硬件环境和基本流程，在其基础上，通过本发明提供的视疲劳评估方法将能简单快速地量化立体显示造成的视疲劳程度，用于检测立体显示设备和内容，以及指导设备生产和制作舒适的立体资源等。

技术实现要素：

针对现有技术中在评估立体显示的观看疲劳时存在的不足，提供一种基于心电和眼电信号的三维立体显示视疲劳评估系统和方法，本系统和方法能够对用户针对立体显示的主观感受进行客观量化，从而简单快速的获取立体显示的视疲劳评测数据。

本发明中的立体显示视疲劳检测系统包括立体显示设备、主观视疲劳(SS)连续打分装置、生理信号测量装置MP150(测量心电和眼电信号)、数据处理单元、以及配有桌椅、提供基本照明，控制温度和湿度等条件的室内房间。该系统提供了进行视疲劳评估所需的软硬件环境和基本流程，其框架图如图2所示。数据输入层主要是对用户的主观打分(SS)，心电(ECG)，眼电(EOG)进行采集，获取其在连续观看过程中的数据，然后经过数据处理层的加工，得到用能反映观看视疲劳的生理特征迷走神经活跃度(Vagal)，交感神经活跃度(Sympathetic)，RR间期标准差(SDNN)和眨眼频率(BF)，使用生理特征对用户视疲劳进行建模，得到模型公式，最后利用该模型公式可直接根据所测得的ECG，EOG的值，输出用户的预测立体视疲劳(SS’)。通过该系统获得的立体视疲劳预测模型，可用于各种立体显示的客观评测，从而不再需要用户主观进行打分，而只需要测量用户的ECG和EOG，得到Vagal、Sympathetic、SDNN、BF的值，再带入模型公式进行计算即可。

所示立体显示设备包括各种类型的可显示立体内容的立体显示器、立体投影等。设备的设置参数推荐使用默认值，并根据相关标准(ITU-R BT.500)控制观看距离，满足不同设备对最佳观看距离的要求。同时还应该合理控制环境光照、温度、湿度等，保持正常水平。

所述具备桌椅和照明等条件的室内房间，其大小要能满足被测立体显示设备对最佳观看距离的限制，并保证正常稳定的室内环境。桌子大小能够摆放开上述所有硬件设备，并避免设备之间的碰触干扰，特别是测量设备对显示设备的遮挡等。

所述主观视疲劳连续打分装置为一个手持交互式按钮装置，通过前后两个按钮进行加分和减分操作，增量为1，打分范围为[1,10]。每次打分都会有语音反馈，在让用户知晓当前打分情况的基础上又不需要占用用户的观看时间。用户的打分会被实时记录在文件中，方便后期的分析处理。其中，10分表示严重视疲劳，9-7分表示明显疲劳，6-5分表示中等疲劳，4-3分表示轻微疲劳，2-1分表示没有疲劳。

所述心电和眼电信号的测量方法是：使用MP150测量设备，采样率为1000HZ,使用设备默认的参数滤波，实验开始后进行测量。

所述数据处理层首先对输入的三种原始数据中的ECG和EOG进行预处理，其中包括去噪，去基线漂移，时频域变换，特征特取，得到能够反映观看视疲劳的生理指标Vagal，Sympathetic，SDNN，BF。具体方法：对ECG信号进行0.05hz-45hz带通滤波，这样不仅可以去除50hz交流电的干扰，同时也对信号进行了基线矫正，然后使用MP150配套的软件AcqKnowledge软件对滤波后的ECG信号以每5分钟作为时间段进行心率变异性分析，得到指标RR间期(R波间期，即两个相邻QRS波中R波之间是时间间隔)，迷走神经活跃度(Vagal)，交感神经活跃度(Sympathetic)，然后再对RR间期进行求标准差运算得到SDNN(RR间期标准差)。为了减少噪声对信号的影响，对EOG信号进行高通滤波，去除0.5hz以下的成分，然后使用Threshold程序脚本将眼电信号转换成方波信号，以每5min作为时间段进行方波个数统计，求平均值得到BF然后对每一个用户在每一个时间段的SS,Vagal，Sympathetic，SDNN，BF进行归一化均值，主要是为了消除不同数据的单位量级差异。然后对所有用户在相同时间段内的每一个特征求均值。进而，对SS,Vagal，Sympathetic，SDNN，BF和SS进行多元非线性回归处理，得到多因子(SS,Vagal，Sympathetic，SDNN，BF)与SS之间的模型公式，即为立体视疲劳的预测模型。

所述数据存储层存储内容包括原始数据，特征数据，评估模型以及预测数据。其中原始数据指主观打分SS和ECG，EOG信号；特征数据包括从ECG和EOG中提取的Vagal，Sympathetic，SDNN，BF指标；评估模型主要存储预测模型的系数；预测结果主要存储对用户观看视疲劳的预测数据。

基于上述视疲劳评估系统，本发明还提供一套具体的评估方法，即在用户观看3D视频过程中，通过连续测量用户的ECG，EOG生理信号来综合评估用户视疲劳，从而确定立体显示是否合格，本方法包括两个部分：模型建立阶段和模型应用阶段。其中，模型建立阶段的步骤为：

1)首先搭建上述立体显示的视疲劳检测环境，选择合适的室内空间，布置立体显示器、座椅、生理信号测量装置和主观视疲劳连续打分装置，以及相关的量表和纸质材料等；

2)然后，对用户进行立体视觉筛查，当立体视觉达到200″，即认为其可以参与实验，最终参与用户数量为M个；

3)为了分析数据方便，把测量的连续用户数据分成N个等长的观看时间段，测量内容包括主观打分(SS)，心电信号(ECG)，眼电信号(EOG)；整个观看过程是一个连续的过程；

4)对步骤3)测得的数据进行数据预处理，即分别得到SS(i,j)序列，Vagal(i,j)序列，Sympathetic(i,j)序列，SDNN(i,j)序列，BF(i,j)序列；其中，i＝1,2…M,j＝0,1…N；M为用户总数，N＝9；SS(i,j)表示的是第i个用户在第j个观看时间段里连续主观打分的均值；Vagal(i,j)，Sympathetic(i,j)，SDNN(i,j)和BF(i,j)分别表示第i个用户的第j个测量时间段所测得的Vagal，Sympathetic，SDNN和BF均值；

5)对步骤4)中已编号的数据进行归一化处理，分别得到一组归一化值uniSS(i,j),uniVagal(i,j)，uniSympathetic(i,j)，uni SDNN(i,j)和uni BF(i,j)，取值范围为[0,1]；

6)计算步骤5)的数据均值，计算全部用户在第j个测量时间段出现的SS，Vagal，Sympathetic，SDNN和BF归一变化量的均值：avg_Delta_uniSS(j),avg_Delta_uniVagal(j)，avg_Delta_uniSympathetic(j)，avg_Delta_SDNN(j)和avg_Delta_BF(j)；

7)分析步骤6)中数据之间的相关性，即对avg_Delta_uniSS和avg_Delta_uniVagal(j)，avg_Delta_uniSympathetic(j)，avg_Delta_SDNN(j)和avg_Delta_BF(j)进行线性拟合，均满足关系y＝ax+b,y表示avg_Delta_uniSS,x表示avg_Delta_uniVagal(j)，avg_Delta_uniSympathetic(j)，avg_Delta_SDNN(j)或avg_Delta_BF(j)，拟合程度越高越好；

8)对步骤6)中的数据avg_Delta_uniVagal(j)，avg_Delta_uniSympathetic(j)，avg_Delta_SDNN(j)，avg_Delta_BF(j)，进行多元非线性回归，可得到关系模型SS’＝w₁×avg_Delta_uniVagal×avg_Delta_uniBF+w₂×avg_Delta_uniSympathetic×avg_Delta_uniSDNN+c；其中w₁＝0.411，w₂＝1.352，c＝0.066，其中c是一个常量；avg_Delta_uniVagal表示每5min作为时间段的迷走神经活跃度归一化均值，avg_Delta_uniBF表示每5min作为时间段的眨眼频率归一化均值，avg_Delta_uniSympathetic表示每5min作为时间段的交感神经活跃度归一化均值，avg_Delta_uniSDNN表示每5min作为时间段的心跳RR间期标准差归一化均值，该模型为多元多元非线性模型，其中avg_Delta_uniVagal×avg_Delta_uniBF的权重为w₁，avg_Delta_uniSympathetic×avg_Delta_uniSDNN的权重为w₂。

上述步骤1-8建立的模型关系，应用于三维显示视疲劳的客观评估，即为模型应用阶段，其步骤为：

a)按照模型建立阶段的步骤3)测得每个用户的一组ECG值和一组EOG值；

b)按照模型建立阶段的步骤4)至步骤6)对数据进行处理；

c)将处理后的数据值带入上述关系模型，即可得到一组SS’(j)＝w₁×avg_Delta_uniVagal(j)×avg_Delta_uniBF(j)+w₂×avg_Delta_uniSympathetic(j)×avg_Delta_uniSDNN(j)+c,j＝0,1…N；SS’取值范围[0,1]，数值越大表示疲劳程度越小。

进一步的，所述步骤2)中，参与检测的用户数量M越大越好，建议不少于10人。综合越多用户的体验感受，越能接近真实地对显示设备或内容进行检测。

进一步的，所述步骤3)中测量的顺序是：生理信号EEG、EOG和主观打分在实验开始后同时测量。

进一步的，所述步骤3)中，观看时间段个数应N的取值取决于所分析时间段的长短，可以取1min，2min，5min等，取5min时模型效果较好。

进一步的，对步骤5)中所述的归一化处理是针对每个用户分别进行的，即对于用户i的SS,Vagal，Sympathetic，SDNN和BF的值进行如下处理：uniXX(i,j)＝(XX(i,j)-MIN(XX(i,0),…XX(i,N)))/(MAX(XX(i,0),…XX(i,N))-MIN(XX(i,0),…XX(i,N))),i＝1,2,…M；j＝0,1,…N。其中符号“XX”代表SS、Vagal、Sympathetic、SDNN或BF。此步骤旨在于通过归一化处理消除用户个体间差异。

进一步的，对步骤6)中所述的变化量的计算过程也是针对每个用户分别进行的，在步骤5)获得的数据基础上，对于用户i的SS,Vagal，Sympathetic，SDNN和BF的归一值进行如下处理：Delta_uniXX(i,j)＝uniXX(i,j)-uniXX(i,0),i＝1,2,…M；j＝0,1,…N。其中符号“XX”代表SS、Vagal、Sympathetic、SDNN或BF。

进一步的，对步骤7)中所述的相关性分析，拟合程度通常以线性拟合的线性系数R²来判断，一般R²越大越好。此步骤旨在于确保所测视功能特征与主观疲劳度之间存在有效的相关性，从而为后续寻找它们之间的关系模型提供保障。

进一步的，对步骤8)中所述的多元非线性拟合，其根据在于步骤7)验证了所测视功能特征与主观视疲劳之间的相关性较强，从而可以用这些视功能特征作为自变量，主观视疲劳打分作为因变量，找到它们之间的关系模型。

进一步的，对步骤8)中所得到的关系模型，其有效性可通过回归判定系数、斯皮尔曼等级相关系数或均方根误差等方法来进行判定。而为了提高其有效性，则应进行较大规模的实验，收集大量数据以稳定关系模型中的各项系数。在各种条件允许的情况下实验规模越大越好。

本方法的实施流程如图3所示。为了保证用户在实验过程中出现视疲劳，观看时间段时长需要根据具体观看的立体显示内容或设备来定。实验中，环境光照、温度等一般保持正常值不变，整个实验过程不间断。

根据本方法所得关系模型，只需要测量两种生理指标，即可实现对立体视疲劳的定量计算，而不再需要用户的主观打分。所用视功能特征的测量方法简单，对测量设备要求很低。后期的数据处理只需要一次归一化，即可直接利用所给公式计算出立体视疲劳预测值。本方法一方面对用户没有任何强制性限制，只需要能够熟练主观打分设备即可；另一方面，数据处理部分已经集成了很多数据处理方法，使用较为简便。

与现有技术相比，本发明具有如下的优点和技术效果：

1.评估方法的有效性

本方法基于生理指标进行视疲劳评估，避免了主观评估带来的个体差异影响，同时生理信号能够更好的反映用户在观看过程中的身体和生理状态，尤其是心电和眼电，与观看视疲劳有直接的联系，通过抽取特征，分析特征与观看视疲劳之间的相关性，提取相关性较好的指标，建立评估模型，提高了模型的精度和适用性，

2.数据测量过程简单。

本方法所使用的生理信号数据，其获取非常简单，对设备的要求很低。目前市场上有很多廉价设备，在理解其测量原理的基础上，也可自制测量设备。而主观视疲劳连续打分装置只需要将带有两个按钮的单片机和交互软件连接起来，进行简单的数据读取，即可实现用户自主地进行主观打分。因此，使用本方法检测立体视疲劳的花费低。最重要的是整个数据采集过程很简单，很容易操作。

3.数据输入少，处理简单。

本方法中模型建立阶段最终收集的数据包括主观视疲劳、心电和眼电信号，在评估阶段可以将原始信号作为输入，整个数据处理过程是透明的，同时还可以实现实时的数据采集和预测输出。

4.本方法产生的模型是经过线性，非线性建模评估对比之后得到的较优的模型，有较好的适用性，这样就可以不再需要主观评价，减少了个体情感等主观因素影响。通过本方法所获预测模型计算的立体视疲劳，没有掺杂任何人的主观情感，因而结果更客观。同时不需要主观评价，也减轻了用户的任务负担。

附图说明

图1为本系统的实施环境图；

图2为本系统的框架图；

图3为本方法的实施流程图。

具体实施方式

为了使本技术领域的技术人员更好的理解，下面结合附图1和附图3对本方法作进一步的详细说明。使用本方法评估一个立体电影的视疲劳，其过程主要包括四个阶段：布置环境、练习演示、观看和测量，以及数据处理。

1.布置环境

观看环境主要包括一台23英寸的偏振眼镜式立体显示器、生理信号测量设备、可旋转的移动座椅和一台主机。显示器的亮度、对比度等参数设为推荐值(ITU-R BT.500)。生理信号测量设备放置于用户的左手侧桌面上。在距离立体显示器所在平面3倍屏幕高度(87厘米)的地面上，用黄色线标记为座椅位置。主机用来控制立体电影《变形金刚3》的播放。周围环境光照和温度维持正常值不变。

2.练习演示

先对用户进行立体视力检查，通过随机点立体图筛选出可以识别出视差为200″的用户。共有15名用户通过筛选，接着主试者向这些用户讲解实验过程中被试应该注意的事项和演示主观打分测量设备的使用方法，然后给予用户一定时间进行操作练习。

接下来，在正式开始实验之前，主试者向用户介绍大概过程，需要的时间和注意事项。然后实验开始后连续观看3D电影50min。期间，若感觉特别不适，无法继续观看，可随时终止。

3.观看和测量

主试者调整座椅位置，使其前轮位于标记线处。然后指导用户以一个舒适的姿势坐在座椅上，并左右移动显示器，直到用户表示正对着屏幕中心为止。用户带上立体眼镜和耳机，主试者开始播放立体电影，并开始计时。

观看过程中，周围环境保持安静，主试者坐在用户视野外的某个位置，通过无线鼠标控制播放。用户手持连续打分装置，对观看过程中的视疲劳进行实时打分，使用MP150采集被试的生理信号，在观看过程中被试尽量保持不动，尽可能避免因为身体移动带来的信号干扰。

4.数据处理

观看过程结束后，共记录了15名用户的三种数据，即SS(i,j)，Vagal(i,j)，Sympathetic(i,j)，SDNN(i,j)和BF(i,j)i＝1,2…15,j＝0,1…9；对这些数据一次进行如下处理：

(1)对SS(i,j)序列，Vagal(i,j)序列，Sympathetic(i,j)序列，SDNN(i,j)序列和BF(i,j)序列中的数据进行归一化处理，分别得到一组归一化值uniSS(i,j),uniVagal(i,j)，uniSympathetic(i,j)，uni SDNN(i,j)和uni BF(i,j),i＝1,2…15,j＝0,1…9；

(2)计算全部用户在第j个测量时间段出现的SS，Vagal，Sympathetic，SDNN和BF归一变化量的均值：avg_Delta_uniSS(j),avg_Delta_uniVagal(j)，avg_Delta_uniSympathetic(j)，avg_Delta_SDNN(j)和avg_Delta_BF(j),i＝1,2…15,j＝0,1…9；

(3)计对avg_Delta_uniSS和avg_Delta_uniVagal，avg_Delta_uniSympathetic，avg_Delta_SDNN，avg_Delta_BF进行多元非线性回归拟合，得到如下拟合结果：

SS’＝w₁×avg_Delta_uniVagal×avg_Delta_uniBF+w₂×avg_Delta_uniSympathetic×avg_Delta_uniSDNN+c (1)

其中w1＝0.411，w2＝1.352，c＝0.066.回归判定系数为0.970，达到非常高的有效性。

经过数据处理得到的关系模型，在被实际应用于主观视疲劳预测之前，应进行大规模上述实验，以提升模型的有效性和稳定性。