本申请主张在韩国知识产权局于2017年2月3日提交的韩国专利申请第10-2017-0015696号和2017年6月23日提交的韩国专利申请第10-2017-0079946号的优先权，所述申请的公开内容以全文引用的方式并入本文中。
一个或多个实施例涉及一种用于通过使用基于非接触视觉模式的任务诱发瞳孔反应来检测或评估认知疲劳的方法和系统。
背景技术：
观看者往往会更沉浸在具有高于二维(two-dimensional；2d)内容的真实性和动态性的三维(three-dimensional；3d)内容中。然而，这种过度的沉浸常常导致不利的人为因素，诸如视觉不适和疲劳。
3d人为因素可以相对于观看者特征(年龄、性别、观看位置以及视觉能力)、视觉内容(颜色、亮度以及对比度)、观看环境(周围亮度、观看距离、观看角度以及观看时间)、显示器(串扰、幻视术(pseudoscopy)、分辨率以及刷新率)以及装置(3d眼镜和摄像机设置)来定义。
这些因素已经与视觉疲劳恢复相关，以便改善3d观看体验。为改善观看体验同时将视觉疲劳减到最小，已开发定量测量的方法。3d视觉疲劳在通过心脏反应、大脑功能以及视觉能力来定量测量的同时也已通过主观评分进行了定性测量。
然而，近年来，认知负荷已利用来测量3d视觉疲劳。认知处理的退化是视觉不适的主要因素。具有更深度品质的3d内容比2d内容需要更多的神经资源处理。一般来说，视觉疲劳是由于聚焦过程而发生的，所述聚焦过程导致神经资源减少。因此，3d视觉疲劳可以基于认知负荷而不是视觉感知或视觉功能来理解。按照惯例，3d认知负荷通过分析事件相关电位(event-relatedpotential；erp)和心跳诱发电位(heartbeatevokedpotential；hep)来确定视觉疲劳。这些测量在实际应用中具有局限性，因为生物传感器必须附接到皮肤上，这是繁重且耗时的。因此，需要开发一种测量3d视觉疲劳且不具有这些缺点的方法和系统。
技术实现要素：
一个或多个实施例提供一种基于人体行为涉及生理反应的瞳孔反应来评估非接触3d认知疲劳的方法和系统。
因此，一个或多个实施例提供减少由测量附件所导致的测量负担的方法和系统。
一个或多个实施例包含获取移动图像以处理来自对象的瞳孔反应及瞳孔反应的分析以评估对象的2d或3d认知疲劳。
根据一个或多个示范性实施例，一种测量基于非接触视觉的认知疲劳的方法包括：获取暴露于视觉刺激的对象的瞳孔图像；通过使用瞳孔图像来提取任务诱发的瞳孔反应(tepr)；检测tepr的主要波峰；计算主要波峰的延迟；以及通过将延迟值与预定参考值进行比较来确定对象的认知疲劳。
根据一个或多个示范性实施例，瞳孔图像的获取包括：通过使用摄像机来捕捉对象的面部图像；从面部图像提取瞳孔图像；以及从瞳孔图像提取瞳孔大小变化(psv)，且其中计算包括根据psv计算tepr。
根据一个或多个示范性实施例，psv的提取包括：以预定频率对面部图像进行再取样；以及从再取样的面部图像提取psv。
根据一个或多个示范性实施例，所述方法还包括：基于-200毫秒到1000毫秒的刺激开始来提取划分成1200毫秒时期的单位psv。
根据一个或多个示范性实施例，tepr是通过使用总平均技术来合并单位psv而计算或产生的。
根据一个或多个示范性实施例，一种测量基于非接触视觉的认知疲劳的系统，所述系统包括：摄像机，配置成获取暴露于视觉刺激的对象的瞳孔图像；处理单元，配置成处理瞳孔图像；以及分析单元，配置成通过使用瞳孔图像来提取任务诱发的瞳孔反应(tepr)、检测tepr的主要波峰、计算主要波峰的延迟以及通过将延迟值与预定参考值进行比较来确定认知疲劳。
根据一个或多个示范性实施例，处理单元另外配置成从面部图像提取瞳孔图像以及通过以预定取样频率再取样来从瞳孔图像提取psv。
根据一个或多个示范性实施例，分析单元另外配置成基于-200毫秒到1000毫秒的刺激开始来计算划分成1200毫秒时期的单位psv。
根据一个或多个示范性实施例，分析单元另外配置成通过使用总平均技术合并单位psv来计算tepr。
附图说明
通过结合附图对实施例进行的以下描述，这些和/或其它方面将变得显而易见且更加容易理解，其中：
图1是基于传入路径和传出路径的瞳孔与大脑之间的神经路径的概述。
图2示出根据示范性实施例的实验的涉及认知负荷的实验程序。
图3示出根据示范性实施例的实验的程序的流程。
图4示出根据示范性实施例的实际实验设备和环境。
图5示出根据示范性实施例的用于从捕捉到的图像检测瞳孔区域的步骤。
图6示出根据示范性实施例的用于任务诱发的瞳孔反应(tepr)延迟的信号处理进程和其定义。
图7是示出根据示范性实施例的用于分析事件相关电位(erp)、心跳诱发电位(hep)以及tepr的信号处理的框图。
图8示出根据示范性实施例的2d条件和3d条件下的四个因素的平均主观评分之间的差异。
图9示出根据示范性实施例的2d条件和3d条件下所呈现的目标的平均精确度和反应时间。
图10示出根据示范性实施例的2d条件和3d条件下八个大脑区域中erp延迟的平均值。
图11示出根据示范性实施例的2d条件和3d条件下八个大脑区域中hep第一分量和第二分量的平均值。
图12示出根据示范性实施例的在观看2d内容和3d内容之前和之后tepr延迟的变化的实例。
图13示出根据示范性实施例的2d条件和3d条件下瞳孔反应的tepr延迟的平均值。
图14示出国际10-20系统的脑电图(electroencephalogram；eeg)电极的布置。
具体实施方式
现在将详细参考各实施例，在附图中说明所述实施例的实例，其中在全文中相同的参考标号指代相同的元件。就此而言，本发明实施例可以具有不同形式且不应被解释为限于本文中所阐述的描述。因此，所述实施例通过参考附图仅在下文中进行描述以解释本说明书的各方面。
在下文中，参考附图描述一种根据本发明概念用于推断和检测生理信号的方法和系统。
然而，本发明可以以许多不同的形式得到实施，且不应被解释为限于本文中所阐述的实施例；相反地，提供这些实施例是为了使本公开将是透彻且完整的，且这些实施例将把本发明的概念完整地传达给所属领域的技术人员。附图中相同的参考标号表示相同的元件。在附图中，示意性地说明元件和区域。因此，本发明的概念并不受限于附图中所示出的相对大小或距离。
本文中所使用的术语仅出于描述特定实施例的目的且并非意图限制本发明。如本文中所使用，除非上下文另外明确地指示，否则单数形式“一(a/an)”和“所述”也意图包含复数形式。将进一步理解，术语“包括(comprises/comprising)”或“包含(includes/including)”在用于本说明书时限定所陈述的特征、数目、步骤、操作、元件和/或组件的存在，但并不排除一个或多个其它特征、数目、步骤、操作、元件、组件和/或其群组的存在或添加。
除非另外定义，否则本文中所使用的所有术语(包含技术和科技术语)具有与本发明所属领域的普通技术人员通常所理解的相同的含义。将进一步理解，术语，诸如在常用词典中所定义的那些术语，应解释为具有与其在相关技术和/或本申请案的上下文中的含义一致的含义，且除非本文中明确地定义，否则将不会以过度正式意义进行解释。
下文所描述的实施例涉及处理瞳孔大小变化(psv)以评估对象从移动图像而来的非接触3d认知疲劳。
图1示出神经网络的细节，尤其是基于传入路径和传出路径的瞳孔与大脑之间的神经路径的概述。
psv经由神经路径(传入和传出)与中枢神经系统(centralnervoussystem；cns)紧密相关。当观察内容时，眼睛，尤其是来自视网膜受体的感光性视网膜神经节细胞，通过视神经盘将视觉信息传输到视神经，以及传输到中脑上部的顶盖前核中的突触。接着，顶盖前核将视觉信息传输到艾伟二氏核(edinger-westphalnucleus)，动眼神经核中的一种。动眼神经(oculomotornerve)和眼神经(ophthalmicnerve)接着分别受到除经由括约肌(sphincter)和开大肌(dilatormuscles)对瞳孔大小的神经控制以外的神经支配。psv在功能上也受到认知负荷、感知、记忆力、注意力以及大脑活动的影响。
因此，3d视觉疲劳展示出与诸如认知负荷和注意力水平的认知功能的关系。因此，受认知负荷影响的psv被认为是3d认知疲劳的指标。当增加人体大脑的处理负荷(认知负荷)时，瞳孔直径增大。其它研究报告，较高认知负荷会增大瞳孔直径、平均瞳孔直径变化(meanpupildiameterchange；mpdc)、任务诱发的瞳孔反应(tepr)幅度以及持续期间。瞳孔直径的低频(lf，0hz到1.6hz)与高频(hf，1.6hz到4hz)之间的比率在认知负荷下显著降低。因此，瞳孔节律与认知负荷有关，且视为是3d认知疲劳的测量。
本发明的研究评估一种用于通过使用非接触方法克服测量负担的基于瞳孔反应的测量3d认知疲劳的方法。3d认知疲劳是通过瞳孔反应的tepr延迟来评估。研究还观测了3d认知疲劳的其它指标：主观评分(视觉压力、眼睛疼痛、身体疼痛以及图像模糊)、性能(精确度、反应时间)、erp(延迟)以及hep(α活化)。接着，将tepr延迟的结果与多特质多方法(mtmm)矩阵使用的其它指标进行比较(再测信度、判别效度和聚合效度)。
根据示范性实施例的评估方法是基于非接触获得的图像数据，由此通过附接传感器来减少或消除测量负担。
采用认知疲劳方法的系统是基于连同红外摄像机的计算机结构。
即，根据示例性实施例的系统包括：
红外电影摄像机，诸如网络摄像头，拍摄对象的面部图像；
图像处理单元，用于加工或处理来自红外电影摄像机的图像；以及
分析单元，用于根据从面部图像提取的psv计算tepr、提取tepr的主要波峰的延迟以及通过将延迟与参考进行比较来确定认知疲劳。
此处，图像处理单元、分析单元等等可以通过计算机系统的基于硬件的软件设备来实施。
图2示出根据本发明的实验的用于认知疲劳的负荷的实验刺激和其程序。图3示意性地示出根据本发明的实验的程序的流程。图4示出根据本发明的实际实验设备和环境。
<参与者>
年龄在23岁到31岁范围内(平均26.5±0.1岁)的十三个大学生(7个女性)参与到实验中。所有参与者都惯用右手，且具有正常或矫正到正常的视力(即，超过0.8)。他们没有心血管、中枢神经以及视觉疾病的家人或病史。每个参与者在实验之前24小时被单独告知戒绝酒精、香烟以及咖啡因，且获得整夜睡眠。此外，定义告知参与者限制和要求的知情同意书被接受。本实验中使用的所有方案通过了韩国汉城详明大学的机构审查委员会的审批。
<用于erp、hep以及tepr的刺激>
测量erp和tepr反应(认知负荷)的刺激物是利用现有的研究(mun等人，2012；park等人，2014；park等人，2015)来研发。刺激物随机产生12个字母数字字符(非目标：“a”到“k”+目标：“5”)。字母数字字符以6hz的速率更新。一个试验由涉及具有10秒长度的60个字母数字字符的5个序列组成。一个区块由涉及2秒试验间隔的5个试验(60秒)组成。总任务有15个区块。将目标、随机产生的字母数字字符之间的间隔设定为最小1秒以避免重叠erp和tepr数据(数据间距问题)。对于参与者，刺激呈现在屏幕的左侧和右侧。十字瞄准线定位在屏幕的中心。接着，用箭头告知参与者方向，在那里集中注意力或忽略(关注目标)。
<实验程序>
图3说明根据实施例的总体实验程序。要求每个参与者使用主观评分来报告视觉状态。主观评分是由诸如视觉压力(vs，15项)、眼睛疼痛(ep，10项)、身体疼痛(bp，4项)以及图像模糊因素(ibf，4项)的4个因素构成(li，2010)。还要求参与者在观看视频之前和之后都使用针对33项的1分到5分等级来自身报告主观视觉不适。在认知任务之前，对每个对象执行培训任务以将学习影响减到最小，且将性能增到最大。执行培训课程直到每个对象实现高于定义目标80％的高精确度。为将视觉疲劳减到最小，参与者被分配10分钟的休息，且接着继续认知任务。在认知任务期间，要求他们通过尽可能地击打键盘上的空格键来检测所关注目标的方向。在本实验中使用的显示屏是具有800×600的分辨率和120hz的垂直刷新率的17英寸的lcd显示屏。从参与者的眼睛到刺激物显示器的距离大约为60厘米。在任务期间，要求参与者把他们的眼睛盯在一对十字瞄准线且聚焦在所关注目标上。性能由目标响应的精确度定义，且响应时间由目标响应的响应滞后定义。目标开始之后的200毫秒与1200毫秒之间的反应时间被视为用于进一步分析的有效反应。利用目标呈现期间的eeg、心电图(ecg)、瞳孔变化数据以及反应时间作为erp、hep以及tepr分析的输入。这些分析也都在观看视频内容之前和之后执行。
参与者在实验过程中观看了2d版本和3d版本的“功夫熊猫3”(梦工厂动画东方梦工厂(dreamworksanimationorientaldreamworks)，20世纪福克斯cj娱乐，2016)。在本实验中，参与者在实验第一天观看视频内容的2d版本或3d版本(随机)，且在实验第二天观看另一维度(例如，第一天3d，第二天2d；对所有对象次序随机)。使用具有以下规格的蓝光播放器(bd-es6000，三星)来播放led-3dtv(un40es6800f，三星)上的2d和3d内容：
-3d类型：主动式快门镜
-大小：40英寸(宽度：936mm，高度：559mm)。
-空间分辨率：1920像素×1080像素。
-高宽比：16(水平)∶9(垂直)
-亮度与暗度的比率：大于1,000,000∶1(百万级dcr)。
参与者在家庭般的环境中观看2d和3d两种视频内容70分钟。观看距离距屏幕1.68米。距离是使用3dc安全准则计算出，其中距离应该等于屏幕高度的3倍。图4示出用于本实验的实验环境的实例。
<数据获取和信号处理>
在每次观看之前和之后都测量eeg、眼动图(electrooculogram；eog)、ecg以及瞳孔图像。基于如图14中所示出的国际“10-20”系统(接地：faz，参考：两只耳朵上的电极之间的平均值，以及dc电平：0hz到150hz)且使用mitsar-eeg202机器(mitsar公司，俄罗斯)从头皮上f3位置、f4位置、c3位置、c4位置、p3位置、p4位置、o1位置以及o2位置处的八个通道以500hz取样速率记录eeg信号。保持电极阻抗低于3kω。使用放大器系统(美国biopac系统公司的ecg100c放大器和eog100c放大器)以500hz取样速率记录ecg信号和eog信号，用daq板(美国国家仪器公司(nationalinstrumentinc.)的ni-daq-pad9205)和mp100电力供应器(美国biopac系统公司)来数字化。
使用引线iii(lead-iii)方法从一个通道测量ecg信号。从垂直和水平两个通道测量eog信号以允许消除闪烁的假影。通过使用gs3-u3-23s6m-c红外摄像机(点灰研究公司(pointgreyresearchinc)，加拿大)在125fps下以960×400的分辨率来记录瞳孔图像。
如图5中所示出，用红外摄像机从瞳孔检测捕捉的图像需要图像处理。用特定阈值将来自红外摄像机的灰度图像第一次二进制化，所述特定阈值是通过使用由冈萨雷斯(gonzalez)和伍兹(woods)提出的方法(2002)来确定。瞳孔区域通过以下式1为基础的圆形边缘检测(circularedgedetection；ced)算法(daugman，2004；lee等人，2009；lee等人，2010)来检测：
<式1>
其中i(x，y)、(x0，y0)以及r是检测到的中心位置的灰度和瞳孔的半径中的(x，y)位置。
图6示出用于tepr延迟的信号处理和其定义。
(1)从检测到的瞳孔区域计算出或提取出瞳孔直径。
(2)计算或提取出的瞳孔直径以1hz进行再取样(窗口大小：1s，分辨率：1s)，除由于眨眼造成的未检测到的瞳孔间隔以外。
(3)分别通过现有瞳孔直径数据之间的差值对以1hz再取样的瞳孔直径进行计算或提取作为psv数据。
(4)基于目标(刺激)开始(-200毫秒到1000毫秒)，将瞳孔大小变化(psv)，即瞳孔大小信号，划分成1200ms时期。数据除以预定固定时间间隔是单位psv。
(5)通过使用总平均法合并基于目标刺激划分的单位psv以计算或产生tepr。
(6)从tepr获得或计算出延迟。tepr延迟被定义为主要正波峰的时间值。如图6所示，这个主要正波峰被指定为本实验中的认知疲劳的指标。
另外，使用现有研究中所利用的相同方法来提取erp延迟(mun等人，2012；park等人，2015)和hep的α功率(park等人，2015)。图7示出用于分析erp、hep以及tepr的信号处理进程。
<统计分析>
本实验被设计成当体验“对象设计内”的2d和3d两种内容时，测试和比较观看者对3d认知疲劳的体验。曼氏-惠特尼试验(mann-whitenytest)用正态性测试进行测试。
当为了解决由多个比较所导致的问题时，执行邦弗朗尼校正(bonferronicorrection)来得出统计有效性。所有测量值是通过减去在观看之前和之后测量的值而计算出。统计有效水平可基于每个个体假定的数目(即，α＝.05/n)来控制。
对于本实验，每次测量的统计有效水平分别设定为0.0125(主观评估，α＝0.05/4)和0.0019(性能、erp以及hep，α＝0.05/26)此外，为确定实际有效性，也计算出基于r(非参数)的绝对值的效应大小。在这种状况下，r的标准值是0.10、0.30以及0.50，针对效应大小，其通常被视为较小，中等以及较大。
另外，为了验证各种3d认知疲劳指标，诸如主观评估，再测信度、聚合效度以及判别效度，使用了性能、erp、hep以及tepr-mtmm(多特质多方法)矩阵。如果数据样本的属性确定为多特质多方法，那么mtmm矩阵确定多个测量值之间的关系。
通过确定同法同质(可靠性对角线)、同法异质以及异法同质来检测且检验再测信度、判别效度以及聚合效度。
<主观评估>
图8示出2d条件和3d条件下的四个因素的平均主观评分的差异。主观等级是用五分等级来评估各四个分量(vs：视觉压力；ep：眼睛疼痛；bp：身体疼痛；ibf：图像模糊因素)，且其是用各观看条件(*，p＜0.05；**，p＜0.0125；***，p＜0.001)之前与之后之间的差值计算出。
如图8中所示，相比于2d观看条件，在3d观看条件下，针对眼睛疼痛(z＝-2.729，p＝0.0064，r＝0.535，较大效应大小)、身体疼痛(z＝-3.044，p＝0.0023，r＝0.597，较大效应大小)以及图像模糊因素(z＝-2.878，p＝0.0001，r＝0.761，较大效应大小)的主观评分显著增加。
主观评分的显著差异的平均值(mean；m)和标准差(standarddeviation；sd)见于以下：ep(2d：m＝0.131，sd＝0.434，3d：m＝0.631，sd＝0.670)、bp(2d：m＝-0.012，sd＝0.729，3d：m＝0.923，sd＝1.044)以及ibf(2d：m＝0.051，sd＝0.257，3d：m＝1.208，sd＝1.271)。尽管相比于2d观看条件累计3d观看条件的vs项，但其并不展示有效性(z＝-2.311，p＝0.0208，r＝0.453，较大效应大小)。
<性能>
图9示出2d条件和3d条件下所呈现目标的平均精确度(左)和反应时间(右)。两个值用各观看条件(*，p＜0.05；**，p＜0.0019)之前与之后之间的差值计算出。
本实验的重要性能是目标的精确度和反应时间。如图9中所示，相比于2d观看条件，3d观看条件的精确度降低。然而，降低不显著(z＝-2.489，p＝0.0128，r＝0.488，较大效应大小)。性能的差异的平均值(m)和标准差值(sd)结果为以下值：反应时间(2d：m＝-19.854，sd＝35.949，3d：m＝95.256，sd＝102.833)。相比于2d观看条件，3d观看条件下的反应时间显著减少(z＝-3.154，p＝0.0016，r＝0.619，较大效应大小)。
<erp延迟>
图10示出2d条件和3d条件下八个大脑区域中erp延迟的平均值。erp延迟值(p600)是用各观看条件(***，p＜0.001)之前与之后之间的差值计算出。
如图10中所示，相比于2d观看条件，在3d观看条件下，p4(z＝-3.853，p＝0.0001，r＝0.756，较大效应大小)、o1(z＝-3.772，p＝0.0002，r＝0.740，较大效应大小)以及o2(z＝-3.928，p＝0.0001，r＝0.770，较大效应大小)区域中的erp延迟显示延迟。对于其它大脑区域(f3、f4、c3、c4以及p3)未发现显著影响。在p4(2d：m＝-7.077，sd＝17.429，3d：m＝35.538，sd＝21.925)、o1(2d：m＝-8.769，sd＝14.434，3d：m＝21.692，sd＝14.290)以及o2(2d：m＝-2.615，sd＝19.931，3d：m＝43.385，sd＝31.057)处p600中检测到erp延迟的显著差异增大。
<hep的α功率>
图11示出2d条件和3d条件下八个大脑区域中的hep第一分量(r波峰之后50ms到250ms时间段内的α功率)和第二分量(r波峰之后250ms到600ms时间段内的α功率)的平均值。这个值是用各观看条件(*，p＜0.05；**，p＜0.0019；***，p＜0.001)之前与之后之间的差值计算出。
如图11中所示，相比于2d观看条件，在3d观看条件下，f4(z＝-3.359，p＝0.0008，r＝0.659，较大效应大小)区域中的第一hep分量的α功率显示显著增大。
第一hep分量中的α功率的差异的平均值(m)和标准差(sd)结果如下：f4区域(2d：m＝-0.00020，sd＝0.00039，3d：m＝0.00058，sd＝0.00022)。在其它大脑区域(f3、c3、c4、p3、p4、o1以及o2)未发现显著结果。
相比于2d观看条件，在3d观看条件下，f3(z＝-4.282，p＝0.0001，r＝0.840，较大效应大小)以及f4(z＝-4.231，p＝0.0001，r＝0.830，较大效应大小)区域中的第二hep分量的α功率也显示显著增大。
第二hep分量的α功率中的差异的平均值(m)和标准差(sd)结果如下：f3区域(2d：m＝-0.00001，sd＝0.00017，3d：m＝0.00088，sd＝0.00044)和f4区域(2d：m＝-0.00001，sd＝0.00089，3d：m＝0.00089，sd＝0.00095)。在其它大脑区域(c3、c4、p3、p4、o1以及o2)未发现显著结果。
<tepr延迟>
图12示出参与者3、参与者7以及参与者12在观看2d内容和3d内容之前和之后tepr延迟的变化的实例。在图12中，左侧的三个曲线图是用于2d内容，且右侧的三个曲线图是用于3d内容。通过虚线来展示观看之前的tepr延迟，且实线展示观看之后的tepr延迟。参与者3、参与者7以及参与者12在2d观看之前与之后之间的tepr延迟的差值分别是8ms、40ms以及40ms。参与者3、参与者7以及参与者12在3d观看之前与之后之间的tepr延迟的差值分别是168ms、176ms以及240ms。
在两个条件的差异中，在观看2d内容之前和之后，tepr波形中的主要正波峰显示在其之间的微小差异。对于3d内容，有趣的是，观看之后的主要波峰比观看之前的波峰延迟很多。
图13示出2d条件和3d条件下瞳孔反应中tepr延迟的平均值。tepr延迟值是用各观看条件(***，p＜0.001)之前与之后之间的差值计算出。
如图13中所示，3d观看条件下tepr延迟的值高于2d观看条件下(z＝-4.185，p＝0.0001，r＝0.821，较大效应大小)的值。tepr延迟的差异的平均值(m)和标准差(sd)结果如下：tepr延迟值(2d：m＝27.077，sd＝46.281，3d：m＝176.000，sd＝38.431)。
<mtmm矩阵>
通过利用多特质多方法(mtmm)分析来对视觉疲劳的测量值之间的再测信度、判别效度和聚合效度进行比较。本实验设计定义多法包含在2d观看条件和3d观看条件下。此外，多特质涉及视觉疲劳的测量，诸如基于矫正统计有效性测量的主观评分因素(ep、bp以及ibf)、性能因素(反应时间)、erp延迟因素(p4、o1以及o2处大脑区域的延迟)、hep因素(f4处大脑区域的hep第一分量以及f3和f4处大脑区域的第二分量的α活动)以及tepr因素(tepr延迟)，如表1中所示。
表1根据示范性实施例的一种多特质多方法(multi-traitandmulti-method；mtmm)矩阵。
表1
表1示出一个2d观看试验和3d观看试验中主观评估、性能与erp延迟、hep的α功率和tepr延迟之间的相关系数的多特质多方法(mtmm)矩阵。
在表1中，信度(克伦巴赫α系数(cronbach′salphacoefficient))示出为黑色的主对角线(mtmm)。判别效度示出为浅灰色的异质同法三角形。聚合效度示出为深灰色的同质异法对角线。当小于.20(p＞.01)时，不展示其它性状之间的相关系数。表中的缩写紧随其后；seep、sebp以及seibf-主观评分(眼睛疼痛、身体疼痛以及图像模糊因素)；prt-性能(反应时间)；e(l)p4、e(l)o1以及e(l)o2-erp延迟(p4大脑区域、o1大脑区域以及o2大脑区域)；h(f)f4-hep第一分量(f4大脑区域)；h(s)f3和h(s)f4-hep第二分量(f3大脑区域和f4大脑区域)；t(l)-tepr延迟。
再测信度用2d观看条件与3d观看条件之间的mtmm矩阵的主对角线定义(多法)。
如表1中所示，主观评分、srep、srbp以及sribf在2d(0.595、0.596以及0.595)和3d(0.432、0.421以及0.396)两种观看试验中展示低信度。性能(prt)在2d(0.611)和3d(0.517)两种观看试验中也展示低信度。p4区域处的erp延迟(erp(l)p4)在2d(0.665)和3d(0.539)两种观看试验中展示低信度。o1区域和o2区域处的erp延迟(erp(l)o1以及erp(l)o2)在2d观看试验(0.582和0.568)中展示低信度，但在3d观看试验(0.719和0.714)中展示高信度。f4区域处第一分量中的hepα功率(hep(f)f4)在2d观看试验(0.695)中展示低信度，但在3d观看试验(0.746)中展示高信度。f3区域处第二分量中的hepα功率(hep(s)f3)在2d观看试验(0.687)中展示低信度，但在3d观看试验(0.744)中展示高信度。f4区域处第二分量中的hepα功率(hep(s)f4)在2d(0.795)和3d(0.776)两种观看试验中展示高信度。
tepr延迟(teprl)在2d(0.778)和3d(0.742)两种观看试验中展示高信度。2d观看试验与3d观看试验之间的信度系数在内部与f4区域处第二分量中的hepα功率和tepr延迟而不是其它测量值一致。判别效度的有效性用异质同法三角形确定。tepr延迟产生与erp测量值(0.469到0.916)和hep测量值(0.421到0.966)高度相关的系数。tepr延迟与hep第二分量(f4区域)之间的相关系数展示较强正相关(0.641到0.966)。然而，相比于hep测量值与erp测量值，tepr延迟与其它测量值之间的相关系数相对较低(-0.371到0.458)。hep/erp与其它测量值之间的相关系数也相对较低(-0.371到0.694/-0.420到0.694)。erp测量值、hep测量值与tepr测量值之间的判别效度不稳定。这些测量值与主观评分和性能测量值有差异。
聚合效度用同质多法对角线定义。主观评分，诸如srep、srbp以及srirf，展示0.212到0.262的低相关性。性能(prt)展示-0.261的低相关性。p4区域、o1区域以及o2区域的erp延迟(erp(l)p4、erp(l)o1。以及erp(l)o2)展示-0.233到0.335的低相关性。hep测量值(hep(f)f4、hep(s)f3以及hep(s)f4)展示0.337到0.587的中等相关性。tepr延迟(teprl)展示0.519的中等相关性。hep(hep(s)f4)测量值与tepr延迟(teprl)测量值具有胜于其它测量值的更高的相关性(0.587和0.519)。
<讨论>
已针对测量和量化的方法研究3d视觉疲劳，以便改善观看者体验。发现了视觉疲劳是认知过程的退化的结果而不是视觉不适。与认知功能有关的erp测量值和hep测量值通过现有研究提出作为视觉疲劳的指标且展示比其它指标更高的信度。然而，用于视觉疲劳的这些现有指示器(通常是生物传感器)因为传感器需要附接到皮肤上而在实际应用中受到限制。为了这个目的，本发明提出一种通过使用非接触方法克服测量负担的基于瞳孔反应(tepr延迟)的新方法。根据本发明的示范性实施例的方法的可靠性通过使用mtmm分析来与其它测量值(主观评分、性能、erp以及hep)进行比较而审批通过。
对象评分展示在观看3d视频之后但不在观看2d视频之后，参与者体验的主观视觉疲劳(眼睛疼痛、身体疼痛以及图像模糊因素)。基于主观评分的结果确定本实验导致的视觉疲劳。目标的反应时间在观看3d视频之后相较于观看2d视频之后显著增加。增加参与者的目标反应时间是由于观看者体验的难以将他们的注意力集中在任务上导致，且与增加人体大脑中的认知负荷密切相关。结果是，相比于2d视频，参与者观看3d视频之后，erp延迟显著地延迟。已熟知erp的p300分量是与认知功能相关的指标。p300分量的延迟与人体视觉功能的退化，即认知负荷(疲劳)相关。现有研究报告了erp延迟从p300到p600和p700的显著延迟，且展示了与我们的研究相同的结果。
hep中第一分量和第二分量的α功率在观看3d视频之后相较于观看2d视频之后增大。hep中第一(r波峰之后50ms到250ms)分量和第二(r波峰之后250ms到600ms)分量的α功率展示将心脏信息和心脏中的液压血压波通过交感神经中的传入路径传输行进到大脑所需要的时间间隔。增加第一分量和第二分量的α功率意味着由大脑中信息处理的退化导致在心脏与大脑之间的通信期间，大脑需要心脏信息和血流。如早先所提及，视觉疲劳，即认知负荷，是由本实验设计根据主观评分、反应时间、erp延迟以及hep第一分量和第二分量中的α功率的结果导致。
在这项研究中，tepr延迟，类似于erp延迟，被定义为总平均瞳孔直径中来自诱发电位的主要瞳孔反应的时间值。tepr延迟在参与者观看3d视频之后显著延迟，但当参与者观看2d视频时仅存在微小差异。这通过瞳孔直径来证明，所述瞳孔直径在功能上受到诸如认知负荷、感知、记忆力、注意力以及大脑活动的大脑处理的影响。现有研究已发现瞳孔直径和瞳孔大小变化的增加与认知负荷的退化密切相关。每次试验目标呈现给参与者时的瞳孔反应(瞳孔直径)由所有试验的总平均值处理。连续瞳孔反应由总平均值控制，且间歇反应衰减。如之前所提及，呈现目标之后，tepr延迟与瞳孔大小变化的主要位置相关。这种反应的延迟与个体用于处理视觉信息的认知能力的退化相关，这项发现是在本研究中确定的。
在mtmm分析结果中，相比于其它测量值，hep测量值和tepr测量值在2d和3d两种观看试验中展示高可靠性。这些测量值在用于多法(2d观看条件和3d观看条件)的重复测量中也展示较强可靠性。通常，电生理学测量值(erp和hep)展示比非电生理学(诸如响应时间和主观评分)更高的可靠性。对于tepr延迟，相比于电生理学测量值，存在相等或更高的可靠性。这些测量值具有再测信度，其中hep测量值和tepr测量值展示比erp测量值更高的有效性。hep测量值、erp测量值与tepr测量值之间的相关系数展示较强正相关。然而，这些测量值展示反应时间和主观评分的低相关系数。因此，显示hep测量值、erp测量值以及tepr测量值与非电生理学测量值具有判别效度。这些测量值，即具有与评估3d视觉的(认知)疲劳相同的方向。此外，显示hep测量值和tepr测量值具有高集合效度。erp和hep已被熟知为与精神负荷相关的认知功能的指标。在tepr延迟中，erp测量值和hep测量值的判别效度低。换句话说，tepr延迟可以是精神负荷的测量值。现有研究也证明瞳孔反应与认知功能有关系。tepr延迟还保持与高于其它测量值的hep测量相当的再测信度和集合效度。相比于除hep以外的其它测量值，结果显示tepr延迟对3d视觉疲劳的评估的优越性。确凿地，推荐tepr延迟作为比其它测量值更好的3d视觉疲劳的定量评估。
<结论>
本研究的目的是评估一种用于通过使用非接触式方法克服测量负担的基于瞳孔反应(tepr)的测量3d认知疲劳的方法。当参与者经历3d认知疲劳时，tepr延迟展示显著延迟。其它测量值，诸如主观评分、响应时间、erp延迟以及hepα功率，展示与现有研究相同的显著差异。从mtmm分析的结果中，发现tepr延迟和hepα功率具有胜于其它测量值的较强可靠性和与3d认知疲劳的高度相关性。本发明的研究发现tepr延迟可用于定量确定3d视觉疲劳。因此，由于tepr延迟可通过非接触在不具有测量负担的情况下容易地评估3d视觉疲劳，所以所提出的方法提供可用性和去除包含根据传统传感器附接的附接负担、浪费时间以及限定时间的所有缺点的优点。
根据本发明，3d视觉疲劳的起因，诸如观看者特征、视觉内容、观看环境、显示器以及装置因素，可以通过使用采用基于连同摄像机的计算机结构的方法的系统更容易地确定。因此，可以利用根据本发明的方法和系统来确认3d技术的改善。
应理解，本文中所描述的实施例应被认为仅具有描述性意义，而非出于限制性目的。每一个实施例内的特征或方面的描述通常应被认为可用于其它实施例中的其它类似特征或方面。
尽管已参考附图描述一个或多个实施例，但所属领域的普通技术人员应了解，在不脱离如由以上权利要求所定义的本公开的精神和范围的情况下，可以在其中对形式和细节进行各种变化。