整合视听连续执行测试方法、装置及系统与流程

本发明涉及虚拟现实技术领域，尤其是涉及一种整合视听连续执行测试方法、装置及系统。

背景技术

整合视听连续执行测试(intergratedvisualandauditorycontinuousperformancetest，iva-cpt)方法，在自闭症、焦虑症、儿童注意缺陷多动障碍等方面具有重要的应用。

现有基于vr(virtualreality)虚拟现实技术的iva-cpt方法中，评估过程相对简单，只包括一个练习阶段和一个评估注意稳定和注意分配的阶段，而且练习阶段不计入数据，这种方式外界干扰因素太大，评估结果非常不精准。

技术实现要素：

有鉴于此，本发明的目的在于提供一种整合视听连续执行测试方法、装置及系统，能够通过vr场景显示的三种测试内容，准确地评估目标对象的注意稳定性、注意分配、注意转移情况。

第一方面，本发明实施例提供了一种整合视听连续执行测试方法，应用于由vr眼镜、手柄和显示终端所组成的系统中，包括：

通过vr眼镜向待测试目标对象显示虚拟教室场景；

接收待测试目标对象根据虚拟教室场景及预设视听测试内容，通过手柄所执行的操作；预设视听测试内容包括：第一测试内容、第二测试内容和第三测试内容；操作包括：分别与第一测试内容、第二测试内容和第三测试内容所对应的第一操作、第二操作和第三操作；

基于操作获取预设测试内容对应的测试数据；测试数据包括：第一测试数据、第二测试数据和第三测试数据；

根据测试数据进行分析，得到待测试目标对象的测试结果；测试结果包括：第一测试结果、第二测试结果和第三测试结果；第一测试结果为注意稳定结果；第二测试结果为在远干扰下的注意稳定结果和注意分配结果；第三测试结果为注意稳定结果、注意分配结果和注意转移结果。

结合第一方面，本发明实施例提供了第一方面的第一种可能的实施方式，其中，第一测试内容包括：在虚拟教室场景中依次显示2min的视觉通道、2min的听觉通道和4min的视听双通道；视觉通道包括：以图片方式随机呈现的40个信号和40个噪音；听觉通道包括：以音频方式随机呈现的40个信号和40个噪音；视听双通道包括：以音频、图片方式各随机呈现的40个信号和40个噪音；

第二测试内容包括：在虚拟教室场景中显示4min的视听双通道；在4min的视听双通道中，每隔30s呈现一次远干扰刺激；视听双通道包括：以音频、图片方式各随机呈现的40个信号和40个噪音；

第三测试内容包括：在虚拟教室场景中显示2min的视听双通道、6s的视觉通道和2min的视听双通道；在6s的视觉通道中，呈现近干扰刺激。

结合第一方面，本发明实施例提供了第一方面的第二种可能的实施方式，其中，第一测试数据包括：听觉通道、视觉通道和视听双通道分别对应的反应时间、击中信号及虚报信号的个数；

第二测试数据包括：视听双通道对应的反应时间、击中信号和虚报信号的个数、远干扰刺激出现时击中信号的个数；

第三测试数据包括：近干扰刺激前后的视听双通道所对应的反应时间、击中信号和虚报信号的个数。

结合第一方面，本发明实施例提供了第一方面的第三种可能的实施方式，其中，根据测试数据进行分析，得到待测试目标对象的测试结果，具体包括：

根据听觉通道、视觉通道和视听双通道分别对应的反应时间、击中信号及虚报信号的个数，计算听觉通道、视觉通道和视听双通道分别对应的警惕性d′值、信号击中率、反应时间均值和反应时间的标准差；

根据信号击中率、反应时间均值和反应时间的标准差，生成信号击中率、反应时间均值和反应时间的标准差变化的趋势图；

将警惕性d′值、信号击中率、反应时间均值、反应时间的标准差及趋势图，作为待测试目标对象的测试结果中的注意稳定结果。

结合第一方面，本发明实施例提供了第一方面的第四种可能的实施方式，其中，计算听觉通道、视觉通道和视听双通道分别对应的警惕性d′值、信号击中率、反应时间均值和反应时间的标准差，具体包括：

通过以下公式计算警惕性d′值：

d′＝z击中-z虚报；

其中，z击中表示击中信号的概率在poz转换表中对应的数值；z虚报表示虚报信号的概率在poz转换表中对应的数值；

信号击中率＝击中信号的个数/总信号的个数；

其中，总信号的个数为击中信号的个数与虚报信号的个数的总和；

反应时间均值为：

反应时间的标准差：

结合第一方面，本发明实施例提供了第一方面的第五种可能的实施方式，其中，在获取到第二测试数据的情况下，根据测试数据进行分析，得到待测试目标对象的测试结果，还包括：

通过下式计算待测试目标对象的测试结果中的注意分配结果q：

其中，s1为单一声音刺激时的正确反应次数；f1为单一光刺激时的正确反应次数；s2为声光刺激时的声音正确反应次数；f2为声光刺激时的光正确反应次数；

当q＜0.5时，则判断没有注意分配值；

当0.5＜q＜1.0时，则判断有注意分配值；

当q＝1.0时，则判断注意分配值最大；

当q＞1.0时，则判断注意分配值无效。

结合第一方面，本发明实施例提供了第一方面的第六种可能的实施方式，其中，在获取到第三测试数据的情况下，根据测试数据进行分析，得到待测试目标对象的测试结果，还包括：

根据配对样本t检验，确定待测试目标对象的测试结果中的注意转移结果：

配对样本t检验的t值计算公式为：

其中，

指近干扰刺激前后配对样本的反应时间的差值的平均值；s为近干扰刺激前后配对样本的反应时间的差值的标准差，n为近干扰刺激前后配对样本的个数。

第二方面，本发明实施例还提供一种整合视听连续执行测试装置，应用于由vr眼镜、手柄和显示终端所组成的系统中，包括：

显示模块，用于通过vr眼镜向待测试目标对象显示虚拟教室场景；

操作接收模块，用于接收待测试目标对象根据虚拟教室场景及预设视听测试内容，通过手柄所执行的操作；预设视听测试内容包括：第一测试内容、第二测试内容和第三测试内容；操作包括：分别与第一测试内容、第二测试内容和第三测试内容所对应的第一操作、第二操作和第三操作；

数据获取模块，基于操作获取预设测试内容对应的测试数据；测试数据包括：第一测试数据、第二测试数据和第三测试数据；

数据分析模块，用于根据测试数据进行分析，得到待测试目标对象的测试结果；测试结果包括：第一测试结果、第二测试结果和第三测试结果；第一测试结果为注意稳定结果；第二测试结果为在远干扰下的注意稳定结果和注意分配结果；第三测试结果为注意稳定结果、注意分配结果和注意转移结果。

第三方面，本发明实施例还提供一种整合视听连续执行测试系统，包括vr眼镜、手柄和显示终端；

vr眼镜、手柄分别和显示终端通信连接；

显示终端上安装有如第二方面所述的整合视听连续执行测试装置。

第四方面，本发明实施例还提供一种具有处理器可执行的非易失的程序代码的计算机可读介质，程序代码使处理器执行第一方面所述的方法。

本发明实施例带来了以下有益效果：

本发明实施例提供的整合视听连续执行测试方法，应用于由vr眼镜、手柄和显示终端所组成的系统中，首先通过vr眼镜向待测试目标对象显示虚拟教室场景；接收待测试目标对象根据虚拟教室场景及预设视听测试内容，通过手柄所执行的操作；预设视听测试内容包括：第一测试内容、第二测试内容和第三测试内容；操作包括：分别与第一测试内容、第二测试内容和第三测试内容所对应的第一操作、第二操作和第三操作；基于操作获取预设测试内容对应的测试数据；测试数据包括：第一测试数据、第二测试数据和第三测试数据；根据测试数据进行分析，得到待测试目标对象的测试结果；测试结果包括：第一测试结果、第二测试结果和第三测试结果；第一测试结果为注意稳定结果；第二测试结果为在远干扰下的注意稳定结果和注意分配结果；第三测试结果为注意稳定结果、注意分配结果和注意转移结果。本发明能够通过vr场景显示的无干扰刺激的测试内容、分别有远干扰刺激和近干扰刺激的测试内容，准确地评估目标对象的注意稳定性、注意分配、注意转移情况。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的一种整合视听连续执行测试方法的流程图；

图2为本发明实施例一提供的另一种整合视听连续执行测试方法的流程图；

图3为本发明实施例二提供的一种整合视听连续执行测试装置的示意图；

图4为本发明实施例三提供的一种整合视听连续执行测试系统的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

现有基于vr(virtualreality)虚拟现实技术的iva-cpt方法中，评估过程方式简单，在外界干扰因素较大的情况下，评估结果非常不精准。基于此，本发明实施例提供一种整合视听连续执行测试方法、装置及系统，能够通过vr场景显示的无干扰刺激的测试内容、分别有远干扰刺激和近干扰刺激的测试内容，准确地评估目标对象的注意稳定性、注意分配、注意转移情况。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种整合视听连续执行测试方法进行详细介绍。

实施例一：

本发明实施例提供了一种整合视听连续执行测试方法，应用于由vr眼镜、手柄和显示终端所组成的系统中，参见图1所示，该方法包括以下步骤：

s11：通过vr眼镜向待测试目标对象显示虚拟教室场景。

本实施例中，待测试目标对象为6-15岁的儿童，整个测试过程的时间约16min。首先，显示终端通过vr眼镜向待测试儿童呈现虚拟教室场景，比如，虚拟教室场景包括：几张桌椅、女教师、黑板、余光可以看到大窗户、教室的门口，坐着的小朋友等等。

在测试开始之前，虚拟场景中首先会出现约30s的指导语，指导语会借助女教师的角色进行讲解，以使待测试儿童慢慢适应该场景及测试内容。然后可以给待测试儿童一段练习时间，不计入数据，在虚拟黑板上会呈现信号刺激(猫)和噪音刺激(狗、鸟、鱼)，要求儿童听到或看到信号刺激(猫)的时候按动手柄。

s12：接收待测试目标对象根据虚拟教室场景及预设视听测试内容，通过手柄所执行的操作。

在待测试儿童练习完毕后，开始正式的测试阶段，上述预设视听测试内容包括：第一测试内容、第二测试内容和第三测试内容；待测试儿童通过手柄所执行的操作包括：分别与第一测试内容、第二测试内容和第三测试内容所对应的第一操作、第二操作和第三操作。

其中，第一测试内容包括：在虚拟教室场景中依次显示2min的视觉通道、2min的听觉通道和4min的视听双通道；视觉通道包括：以图片方式随机呈现的40个信号和40个噪音；听觉通道包括：以音频方式随机呈现的40个信号和40个噪音；视听双通道包括：以音频、图片方式各随机呈现的40个信号和40个噪音。

第二测试内容包括：在虚拟教室场景中显示4min的视听双通道；在4min的视听双通道中，每隔30s呈现一次远干扰刺激；视听双通道包括：以音频、图片方式各随机呈现的40个信号和40个噪音。

该阶段加入了固定时间和固定方位呈现的不同程度的远干扰刺激，属于难度中等的注意稳定测验和注意分配测验。部分注意力稳定性差的儿童会发生注意转移(即干扰刺激出现时，均未击中信号)。每隔30s依次呈现一种干扰刺激(即：窗外的车辆轰鸣声、窗外开过的车辆、教室门外的脚步声、教室门口走动的人)。干扰刺激必须搭配信号出现。其他的信号和噪音呈现顺序随机。第二测试内容包括以下几种方式：

(1)视觉通道练习+视觉干扰刺激，如：窗外开过得车辆、教室门口走动的人；

(2)视觉通道练习+听觉干扰刺激，如：窗外的车辆轰鸣声、教室门外的脚步声；

(3)听觉通道练习+视觉干扰刺激，如：窗外开过得车辆、教室门口走动的人；

(4)听觉通道练习+听觉干扰刺激，如：窗外的车辆轰鸣声、教室们外的脚步声。

第三测试内容包括：在虚拟教室场景中显示2min的视听双通道、6s的视觉通道和2min的视听双通道；在6s的视觉通道中，呈现近干扰刺激。

通过出现在儿童视觉中央的近干扰刺激(如盘旋的纸飞机等)，吸引并转移儿童的注意力，通过干扰刺激出现前后的注意稳定性的比较来评估儿童注意力转移能力。近干扰出现期间，儿童的注意力会被吸引走，此时无论儿童是否做出正确反应，均不纳入最终的数据记录内，这样可以确保最终数据的纯粹。

上述测试内容中，信号和噪音呈现方式包括多种形式，以此不做具体限定，最好与颜色无关，可以是水果、图案等，且发音音节一致，如：苹果/香蕉，花/叶)。刺激(声音/图片)呈现时间为150毫秒，间隔为1350毫秒，儿童根据上述测试内容按动鼠标左键完成操作。

s13：基于操作获取预设测试内容对应的测试数据。

当测试完成后，提取与第一测试内容、第二测试内容和第三测试内容对应的测试数据，即第一测试数据、第二测试数据和第三测试数据。

其中，第一测试数据包括：听觉通道、视觉通道和视听双通道分别对应的反应时间、击中信号及虚报信号的个数。第二测试数据包括：视听双通道对应的反应时间、击中信号和虚报信号的个数、远干扰刺激出现时击中信号的个数。第三测试数据包括：近干扰刺激前后的视听双通道所对应的反应时间、击中信号和虚报信号的个数。

s14：根据测试数据进行分析，得到待测试目标对象的测试结果。

在提取到测试数据后，对其进行分析计算，得到最终的待测试目标对象的测试结果。该测试结果包括：第一测试结果、第二测试结果和第三测试结果；第一测试结果为注意稳定结果；第二测试结果为在远干扰下的注意稳定结果和注意分配结果；第三测试结果为注意稳定结果、注意分配结果和注意转移结果。

根据测试数据进行分析，得到待测试目标对象的测试结果，具体包括以下步骤，参见图2所示：

s141：根据听觉通道、视觉通道和视听双通道分别对应的反应时间、击中信号及虚报信号的个数，计算听觉通道、视觉通道和视听双通道分别对应的警惕性d′值、信号击中率、反应时间均值和反应时间的标准差。

通过以下公式计算警惕性d′值：

d′＝z击中-z虚报；

其中，z击中表示击中信号的概率在poz转换表中对应的数值；z虚报表示虚报信号的概率在poz转换表中对应的数值；

信号击中率＝击中信号的个数/总信号的个数；

其中，总信号的个数为击中信号的个数与虚报信号的个数的总和；

反应时间均值为：

反应时间的标准差：

s142：根据信号击中率、反应时间均值和反应时间的标准差，生成信号击中率、反应时间均值和反应时间的标准差变化的趋势图。

该趋势图为提取固定时间间隔的，击中率、反应时间均值、反应时间的标准差变化的线形图。

s143：将警惕性d′值、信号击中率、反应时间均值、反应时间的标准差及趋势图，作为待测试目标对象的测试结果中的注意稳定结果。

在获取到第二测试数据的情况下，上述步骤s14：根据测试数据进行分析，得到待测试目标对象的测试结果，还包括以下步骤：

通过下式计算待测试目标对象的测试结果中的注意分配结果q：

其中，s1为单一声音刺激时的正确反应次数；f1为单一光刺激时的正确反应次数；s2为声光刺激时的声音正确反应次数；f2为声光刺激时的光正确反应次数；

当q＜0.5时，则判断没有注意分配值；

当0.5＜q＜1.0时，则判断有注意分配值；

当q＝1.0时，则判断注意分配值最大；

当q＞1.0时，则判断注意分配值无效。

通过计算q值，可以得到待测试目标对象的注意分配结果。

在获取到第三测试数据的情况下，上述步骤s14：根据测试数据进行分析，得到待测试目标对象的测试结果，还包括以下步骤：

根据配对样本t检验，确定待测试目标对象的测试结果中的注意转移结果：

配对样本t检验的t值计算公式为：

其中，

指近干扰刺激前后配对样本的反应时间的差值的平均值；s为近干扰刺激前后配对样本的反应时间的差值的标准差，n为近干扰刺激前后配对样本的个数。这里默认预设总体样本量的差异为0，因此，上述公式中会有

通过比较干扰刺激出现前后的两组反应时间来评估待测试目标对象的注意转移情况，用到的统计方法为配对样本t检验。

此外，还可以通过公式β＝o击中/o虚报，判断待测试目标对象在测试过程中的表现情况，上述公式中，o击中为poz转换表中击中率(p击中)对应的纵轴值；o虚报为poz转换表中，虚报率(p虚报)对应的纵轴值。

一般认为，β＞1说明被测试者掌握的标准较严；β值接近或等于1，说明被测试者掌握的标准不严也不松；β值小于1，说明被测试者在随意作答。

本发明实施例所提供的整合视听连续执行测试方法，能够通过vr场景显示的无干扰刺激的测试内容、分别有远干扰刺激和近干扰刺激的测试内容，准确地评估目标对象的注意稳定性、注意分配、注意转移情况。

实施例二：

本发明实施例还提供一种整合视听连续执行测试装置，应用于由vr眼镜、手柄和显示终端所组成的系统中，参见图3所示，该装置包括：显示模块21、操作接收模块22、数据获取模块23和数据分析模块24。

其中，显示模块21，用于通过vr眼镜向待测试目标对象显示虚拟教室场景；操作接收模块22，用于接收待测试目标对象根据虚拟教室场景及预设视听测试内容，通过手柄所执行的操作；预设视听测试内容包括：第一测试内容、第二测试内容和第三测试内容；操作包括：分别与第一测试内容、第二测试内容和第三测试内容所对应的第一操作、第二操作和第三操作；数据获取模块23，基于操作获取预设测试内容对应的测试数据；测试数据包括：第一测试数据、第二测试数据和第三测试数据；数据分析模块24，用于根据测试数据进行分析，得到待测试目标对象的测试结果；测试结果包括：第一测试结果、第二测试结果和第三测试结果；第一测试结果为注意稳定结果；第二测试结果为在远干扰下的注意稳定结果和注意分配结果；第三测试结果为注意稳定结果、注意分配结果和注意转移结果。

本发明实施例所提供的整合视听连续执行测试装置中，各个模块与前述整合视听连续执行测试方法具有相同的技术特征，因此，同样可以实现上述功能。本装置中各个模块的具体工作过程参见上述方法实施例，在此不再赘述。

实施例三：

本发明实施例还提供一种整合视听连续执行测试系统，参见图4所示，该系统包括vr眼镜31、手柄33和显示终端32。其中，vr眼镜31、手柄33分别和显示终端32通信连接；显示终端32上安装有如实施例二所述的整合视听连续执行测试装置321。

本发明实施例所提供的整合视听连续执行测试系统中，各个模块与前述整合视听连续执行测试装置具有相同的技术特征，因此，同样可以实现上述功能。本系统中各个模块的具体工作过程参见上述方法实施例，在此不再赘述。

本发明实施例所提供的整合视听连续执行测试方法的计算机程序产品，包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质，所述程序代码包括的指令可用于执行前面方法实施例中所述的方法，具体实现可参见方法实施例，在此不再赘述。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置及电子设备的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

附图中的流程图和框图显示了根据本发明的多个实施例方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。