一种基于PPG信号的游戏体验测量方法

一种基于ppg信号的游戏体验测量方法
技术领域：
1.本发明涉及游戏技术领域，尤其涉及一种基于生理信号的游戏体验测量方法。


背景技术：

2.目前，对于游戏体验的测量大多是利用调查问卷的形式，但是这种方法是一种事后回忆性质的测量，无法实时还原游戏过程中的体验，无法获取游戏过程中的用户体验，也难以通过这种方式来改进游戏细节的设计。
3.基于生理信号的游戏体验测量可以实时获取游戏玩家的用户数据，但是大多数生理信号侵入性高，采集生理信号的过程已经影响了用户感受，所以不能准确反应游戏过程中的体验。
4.比如在游戏《nevermind》中，玩家需要戴上带有心率检测功能的蓝牙手环进行游戏，这种需要额外添加的设备会使玩家刻意注意手环本身，而无法聚精会神于游戏之中，如何无痕的采集生理信号目前尚且没有很好的解决方法。


技术实现要素：

5.本发明的目的是克服现有方法的不足，提供一种基于ppg信号的实时客观准确的游戏过程中游戏玩家游戏体验的测量方法和装置。
6.一种基于ppg信号的游戏体验测量方法，其特征在于包括以下步骤：
7.步骤1、组织游戏玩家的人机交互实验，收集相关的生理数据和主观评价数据，形成数据库；
8.步骤2、建立、训练并校验基于ppg信号的认知负荷预测模型；
9.步骤3、建立基于游戏过程中玩家认知负荷体验的控制策略；
10.具体为：
11.步骤1、组织认知负荷生理实验，形成数据库；
12.利用经典的瞬时记忆类n-back任务来激发不同层次的认知负荷水平；受试者在进行实验时会收到一连串的刺激，这些刺激可以是声音、数字、图象等等，受试者需要指出当前的刺激是否与一步之前的刺激相同；从而做出决策；相同按下按钮1，不相同按下按钮2；
13.生理实验全程中置采集实验过程中被试的血管容积脉搏波信号ppg(t)，以及对应的认知负荷的主观评价值c(t)；主观的认知负荷评价值设置为1-10，10个档次，被试从中选取一个，最终的主观评价值c(t)＝选取档次/10；至少需要采集100名不同被试的实验数据；
14.步骤2、建立、训练并校验基于lstm神经网络的认知负荷预测模型；
15.对数据预处理，首先根据c(t)取值把血管容积脉搏波信号ppg(t)进行切割，c(t)≤0.2的作为认知负荷过低的一类，0.3≤c(t)≤0.7的作为认知负荷适中的一类，c(t)≥0.8作为认知负荷过高的一类；分类以后求取各个类中ppg(t)的一阶导数ppg’(t)和二阶导数ppg”(t)；
16.建立基于lstm神经网络的认知负荷预测模型，基于数据库数据，将血管容积脉搏
波原始信号、一阶导数和二阶导数作为基于lstm神经网络的认知负荷预测模型的输入，将认知负荷适中、过低、过高作为基于lstm神经网络的认知负荷预测模型的输出，训练基于lstm神经网络的认知负荷预测模型；
17.通过十折交叉验证计算auc；当auc＞0.7时，认为基于lstm神经网络的认知负荷预测模型预测结果准确；所谓auc就是预测结果的roc曲线下的面积；roc是一条二维坐标系下横纵坐标的定义域均为[0,1]的曲线，它的横纵坐标分别为fpr假阳率和tpr真阳率，这两个分量分别由以下公式求出：
[0018][0019]
以二分类为例其含义分别为：真阳性样本数除以所有真实阳性样本数与假阳性样本数除以所有真实阴性样本数；
[0020]
步骤3、建立基于游戏过程中玩家认知负荷体验的控制策略；
[0021]
从玩家的认知负荷中已经能体现出此游戏的挑战对于玩家来说过于轻松以至于无法让玩家获得成就感时，系统会提高当前游玩的难度；反之，当玩家的认知负荷过于高时，这表明玩家的能力不能胜任当前的游戏难度，系统会适当降低游戏难度使得玩家在下一次挑战时重新获得成就感。
[0022]
本发明通过实时获取的ppg信号以及lstm神经网络模型对游戏过程中游戏玩家的认知负荷进行实时预测，当预测结果显示低于设定阈值时，进行游戏过程的记录，能够对游戏细节的改进设计提供较大帮助。
[0023]
具体可以体现在进一步提升了玩家与游戏之间的交互性：在过去的游戏过程中，玩家可能需要通过特定的动作或是文字来表现其当前的状态，但是如果能够将人的生理特征加以处理之后作为游戏反馈，玩家自身的情绪就可以自然而然地表达出来，游戏可以根据指定的程序为玩家呈现不同的场景、界面等，这使得游戏与玩家间的交互成为双向反馈，极大的改善了过去游戏只能为玩家单方面渲染情感的单向性。同时由于其组件的高度集成化不会让玩家因测量认知负荷而对游玩过程产生割裂感。
附图说明：
[0024]
图1为本发明测量方法的整体流程图
[0025]
图2为lstm模型结构图输入图
[0026]
图3为下位机硬件装置连接示意图
具体实施方式：
[0027]
首先需要先结合图3详细说明对玩家进行ppg信号的采集，处理，并发送至上位机的过程：
[0028]
步骤一、采集ppg信号
[0029]
关于采集ppg信号的方式，本发明采用非侵入式的指尖红外脉搏传感器，该传感器由发光二极管以及测量发光二极管返回信号的光学传感器组成，它的一大优点就是只需轻轻按压在传感器上便可以返回完整的ppg信号，同时全程不会产生任何其他的噪音、光线等对玩家游玩过程的干扰。
[0030]
测量ppg信号的主要难点在于运动伪像和环境光对本信号的干扰：
[0031]
日光等产生的直流误差比较容易去除，但是日光灯管或游戏过程中屏幕发出的光可能会引起交流误差，对于交流误差则采用一个单独的传感器专门采集环境光(同时保证该传感器与ppg传感器的距离非常近以防二者位置的不同从而丧失环境光传感器在此作为对照组的作用)，之后可用于与ppg信号相减即可获得纯净的ppg信号。
[0032]
而运动伪像可以通过将传感器放在手指不易挪动的位置进行采集：比如在使用手柄控制器时，玩家的无名指需要时刻紧握手柄，因此可以将传感器放置在无名指处即可尽可能地减小运动伪像。
[0033]
步骤二、数据处理
[0034]
发光二极管发出光信号后经过手指内组织的反射会导致一定的消耗，之后光学传感器接收到光信号从而产生光电流，光电流借助转导放大器(tia)放大，再通过模数转换传入单片机中，设
t时刻的该信号为f(t)。
同理单独采集日光等环境光的传感器也如前文一致传入单片机中，设
t时刻的该信号为g(t)
。所需的ppg信号ppg
(t)
即等于f(t)-g(t)。
[0035]
步骤三、将ppg信号发送至上位机
[0036]
考虑到有线连接可能会影响游玩的便携性，本发明选择采用蓝牙连接的方式传输数据。因此上位机也选用含有蓝牙模块的笔记本。在与上位机进行正确的配对之后，接下来将使用ppg数据进行学习预测。
[0037]
下面结合附图对本发明的一种游戏过程中游戏玩家体验的测量方法作详细说明。
[0038]
步骤1、组织认知负荷生理实验，形成数据库；
[0039]
利用经典的瞬时记忆类n-back任务来激发不同层次的认知负荷水平。n-back任务是一种短时记忆类认知负荷任务，其在心理学和认知神经科学中通常被用作评估认知负荷的重要实验手段。以1-back举例：受试者在进行实验时会收到一连串的刺激，这些刺激可以是声音、数字、图象等等，受试者需要指出当前的刺激是否与一步之前的刺激相同。从而做出适当的决策。(相同按下按钮1，不相同按下按钮2)
[0040]
生理实验全程中会利用本发明中的装置采集实验过程中被试的血管容积脉搏波信号ppg(t)，以及对应的认知负荷的主观评价值c(t)。主观的认知负荷评价值设置为1-10，10个档次，被试从中选取一个，最终的主观评价值c(t)＝选取档次/10。至少需要采集100名不同被试的实验数据。
[0041]
步骤2、建立、训练并校验基于lstm神经网络的认知负荷预测模型；
[0042]
对数据预处理，首先根据c(t)取值把血管容积脉搏波信号ppg(t)进行切割，c(t)≤0.2的作为认知负荷过低的一类，0.3≤c(t)≤0.7的作为认知负荷适中的一类，c(t)≥0.8作为认知负荷过高的一类。分类以后求取各个类中ppg(t)的一阶导数ppg’(t)和二阶导数ppg”(t)。
[0043]
建立基于lstm神经网络的认知负荷预测模型，基于数据库数据，将血管容积脉搏波原始信号、一阶导数和二阶导数作为基于lstm神经网络的认知负荷预测模型的输入，将认知负荷适中、过低、过高作为基于lstm神经网络的认知负荷预测模型的输出，训练基于lstm神经网络的认知负荷预测模型。
[0044]
通过十折交叉验证计算auc。当auc＞0.7时，认为基于lstm神经网络的认知负荷预测模型预测结果准确；所谓auc就是预测结果的roc曲线下的面积。roc是一条二维坐标系下
横纵坐标的定义域均为[0,1]的曲线，它的横纵坐标分别为fpr(假阳率)和tpr(真阳率)，这两个分量分别由以下公式求出
[0045][0046]
以二分类为例其含义分别为：真阳性样本数除以所有真实阳性样本数与假阳性样本数除以所有真实阴性样本数。
[0047]
步骤3、建立基于游戏过程中玩家认知负荷体验的控制策略；
[0048]
如何动态的调整难度使得玩家的认知负荷永远保持在一个兼具挑战和快乐的平衡点上是这个策略最关键要的要素。简单来说，从玩家的认知负荷中已经能体现出此游戏的挑战对于玩家来说过于轻松以至于无法让玩家获得成就感时，系统会提高当前游玩的难度；反之，当玩家的认知负荷过于高时，这表明玩家的能力不能胜任当前的游戏难度，系统会适当降低游戏难度使得玩家在下一次挑战时重新获得成就感。
[0049]
具体来看，由于本发明是基于该数据库中的数据进行学习得到的lstm模型来预测的，因此ppg信号传入神经网络进行预测之后，得到的c(t)≤0.2则会被认为是认知负荷过低，此时系统会提高当前游玩难度；得到的c(t)≤0.7且c(t)≥0.3时，系统不会对游戏难度做任何改变；最后当c(t)≥0.8时，将会被认为当前玩家的认知负荷过高，系统会适当降低游戏难度。