基于虚拟现实的视点校准方法、装置及认知推断系统与流程

本发明涉及计算机领域，且特别涉及一种基于虚拟现实的视点校准方法、装置及认知推断系统。

背景技术：

1、认知诊断是基于认知加工过程的诊断，是对个体认知加工过程中所涉及的认知属性的诊断从广义上说，认知诊断是建立观察分数和被试者内部认知特征之间的关系；从狭义上说是指在测试中，被试者在测验上的试题作答记录以对其知识状态(如知识掌握水平)进行评价并在此基础上对其技能或特质进行分类。传统的认知诊断模型主要用于评估学生的知识掌握情况，随着认知诊断技术的不断发展，其应用也逐渐扩展至游戏竞技、医疗诊断等行业；如在医疗诊断领域中用于评估患者在卒中、阿尔兹海默症等疾病治疗过程中的认知康复情况。传统的认知诊断模型，譬如dina模型、irt模型等，都是基于人工定义的交互函数的，比如逻辑回归函数或者内积等这些函数来将被试者本身和试题的特征线性相结合以对其认知进行评估。此外，亦有人提出将被试者和试题投影到因子向量并利用多层建模来模拟被试者回答练习的复杂交互的神经认知诊断模型neuralcdm。

2、然而，不管是传统的认知诊断模型还是基于现有基于神经网络的认知诊断模型均只从试题维度、被试者对于试题的掌握情况以及被试者答复总用时等结果性维度上对其认知能力进行评估。但在医疗领域内对于患卒中和阿尔兹海默症等患者而言，其专注度、反应力以及其对于肢体的控制能力都要弱于常人，简单的从试题维度和测试结果上去对其认知进行评估将难以准确反映其认知能力。随着虚拟现实技术的不断发展，亦有人提出借助于虚拟现实场景下追踪被试者视点变化来更细致地反映被试者在答题时的专注度和反应力。这种评估方式的准确性极度依赖被试者校准后的视点位置及其移动变化，且不同被试者间眼部特性的差异亦会对其在虚拟现实场景中视点位置的校准产生影响。因此，如何准确校准被试者的视点位置成为基于虚拟现实的认知诊断评估模型研究的重点方向。

技术实现思路

1、本发明为了克服现有技术的不足，提供一种基于虚拟现实的视点校准方法、装置及认知推断系统。

2、为了实现上述目的，本发明提供一种基于虚拟现实的视点校准方法，其包括：

3、获取虚拟现实场景下被试者眼球随观测点移动的多个眼部图像组，每一眼部图像组均包括多张不同角度的被试者双眼眼球状态图像；

4、识别每张眼球状态图像的眼球特征和眼球移动特征以形成瞳孔边缘特征，识别眼球特征的步骤包括：

5、分割每张眼球状态图像以确定眼部关键区域；

6、对分割后得到的眼部关键区域图像进行再分割以得到多个切片；将每一切片映射至一维或多维的嵌入向量以形成该切片在嵌入向量上的投影；获取每一切片在眼部关键区域图像中的位置以形成位置标签；基于每一切片在嵌入向量上的投影和所形成的位置标签对分割后的眼部关键区域图像进行补偿以增强眼部关键区域图像内不同区域的差异度；

7、提取增强后的眼部关键区域图像内的眼球特征；

8、每一眼部图像组内多张眼球状态图像的瞳孔边缘特征形成一校准特征组，将多个校准特征组依次输入至基于瞳孔角膜反射式的视点追踪模型内以校准视点的位置。

9、根据本发明的一实施例，将每一切片映射至一维或多维的嵌入向量以形成该切片在嵌入向量上的投影时，在嵌入向量前增设一补全切片向量，补全切片向量的维度与嵌入向量的维度相同。

10、根据本发明的一实施例，基于每一切片在嵌入向量上的投影、补全切片向量以及位置标签采用如下公式对眼部关键区域图像进行补偿增强：

11、z0=[xtip；m；m；……m]+mpos，，；

12、其中，z0为补偿参数；xtip为补全切片向量；m为第一个切片在嵌入向量m上的投影；m第n个切片在嵌入向量m上的投影，n为眼部关键区域图像再分割后的切片数量；mpos为位置标签；为嵌入向量的大小，d为嵌入向量的维度，p为切片大小调整参数，c为眼部关键区域图像的通道数；为位置标签的大小。

13、根据本发明的一实施例，提取增强后的眼部关键区域图像内的眼球特征包括：

14、归一化补偿后的眼部关键区域图像；

15、在归一化后嵌入多头注意力机制以并行提取图像信息；

16、融合多头注意力机制的输出和补偿后眼部关键区域图像，并将融合后的图像进行归一化；

17、将再次归一化后的图像输入至多层感知器，将多层感知器感的输出和补偿后眼部关键区域图像进行融合；

18、将再次融合后的图像信息输入至分类器以得到眼球特征。

19、根据本发明的一实施例，分割每张眼球状态图像以确定眼部关键区域包括：

20、基于差异度阈值分别以行扫描和列扫描的方式计算眼球状态图像内像素点的差异度以确定眼部识别区域框；

21、从两侧向中心方向逐列扫描眼部识别区域框，计算每一列内的像素点差异度，以像素点差异度超过预设的角膜差异度阈值的列或上一列作为角膜边缘；基于角膜的两侧边缘和眼部识别区域框的上下边缘确定角膜区域；

22、基于瞳孔处像素点和角膜内像素点的差异度阈值，以行扫描和列扫描的方式在角膜区域内确定瞳孔的边缘位置以形成瞳孔区域；

23、眼部关键区域包括分割所确定的眼部识别区域框、角膜区域以及瞳孔区域。

24、根据本发明的一实施例，每张眼球状态图像经金字塔特征网络进行下采样和上采样处理后得到眼球移动特征，眼球移动特征包括瞳孔中心至瞳孔区域边缘的距离、瞳孔中心至角膜区域边缘的距离以及瞳孔中心至眼部识别区域框边缘的距离；

25、或者，在补偿增强眼部关键区域后基于瞳孔中心位置坐标和眼部关键区域的位置确定眼球移动特征。

26、另一方面，本发明还提供一种基于虚拟现实的视点校准装置，其包括图像获取模块、特征识别模块以及校准模块。图像获取模块获取虚拟现实场景下被试者眼球随观测点移动的多个眼部图像组，每一眼部图像组均包括多张不同角度的被试者双眼眼球状态图像。特征识别模块识别每张眼球状态图像的眼球特征和眼球移动特征以形成瞳孔边缘特征，识别眼球特征的步骤包括：分割每张眼球状态图像以确定眼部关键区域；对分割后得到的眼部关键区域图像进行再分割以得到多个切片；将每一切片映射至一维或多维的嵌入向量以形成该切片在嵌入向量上的投影；获取每一切片在眼部关键区域图像中的位置以形成位置标签；基于每一切片在嵌入向量上的投影和所形成的位置标签对分割后的眼部关键区域图像进行补偿以增强眼部关键区域图像内不同区域的差异度；提取增强后的眼部关键区域图像内的眼球特征；校准模块将每一眼部图像组内多张眼球状态图像的瞳孔边缘特征形成一校准特征组，将多个校准特征组依次输入至基于瞳孔角膜反射式的视点追踪模型内以校准视点的位置。

27、根据本发明的一实施例，特征识别模块将每一切片映射至一维或多维的嵌入向量以形成该切片在嵌入向量上的投影时，在嵌入向量前增设一补全切片向量，补全切片向量的维度与嵌入向量的维度相同。

28、另一方面，本发明还提供一种认知推断系统，其包括上述基于虚拟现实的视点校准装置、视点追踪装置以及视点评估装置。视点追踪装置为基于虚拟现实的视点校准装置校准后的瞳孔角膜反射式追踪装置，视点追踪装置追踪被试者在听到认知测试题干后生成视点移动时间参数；视点移动时间参数包括视点从静止到答案出现时开始移动的时间t1、在每个答案上停留的时间t2、在每个答案间切换的时间t3以及视点在不同答案间来回切换的次数n。视点评估装置将获取到的被试者的视点移动时间参数输入至以神经网络为基础的视点评估模型内以得到表征被试者认知能力的视点评估结果。

29、根据本发明的一实施例，基于视点追踪的认知推断系统还包括反应时评估装置和认知评估装置。反应时评估装置基于获取被试者从每道题目出题开始到被试者给出答案的时间参数、被试者的基本信息参数β、题目i的时间强度ζi以及时间区分度参数γi得到表征认知能力的反应时评估结果。认知评估装置基于被试者掌握第i个题目的k个属性情况下给出准确答案的概率αik，题目i的时间强度ζi，时间区分度参数γi以及被试者的对k个属性的掌握模式θk得到表征认知能力的认知得分。

30、综上所述，本发明提供的基于虚拟现实的视点校准方法以被试者随观测点移动一次所获得的多张不同角度的被试者双眼眼球状态图像作为一个校正组。对于每个校正组内的双眼眼球状态图像，在进行初步确分割确定眼部关键区域后进行再次分割以形成多个切片。将多个切片依次投影在嵌入向量上并结合每个切片的位置信息对分割后的眼部关键区域图像进行补偿，以获得更为细致的眼部边缘，进而为眼球特征的精确提取提供条件。基于每一校准组内所有眼球状态图像的瞳孔边缘特征来精确调整眼部建模参数，进而实现被试者视点位置的校准。在进行视点评估时追踪被试者在答题过程中视点的移动以生成视点移动时间参数，通过预先训练好的以神经网络为基础的视点评估模型对视点移动时间参数进行评估，进而获得表征被试者认知能力的视点评估结果。

31、进一步的，本发明提供的认知推断系统将在试点评估的基础上融合基于被试者信息和答题时间参数的反应时评估模型以及基于被试者对于题目掌握情况的认知评估模型，从多维度上评估被试者的认知能力，从而大大提升评估的准确性。

32、为让本发明的上述和其它目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合附图，作详细说明如下。