一种多感觉信息融合的注意力引导虚拟现实系统

1.本发明涉及医疗技术领域，具体涉及一种多感觉信息融合的注意力引导虚拟现实系统。


背景技术：

2.认知障碍是脑卒中后最持久、最严重的症状之一，约67％的脑卒中患者会出现认知障碍。在脑卒中认知障碍中，以注意力障碍最为突出。注意力障碍的存在降低了患者肢体康复训练的效率。伴有注意力障碍患者的肢体康复训练，一般由治疗师不断地提醒患者集中注意力并保持注意状态，否则肢体康复训练将无法持续进行。
3.虚拟现实(virtual reality，vr)系统通过提供视觉、听觉、触力觉等多感觉信息，使人在虚拟现实环境中完成逼真、自然、流畅的交互。将虚拟现实系统用于肢体康复训练过程的注意力引导，可以充分发挥虚拟现实系统沉浸感、想象性、交互性的特点和优势，能够提高注意力引导效果、保证肢体康复训练的持续性。
4.公开号为cn111292850a的专利说明书中公开了一种adhd儿童注意力智能康复系统，其包括视线追踪模块、注意力评估模块、智能运算及方案推送模块、数据存储模块，以及评价与反馈模块；所述视线追踪模块包括一服务器及一摄像头；所述摄像头用于采集人脸图像信息；所述服务器用于根据人脸图像定位人眼虹膜中心；所述注意力评估模块用于评估集中性注意力、持续性注意力、选择性注意力、交替性注意力、分配性注意力及conners父母症状问卷；所述智能运算及方案推送模块用于通过接收注意力评估模块及视线追踪模块的实时数据，将受试者评估得分与数据库常模数据进行比对、分析，利用dqn network算法智能推送最佳训练方案；所述数据存储模块用于接收视线追踪模块及注意力评估模块传输的数据，以及智能训练的数据，并上传至数据库；所述评价与反馈模块用于供所述系统的操作方查看所述数据存储模块内所有用户的历史数据，和/或，接收系统发送的特定用户信息。
5.公开号为cn108670276a的专利说明书中公开了一种基于脑电信号的学习注意力评价系统，包括：脑电采集子系统、脑电分析子系统和学习状态显示提醒子系统，其中，脑电采集子系统用于采集脑电信号，进行预处理，去除工频干扰和基线，并将脑电信号传输至脑电分析子系统；脑电分析子系统用于分析采集到的脑电信号，提取时域特征和频域特征作为注意力分类的特征向量，将特征向量输入注意力分类器，得出注意力等级；学习状态显示提醒子系统将脑电分析子系统得出的注意力等级反馈至学生和教师处。
6.上述两种方案着重于注意力的康复和评价，不适用于肢体康复训练中的注意力引导。


技术实现要素：

7.本发明针对伴有注意力障碍的脑卒中患者的肢体康复训练持续性问题提供一种多感觉信息融合的注意力引导虚拟现实系统，能够按受试者状态进行注意力引导，提高注
意力引导效果、保证肢体康复训练的持续性。
8.一种多感觉信息融合的注意力引导虚拟现实系统，包括：
9.脑电信号采集装置，用于采集受试者在虚拟现实环境的多感觉信息融合引导下的大脑脑电信号；
10.脑电信号处理器，对脑电信号采集装置所采集的受试者大脑脑电信号，计算反应受试者大脑选择性注意状态的事件相关电位特征以及反应受试者大脑持续性注意状态的事件相关电位特征，将所计算的电位特征传入系统处理器；
11.眼动信号采集装置，用于采集受试者在虚拟现实环境的多感觉信息融合引导下的眼动信号；
12.眼动信号处理器，对眼动信号采集装置所采集的受试者眼动信号，计算受试者眼动的特征数据，并传入系统处理器；
13.系统处理器，用于生成多感觉信息融合引导任务，根据所述脑电信号的特征和眼动信号的特征控制引导任务的动态过程，以对受试者注意力进行引导；
14.执行装置，受试者通过操纵执行装置，来完成引导任务。
15.作为优选，反应受试者选择性注意状态的事件相关电位特征取当引导任务的目标物出现时，大脑额叶区、顶叶区、枕叶区的外源性事件相关电位的电位特征和内源性事件相关电位的电位特征；
16.反应受试者持续性注意状态的事件相关电位特征取当引导任务的目标物变化时，大脑额叶区、顶叶区、枕叶区的外源性事件相关电位的电位特征和内源性事件相关电位的电位特征。
17.作为优选，所述特征数据包括注视点范围、注视次数、瞳孔直径和眼跳距离。
18.作为优选，所述执行装置包括控制单元、驱动单元、传感单元和执行机构；受试者肢体主动操纵执行机构，由控制单元根据传感单元检测到的受试者的肢体用力控制驱动单元，并由驱动单元带动执行机构运动，同时控制单元将传感单元检测到的执行机构的空间位置数据传入系统处理器。
19.作为优选，所述系统处理器包括：
20.任务控制模块，生成多感觉信息融合引导任务、控制引导任务的动态过程；
21.目标物构建模块，根据多感觉信息融合引导任务构建虚拟现实环境中的目标物；
22.代理点构建模块，根据多感觉信息融合引导任务构建虚拟现实环境中的代理点；
23.数据处理模块，建立执行机构的实际空间位置与虚拟现实环境中代理点的空间位置之间的映射关系；控制目标物的状态变化；构建代理点所受作用力的力学模型，并作为力反馈数据输出至力觉反馈装置；
24.所述力觉反馈装置用于接收力反馈数据，将反馈力输出至受试者。
25.作为优选，还包括虚拟现实视听装置，所述虚拟现实视听装置用于显示虚拟现实环境中的目标物、代理点以及两者的状态变化，播放在目标物出现、目标物变化以及代理点与目标物作用的过程中所触发的声音提示。
26.作为优选，一次多感觉信息融合引导任务设计为：
27.以虚拟现实环境中目标物出现、目标物变化以及代理点与目标物之间作用的全过程，由目标物的出现引导受试者进入选择性注意状态以关注目标物，由目标物的变化引导
受试者由选择性注意状态过渡到持续性注意状态、并维持在持续性注意状态以跟踪目标物，由受试者通过操纵执行机构以控制代理点动作，从而完成一次引导任务。
28.作为优选，多感觉信息融合引导任务的动态过程中目标物的出现/变化，在视觉通道上，采用以空间信息、特征信息的视觉信息融合的方式出现/变化；在听觉通道上，听觉信息的出现/变化与视觉通道上视觉信息的出现/变化在时间上同步、在空间上一致。
29.本发明的有益效果：
30.本发明的多感觉信息融合的注意力引导虚拟现实系统，以引导任务动态过程中目标物的出现引导受试者进入选择性注意状态，目标物的出现以空间信息、特征信息的视觉信息融合的方式，并融入与视觉信息的出现在时间上同步、在空间上一致的听觉信息；在判断受试者是否进入选择性注意状态后，以引导任务动态过程中目标物的变化引导受试者进入持续性注意状态，目标物的变化以空间信息、特征信息的视觉信息融合的方式，融入与视觉信息的变化在时间上同步、在空间上一致的听觉信息，并根据目标物变化过程中代理点与目标物的作用给予时间上同步的力觉信息。通过引导任务动态过程中目标物出现的视觉、听觉融合信息到目标物变化的视觉、听觉、力觉融合信息引导受试者进入选择性注意状态，从选择性注意状态过渡到持续性注意状态、并维持在持续性注意状态，能够按受试者状态进行注意力引导，提高注意力引导效果、保证肢体康复训练的持续性。
附图说明
31.图1为本发明实施例中多感觉信息融合的注意力引导虚拟现实系统示意图；
32.图2-4为本发明多感觉信息融合的注意力引导虚拟现实系统其他实施例的示意图；
33.图5为本发明实施例中多感觉信息融合的注意力引导虚拟现实系统的控制流程图。
具体实施方式
34.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
35.如图1所示，一种多感觉信息融合的注意力引导虚拟现实系统，包括脑电信号采集装置、脑电信号处理器、眼动信号采集装置、眼动信号处理器、执行装置、力觉反馈装置、系统处理器和虚拟现实视听装置。
36.其中，脑电信号处理器对脑电信号采集装置采集的大脑脑电信号，计算反应受试者大脑选择性注意状态的事件相关电位特征以及反应受试者大脑持续性注意状态的事件相关电位特征。眼动信号处理器对眼动信号采集装置所采集的受试者眼动信号，计算受试者的注视点范围、注视次数、瞳孔直径、眼跳距离特征数据。系统处理器生成多感觉信息融合引导任务，根据上述脑电信号特征和眼动信号特征控制引导任务的动态过程，以对受试者注意力进行引导。
37.系统处理器包括任务控制模块、目标物构建模块、代理点构建模块、数据处理模
块。任务控制模块，生成多感觉信息融合引导任务、控制引导任务的动态过程。目标物构建模块，根据多感觉信息融合引导任务构建虚拟现实环境中的目标物。代理点构建模块，根据多感觉信息融合引导任务构建虚拟现实环境中的代理点。数据处理模块，建立执行机构的实际空间位置与虚拟现实环境中代理点的空间位置之间的映射关系；控制目标物的状态变化；构建代理点所受作用力的力学模型，并作为力反馈数据输出至力觉反馈装置。
38.一次多感觉信息融合引导任务设计为以虚拟现实环境中目标物出现、目标物变化以及代理点与目标物之间作用的全过程，由目标物的出现引导受试者进入选择性注意状态以关注目标物，由目标物的变化引导受试者由选择性注意状态过渡到持续性注意状态、并维持在持续性注意状态以跟踪目标物，由受试者通过操纵执行机构以控制代理点动作，从而完成一次引导任务。在本实例中，多感觉信息融合的引导任务设计为在虚拟现实环境中出现气球，气球在空间位置上变化、在颜色上变化，以引导受试者控制手枪、跟踪气球，并要求受试者在气球的颜色达到要求后瞄准气球射击。
39.本实施例中，多感觉信息融合引导任务的动态过程中目标物的出现，在视觉通道上，采用以空间信息、特征信息的视觉信息融合的方式出现；在听觉通道上，听觉信息的出现与视觉通道上视觉信息的出现在时间上同步、在空间上一致。多感觉信息融合引导任务的动态过程中目标物的变化，在视觉通道上，采用以空间信息、特征信息的视觉信息融合的方式变化；在听觉通道上，听觉信息的变化与视觉通道上视觉信息的变化在时间上同步、在空间上一致。对于多感觉信息融合引导任务的动态过程中代理点受到的作用力，其在力觉通道上力觉信息的发生与视觉通道上视觉信息的发生在时间上同步。
40.具体地，虚拟现实环境中气球以水平地面的空间位置信息和绿色的颜色特征信息的视觉信息融合的方式出现，同时气球出现时伴有与视觉信息在时间上同步、在空间上一致的声音效果，引导受试者进入选择性注意状态以关注气球。气球在空间位置上从下往上飘动、颜色由绿色至红色变化，同时气球变化过程伴有声音效果，声音效果的响度大小根据手枪对气球的瞄准程度从无到有、从小到大变化，引导受试者由选择性注意状态过渡到持续性注意状态，并维持在持续性注意状态以控制手枪、跟踪气球，在气球的颜色达到红色后，要求受试者控制手枪、瞄准气球射击，在子弹被射出时伴有与视觉信息在时间上同步的力反馈效果。
41.脑电信号采集装置用于采集受试者在虚拟现实环境的多感觉信息融合引导下的大脑脑电信号。本实施例中，脑电信号采集装置包括电极帽和脑电采集仪；电极帽采集受试者脑电模拟信号并发送至脑电采集仪，脑电采集仪通过对脑电模拟信号进行放大、滤波及模数转换等预处理后生成脑电信号，发送至脑电信号处理器。
42.脑电信号处理器对脑电信号采集装置所采集的受试者大脑脑电信号，计算在虚拟现实环境的多感觉信息融合引导过程中，当引导任务的目标物出现时，反应受试者大脑选择性注意状态的事件相关电位特征；当引导任务的目标物变化时，反应受试者大脑持续性注意状态的事件相关电位特征；将所计算的电位特征传入系统处理器。本实施例中，反应受试者选择性注意状态的事件相关电位特征取当引导任务的目标物出现时，大脑额叶区、顶叶区、枕叶区的外源性事件相关电位p1、n1的电位特征和内源性事件相关电位sn、n230、n2pc、spcn的电位特征，额叶区取f3、fz、f4电极位置、顶叶区取c3、cz、c4电极位置、枕叶区取p3、pz、p4、o3、oz、o4电极位置；反应受试者持续性注意状态的事件相关电位特征取当引
导任务的目标物变化时，大脑额叶区、顶叶区、枕叶区的外源性事件相关电位p1、n1的电位特征和内源性事件相关电位lpc、nc的电位特征，额叶区取f3、fz、f4电极位置、顶叶区取c3、cz、c4电极位置、枕叶区取p3、pz、p4、o3、oz、o4电极位置。
43.眼动信号采集装置用于采集受试者在虚拟现实环境的多感觉信息融合引导下的眼动信号。
44.眼动信号处理器用于对眼动信号采集装置所采集的受试者眼动信号，计算在虚拟现实环境的多感觉信息融合引导过程中，受试者的注视点范围、注视次数、瞳孔直径、眼跳距离特征数据，并传入系统处理器。
45.执行装置包括控制单元、驱动单元、传感单元和执行机构，受试者肢体主动操纵执行机构，由控制单元根据传感单元检测到的受试者的肢体用力控制驱动单元，并由驱动单元带动执行机构运动，同时控制单元将传感单元检测到的执行机构的空间位置数据传入系统处理器。
46.力觉反馈装置接收系统处理器的力反馈数据，将反馈力输出至受试者。本实施例中，可以将力觉反馈装置与执行装置的执行机构集成，采用机构运动与力觉反馈集成一体的多轴机构，如图2所示。
47.系统处理器的数据处理模块接收脑电信号处理器计算的电位特征，引导任务的目标物出现，根据反应受试者大脑选择性注意状态的外源性事件相关电位特征到内源性事件相关电位特征是否按顺序出现，判断当前引导任务的目标物出现时，受试者是否进入选择性注意状态。若受试者未进入选择性注意状态，则重新开始一次引导任务，根据受试者当前注视点范围、注视次数、瞳孔直径、眼跳距离，调整目标物出现时的视觉信息和听觉信息；当受试者进入选择性注意状态后，引导任务的目标物开始变化，根据反应受试者大脑持续性注意状态的外源性事件相关电位特征和内源性事件相关电位特征是否按顺序出现，判断当前引导任务的目标物变化时，受试者是否由选择性注意状态过渡到持续性注意状态。若受试者进入持续性注意状态，则调整目标变化时的视觉信息和听觉信息，使受试者维持在持续性注意状态，当目标物的状态、代理点与目标物之间的作用达到一定要求，发生与视觉信息在时间上同步的力反馈效果，使受试者继续维持在持续性注意状态直至一次引导任务完成；若受试者未进入持续性注意状态，则重新开始一次引导任务，根据受试者当前注视点范围、注视次数、瞳孔直径、眼跳距离，调整目标物出现时的视觉信息和听觉信息。
48.虚拟现实视听装置用于显示虚拟现实环境中的目标物、代理点以及两者的状态变化，播放在目标物出现、目标物变化以及代理点与目标物作用的过程中所触发的声音提示。本实施例中，可以将脑电信号处理器、眼动信号处理器与系统处理器集成一体，采用一台计算机设备；虚拟现实视听装置采用与该计算机设备分体的显示器与音响，如图3所示。也可以将脑电信号处理器、眼动信号处理器集成一体，采用一台计算机设备；将系统处理器与虚拟现实视听装置集成，采用带触摸显示屏、内置音响的一体式计算机设备，如图4所示。
49.本实施例中，一种多感觉信息融合的注意力引导虚拟现实系统的控制流程，如图5所示。
50.(1)初始化虚拟现实环境中气球的空间位置信息和颜色特征信息。气球的初始空间位置设定为虚拟现实环境水平地面，气球的初始颜色设定为绿色。
51.(2)一次多感觉信息融合的引导任务开始，以初始空间位置、初始颜色出现气球，
同时伴有与视觉信息在时间上同步、在空间上一致的声音效果。
52.(3)计算当气球出现时，反应受试者选择性注意状态的在大脑额叶区f3、fz、f4电极位置、顶叶区c3、cz、c4电极位置、枕叶区p3、pz、p4、o3、oz、o4电极位置的外源性事件相关电位p1、n1的电位特征和内源性事件相关电位sn、n230、n2pc、spcn的电位特征。
53.(4)根据反应受试者选择性注意状态的大脑外源性事件相关电位特征到内源性事件相关电位特征是否按顺序出现，判断当前引导任务的气球出现时，受试者是否进入选择性注意状态。
54.(5)若受试者进入选择性注意状态，气球开始从下往上飘动、颜色由绿色至红色变化。否则，返回(1)重新开始一次多感觉信息融合的引导任务，根据受试者当前注视点范围、注视次数、瞳孔直径、眼跳距离，调整气球出现时的空间位置信息和颜色特征信息的视觉信息以及与视觉信息在时间上同步、在空间上一致的声音效果。
55.(6)计算当气球变化时，反应受试者持续性注意状态的在大脑额叶区f3、fz、f4电极位置、顶叶区c3、cz、c4电极位置、枕叶区p3、pz、p4、o3、oz、o4电极位置的外源性事件相关电位p1、n1的电位特征和内源性事件相关电位lpc、nc的电位特征。
56.(7)根据反应受试者持续性注意状态的大脑外源性事件相关电位特征和内源性事件相关电位特征是否按顺序出现，判断当前引导任务的气球变化时，受试者是否由选择性注意状态过渡到持续性注意状态。
57.(8)若受试者进入持续性注意状态，气球继续从下往上飘动、颜色由绿色至红色变化，引导受试者控制手枪、跟踪气球，使受试者维持持续性注意状态。否则，返回(1)重新开始一次多感觉信息融合的引导任务，根据受试者当前注视点范围、注视次数、瞳孔直径、眼跳距离，调整气球出现时的空间位置信息和颜色特征信息的视觉信息以及与视觉信息在时间上同步、在空间上一致的声音效果。
58.(9)提示受试者在气球的颜色达到红色后，控制手枪、瞄准气球射击。
59.(10)当气球的颜色达到红色、且受试者控制手枪瞄准气球时，子弹被射出，同时伴有与视觉信息在时间上同步的力反馈效果，使受试者继续维持持续性注意状态。否则，返回(8)。
60.(11)若气球被子弹射中，结束一次多感觉信息融合的引导任务，重复步骤(2)与步骤(10)。
61.尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换,凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。