一种基于脑机与增强现实的自动轮椅控制方法及装置

本技术涉及医疗保健设备，尤其涉及一种基于脑机与增强现实的自动轮椅控制方法及装置。

背景技术：

1、随着科技水平的提高和智能产品的普及，人们对轮椅的功能和智能化需求也相应增加。脑电信号(electroencephalogram，eeg)是反映人或动物在进行大脑思维活动或进行动作时产生的神经冲动。这种具有生物电特性的神经冲动可通过信号采集设备获取，并将其以波形的方式进行直观的显示。针对丧失行为移动能力的残疾人，选择合适的脑电信号控制模式，并对他们的控制意图进行反复刺激训练，经过脑-机接口系统分析处理后，获取相应的特征信号，并对其转化为相关的运动控制指令，可以实现与外界的沟通联系。

2、对于中风或脑卒中患者或者是手脚残疾、行动不便中老年人而言，基于脑机控制的自动轮椅是这类人群的有效移动工具，然而现有的自动轮椅，脑电指令是“想”具体的数字，此数字已经设定好对应目标点的位置；头戴脑电波感应装置的用户选定目标点后，轮椅开始导航向目标点移动，这种方法在目的地选择上用脑电信号促发对应编号到达对应目标点的方法相对局限，只能从预设的目的地中选择，存在自动轮椅控制灵活性低的技术问题。

技术实现思路

1、本技术实施例提供了一种基于脑机与增强现实的自动轮椅控制方法及装置，用于解决现有的自动轮椅控制灵活性低的技术问题。

2、为解决上述技术问题，本技术第一方面提供了一种基于脑机与增强现实的自动轮椅控制方法，包括：

3、通过用户佩戴的头戴设备中的脑电波采集模块，监听所述用户的脑电信号；

4、响应于目的地选择指令，获取实时拍摄图像和/或地图图像，并将所述实时拍摄图像和/或地图图像通过所述头戴设备中的ar显示模块进行显示；

5、当监听到第一脑电信号时，根据所述ar显示模块显示的图像，结合眼动跟踪方式，确定所述用户的注视位置，并根据所述注视位置，确定第一目标点；

6、基于所述第一目标点，通过预设的路径规划算法，生成自动轮椅至所述第一目标点的移动路径，以使得所述自动轮椅按照所述移动路径移动至所述第一目标点。

7、优选地，所述当监听到第一脑电信号时，根据所述ar显示模块显示的图像，结合眼动跟踪方式，确定所述用户的注视位置具体包括：

8、当监听到第一脑电信号时，根据所述ar显示模块显示的图像，确定眼底图像；

9、通过预设的眼动数据偏移计算式，对所述眼动图像进行预处理；

10、对预处理后的所述眼底图像进行特征提取，得到所述眼底图像的特征向量，对所述特征向量进行序列建模，得到所述眼底图像的预测注视点；

11、根据所述预测注视点，输入预设的eyenet学习模型，以通过eyenet学习模型的损失函数的运算，确定所述用户的注视位置。

12、优选地，所述基于所述第一目标点，通过预设的路径规划算法，生成自动轮椅至所述第一目标点的移动路径具体包括：

13、基于所述第一目标点，通过a*路径规划方式，生成所述自动轮椅至所述第一目标点的全局移动路径；

14、基于所述全局移动路径，通过路径规划代价模型，对所述全局移动路径进行障碍物规避优化，以将优化后的移动路径作为所述自动轮椅至所述第一目标点的移动路径。

15、优选地，所述路径规划代价模型具体为：

16、

17、

18、

19、式中，φpath(χ)为路径规划代价系数，φobs(χ)为障碍物代价系数，b(t)代表时间弹性带约束系数，χ表示所述自动轮椅的状态，α和β分别表示障碍物代价函数和控制代价函数的权重，u(t)表示所述自动轮椅在时间t的控制输入，t0和tf分别表示路径的起始时间和终止时间，nobs表示障碍物的数量，di(χ)表示所述自动轮椅与第i个障碍物之间的距离，ρ(·)表示障碍物代价函数，t表示时间，χ(t)表示所述自动轮椅在时间t时的状态，表示n维欧几里得空间，l(t)和u(t)分别表示时间弹性带在时的下界和上界。

20、优选地，所述通过用户佩戴的头戴设备中的脑电波采集模块，监听所述用户的脑电信号具体包括：

21、通过所述头戴设备中的脑电波采集模块，采集所述用户的脑电信号；

22、通过预设的脑电波分类模型，对所述脑电信号进行预处理，再输出预处理后的脑电信号用于监听；

23、其中，所述脑电波分类模型包括：

24、y＝f(wtx+b)

25、

26、式中，w表示csp滤波器的权重向量，b表示偏置项，f(·)表示激活函数，y表示所述脑电波分类模型的输出结果，∑1和∑2分别表示两个类别的协方差矩阵，x表示原始的脑电信号，wtx代表经过所述csp滤波器处理后的空间模式。

27、本技术第二方面提供了一种基于脑机与增强现实的自动轮椅控制装置，包括：

28、脑电信号监听单元，用于通过用户佩戴的头戴设备中的脑电波采集模块，监听所述用户的脑电信号；

29、目的地指令响应单元，用于响应于目的地选择指令，获取实时拍摄图像和/或地图图像，并将所述实时拍摄图像和/或地图图像通过所述头戴设备中的ar显示模块进行显示；

30、目的地确定单元，用于当监听到第一脑电信号时，根据所述ar显示模块显示的图像，结合眼动跟踪方式，确定所述用户的注视位置，并根据所述注视位置，确定第一目标点；

31、路径规划单元，用于基于所述第一目标点，通过预设的路径规划算法，生成自动轮椅至所述第一目标点的移动路径，以使得所述自动轮椅按照所述移动路径移动至所述第一目标点。

32、优选地，所述目的地确定单元具体用于：

33、当监听到第一脑电信号时，根据所述ar显示模块显示的图像，确定眼底图像；

34、通过预设的眼动数据偏移计算式，对所述眼动图像进行预处理；

35、对预处理后的所述眼底图像进行特征提取，得到所述眼底图像的特征向量，对所述特征向量进行序列建模，得到所述眼底图像的预测注视点；

36、根据所述预测注视点，输入预设的eyenet学习模型，以通过eyenet学习模型的损失函数的运算，确定所述用户的注视位置。

37、优选地，所述路径规划单元具体用于：

38、基于所述第一目标点，通过a*路径规划方式，生成所述自动轮椅至所述第一目标点的全局移动路径；

39、基于所述全局移动路径，通过路径规划代价模型，对所述全局移动路径进行障碍物规避优化，以将优化后的移动路径作为所述自动轮椅至所述第一目标点的移动路径。

40、优选地，所述路径规划代价模型具体为：

41、

42、

43、

44、式中，φpath(χ)为路径规划代价系数，φobs(χ)为障碍物代价系数，b(t)代表时间弹性带约束系数，χ表示所述自动轮椅的状态，α和β分别表示障碍物代价函数和控制代价函数的权重，u(t)表示所述自动轮椅在时间t的控制输入，t0和tf分别表示路径的起始时间和终止时间，nobs表示障碍物的数量，di(χ)表示所述自动轮椅与第i个障碍物之间的距离，ρ(·)表示障碍物代价函数，t表示时间，χ(t)表示所述自动轮椅在时间t时的状态，表示n维欧几里得空间，l(t)和u(t)分别表示时间弹性带在时的下界和上界。

45、优选地，所述脑电信号监听单元具体用于：

46、通过所述头戴设备中的脑电波采集模块，采集所述用户的脑电信号；

47、通过预设的脑电波分类模型，对所述脑电信号进行预处理，再输出预处理后的脑电信号用于监听；

48、其中，所述脑电波分类模型包括：

49、y＝f(wtx+b)

50、

51、式中，w表示csp滤波器的权重向量，b表示偏置项，f(·)表示激活函数，y表示所述脑电波分类模型的输出结果，∑1和∑2分别表示两个类别的协方差矩阵，x表示原始的脑电信号，wtx代表经过所述csp滤波器处理后的空间模式。

52、从以上技术方案可以看出，本技术实施例具有以下优点：

53、本技术提供的技术方案通过脑电技术和眼动追踪技术的结合，通过用户佩戴的头戴设备，采集用户周边的实时拍摄图像和/或地图图像，并将实时拍摄图像和/或地图图像通过头戴设备中的ar显示模块进行显示；通过头戴设备中的脑电波采集模块，监听用户的脑电信号；当监听到特定的脑电信号时，通过眼动跟踪方式，确定监听到特定的脑电信号时用户对增强现实显示范围内的注视位置，从而确定用户想到抵达的目标点，再通过预设的路径规划算法，生成自动轮椅至第一目标点的移动路径，通过本技术的控制方法使得用户根据ar显示模块看到的内容直接选定目的地，提高自动轮椅在路径规划中目标点选择的精度与灵活度。