基于脑电检测的眼动跟踪AR界面导航系统及方法与流程

文档序号:26590158发布日期:2021-09-10 20:38阅读:来源:国知局

技术特征:
1.一种基于脑电检测的眼动跟踪ar界面导航系统,其特征在于,包括:6通道脑电信号采集模块(1)、ar设备主机(2)以及ar眼镜(3),所述6通道脑电信号采集模块(1)与所述ar设备主机(2)通信连接,所述ar设备主机(2)与所述ar眼镜(3)连接;所述6通道脑电信号采集模块(1),用于采集脑电信号,得到6路脑电信号,将所述6路脑电信号发送至ar设备主机(2);所述ar设备主机(2)包括无线通讯模块(21)、软件滤波模块(22)、并行列队竞争模块(23)以及界面导航模块(24);所述无线通讯模块(21),用于接收所述脑电信号;所述软件滤波模块(22),用于对所述6路脑电信号进行滤波处理;所述并行列队竞争模块(23),用于对滤波处理后的6路脑电信号进行并行列队竞争处理,输出最终脑电信号频率;所述界面导航模块(24),用于根据所述最终脑电信号频率确定目标按钮,从而实现界面导航;所述ar眼镜(3),用于显示6个按钮,所述6个按钮分别按照不同的预设频率闪烁,以使得当人眼凝视所述按钮2秒以上,人脑产生一个与所述按钮的预设频率相同的脑电信号。2.如权利要求1所述的基于脑电检测的眼动跟踪ar界面导航系统,其特征在于,所述6通道脑电信号采集模块(1)包括放大电路(10)、第一带通滤波器(11)、第二带通滤波器(12)、第三带通滤波器(13)、第四带通滤波器(14)、第五带通滤波器(15)、第六带通滤波器(16)、adc电路(17)以及mcu(18);所述放大电路(10)分别通过第一带通滤波器(11)、第二带通滤波器(12)、第三带通滤波器(13)、第四带通滤波器(14)、第五带通滤波器(15)以及第六带通滤波器(16)与所述adc电路(17)的6个通道连接,所述adc电路(17)与所述mcu(18)连接,所述mcu(18)与所述无线通讯模块(21)通信连接;所述第一带通滤波器(11)、第二带通滤波器(12)、第三带通滤波器(13)、第四带通滤波器(14)、第五带通滤波器(15)以及第六带通滤波器(16)的中心频率分别与6个按钮的闪烁频率一致。3.如权利要求2所述的基于脑电检测的眼动跟踪ar界面导航系统,其特征在于,所述第一带通滤波器(11)、第二带通滤波器(12)、第三带通滤波器(13)、第四带通滤波器(14)、第五带通滤波器(15)以及第六带通滤波器(16)的中心频率分别为7.3hz、8.06hz、9.25hz、10.42hz、11.62hz、12.9hz。4.如权利要求3所述的基于脑电检测的眼动跟踪ar界面导航系统,其特征在于,所述并行列队竞争模块(23),用于按照以下方式对滤波处理后的6路脑电信号进行处理,输出最终脑电信号频率:以所述滤波处理后的6路脑电信号作为并行列队竞争算法的输入数据,设定并行列队竞争算法的初始参数,所述初始参数包括最小家族数n0,目标家族数nt,子代数m;在每个通道中截取1024个点的ad数据,然后对所述ad数据进行fft变换,剔除谐波频率后得出相应的信号频率和幅值,所述信号频率是以闪烁频率为中心频率的频率范围,频率范围是
±
1%;将所述信号频率和幅值作为家族内的单个个体,然后在所述信号频率、adc电路(17)的采样频率的约束范围内,随机产生n0个个体作为初始家族从而产生n0组操作条件;adc电路(17)的采样频率在如下集合内逐一采集:{50hz,100hz,200hz,300hz,400hz};计算每个通道的目的函数值,所述目标函数值代表6个界面按钮的闪烁频率;计算出n0组操作条件所对应的信号频率,n0组操作条件所对应的信号频率值为:f(1)=
={f1,f2,f3,f4,f5,f6}={ 7.3hz,8.06hz,9.25hz,10.42hz,11.62hz,12.9hz};按照各家族的适应性将它们排成一个列队,所述适应性是每个通道的输出目标函数值所对应的信号幅值最大数据;根据非支配排序等级和拥挤度距离分配搜索空间,处于非支配排序等级靠前的家族,分配较少的搜索空间,等级靠后的家族,分配较大的搜索空间;当各家间处于同一等级时,拥挤度距离较小的家族分配较小的搜索空间,拥挤度距离较大的家族分配较大的搜索空间;搜索空间分配方法如下:设d(k)为第k代时分配给最差家族的搜索空间,当k=l时,d(k):[b,a],b和a指第一代搜索空间内所对应的向量;各个家族根据在列队中的位置分配搜索空间,搜索空间的分配方案如下:列队名次
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ1ꢀꢀꢀꢀꢀꢀꢀꢀꢀ2ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
k
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
m;各家族的空间位置
ꢀꢀꢀꢀꢀꢀ
w1ꢀꢀꢀꢀꢀꢀꢀ
w2
…………
w
k
………ꢀ
w
m
;搜索空间大小
ꢀꢀꢀꢀꢀꢀ
d(k)/m
ꢀꢀꢀꢀ
2d(k)/m
……
kd(k)/m

md(k)/m;第k个个体的搜索空间是以点w
k
为中心,以kδ(k)/m为边长向量的一个矩形区域,矩形区域中变量的下界和上界的计算公式为:l
kj
=max(x
kj

δ
j
k/2m,aj)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式1;u
kj =min(x
kj

j
k/2m,bj)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式2;j=1,2,
ꢀ……
s; k=1,2,
……
,m;aj为在搜索空间中变量的上界向量,bj为在搜索空间中变量的下界向量;向量[1/m,2/m,
……
,m/m]称为分配比例系数向量,从此向量可看出,当m较大时,列队中相邻家族分配的搜索空间相差较小,这将产生搜索空间的重叠,使搜索效率降低,m在5

10之间,最多不超过20;根据公式1和公式2可计算出:家族1分配的搜索区域为:7.1≤x1≤7.3; x2∈{50hz,100hz,200hz,300hz,400hz}家族2分配的搜索区域为:8.0≤x1≤8.2;x2∈{50hz,100hz,200hz,300hz,400hz}家族3分配的搜索区域为:9.1≤x1≤9.4;x2∈{50hz,100hz,200hz,300hz,400hz}家族4分配的搜索区域为:10.2≤x1≤10.6;x2∈{50hz,100hz,200hz,300hz,400hz}家族5分配的搜索区域为:11.5≤x1≤11.7;x2∈{50hz,100hz,200hz,300hz,400hz}家族6分配的搜索区域为:12.7≤x1≤13.0;x2∈{50hz,100hz,200hz,300hz,400hz}各家族在各自的搜索空间内进行繁殖,随机产生m个子代个体;其中,在各自的搜索区域内,分别按照{50hz,100hz,200hz,300hz,400hz}这5个采集频率进行ad数据采集,截取1024个数据进行fft变换,剔除谐波频率后得出相应的信号频率和幅值,所得到的频率为进行了1代繁殖;同一家族内,m个子代个体和父代个体一起进行非支配排序,只保留各自家族的非支配解,构成新的家族;其中,在进行了m代繁殖后,得到m个子代个体,按照其与目标函数的相关性从大到小进行排序;判断当前家族数ni是否大于最小家族数n0;若满足该条件,则进行下一步,否则再随机补充家族到初始家族数n0,重新执行随机生成初始家族;判断当前家族数ni是否大于目标家族数nt;若满足该条件,则进行下一步,否则重新执行随机生成初始家族;
当6个通道都输出计算结果后,进行二次排序,然后输出最终结果,所述最终结果为最终脑电信号频率。5.一种基于脑电检测的眼动跟踪ar界面导航方法,应用于权利要求1所述的基于脑电检测的眼动跟踪ar界面导航系统,其特征在于,所述方法包括:ar眼镜显示6个按钮,所述6个按钮分别按照不同的预设频率闪烁,以使得当人眼凝视所述按钮2秒以上,人脑产生一个与所述按钮的预设频率相同的脑电信号;6通道脑电信号采集模块采集脑电信号,得到6路脑电信号,将所述6路脑电信号发送至ar设备主机;ar设备主机获取6通道脑电信号采集模块所采集的脑电信号,对6路脑电信号进行进行滤波处理,对滤波处理后的6路脑电信号进行并行列队竞争处理,输出最终脑电信号频率,根据所述最终脑电信号频率确定目标按钮,从而实现界面导航。6.如权利要求5所述的基于脑电检测的眼动跟踪ar界面导航方法,其特征在于,6通道脑电信号采集模块采集脑电信号,得到6路脑电信号包括:6通道脑电信号采集模块接收脑电信号;6通道脑电信号采集模块通过放大电路对所述脑电信号进行信号放大;6通道脑电信号采集模块将信号放大后的脑电信号传输至6个带通滤波器,6路带通滤波器中心频率分别与6个按钮的闪烁频率一致;6通道脑电信号采集模块的mcu通过spi接口与adc电路进行数据通讯,把采集到的6个通道的脑电信号发送到ar设备主机。7.如权利要求6所述的基于脑电检测的眼动跟踪ar界面导航方法,其特征在于,所述6路带通滤波器中心频率分别7.3hz、8.06hz、9.25hz、10.42hz、11.62hz、12.9hz。8.如权利要求7所述的基于脑电检测的眼动跟踪ar界面导航方法,其特征在于,对滤波处理后的6路脑电信号进行处理,输出最终脑电信号频率包括:以所述滤波处理后的6路脑电信号作为并行列队竞争算法的输入数据,设定并行列队竞争算法的初始参数,所述初始参数包括最小家族数n0,目标家族数nt,子代数m;在每个通道中截取1024个点的ad数据,然后对所述ad数据进行fft变换,剔除谐波频率后得出相应的信号频率和幅值,所述信号频率是以闪烁频率为中心频率的频率范围,频率范围是
±
1%;将所述信号频率和幅值作为家族内的单个个体,然后在所述信号频率、adc电路(17)的采样频率的约束范围内,随机产生n0个个体作为初始家族从而产生n0组操作条件;adc电路(17)的采样频率在如下集合内逐一采集:{50hz,100hz,200hz,300hz,400hz};计算每个通道的目的函数值,所述目标函数值代表6个界面按钮的闪烁频率;计算出n0组操作条件所对应的信号频率,n0组操作条件所对应的信号频率值为:f(1)=={f1,f2,f3,f4,f5,f6}={ 7.3hz,8.06hz,9.25hz,10.42hz,11.62hz,12.9hz};按照各家族的适应性将它们排成一个列队,所述适应性是每个通道的输出目标函数值所对应的信号幅值最大数据;根据非支配排序等级和拥挤度距离分配搜索空间,处于非支配排序等级靠前的家族,分配较少的搜索空间,等级靠后的家族,分配较大的搜索空间;当各家间处于同一等级时,拥挤度距离较小的家族分配较小的搜索空间,拥挤度距离较大的家族分配较大的搜索空间;搜索空间分配方法如下:
设d(k)为第k代时分配给最差家族的搜索空间,当k=l时,d(k):[b,a],b和a指第一代搜索空间内所对应的向量;各个家族根据在列队中的位置分配搜索空间,搜索空间的分配方案如下:列队名次
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ1ꢀꢀꢀꢀꢀꢀꢀꢀꢀ2ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
k
ꢀꢀꢀꢀꢀꢀꢀꢀ
m;各家族的空间位置
ꢀꢀꢀꢀꢀꢀ
w1ꢀꢀꢀꢀꢀꢀꢀ
w2
…………
w
k
………ꢀ
w
m
;搜索空间大小
ꢀꢀꢀꢀꢀꢀ
d(k)/m
ꢀꢀꢀ
2d(k)/m
……
kd(k)/m

md(k)/m;第k个个体的搜索空间是以点w
k
为中心,以kδ(k)/m为边长向量的一个矩形区域,矩形区域中变量的下界和上界的计算公式为:l
kj
=max(x
kj

δ
j
k/2m,aj)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式1;u
kj =min(x
kj

j
k/2m,bj)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
公式2;j=1,2,
ꢀ……
s; k=1,2,
……
,m;aj为在搜索空间中变量的上界向量,bj为在搜索空间中变量的下界向量;向量[1/m,2/m,
……
,m/m]称为分配比例系数向量,从此向量可看出,当m较大时,列队中相邻家族分配的搜索空间相差较小,这将产生搜索空间的重叠,使搜索效率降低,m在5

10之间,最多不超过20;根据公式1和公式2可计算出:家族1分配的搜索区域为:7.1≤x1≤7.3; x2∈{50hz,100hz,200hz,300hz,400hz}家族2分配的搜索区域为:8.0≤x1≤8.2;x2∈{50hz,100hz,200hz,300hz,400hz}家族3分配的搜索区域为:9.1≤x1≤9.4;x2∈{50hz,100hz,200hz,300hz,400hz}家族4分配的搜索区域为:10.2≤x1≤10.6;x2∈{50hz,100hz,200hz,300hz,400hz}家族5分配的搜索区域为:11.5≤x1≤11.7;x2∈{50hz,100hz,200hz,300hz,400hz}家族6分配的搜索区域为:12.7≤x1≤13.0;x2∈{50hz,100hz,200hz,300hz,400hz}各家族在各自的搜索空间内进行繁殖,随机产生m个子代个体;其中,在各自的搜索区域内,分别按照{50hz,100hz,200hz,300hz,400hz}这5个采集频率进行ad数据采集,截取1024个数据进行fft变换,剔除谐波频率后得出相应的信号频率和幅值,所得到的频率为进行了1代繁殖;同一家族内,m个子代个体和父代个体一起进行非支配排序,只保留各自家族的非支配解,构成新的家族;其中,在进行了m代繁殖后,得到m个子代个体,按照其与目标函数的相关性从大到小进行排序;判断当前家族数ni是否大于最小家族数n0;若满足该条件,则进行下一步,否则再随机补充家族到初始家族数n0,重新执行随机生成初始家族;判断当前家族数ni是否大于目标家族数nt;若满足该条件,则进行下一步,否则重新执行随机生成初始家族;当6个通道都输出计算结果后,进行二次排序,然后输出最终结果,所述最终结果为最终脑电信号频率。

技术总结
本发明公开一种基于脑电检测的眼动跟踪AR界面导航系统及方法。本发明涉及脑机接口技术领域,解决现有AR界面导航技术无法解放双手,实用效果差的问题。本发明的基于脑电检测的眼动跟踪AR界面导航系统包括:6通道脑电信号采集模块、AR设备主机以及AR眼镜,6通道脑电信号采集模块与AR设备主机通信连接,AR设备主机与AR眼镜连接,可实现基于脑电检测的眼动跟踪AR界面导航,不需要双手进行操作,最大限度解放双手,在佩戴AR眼镜的时候,双手可以做一些其他的操作,这对AR技术在巡检、军用、娱乐等方面的应用具有重要意义,此外,本发明的基于脑电检测的眼动跟踪AR界面导航系统的界面导航的准确率得到显著提高。航的准确率得到显著提高。航的准确率得到显著提高。


技术研发人员:贾明霖 孔德春 姚远
受保护的技术使用者:南京中谷芯信息科技有限公司
技术研发日:2021.08.16
技术公布日:2021/9/9
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1