专利名称：基于眼电信号的眼动方向提取方法及提取装置的制作方法
技术领域：
本发明涉及神经工程与信息学的交叉技术领域，特别涉及一种基于眼电信号的眼动方向提取方法及提取装置。
背景技术：
传统的计算机系统以键盘和鼠标为主要的人-机交互设备，但是这些人-机交互设备无法满足肢体运动功能障碍者的需求。已有学者对无障碍人-机交互课题进行了广泛的研究，试图设计出一种不依赖肢体运动的人-机交互接口，并在此基础上设计出一套便于肢体运动功能障碍者使用的无障碍人-机交互系统。多年的研究发现，目前比较有应用前景的无障碍人-机交互方式主要有肌电控制、脑-机接口控制和眼动控制等。在上述几种无障碍人-机交互方式中，眼动控制更易于为大部分肢体运动功能障碍者所接受。大部分肢体运动功能障碍者仍能够较自如地控制其眼球运动。如果将肢体运动功能障碍者的眼动信息提取出来并将其转化成控制命令来操纵计算机或其他辅助设备，则能更好地实现无障碍人-机交互。目前，眼动控制方法主要有搜索线圈法、眼电图法、红外线眼动图法、基于计算机图形学的方法以及影像追踪法。人类肉眼的眼球运动或眨眼时产生的生理电信号称为眼电信号(EOG, Electro-oculogram)。人类肉眼产生的眼电信号可以被设置于眼睛周围的电极直接检测到。眼电信号具有幅度较强，且易于检测的特点，因此，如何利用眼电信号实现人-机交互成为该领域的焦点问 题。现在技术中，已经有一些眼电信号的提取方法。但是，这些方法大都利用眼电信号的幅值、持续时间、时间间隔或能量等特征参数，通过设置不同的检测阈值实现对眼电信号的提取。目前，还没有基于眼电信号的眼球运动方向的特征向量提取方法及装置。
发明内容
本发明的目的是提供一种基于眼电信号的眼动方向提取方法。本发明的另一目的是提供一种基于眼电信号的眼动方向提取装置。本发明提供的基于眼电信号的眼动方向提取装置包括:采集模块，用于采集眼电信号，并用于记录采集眼电信号的时间；放大器，用于将来自所述采集模块的眼电信号放大；模数转换模块，用于将来自所述放大器的模拟眼电信号转换成数字眼电信号；和处理模块，用于对来自模数转换模块的数字眼电信号进行预处理、平滑处理、特征向量提取、投影和差分处理；所述采集模块依次与所述放大器、所述模数转换模块和所述处理模块电连接。优选地，所述提取装置还包括计算机主机和显示器，所述计算机主机分别与所述显示器和所述处理模块电连接。优选地，所述采集模块包括参考电极、接地电极和三个测试电极，其中所述三个测试电极用于采集眼电信号。本发明提供的基于眼电信号的眼动方向提取方法采用所述的基于眼电信号的眼动方向提取装置，该方法依次包括训练阶段a和测试阶段b，将显示器的显示区域标记出上、下、左、右、左上、右上、左下和右下八个方向；在训练阶段a，待测者的眼睛注视显示器，且待测者的眼球按照显示器显示的提示而运动；训练阶段a包括如下步骤:al:在待测者的眼部周围设置三个测试电极，其中第一测试电极和第二测试电极分别设置于待测者的同一眼睛的上、下侧，第三测试电极设置于待测者的与第一测试电极和第二测试电极同侧或异侧眼睛的外眼角处；在待测者耳后乳突处设置参考电极，在待测者额头处设置接地电极；a2:开启所述采集模块，所述三个测试电极开始采集待测者的眼电信号，通过所述计算机主机向所述采集模块发送并口同步信号，所述采集模块接收到并口同步信号后开始记录时间；a3:所述采集模块采集的眼电信号依经放大器放大和模数转换模块转换为数字眼电信号后发送至所述处理模块，所述处理模块对数字眼电信号进行预处理；a4:所述处理模块通过数学形态学方法对预处理后的眼电信号进行平滑处理，以去除干扰信号；a5:所述处理模块通过主成分分析法从平滑处理后的眼电信号中提取眼球运动方向的特征向量；a6:所述处理模块将平滑处理后的各个方向的眼电信号投影到与之方向相同的特征向量，得到各个方向的投影结果；a7:所述处理模块对各个方向的投影结果进行差分处理并得到差分结果；a8:统计差分结果的最大幅值对应的眼电信号的正负，如果最大幅值对应的正的眼电信号的数目大于负的眼电信号的数目，直接将眼球运动方向的特征向量保存到所述处理模块中或者所述处理模块指向的存储设备中；如果最大幅值对应的正的眼电信号的数目小于负的眼电信号的数目，对眼球运动方向的特征向量进行反向处理，并将反向处理后的眼球运动方向的特征向量保存到所述处理模块中或者所述处理模块指向的存储设备中；在训练阶段b，待测者的眼睛注视显示器，显示器的所述八个方向上同时显示提示，待测者根据自己的意愿选择注视所述八个方向中任意一个方向的提示，从而使其眼球做出相应的运动；测试阶段b包括如下步骤:bl:在待测者的眼部周围设置三个测试电极，其中第一测试电极和第二测试电极分别设置于待测者的同一眼睛的上、下侧，第三测试电极设置于待测者的与第一测试电极和第二测试电极同侧或异侧眼睛的外眼角处；在待测者耳后乳突处设置参考电极，在待测者额头处设置接地电极；b2:开启所述采集模块，所述三 个测试电极开始采集待测者的眼电信号，通过所述计算机主机向所述采集模块发送并口同步信号，所述采集模块接收到并口同步信号后开始记录时间；
b3:所述采集模块采集的眼电信号依次经所述放大器放大和所述模数转换模块转换为数字眼电信号后发送至所述处理模块，所述处理模块对数字眼电信号进行预处理；b4:所述处理模块通过数学形态学方法对预处理后的眼电信号进行平滑处理，以去除干扰信号；b5:所述处理模块将平滑处理后的眼电信号投影到所述训练阶段a获得的眼球运动方向的特征向量，得出对应于不同眼球运动方向的特征向量的投影结果；b6:所述处理模块对投影结果进行差分处理并找出差分结果的最大幅值对应的眼球运动方向的特征向量；b7:根据差分结果 的最大幅值对应的眼电信号的正负分类识别得到待测者在测试阶段b的眼球运动方向。优选地，所述步骤a3和所述步骤b3的预处理进一步为:所述处理模块对数字眼电信号进行去基线处理。优选地，所述步骤a4和所述步骤b4的平滑处理进一步包括如下子步骤:根据预处理后的眼电信号设置结构元素；所述第一测试电极和所述第二测试电极采集的眼电信号的差值为垂直眼电信号，所述第一测试电极和所述第二测试电极采集的眼电信号的平均值与所述第三测试电极采集的眼电信号的差值为水平眼电信号；所述处理模块通过数学形态学方法对垂直眼电信号和水平眼电信号都依次进行开操作运算和闭操作运算，得到平滑处理后的眼电信号。优选地，所述平滑处理的计算公式为:Yi (m) = ((Xi O K) K) (m)；公式中Xi为平滑处理前的水平眼电信号或者垂直眼电信号，其中i为水平眼电信号和垂直眼电信号，且i = 1，2 ;Yq为平滑处理后的眼电信号，其中j为方向，且j=l, 2，3，4，5，6，7，8 ；K为延迟值长度的结构元素；m为平滑处理的眼电信号对应的时间点。优选地，所述开操作的计算公式为:
(Xi。/0(m)=(( A:0/C)十 f<)(m);所述闭操作的计算公式为:(Xi K)(m)=((X 十 K)QK)(di) ■公式中Xi为平滑处理前的水平眼电信号或者垂直眼电信号，其中i为水平眼电信号和垂直眼电信号，且i = 1，2 ;K为延迟值长度的结构元素；m为平滑处理的眼电信号对应的时间点。优选地，所述步骤a5进一步包括如下子步骤:所述处理模块通过主成分分析法根据平滑处理后的眼电信号得出不同眼球运动方向对应的特征矩阵；所述处理模块提取特征矩阵的主分量得出不同眼球运动方向对应的特征向量。优选地，所述步骤a6和b5的投影结果的计算公式为:
权利要求
1.基于眼电信号的眼动方向提取装置，其特征在于，该装置包括: 采集模块，用于采集眼电信号，并用于记录采集眼电信号的时间； 放大器，用于将来自所述采集模块的眼电信号放大； 模数转换模块，用于将来自所述放大器的模拟眼电信号转换成数字眼电信号；和处理模块，用于对来自模数转换模块的数字眼电信号进行预处理、平滑处理、特征向量提取、投影和差分处理； 所述采集模块依次与所述放大器、所述模数转换模块和所述处理模块电连接。
2.根据权利要求1所述的基于眼电信号的眼动方向提取装置，其特征在于，所述提取装置还包括计算机主机和显示器，所述计算机主机分别与所述显示器和所述处理模块电连接。
3.根据权利要求1所述的基于眼电信号的眼动方向提取装置，其特征在于，所述采集模块包括参考电极、接地电极和三个测试电极，其中所述三个测试电极用于采集眼电信号。
4.基于眼电信号的眼动方向提取方法，该方法采用权利要求1所述的基于眼电信号的眼动方向提取装置，其特征在于，该方法依次包括训练阶段a和测试阶段b，将显示器的显示区域标记出上、下、左、右、左上、右上、左下和右下八个方向； 在训练阶段a，待测者的眼睛注视显示器，且待测者的眼球按照显示器显示的提示而运动； 训练阶段a包括如下步骤: al:在待测者的眼部周围设置三个测试电极，其中第一测试电极和第二测试电极分别设置于待测者的同一眼睛的上、下侧，第三测试电极设置于待测者的与第一测试电极和第二测试电极同侧或异侧眼睛的外眼角处；在待测者耳后乳突处设置参考电极，在待测者额头处设置接地电极； a2:开启所述采集模块，所述三个测试电极开始采集待测者的眼电信号，通过所述计算机主机向所述采集模块发送并口同步信号，所述采集模块接收到并口同步信号后开始记录时间； a3:所述采集模块采集的眼电信号依次经放大器放大和模数转换模块转换为数字眼电信号后发送至所述处理模块，所述处理模块对数字眼电信号进行预处理； a4:所述处理模块通过数学形态学方法对预处理后的眼电信号进行平滑处理，以去除干扰信号； a5:所述处理模块通过主成分分析法从平滑处理后的眼电信号中提取眼球运动方向的特征向量； a6:所述处理模块将平滑处理后的各个方向的眼电信号投影到与之方向相同的特征向量，得到各个方向的投影结果； a7:所述处理模块对各个方向的投影结果进行差分处理并得到差分结果；a8:统计差分结果的最大幅值对应的眼电信号的正负，如果最大幅值对应的正的眼电信号的数目大于负的眼电信号的数目，直接将眼球运动方向的特征向量保存到所述处理模块中或者所述处理模块指 向的存储设备中；如果最大幅值对应的正的眼电信号的数目小于负的眼电信号的数目，对眼球运动方向的特征向量进行反向处理，并将反向处理后的眼球运动方向的特征向量保存到所述处理模块中或者所述处理模块指向的存储设备中；在训练阶段b，待测者的眼睛注视显示器，显示器的所述八个方向上同时显示提示，待测者根据自己的意愿选择注视所述八个方向中任意一个方向的提示，从而使其眼球做出相应的运动； 测试阶段b包括如下步骤: bl:在待测者的眼部周围设置三个测试电极，其中第一测试电极和第二测试电极分别设置于待测者的同一眼睛的上、下侧，第三测试电极设置于待测者的与第一测试电极和第二测试电极同侧或异侧眼睛的外眼角处；在待测者耳后乳突处设置参考电极，在待测者额头处设置接地电极； b2:开启所述采集模块，所述三个测试电极开始采集待测者的眼电信号，通过所述计算机主机向所述采集模块发送并口同步信号，所述采集模块接收到并口同步信号后开始记录时间； b3:所述采集模块采集的眼电信号依次经所述放大器放大和所述模数转换模块转换为数字眼电信号后发送至所述处理模块，所述处理模块对数字眼电信号进行预处理； b4:所述处理模块通过数学形态学方法对预处理后的眼电信号进行平滑处理，以去除干扰信号； b5:所述处理模块将平滑处理后的眼电信号投影到所述训练阶段a获得的眼球运动方向的特征向量，得出对应于不同眼球运动方向的特征向量的投影结果； b6:所述处理模块对投影结果进行差分处理并找出差分结果的最大幅值对应的眼球运动方向的特征向量； b7:根据差分结果的最大幅值对应的眼电信号的正负分类识别得到待测者在测试阶段b的眼球运动方向。
5.根据权利要求4所述基于眼电信号的眼动方向提取方法，其特征在于，所述步骤a3和所述步骤b3的预处理进一步为:所述处理模块对数字眼电信号进行去基线处理。
6.根据权利要求4所述的基于眼电信号的眼动方向提取方法，其特征在于，所述步骤a4和所述步骤b4的平滑处理进一步包括如下子步骤: 根据预处理后的眼电信号设置结构元素； 所述第一测试电极和所述第二测试电极采集的眼电信号的差值为垂直眼电信号，所述第一测试电极和所述第二测试电极采集的眼电信号的平均值与所述第三测试电极采集的眼电信号的差值为水平眼电信号； 所述处理模块通过数学形态学方法对垂直眼电信号和水平眼电信号都依次进行开操作运算和闭操作运算，得到平滑处理后的眼电信号。
7.根据权利要求6所述的基于眼电信号的眼动方向提取方法，其特征在于，所述平滑处理的计算公式为: Yi (m) = ((Xi O K) K) (m)； 公式中Xi为平滑处理前的水平眼电信号或者垂直眼电信号，其中i为水平眼电信号和垂直眼电信号，且i = 1，2 Ji, j为平滑处理后的眼电信号，其中j为方向，且j=l, 2，3，4，5，6，7，8 ；K为延迟值长度的结构元素；m为平滑处理的眼电信号对应的时间点。
8.根据权利要求6所述的基于眼电信号的眼动方向提取方法，其特征在于，所述开操作的计算公式为:
9.根据权利要求4所述的基于眼电信号的眼动方向提取方法，其特征在于，所述步骤a5进一步包括如下子步骤: 所述处理模块通过主成分分析法根据平滑处理后的眼电信号得出不同眼球运动方向对应的特征矩阵； 所述处理模块提取特征矩阵的主分量得出不同眼球运动方向对应的特征向量。
10.根据权利要求4所述的基于眼电信号的眼动方向提取方法，其特征在于，所述步骤a6和b5的投影结果的计算公式为:
11.根据权利要求4所述的基于眼电信号的眼动方向提取方法，其特征在于，所述步骤a7和b6的差分处理的计算公式为:
全文摘要
本发明提供一种基于眼电信号的眼动方向提取方法及提取装置，该方法依次包括训练阶段a和测试阶段b；训练阶段a包括如下步骤a1设置电极；a2开始采集眼电信号；a3预处理；a4平滑处理；a5提取眼球运动方向的特征向量；a6将不同方向的眼电信号投影到相同方向的特征向量；a7对投影结果进行差分处理；a8保存特征向量；测试阶段b包括如下步骤b1设置电极；b2开始采集眼电信号；b3预处理；b4平滑处理；b5将眼电信号投影到所述训练阶段a获得的眼球运动方向的特征向量；b6对投影结果进行差分处理；b7根据差分结果的最大幅值对应的眼电信号的正负分类识别得到待测者在测试阶段b的眼球运动方向。
文档编号A61B5/0488GK103070682SQ201310008038
公开日2013年5月1日 申请日期2013年1月9日 优先权日2013年1月9日
发明者高小榕, 郑敏敏, 张罡, 高上凯 申请人:清华大学