一种基于EOG的人体行为识别系统及方法与流程

本发明属涉及一种人体行为识别系统及方法，具体地说，涉及一种基于EOG的人体行为识别系统及方法。

背景技术：

人体行为识别(Human activity recognition,HAR)指对被观测个体的动作类型、行为模式等信息进行综合地分析与识别，并将识别结果通过自然语言等方式进行描述。研究表明，人在进行特定活动时所引发的眼动模式在很大程度上能够揭示其行为状态，如：阅读、写作、休息等，而这种眼动模式可以通过对眼球运动情况的跟踪来获取，因此基于眼动信息的人体行为识别算法的设计与实现已经成为新的研究热点。

近年来，眼电图(Electro-oculogram,EOG)因价格低廉、容易获取、处理简单、易于携带等优点被证明是用于测量眼球运动最有效的工具之一。因此，使用EOG方法进行HAR系统设计具有重要的研究价值。EOG-HAR系统是指将EOG信号作为被观测对象，通过对其分析与识别，获取被观测对象的动作类型、行为模式等信息。在系统实现过程中，行为状态的检测和分析较为关键，为此研究者们做出大量研究，其中Bulling A首次提出一种新的方法检测扫视、眨眼、凝视，并通过对重复的眼动模式序列进行编码，从而提取不同行为状态的特征。后来，Shreyasi Datta将小波变换和AAR模型以及Hjorth参数结合起来用于提取不同行为状态的特征，从而进行识别。上述检测方法虽然取得了一定的成功，但是他们仅仅是从基本EOG单元的识别与根据时序建立简单的码表的层面上进行人体行为的识别，难以保证信号的识别正确率。

技术实现要素：

本发明的目的在于克服上述技术存在的缺陷，提供一种基于EOG的人体行为识别系统及方法，识别正确率更高、扩展性更强、应用前景良好。

其具体技术方案为：

一种基于EOG的人体行为识别系统，包括单元EOG信号识别模块、眼动信号-行为状态关系模块和信息融合模块；

所述单元EOG信号识别模块通过对原始多导联EOG信号的分析，实现对阅读、休息、写作3种行为状态的判断，该模块包括多导联EOG信号的采集、预处理及基于信号平均功率，平均频率，信号带宽参数的特征提取与识别单元；

所述眼动信号-行为状态关系模块使用N-gram方法对大量的单元EOG信号数据进行统计，并计算不同行为状态之间的转移概率，得出状态之间的上下文关系；

所述信息融合模块指使用置信度参数对单元EOG信号识别模块和眼动信号-行为状态关系模块的输出结果进行综合分析与判断，并推断出受试者最可能的行为状态。

进一步，所述单元EOG信号识别模块中信号采集电极的安装位置为：

(a)、使用2个电极采集水平扫视信号，一个电极安放于受试者的左眼眼球水平中心点左方2.5-3.0cm处；一个电极安放于受试者的右眼眼球水平中心点右方2.5-3.0cm处；

(b)、使用2个电极采集垂直扫视信号，一个电极安放于受试者左眼眼球正中心上方1.5-2.0cm处，另一个电极安放于受试者左眼眼球正中心下方1.5-2.0cm处；或者一个电极安放于受试者右眼眼球正中心上方1.5-2.0cm处，另一个电极安放于受试者右眼眼球正中心下方1.5-2.0cm处；

(c)、使用1个参考电极，参考电极安放于受试者右耳后乳凸处；

(d)、使用1个接地电极，接地电极安放于受试者左耳后乳凸处。

进一步，所述单元EOG信号识别模块中对原始信号的预处理过程：采用的是截止频率为0.01-10Hz的32阶fir带通滤波器。

进一步，所述单元EOG信号识别模块中使用信号平均功率、信号平均频率和信号带宽作为眼动信号特征参数，具体定义如下：

A(x)＝var(x) (1)

上式中，x为输入EOG信号，A(x)表示信号平均功率、M(x)表示信号平均频率、C(x)表示信号带宽。

将得到的三个特征参数数据集分为训练和测试两部分，训练部分送入支持向量机 (Support Vector Machine,SVM)模型中进行训练，测试部分送入训练好的SVM模型中进行识别，其中SVM模型采用了径向基函数(Radial Basis Function，RBF)，惩罚因子设定为1。

进一步，所述的眼动信号-行为状态关系模型建立的具体方法为：

假设第n个行为状态的出现只与前面的n-1个状态相关，而与其它任何状态都不相关。用S₁,S₂,...,S_n来表示这n个状态，那么状态S_n出现的概率就可以写为其中表示状态序列S₁,S₂,...,S_n-1。在有大量训练数据的前提下，根据最大似然准则，可以得到：

和分别表示状态序列(S₁,S₂,...,S_n)和(S₁,S₂,...,S_n-1)在训练数据库中出现的次数。本发明中取n＝3来构建这个模型。当n＝3时，公式(4)就可以写成：

通过公式(5)，能够求得当前每种行为状态出现的概率，即每种行为状态之间的转移概率。

进一步，所述的信息融合模块中置信度参数的获取步骤如下：

(1)将EOG信号识别模块的识别结果与数据标签进行对比，和数据标签相同的结果是正确的识别结果，反之，是错误的识别结果；

(2)用混合高斯模型对大量错误和正确的识别结果的样本进行训练分别得到模型E和模型R；

(3)对一个待判别的识别结果，分别计算其到模型E和R的距离de和dr；

(4)计算到两个模型的距离差dd＝dr-de。

当dd>＝CM时，就认为识别结果正确；当dd<CM时，就认为识别结果错误，其中，CM为置信度门限，需要根据经验进行人为的设置。

一种基于EOG的人体行为识别方法，包括如下步骤：

步骤1：建立单元EOG信号识别模型，该模型主要分为以下三个部分：

(1)信号采集：实验使用NeuroScan采集设备，使用6个生物电极采用双极导联方式进行数据采集，电极安放位置如本发明所要求，并在设计好的实验范式条件下采集大量的阅读、写作、休息数据。采集到的数据分成两部分，一部分作为训练数据，另一部分作为测试数据。

(2)信号预处理：对上述所说的训练数据采用截止频率为0.01-10Hz的32阶fir带通滤波器进行滤波，并对测试数据做相同处理。

(3)特征提取和识别：将上述预处理后的训练数据和测试数据使用信号平均功率、信

号平均频率和信号带宽作为眼动信号特征参数，具体定义如下：

A(x)＝var(x) (1)

上式中，x为输入的EOG信号，var(x)表示信号的方差，x’表示输入信号x的一阶导，A(x)表示信号平均功率、M(x)表示信号平均频率、C(x)表示信号带宽。

将训练数据得到的特征参数送入SVM模型中进行训练，测试数据得到的特征参数送入训练好的SVM模型中进行识别，其中SVM模型采用了RBF核函数，惩罚因子设定为1。

步骤2：使用N-gram方法建立眼动信号-行为状态关系模型，具体方法如下所述：假设第n个行为状态的出现只与前面的n-1个状态相关，而与其它任何状态都不相关。我们用S₁,S₂,...,S_n来表示这n个状态，那么状态S_n出现的概率就可以写为其中表示状态序列S₁,S₂,...,S_n-1。在有大量训练数据的前提下，根据最大似然准则，可以得到：

和分别表示状态序列(S₁,S₂,...,S_n)和(S₁,S₂,...,S_n-1)在训练数据库中出现的次数。在本发明中取n＝3来构建这个模型。当n＝3时，公式(4)就可以写成：

通过公式(5)，能够求得当前每种行为状态出现的概率，即状态转移概率。

步骤3：通过本发明所述的方法得到的置信度参数会先对EOG信号识别模型的每一个识别结果进行判断。首先，根据经验算法预设一个初始检测门限，当置信度参数大于或等于所设置的门限时，就表示EOG信号识别模型的识别结果有较高的可靠性，则算法认定结果是正确的。当置信度参数小于所设置的门限时，表明EOG信号识别模型的识别结果可靠性较低，则算法认定结果是错误的。由于本发明所述的眼动信号-行为状态关系模型统计出了不同行为状态间的转移概率，即当前行为状态发生后，下一时刻最可能出现的行为状态。因此，当EOG信号识别模型的识别结果出现错误时，我们使用眼动信号-行为状态关系模型中最大转移概率所对应的行为状态结果进行替代，以提高识别正确率。

与现有技术相比，本发明的有益效果为：本发明的一种基于EOG的人体行为识别系统和方法，具有识别正确率更高、扩展性更强、应用前景良好等优点。本发明的有益效果具体体现在以下几个方面的特点。

1、本发明对人体行为状态的识别具有更高的识别正确率。

传统的人体行为识别通常是孤立地分析一个单元EOG信号，或者根据时序建立简单的码表，上述做法忽略了不同眼动单元间的上下文关系，因此很难获取较高的识别正确率。而本发明通过对大量EOG单元的统计，提取不同单元间先后发生的上下文关系并建立一个眼动信号-行为状态关系模型，结合EOG单元的识别结果进行个体行为的判断，有效提高了人体行为状态分类正确率。

2、本发明在行为状态类型的识别上具有较强的扩展能力。

本发明虽然只对阅读、写作、休息三种不同行为状态的特征提取和识别方法，但本发明中EOG信号识别模型和眼动信号-行为状态关系模型的建立并不限制行为状态的种类个数，因此，本发明所提方法具有较强的分类扩展能力，可以进行更多不同行为状态眼动类型的特征提取与识别，如观看视频、浏览网页等；另外，该方法不仅可以应用在EOG信号的处理，对其它生物电信号，如：脑电、肌电等或者视频信号处理都具有较好的分类性能。

3、本发明具有良好的应用前景。

本发明所提方法是以有效提高人体行为识别系统性能为根本出发点，用以提高系统能够主动感知用户意图的能力，因此，本发明已经成为了人工智能与模式识别领域中一个新兴的研究内容，在智能视频监控、医疗诊断、运动分析及人-机交互等领域均具有广泛的应用前景。

附图说明

图1为不同行为下的EOG波形图；

图2为本发明的算法流程图；

图3为本发明EOG信号采集过程中电极分布图；

图4为不同行为状态之间的转移状态图；

图5为本发明中置信度参数获取流程图；

图6为识别结果图。

具体实施方式

下面结合附图和具体实施例对本发明的技术方案作进一步详细地说明。

一种基于EOG的人体行为识别方法，其特征主要包括如下模块：

模块1、单元EOG信号识别模块：通过对原始多导联EOG信号的分析，实现对阅读、休息、写作3种行为状态的判断。该模型包括多导联EOG信号的采集、预处理及基于信号平均功率，平均频率，信号带宽参数的特征提取与识别单元；

模块2、眼动信号-行为状态关系模块：使用N-gram方法对大量的单元EOG信号数据进行统计，并计算不同行为状态之间的转移概率，得出状态之间的上下文关系；

模块3、信息融合模块：指使用置信度参数对模块1和模块2的输出结果进行综合分析与判断，并推断出受试者最可能的行为状态。

所述单元EOG信号识别模块中信号采集电极的安装位置为：

(a)、使用2个电极采集水平扫视信号，一个电极安放于受试者的左眼眼球水平中心点左方2.5-3.0cm处；一个电极安放于受试者的右眼眼球水平中心点右方2.5-3.0cm处；

(b)、使用2个电极采集垂直扫视信号，一个电极安放于受试者左眼眼球正中心上方1.5-2.0cm处，另一个电极安放于受试者左眼眼球正中心下方1.5-2.0cm处；或者一个电极安放于受试者右眼眼球正中心上方1.5-2.0cm处，另一个电极安放于受试者右眼眼球正中心下方1.5-2.0cm处；

(c)、使用1个参考电极，参考电极安放于受试者右耳后乳凸处；

(d)、使用1个接地电极，接地电极安放于受试者左耳后乳凸处。

所述单元EOG信号识别模块中对原始信号的预处理过程：采用的是截止频率为0.01-10Hz的32阶fir带通滤波器。

所述单元EOG信号识别模块中使用信号平均功率、信号平均频率和信号带宽作为眼动信号特征参数，具体定义如下：

A(x)＝var(x) (1)

上式中，x为输入的EOG信号，A(x)表示信号平均功率、M(x)表示信号平均频率、C(x) 表示信号带宽。

所述的眼动信号-行为状态关系模型建立的具体方法为：

假设第n个行为状态的出现只与前面的n-1个状态相关，而与其它任何状态都不相关。用S₁,S₂,...,S_n来表示这n个状态，那么状态S_n出现的概率就可以写为其中表示状态序列S₁,S₂,...,S_n-1。在有大量训练数据的前提下，根据最大似然准则，可以得到：

和分别表示状态序列(S₁,S₂,...,S_n)和(S₁,S₂,...,S_n-1)在训练数据库中出现的次数。本发明中取n＝3来构建这个模型。当n＝3时，公式(4)就可以写成：

通过公式(5)，能够求得当前每种行为状态出现的概率，即状态转移概率。

所述的信息融合模块中置信度参数的获取步骤如下：

(1)将EOG信号识别模块的识别结果与数据标签进行对比，和数据标签相同的结果是正确的识别结果，反之，是错误的识别结果；

(2)用混合高斯模型对大量错误和正确的识别结果的样本进行训练分别得到模型E和模型R；

(3)对一个待判别的识别结果，分别计算其到模型E和R的距离de和dr；

(4)计算到两个模型的距离差dd＝dr-de。

当dd>＝CM时，就认为识别结果正确；当dd<CM时，就认为识别结果错误，其中，CM为置信度门限，需要根据经验进行人为的设置。

一种基于EOG的人体行为识别方法，包括如下步骤：

步骤1：建立单元EOG信号识别模型，该模型主要分为以下三个部分：

(1)信号采集：实验使用NeuroScan采集设备，使用6个生物电极采用双极导联方式进行数据采集，电极安放位置如本发明所要求，并在设计好的实验范式条件下采集大量的阅读、写作、休息数据。将采集到的数据分成两部分，一部分作为训练数据，另一部分作为测试数据。

(2)信号预处理：对上述所说的训练数据采用截止频率为0.01-10Hz的32阶fir带通滤波器进行滤波，并对测试数据做相同处理。

(3)特征提取和识别：将上述预处理后的训练数据和测试数据使用信号的平均功率、平均频率、信号带宽三个参数作为特征，具体定义如下：

A(x)＝var(x) (1)

上式中，x为输入的EOG信号，var(x)表示信号的方差，x’表示输入信号x的一阶导，A(x)表示信号平均功率、M(x)表示信号平均频率、C(x)表示信号带宽。

将训练数据得到的特征参数送入SVM模型中进行训练，测试数据得到的特征参数送入训练好的SVM模型中进行识别，其中SVM模型采用了RBF核函数，惩罚因子设定为1。

步骤2：使用N-gram方法建立眼动信号-行为状态关系模型，具体方法如下所示：假设第n个行为状态的出现只与前面的n-1个状态相关，而与其它任何状态都不相关。我们用S₁,S₂,...,S_n来表示这n个状态，那么状态S_n出现的概率就可以写为其中表示状态序列S₁,S₂,...,S_n-1。在有大量训练数据的前提下，根据最大似然准则，可以得到：

和分别表示状态序列(S₁,S₂,...,S_n)和(S₁,S₂,...,S_n-1)在训练数据库中出现的次数。

在本发明中取n＝3来构建这个模型。当n＝3时，公式(4)就可以写成：

通过公式(5)，能够求得当前每种行为状态出现的概率，即行为状态之间的转移概率。

步骤3：通过本发明所述的方法得到的置信度参数会先对EOG信号识别模型的每一个识别结果进行判断。首先，根据经验算法预设一个初始检测门限，当置信度参数大于或等于所设置的门限时，就表示EOG信号识别模型的识别结果有较高的可靠性，则算法认定结果是正确的。当置信度参数小于所设置的门限时，表明EOG信号识别模型的识别结果可靠性较低，则算法认定结果是错误的。由于本发明所述的眼动信号-行为状态关系模型统计出了不同行为状态间的转移概率，即当前行为状态发生后，下一时刻最可能出现的行为状态。因此，当EOG信号识别模型的识别结果出现错误时，我们使用眼动信号-行为状态关系模型中最大转移概率所对应的行为状态结果进行替代，以提高识别正确率。

参见图1，图1为不同行为下的EOG波形图。当人眼球运动时，眼电信号的幅值会随着眼球的运动而不断发生变化，我们将这种变化的电势绘制到时间轴上则可以构成一条曲线，这条曲线就称之为眼电图。人在进行某种行为时，人眼会呈现出不同的运动规律，这种规律能够用眼电图记录下来。如图1左边代表的是阅读时的眼电信号波形，右边是写作的眼电信号波形，中间的是休息眼电信号波形，从这三种不同行为表现出的波形可以看出眼电信号与行为状态有较明确的对应关系。

参见图2，图2为本发明的算法流程图。说明了本实施例中人体行为识别框图。具体实施中，主要包括以下三个模块：

1)单元EOG信号的识别模块：该模型分别由EOG信号的采集、预处理、特征提取和识别这三部分组成；

2)眼动信号-行为状态关系模块：使用N-gram方法统计出状态之间潜在的上下文关系，并通过概率的大小来推断某时刻所处的最佳状态；

3)信息融合模块：通过置信度参数实现对两个模型输出结果的综合分析与判断并推断出受试者最可能的行为状态。

参见图3，图3为本发明的眼动信号采集过程中电极分布图。本发明采用双极导联方式进行数据采集，共使用了6个生物电极，电极U和电极D分别放置于左眼的上方和下方2cm处用于采集垂直眼电信号，电极L安放于受试者的左眼眼球水平中心点左方2.5-3.0cm处和电极R安放于受试者的右眼眼球水平中心点右方2.5-3.0cm用于采集水平眼电信号，电极A和电极G分别安放于右耳后和左耳后乳凸处分别作为为参考电极和接地电极。

参见图4，图4为不同状态之间可能的转移路径。在办公室场景下的阅读、休息、写作这三种不同的状态表面上是独立不相关的，但实际上这三种状态具有上下文关系。例如：当我们因为阅读而感到疲惫时，会选择休息，阅读和休息就有了上下文关系；当我们阅读到重要的内容需要写下来时，阅读和写作就构成了上下文关系。因此我们使用特定上下文关系网络建立一个眼动信号-行为状态关系模型。具体来说，该模型就是利用眼动单元上下文中的搭配模式(每个状态的转移路径)，试图捕捉并预测在当前连续眼动行为中的下一个眼动行为，并计算出具有最大可能的局部连续眼动序列，在此基础上推断此序列对应的行为状态。

参见图5，图5为本发明的置信度参数获取的流程图。图5说明了本实施例中置信度参数获取的具体过程。首先将EOG信号识别模型的识别结果与数据标签进行对比，和数据标签相同的结果是正确的识别结果，反之，是错误的识别结果；其次，用混合高斯模型对大量错误和正确的识别结果的样本进行训练分别得到模型E和模型R；然后，对一个待判别的识别结果，分别计算其到模型E和R的距离de和dr；最后，计算到两个模型的距离差dd＝dr-de，该距离差就是所求的置信度参数。

参见图6，图6为单元EOG信号识别模型和结合了眼动信号-行为状态关系模型的单元EOG信号识别模型的识别正确率。其中，横坐标1-6分别对应6位不同的受试者，纵坐标表示识别正确率(a代表的是前者，b代表的是后者)。统计后发现，前者的平均识别率为85.5％，后者的平均识别率为86.5％，后者的平均识别率比前者的平均识别率高出1％。这一结果表明本发明所提出的结合EOG信号识别模型与行为关系模型的人体行为识别算法能够有效提高识别正确率与系统实用性。

以上所述，仅为本发明较佳的具体实施方式，本发明的保护范围不限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可显而易见地得到的技术方案的简单变化或等效替换均落入本发明的保护范围内。