一种面向儿童的需求感知眼动信息提取与识别方法与流程

本发明涉及智能童车领域，特别是涉及面向儿童的需求感知眼动信息提取与识别方法。

背景技术：

童车是儿童玩具之中的一大门类，陪伴着儿童的成长。

2019年，国家市场监督总局发布的《关于儿童推车的消费提示》中明确指出：童车在儿童用品伤害中较为突出，儿童推车相关伤害问题主要集中在学龄前儿童使用推车产品的过程中，因从车体跌落导致的挫伤或擦伤。进一步的调查发现，儿童从车体跌落的主要原因可归纳为两大类，一是童车本身的原因，二是儿童的原因。

第一种原因主要是童车设计上没有充分考虑到童车的安全性，家长在使用时由于疏忽可能会导致儿童跌落；第二种原因是儿童由于产生一些需求，如希望家长抱抱，或肚子饿了，想出来找吃的而导致跌落。

因此，为了提高童车安全，除车体设计上的改进外，对儿童需求的主动感知，即能够捕获儿童需求并及时提醒家长，这对于提高童车安全性能将起到重要的作用。

眼睛是心灵的窗口，视觉信息首先由视网膜实现光电转化，之后经脑内的外膝体进行信息中转后到达视觉皮层，最后由中枢神经系统对来自多个通道的大脑皮层信息和皮层下神经协同活动进行进一步的信息处理与整合，从而形成由神经活动所表征的需求意识。

反之，当需求产生后，大脑皮层的眼球协同运动中枢又会通过动眼、滑车与外展这三个眼球运动神经支配眼外肌来控制眼球做相应的运动以调节需求强度。

因此，人在产生不同需求时所引发的眼动信息在很大程度上能够揭示其行为意图，而这种眼动行为模式可以通过分析眼电信号的变化规律来获取，因此使用眼电信号进行儿童意图(如：饮食需求、心理需求、生理需求等)的分析与识别对提高童车的安全性具有重要的意义。

目前，眼电信号的获取与分析主要围绕人-机交互、行为分析等领域展开，研究成果虽有一定的借鉴意义，但由于需求意图所诱发的眼电信号为自然眼动信号，不同于主动眼动信号，由于成份的复杂性、场景的敏感性及个体的差异性，现有的眼动信号处理方法无论在多导联信号的处理能力，还是在识别模型的描述能力上都很难实现基于眼动信号的需求分析。

因此，提取需求相关的眼动成份，并对其进行识别，实现儿童不同需求状态的感知是一个亟待解决的问题。

技术实现要素：

本发明的目的在于提供一种全新的基于眼动信息的需求感知方法，具有处理速度快、鲁棒性好、市场潜力大等优势。

为此，本发明提供了一种面向儿童的需求感知眼动信息提取与识别方法，包括以下步骤：步骤1、采集儿童在饮食需求、心理需求及生理需求3种不同状态下的7导联眼电数据xp(p＝1,2,...,7)；步骤2、对所采集到的需求眼动信号xp进行时-频变换，得到时频信号xkn,p，其中，xkn,p表示通道p在第n个窗内第k个频点处对应的频域形式；步骤3、使用单位矩阵对频点k处的分离矩阵wk进行初始化，得到初始化的wk后，对第个k频点处第n窗内的估计信号ykn进行初始化，其中，ykn＝wkxkn，其中，xkn是xkn,p的全通道表示形式；步骤4、定义如下目标函数：其中p(y1…y7)为估计信号yp(p＝1,2,...,7)的联合概率密度，为边缘概率密度乘积，e(·)表示期望运算；kl(·)表示k-l散度，用其来衡量估计信号yp的联合概率密度p(y1…y7)和边缘概率密度乘积之间的乘积之间的距离；步骤5、对目标函数进行最小化寻优操作直至q达到最小，即各通道间逼近相互独立，迭代终止，近而获得对应的分离矩阵wk；步骤6、对所有频点执行完成步骤3-5后，将频域形式的估计信号ykn变换回时域形式，得到通道p在第n个窗口的时域估计信号yn,p，ykn,p是第p个元素在第n个窗内第k个频点上的估计信号值，对yn,p以窗移js进行拼接，最终得到完整的解混估计信号yp,(p＝1,2,...,7)；步骤7、计算还原后的时域估计信号所有通道的峭度值，并计算其平均值，当某一通道值小于平均值时，认为该通道与需求状态具有较高相关度，保留该通道；反之，去除；步骤8、对步骤7处理后的所有通道信号，分别提取时域与频域特征，使用支持向量机进行不同需求状态的识别。

本发明还提供了一种需求感知眼动信息提取与识别方法，包括以下步骤：步骤1、采集被试者在饮食需求、心理需求及生理需求3种不同状态下的7导联眼电数据xp(p＝1,2,...,7)；步骤2、对所采集到的需求眼动信号xp进行时-频变换，得到时频信号xkn,p，其中，xkn,p表示通道p在第n个窗内第k个频点处对应的频域形式；步骤3、使用单位矩阵对频点k处的分离矩阵wk进行初始化，得到初始化的wk后，对第个k频点处第n窗内的估计信号ykn进行初始化，其中，ykn＝wkxkn，其中，xkn是xkn,p的全通道表示形式；步骤4、定义如下目标函数：其中p(y1…y7)为估计信号yp(p＝1,2,...,7)的联合概率密度，为边缘概率密度乘积，e(·)表示期望运算；kl(·)表示k-l散度，用其来衡量估计信号yp的联合概率密度p(y1…y7)和边缘概率密度乘积之间的乘积之间的距离；步骤5、对目标函数进行最小化寻优操作直至q达到最小，即各通道间逼近相互独立，迭代终止，近而获得对应的分离矩阵wk；步骤6、对所有频点执行完成步骤3-5后，将频域形式的估计信号ykn变换回时域形式，得到通道p在第n个窗口的时域估计信号yn,p，ykn,p是第p个元素在第n个窗内第k个频点上的估计信号值，对yn,p以窗移js进行拼接，最终得到完整的解混估计信号yp,(p＝1,2,...,7)；步骤7、计算还原后的时域估计信号所有通道的峭度值，并计算其平均值，当某一通道值小于平均值时，认为该通道与需求状态具有较高相关度，保留该通道；反之，去除；步骤8、对步骤7处理后的所有通道信号，分别提取时域与频域特征，使用支持向量机进行不同需求状态的识别。

本发明通过对不同需求意图下所引发的眼动信号的提取与分析，实现了对儿童在饮食需求、心理需求及生理需求3种意图类型下感知，为一种全新的需求感知方法。目前，生理感知主要依靠视频、语音及身体姿态等方法实现，尚未见到使用眼动信号进行需求感知的报道。本发明采集了7位被试者在饮食需求、心理需求及生理需求3种状态下的眼电信号，组内和组间测试的平均识别正确率达分别到80.76％和74.82％，结果验证了本发明所述方法的有效性。

本发明使用眼电信号进行需求感知，由于眼电信号采样率低，数据处理量相对较小，便于实时需求分析和系统实现。另外，该信号对声、光效应对生理信号采集不会形成直接的干扰，因此信号采集质量的鲁棒性较强。而传统的语音和视频方法，所采集的信号数据量大，不利与实时处理；声、光等环境干扰对数据采集质量往往也会产生较大的影响，这会进一步增大情绪数据的处理难度和运算负担。

本发明由于能够主动感知儿童的需求意图，因此，在大幅提高系统安全性的同时，还能为家长提供更多、更准确的呵护信息，这些信息对于改善儿童照顾质量、促进儿童智力发育、提高童-车交互性能具有重要的作用。目前，国内外的智能童车市场中尚未见到类似的产品。

除了上面所描述的目的、特征和优点之外，本发明还有其它的目的、特征和优点。下面将参照图，对本发明作进一步详细的说明。

附图说明

构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为基于眼电图的儿童需求感知方法流程图。

图2为眼电信号产生示意图。

图3为本发明中眼电信号采集示意图。

图4为使用二阶和四阶统计依赖性进行质量评估的结果。

图5为使用平均总平方互相关和进行质量评估的结果。

图6为组内和组间测试中不同的数据集分配示意图。

图7为组内和组间测试的分类准确率。

具体实施方式

下面将参考附图并结合实施例来详细说明本发明。

参见图1，其示出了本实施例中基于眼电图的儿童需求感知方法的执行流程。

首先，采集儿童在饮食需求、心理需求及生理需求3种不同需求状态下的7导联眼电信号。接着，使用基于滑动窗的时频变换，将观测信号从一维的时域信号变换到二维的时频信号。

然后，通过构建目标函数并进行迭代寻优，实现在每个频点上眼动独立成份的获取；进一步，使用逆傅里叶变换，将估算后的时频信号还原为时域信号，并对每个通道信号计算峭度及其平均值，通过判断两者之间关系进行需求相关通道的选择；最后，在完成通道选择步骤后，将对保留的通道提取时域及频域特征，使用支持向量机分类器进行需求状态的识别。

本需求感知方法具有处理速度快、鲁棒性好、市场潜力大等优势。

下面对本发明的各步骤进行详细说明。

步骤1、采集儿童在饮食需求、心理需求及生理需求3种不同状态下的7导联眼电数据xp(p＝1,2,…,7)。

本发明主要用于识别儿童3种需求状态，具体为：饮食需求，如吃、喝等需求；心理需求，如寻求拥抱、安抚等；生理需求，如大小便、冷、热等。

步骤2、利用式(1)对所采集到的需求眼动信号xp进行时-频变换：

其中，xkn,p表示通道p在第n个窗内第k个频点处对应的频域形式,wk＝2π(k-1)/k,k＝1,2,…,k(k表示变换的频点数)，win(t)表示加窗操作，js表示的是窗移。

步骤3、使用单位矩阵对频点k处的分离矩阵wk进行初始化，得到初始化的wk后，利用式(2)对第个k频点处第n窗内的估计信号ykn进行初始化：

ykn＝wkxkn-----------------------------------------------(2)

其中，xkn是xkn,p的全通道表示形式。

步骤4、定义如下目标函数：

其中，p(y1…y7)为估计信号yp(p＝1,2,…,7)的联合概率密度，为边缘概率密度乘积，e(·)表示期望运算；kl(·)表示k-l散度，用其来衡量估计信号yp的联合概率密度p(y1…y7)和边缘概率密度乘积之间的乘积之间的距离；const.为一常数，log(·)表示对数运算函数，det(·)表示计算行列式的值。

步骤5、对目标函数进行最小化寻优操作直至q达到最小，即各通道间逼近相互独立，迭代终止，近而获得对应的分离矩阵wk，其计算公式如下：

wk,p←(wkvk,p)^-1em----------------------------------------(5)

其中，(·)^h指代的是自共轭矩阵运算，em是第m个元素为1的单位矢量。

步骤6、对所有频点执行完成步骤3-5后，使用式(7)将频域形式的估计信号ykn变换回时域形式，得到通道p在第n个窗口的时域估计信号yn,p，即：

yn,p＝istft[y1n,p,…,ykn,p,…,ykn,p]----------------------------------(7)

其中，istft(·)为逆短时傅里叶变换操作，ykn,p是第p个元素在第n个窗内第k个频点上的估计信号值。进一步，对yn,p以窗移js进行拼接，最终得到完整的解混估计信号yp,(p＝1,2,...,7)。

步骤7、计算还原后的时域估计信号所有通道的峭度值，并计算其平均值。当某一通道值小于平均值时，认为该通道与需求状态具有较高相关度，保留该通道；反之，去除。

步骤8、对步骤7处理后的所有通道信号，分别提取时域与频域特征，使用支持向量机进行不同需求状态的识别。

上述步骤2所采用汉宁窗进行加窗操作，其定义如下：

其中，n表示窗口长度，cos(·)表示余弦运算。

上述步骤4中，rkn,p表示源信号的估计方差，其获取是通过对估计信号的时频谱进行非负矩阵分解后，得到的低秩近似的结果，其更新公式为：

式(9)中，tkl,p是对应第p个源信号第k个频点处第l个基的基矩阵，vln,p是对应第p个源信号第n个时间帧第l个基的系数矩阵。

上述步骤7中峭度的计算方法如下：

kurt(yp)＝e[(yp)⁴]-3(e[(yp)²])²------------------------------------(10)

其中，yp(p＝1,2,...,7)为通道p的时域估计信号，e(·)表示期望运算。

上述步骤8中提取的时域眼动特征包括：最小眼动单元幅度的最大值，最小眼动单元幅度的最小值，最小眼动单元幅度的方差，最小眼动单元持续时间及2个最小眼动单元间的时间间隔；频域特征包括：最小眼动单元发生频率、眨眼频率。

其中，最小眼动单元定义为该单元包括且仅包括一个波峰或者波谷。

图2为眼电信号产生示意图。眼球可以被理想化地视作是一个双极性的球体，在一系列的医学研究中逐步发现，眼球进行转动时，表面的角膜和内部的视网膜间会产生一个电势差，这本质是由它们的代谢速度不同导致的差异。

如图2所示，角膜端代谢较慢，呈现出了正电位，而视网膜端代谢较快，呈现出负电位，二者之间大约会产生一个0.5mv到10mv之间的电势差。

常规的记录方法是将生物电极放在眼睛周围的皮肤上进行间接获取，随着眼球运动的变化，产生的电信号的幅值也会随之变化，将这个变化投射到时间轴上，就可以得到一条记录眼球运动的动态变化的曲线，该曲线即被称作眼电图。

与其他类型的生物电信号相比，眼电信号的信噪比相对较高，具有所需电极少，易检测和波形明显等优点。

参见图3，其示出了本实施例中眼电信号采集过程。

本发明共需使用9个氯化银电极，其中电极v1和v2构成配对电极，用于采集眼球进行垂直方向上运动时产生的眼动信号；电极h1和h2进行配对用于测量水平方向上的眼动信号；电极f1，f2和f3为辅助电极，用于进行需求相关通道分析与选择；电极c1和c2则是分别放置于双耳后的乳突处，用作参考电极。

参见图4和图5，其示出了本实施例中使用二阶和四阶统计依赖性及平均总平方互相关和3个指标对解混估算后的需求相关眼动信号的质量评估结果。

其中，二阶和四阶统计依赖性以及平均总平方互相关和计算方法分别描述如下：

二阶统计依赖性ρk：计算所有任意两不同通道间的相关系数ρk,ab的平均值得到，其中，a,b分别表示不同的通道号，具体计算方法为：

其中，c代表的是多通道信号中不同通道对间组合的数目，t为步骤7选择后的通道数，ρk,ab计算方法如下：

μk,a＝<ykn,a>n.-------------------------------------(14)

其中，上标^*表示共轭转置操作，<·>n则表示计算在所有n上的期望。

四阶统计依赖性ρ'k：计算所有任意两不同通道间的ρ'k,ab的平均值得到，其中，a,b分别表示不同的通道号，具体计算方法为：

其中

μ'k,a＝<|ykn,a|²>τ.------------------------------------(18)

上标^*表示共轭转置操作，<·>n则表示计算在所有n上的期望。

平均总平方互相关r(t)计算方法为：

首先使用式(19)计算得到总平方互相关r(t)

其中，rab(t),a≠b代表的是任意两不同通道ya，yb，(a≠b)间的归一化互相关系数。接着，对r(t)求取平均值，即：

其中，lr(t)是序列r(t)的长度。

从二阶和四阶统计依赖性的结果中可以看出，观测信号和解混估算后信号在频域上相关程度的差异性。

图4中圆形标记对应的是观测信号二阶统计依赖性对应的曲线，无标记的短线对应的是估计信号二阶统计依赖性对应的结果；加号标记对应的是观测信号四阶统计依赖性对应的曲线，乘号标记对应的是估计信号四阶统计依赖性的结果。可以明显看出，比起原始的观测信号，解混估算的信号间频域上的相关程度明显降低了，这说明本发明提出的方法可以有效地降低信号间的相关程度，获得更为纯净的目标眼动成分。

图5给出了7位受试者平均总平方互相关和的计算结果及其平均值，可以看到，观测信号平均值为2.05，估计信号的平均值为1.25，两者之间差值为0.8，这说明相比较原始观测信号，解混估算后的信号在时域上的相关性程度更低，这说明使用本发明所提方法对原始需求眼电信号处理后，各通道间的相似程度较低，独立性程度更高，不同通道对眼动源活动描述更为精准。

参见图6，其示出了本实施例中的组内和组间测试中不同的数据集分配示意图。其中，组内测试中，同一个受试者的数据会被分为两个部分，80％用作训练集，20％用作测试集；而在组间测试中，所有受试者的数据会被合并为一个数据集，其中某个受试者会被用作测试集，其它剩余受试者的数据被用作训练集。

参见图7，其示出了本实施例中对应组内和组间测试的分类准确率。将测试信号使用本发明所述方法进行需求类型识别，如果识别结果与测试信号的数据标签一致，认为该次识别正确，反之，识别错误。将所有识别正确的个数除以总的测试信号个数，得到分类准确率。

从图中可以看到，组内测试7位被试的平均识别率为80.76％，组间测试为74.82％，这说明本发明所述基于眼动信息的需求感知方法是有效的。进一步观察还可以发现，组内和组间测试的平均识别率相差较小，仅为5.94％，这表明个体差异性对于分类的影响较小，即本发明所述方法在进行需求感知时在不同使用者之间具有较好的鲁棒性。请举例适用的人群，谢谢

需要指出的是，本面向儿童的需求感知眼动信息提取与识别方法还可适用于其它年龄段人群。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。