基于眼动跟踪的隐式意图识别分类方法与流程

本发明属于人机交互技术领域，具体地说是涉及一种基于眼动跟踪的隐式意图识别分类方法。

背景技术：

在心理学与认知科学中意图建模与识别被认为是创造人机界面(hci)和人-机器人交互的新模式，解释用户的隐式意图识别一直是人机交互研究的热点。眼动是由人类认知系统控制的必不可少的运动。换而言之，眼球运动以及瞳孔的大小变化不是随机的，而是与用户接受的视觉刺激具有直接的相关性。作为一个“心灵的窗口”，眼动与人类的认知过程是紧密耦合的。当人们浏览一个视觉场景，不同隐式意图导致不同的眼动模式。根据“eye-mind”假说，认为所看即所想。因此，人类的视觉包含了关于一个人的兴趣，爱好，和意图等更丰富，更复杂的信息。

现有技术中，程时伟等人提出了一种基于眼动跟踪的移动设备阅读辅助系统，根据瞳孔位置的变化定位当前阅读文本行，帮助阅读者在阅读中断后迅速找到中断前的阅读地点；李姗等人建立了一个面向残疾人式的眼动交互绘画系统，运用注视时间的长短判断眼动行为；park等人使用支持向量机(svm)分类的方法研究人的认知与情感；hoeks等人提出了瞳孔的大小可以用来衡量人的注意力。在此类研究中，都将眼动跟踪作为研究途径来获取人的隐式意图，从而为产品或系统研发提供支持，但不能在不同意图条件下识别隐式意图，且识别精度低。

技术实现要素：

本发明的目的在于克服上述缺点而提供一种能在不同的意图条件下识别用户隐式意图，且识别精度高的基于眼动跟踪的隐式意图识别分类方法。

本发明的一种基于眼动跟踪的隐式意图识别分类方法，包括下述步骤：

(1)选取产品图片集作为视觉刺激的来源；

(2)设定图像区域(aoi)，该图像区域包括没有目标的图像区域和有明确目标的图像区域两类，获取用户注视时长，注视次数和瞳孔大小，其中有目标的图像区域和有明确目标的图像区域分别对应用户的非目的性意图和目的性意图；

(3)建立测量瞳孔大小变化的基线模型，采用基于图片强度的基线模型，分离强度变化对瞳孔刺激的影响，并且以此建立基于用户瞳孔大小信息的基准模型，确定基线阈值区分两种隐式意图：非目的性意图和目的性意图；

(4)基于注视时间、注视次数和瞳孔大小变化这三个参数，采用分类器把用户的隐式意图分为非目的性意图和目的性意图。

(4)基于注视时间、注视次数和瞳孔大小变化这三个参数，采用分类器把用户的隐式意图分为非目的性意图和目的性意图。

上述的基于眼动跟踪的隐式意图识别分类方法，其中：在步骤(3)中，所述基于图片强度的基线模型，将强度值在0-255范围内的视觉刺激图像平均分成11个等级，利用n阶多项式逼近函数的方法，得到了左、右眼的强度与瞳孔大小变化的关系曲线。

上述的基于眼动跟踪的隐式意图识别分类方法，其中：所述设定感兴趣区域(aoi)采用搜索或定位方式。

上述的基于眼动跟踪的隐式意图识别分类方法，其中：所述分类器为构造最近邻分类器(nn)或者支持向量机分类器(svm)。

本发明与现有技术的相比，具有明显的有益效果，由以上方案可知，设定图像区域(aoi)，该图像区域包括没有目标的图像区域和有明确目标的图像区域两类，获取用户注视时长，注视次数和瞳孔大小，其中有目标的图像区域和有明确目标的图像区域分别对应用户的非目的性意图和目的性意图。该方法把人即用户的隐式意图分为：非目的性意图和目的性意图。非目的性意图是指找到一些有趣的对象作为视觉输入，其中不包含特定的目标；目的性意图是指人渴望找到含有特定目标的感兴趣区域。该方法基于注视时间，注视次数，和瞳孔大小变化的人类隐式意图识别模型，并且定义了人类隐式意图的分类，使用最近邻(nn)和支持向量机(svm)分类器有效地对人类隐式意图分类。总之，本发明能定性和定量地对人的意图信息进行分类，准确、快速地感知用户的隐性意图能为产品的研发起到指引性的作用。

以下通过具体实施方式，进一步说明本发明的有益效果。

附图说明

图1为本发明的流程示意图；

图2(a)为实施例中的榨汁机-1图；

图2(b)为实施例中的榨汁机-2图；

图2(c)为实施例中的榨汁机-3图；

图2(d)为实施例中的榨汁机-4图；

图2(e)为实施例中的榨汁机-5图；

图3(a)为实施例中的瞳孔中心数据ⅰ图；

图3(b)为实施例中的瞳孔中心数据ⅱ图；

图3(c)为实施例中的瞳孔深度信息中心的点图；

图3(d)为实施例中的校准的测试图像；

图3(e)为实施例中的监测到的眼球位置图；

图4(a)为实施例中的榨汁机-1非目的性热图；

图4(b)为实施例中的榨汁机-2非目的性热图；

图4(c)为实施例中的榨汁机-3非目的性热图；

图4(d)为实施例中的榨汁机-4非目的性热图；

图4(e)为实施例中的榨汁机-5非目的性热图；

图5(a)为实施例中的“控制按钮”目的性意图的热图；

图5(b)为实施例中的“控制按钮”目的性意图的瞳孔大小变化图；

图5(c)为实施例中的“控制按钮”目的性意图的注视时间图；

图5(d)为实施例中的“控制按钮”目的性意图的注视次数图；

图6(a)为实施例中的“出汁嘴”目的性意图的热图；

图6(b)为实施例中的“出汁嘴”目的性意图的瞳孔大小变化图；

图6(c)为实施例中的“出汁嘴”目的性意图的注视时间图；

图6(d)为实施例中的“出汁嘴”目的性意图的注视次数图；

图7(a)为实施例中的瞳孔大小变化的平均值；

图7(b)为实施例中的注视时间的平均值；

图7(c)为实施例中的注视次数的平均值。

具体实施方式

以下结合附图及较佳实施例，对依据本发明提出的基于眼动跟踪的隐式意图识别分类方法结构具体实施方式、特征及其功效，详细说明如后。

如图1所示，本发明的一种基于眼动跟踪的隐式意图识别分类方法，包括下述步骤：

(1)选取产品图片集作为视觉刺激的来源；

(2)采用搜索或定位方式设定图像区域(aoi)，该图像区域包括没有目标的图像区域和有明确目标的图像区域两类，获取用户注视时长，注视次数和瞳孔大小；

(3)建立测量瞳孔大小变化的基线模型，采用基于图片强度的基线模型，分离强度变化对瞳孔刺激的影响，并且以此建立基于用户瞳孔大小信息的基准模型，确定基线阈值区分两种隐式意图：非目的性意图和目的性意图；其中，用基于图片强度的基线模型，将强度值在0-255范围内的视觉刺激图像平均分成11个等级，利用n阶多项式逼近函数的方法，得到了左、右眼的强度与瞳孔大小变化的关系曲线；

(4)基于注视时间、注视次数和瞳孔大小变化这三个参数，采用构造最近邻分类器(nn)或者支持向量机分类器(svm)把用户的隐式意图分为非目的性意图和目的性意图。

(5)采用单因素方差分析数据，包括均值、标准偏差、显著性水平；采用配对t–检测来比较注视时间、注视次数和瞳孔大小变化之间的非目的性意图和目的性意图；

为了精确地测量瞳孔大小的变化，提出了一个关于图片强度的基线模型。要生成模型，将强度值在0-255范围内的视觉刺激图像平均分成11个等级。利用n阶多项式逼近函数的方法，得到了左、右眼的强度与瞳孔大小变化的关系曲线。将强度设为x，瞳孔大小变化设为y，n＜m，输入到{(xi,yi),i＝1,2,.....,m}中。

在(式1)中，可以通过最小二乘近似法得到：

把(式1)带入(式2)中：

第(n+1)项多项式的pn(x)的系数可以使用下面的等式来获得：

可以推出左眼瞳孔随强度大小变化的表达式，如(式6)。右眼瞳孔随强度大小变化的表达式，如(式7)。

左眼：

右眼：

在进行视觉刺激时，不论刺激强度，瞳孔的大小都可以得到一个作为基准值的百分比，也就是说，明确地分离了强度变化对瞳孔刺激的影响,并且以此建立基于受试者瞳孔大小信息的基准模型，以确定一个基线阈值来区分两种隐式意图。

实施例如下：

据榨汁机行业调查，消费者在购买榨汁机时，有70％的企业用户认为产品系统的稳定性，可靠性，效率，安全性，舒适性，品牌文化，风格，使用习惯，人机交互等隐式意图是其选择的关键影响因素。从认知论角度分析，人类认知事物是从视觉识别开始的，通过视觉神经传导进入大脑处理中枢，经过大脑中人类自身的文化、社会、技术及审美领域的知识综合加工，从而形成模糊的感性意象，成为我们对事物的最直接、最深刻的语义认知。因此，对人类认知的隐式意图进行深入的研究，对工业产品的设计研究具有引导性作用。

1实验设备

①eyeso眼动仪

②一台安装眼动仪软件eyeso的电脑。

③显示器遮光罩。

2实验受试者即用户

本实验的受试者即用户一共40人，其中20名男生,20名女生作为实验的对象。所有的受试者眼睛矫正后视力良好，没有色盲色弱等情况。

表1受试者构成情况

3实验样本的设定

榨汁机造型中，通常以正工作面造型作为榨汁机的视觉认知面。正工作面造型包括了榨汁机的主要功能操作与人机交互，也传达了榨汁机产品的主要意象。在本次实验中，选取了五幅不同造型的榨汁机图像。并且在每幅图像中预设四个感兴趣的领域(aoi)，图2所示。

4实验任务设计

本实验的目的是测试人类隐式意图，分别设计以下两组对照实验进行实验及分析验证。

实验1：非目的性意图视觉跟踪实验。

实验任务：受试者观看榨汁机的图像，在没有任何目标的情况下，在视觉刺激图像中搜索或定位一个感兴趣的对象。

实验时间：每名受试者观看每幅图像的时间为1000ms。

实验2：目的性意图视觉跟踪实验。

实验任务：受试者观看榨汁机的图像，搜索或定位一个含有特定目标的对象或区域，从中获取一些特别的信息。

实验时间：每名受试者观看每幅图像的时间为1000ms。

5人类隐式意图眼动实验

5.1eyeso眼动仪系统的校验

确保实验能准确无误地进行，实验开始前对眼动仪的校准是非常有必要的。视觉刺激能准确地在监视器上显示，使用眼动跟踪系统监测瞳孔，并用红外相机测量人眼的运动。监测人眼球运动的整个过程如图3所示。在使用红外摄像机监测到瞳孔之后，我们得到了瞳孔中心数据如图3(a)和3(b)。图3(c)显示了两名学生的瞳孔深度信息中心的点。图3(d)是校准的测试图像。图3(e)表示监测到的眼球位置，颜色圈和绿点是眼睛的注视点。如果校准结果不满意，建议重新校准跟踪系统。

5.2实验过程

实验1：非目的性意图视觉跟踪实验

40名受试者在没有任何目标的情况下，依次查看5幅榨汁机视觉刺激图像，并在其中搜索或定位一个感兴趣的对象，形成的非目的性热图分布情况如图4所示。

实验2：目的性意图视觉跟踪实验

受试者将对每一幅图像的每一个兴趣区域(aoi)进行目的性意图测试。主要获得受试者个体在视觉刺激过程中注视时间，注视点数目，和平均瞳孔大小(％，相对于上文所述的图像刺激的平均强度基线值)的数据以及热图分布。例如：在“榨汁机-1”图像中，随机抽取一名受试者搜索感兴趣区域(aoi)：“控制按钮”。其结果如图5所示：图5(a)是某一名受试者观察目的性意图aoi的热图分布；图5(b)是受试者观察“榨汁机-1”图像，在不同意图条件下的瞳孔大小变化；图5(c)是指受试者在目的性意图与非目的性意图条件下观察各个aoi区域的注视时间；5(d)是指受试者在两种意图条件下观察各个aoi区域的注视次数。

为了排除图像或者受试者个体因素对实验数据的影响，又随机抽取另一名受试者对“榨汁机-3”这幅图像的感兴趣区域(aoi)：“出汁嘴”的实验结果，如图6所示。

40名受试者在不同意图条件下对每幅图像每个感兴趣区域进行实验的参数变化的平均值如图7所示。图7为参数变化的平均值(a)瞳孔大小变化(b)注视时间(c)注视次数

可以很直观的观察到，非目的性意图与目的性意图在不同感兴趣区域(aoi)中的分布情况。目的性意图在感兴趣区域(aoi)测试时，其注视时间和注视次数的数值比其他非感兴趣区域(aoi)测试区域的数值显著偏高。其次还可以观察到，目的性意图测试时的瞳孔尺寸要比非目的性意图测试时大。由这些参数值的显著差异，很容易训练一个分类器用于区分不同意图的条件。因此，三个参数的组合(注视时间，注视次数，瞳孔大小变化)可以认为是不同视觉任务的隐式意图分类条件。

6实验验证

6.1分类器评估意图分类的准确性

基于注视时间，注视次数和瞳孔大小变化这三个参数，我们使用两种不同的分类器：最近邻(nn)分类器和支持向量机(svm)分类器对人类的隐式意图分类。训练和测试分类所需要的数据来源于40名健康的受试者，该数据集的详细信息如下：

①在40名受试者中，其中20名受试者的数据用于训练和验证分类器。样本总数为300，其中150个样本对应非目的性意图，150个样本对应目的性意图。

②其他20名受试者的数据用于测试分类器。样本总数为300，其中150个样本对应非目的性意图，150个样本对应目的性意图。

在目前的工作中，测试数据不同于训练和验证的数据。换句话说，分类训练时使用训练数据，并使用验证数据进行验证，但测试期间不考虑训练数据。使用分类器对20名受试者的测试数据进行分类，该分类结果如表2，表3所示，显示了该方法使用最近邻和支持向量机分类器的平均识别精度。

表2最近邻算法分类非目的性意图和目的性意图

表3支持向量机算法分类非目的性意图和目的性意图

从上述两个表中可以观察到,该系统能够有效区分人类的意图，支持向量机比最近邻分类器的识别精度高，平均识别精度高于85％。也可以推断出，与目的性意图相比该系统能更好的识别非目的性意图,这可能是由于①受试者对实验任务理解不充分②用于分类器的训练数据不足等原因造成的。

6.2眼动数据的方差分析

对本实验中三个重要参数：注视时间，注视次数，瞳孔大小，我们进行了单因素方差分析以及配对t-检验对数据进行分析。单因素方差分析的结果，如表4所示。

表4单因素方差分析结果

其中，m–平均值,sd–标准偏差,显著性水平α＝0.05，***p＜0.000。

配对t–检测是用来比较注视时间，注视次数和瞳孔大小变化之间的非目的性意图和目的性意图的任务组。表3中结果表明不同参数存在显著差异。平均注视时间(t(667)＝12.432,p＜0.000),固定数(t(667)＝26.341,p＜0.000)和瞳孔大小(t(667)＝6.809,p＜0.000)。这些结果证实,眼球运动模式可以区分非目的性意图和目的性意图。

以上所述，仅是本发明的较佳实施例而已，并非对本发明作任何形式上的限制，任何未脱离本发明技术方案内容，依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰，均仍属于本发明技术方案的范围内。