结合眼动跟踪的图像目标分割系统的制作方法

本发明提供一种基于用户观看图像过程中的眼动与脑电数据，确定图像中的目标物体并利用计算机图像处理技术将目标物体从图像中分割出来的方法。具体指当用户观看计算机屏幕时，使用眼动跟踪仪采集用户的眼动数据，同时使用脑电记录仪采集用户的脑电信号；眼动数据用于分析用户的眼动轨迹；脑电信号用于实时分析用户大脑是否处于感兴趣状态；眼动轨迹与用户大脑状态的联合分析可以揭示用户对图像中哪些区域感兴趣，从而确定图像中目标物体的位置；而后通过图像处理的超像素分割与合并算法，对用户感兴趣的目标物体进行分析与分割，将目标物体从图像中分割提取出来，以供搜索、匹配等用途。本发明属于认知神经科学、信号处理技术与图像处理的结合应用，为自动控制技术领域。

背景技术：

随着互联网时代的来临，通过文字传递信息的方式已经被文字、图像、声音以及视频等多媒体的方式所取代。对于人类来讲，视觉传递的信息占到了绝大多数，图像已成为这个时代重要的信息载体。针对图像中目标物体的分割近年来涌现出多种多样的算法。

图像分割方法中，结合稀疏近邻传播和快速谱聚类的纹理图像分割等方法使用水平集的分割方法，用能量分析进行分割，保证了分割速度但只能应用于固定模式的图像分割，如医学影像的结构类似的专业领域，不适用于互联网上异质图像的分割。基于超像素和图割优化的水平集图像分割方法使用近邻聚类的衍生算法进行图像分割，可以更好的保持纹理图像的区域一致性，且计算复杂度低，但不适用于边界值模糊、灰度相近的图像分割，同时该方法对阈值非常敏感。

还有一些图像分割算法利用用户的交互信息改善图像中的目标分割性能，如GrubCut算法和TouchCut算法 。但是这些算法做图像中目标物体分割的时候，存在许多不足，如需要依赖复杂的交互信息，需要添加大量的人为标注信息；不能很好地处理图像中目标的尺度问题，很难分辨图像前景与后景的问题。

可见，改进交互方式成为提升图像分割系统性能的一个重要方法。本发明利用眼动轨迹与脑电数据两种新兴的人机交互方式完成交互过程。与利用鼠标键盘或和点按触摸屏的传统交互方式相比，本发明直接通过人的眼动与脑电两种生理信号，开辟了第二条人机交互通道，实时快速地将用户的感兴趣区传递给计算机。这种交互过程自然、对于用户正在进行的工作干扰小，同时交互信息真实可信。本发明对于设计、调查等行业有广阔的应用前景。

技术实现要素：

图1是结合眼动与脑电数据的图像目标分割系统的构成示意图。

图2是结合眼动与脑电数据的图像目标分割系统的算法流程图。

本发明的目的是实现一种新的图像分割系统，利用用户观看计算机屏幕上的图像时同步采集的眼动与脑电数据，提取用户感兴趣的目标物体信息，改善图像目标分割的性能。本发明中利用眼动跟踪仪与脑电记录仪同步采集眼动与脑电数据，眼动数据中可分析出每个时刻用户正在看的图像位置点，我们称之为关注点；同时脑电数据可以判断用户同一时刻用户大脑对对看到的图像区域的感兴趣程度，我们称之为关注度。将眼动数据与脑电数据进行联合分析后，就可以得到用户的关注点与关注度，确定用户对图像中哪些区域的内容感兴趣。依靠这种方式用户提供了图像中感兴趣目标物体的区域或位置信息，我们称之为目标区域。

在获得图像中的目标区域信息后，对观看的图像先进行超像素分割，然后利用目标区域信息对分割的超像素进行合并，合并后将感兴趣部分保留，将不感兴趣部分剔除，即可实现图像中目标物体的分割。这种方式的图像目标分割对比传统的图像分割方式增加了眼动与脑电数据作为监督信息，准确性更高，同时避免了用户手动需要指定分割区域、形状等步骤，可以有效提高分割精度，同时与用户当前进行的其它工作互相没有干扰，在实际应用中目标物体的分割结果更加客观可靠。

本发明包括以下几个模块：

（1） 眼动与脑电数据采集模块：通过眼动跟踪仪采集眼动轨迹，通过脑电记录仪干电极采集脑电数据，同时加入时间戳，便于眼动数据与脑电数据的联合分析便于眼动数据与脑电数据同步采集与联合分析。

（2） 数据联合分析模块：对眼动数据进行热点、聚簇分析以得到用户的视觉关注点聚类分析以得到用户的视觉关注点，同时对脑电数据进行分析获得用户的注意力信息同时对脑电数据进行分析获得用户的关注度，；而后将二者结合起来，可以获得用户在注意力集中的情况下关注的区域可以获得用户感兴环趣的目标物体在图像中的位置，即用户真实关注的目标区域信息区域，目标区域信息将用于指导将用户的关注信息保存下来以便超像素的合并时使用。

（3） 图像处理模块：在采集用户眼动与脑电信息时在后台对观看的图像首先进行材料进行超像素分割，当获取到了用户的注意力并信息后，根据用户的目标区域注意力信息进行超像素合并，同时剔除不被关注的图像内容，保留被关注的图像内容。

本发明的潜在应用有：

（1） 实现图像中敏感目标的检测与提取, 可用于视频或图像的监控，实现敏感或重要目标特体的检测与提取。

（2）实现信息检索与推送，可用于收集用户观看图像或视频过程中感兴趣的内容，并据此从网上检索类似图像或视频并推送给用户。

（3）提供一种评价的方式，用于评价建筑与广告等设计图像中哪些部分更加吸引人的注意。

（4）用于临床辅助诊断，对于某些与眼球或精神状态相关疾病的辅助诊断方法，如眼球震颤与精神分裂症等。

本系统包括三个模块的具体实施方式如下：

（1）眼动与脑电数据采集模块

当计算机屏幕上呈现图像时，眼动与脑电数据采集模块同步记录眼动与脑电数据。眼动数据采集使用Tobii公司的X120眼动跟踪仪，脑电数据使用NeuroSky公司的MindWave Mobile便携式脑电记录仪。眼动跟踪仪和脑电记录议实时地将采集的数据传输到同一台计算机。计算机上的眼动跟踪仪与脑电记录仪的驱动之上实现了一个数据采集的同步模块，将计算机实时接收到的眼动轨迹数据与脑电数据加上时间戳信息，即在计算机上给眼动数据和脑电数据添加同步信息。

（2）数据联合分析模块

数据联合分析模块是运行在计算机上的数据处理程序，主要包括三个部分：数据预处理，关注点与关注度分析，目标区域的边界分析。

数据预处理是对眼动数据和脑电数据进行过滤，包括眼动与脑电数据的滤波等去噪声操作，以及从左、右眼的眼动数据中重构出用户观看计算机屏幕上的图像过程中的眼动轨迹等。其中噪声是眼动跟踪仪采集的眼动数据中包含着的眼跳点以及扫视点，这些眼动数据会干扰到注视点聚类的结果，所以要将其滤除。眼动跟踪仪采集的数据是左、右眼分离的数据，人眼在注视同一物体时的左右眼是存在视差的，这是人类能够看到三维物体的基础，但是双眼的视差在注视平面图像时会对注视点聚类结果产生影响，所以在数据预处理时要使用双眼视差配准算法将双眼的视差消除掉，得到真实双眼注视点的坐标，结合时间戳信息重构出用户在观看计算机上图像时的眼动轨迹。

关注点与关注度分析包括两个方面：一方面是对脑电数据进行节律波能量分析，计算用户的关注度，即每个时刻大脑是否处于感兴趣状态；另一方面是对关注度较高时刻对应的眼动轨迹进行聚类分析，确定用户感兴趣的图像目标的位置。

关注度分析中，为了得到节律波的能量，首先需要对脑电信号进行功率谱估计。本发明功率谱估计的方法如下：（1）利用滑动窗技术截取窗内数据，其中子窗的大小为125个点（脑电采样频率为256赫兹），子窗间有2/3的重叠；（2）将子窗数据补零，扩充到256个点，再利用周期图法对每个窗内的数据进行功率谱估计；（3）求出各个子窗功率谱的平均值，这个平均值即为所需的功率谱密度。本发明根据各个时刻的功率谱密度求出节律波的能量，0-100Hz的5个频段的节律波能量分别表示为E(δ)、E(θ)、E(α)、E(β)、E(γ)。其中节律波频段δ波为0-4Hz，θ波为4-8Hz，α波为8-12Hz，β为12-30Hz，γ为30-100Hz。关注度可由比值 ( E(α)+E(β) )/E(θ)来进行衡量。

关注点分析中，针对关注度比较高的眼动轨迹数据十分分散的特点，使用聚类算法将注视着不同目标的眼动轨迹点分开，形成几个围绕图像目标的比较眼动轨迹聚集点区域。本发明使用一个密度聚类与K-means的混合聚类算法。通过聚类可以将关注度比较高时刻对应的眼动轨迹点分为几个聚集区，每个聚集区内的眼动轨迹点对应着将被分割的图像目标，眼动轨迹点的聚集区即为关注的目标区域。

目标区域的边界分析是要初步估计出图像目标的边界。经过聚类的眼动轨迹聚集区内的点已经可以区分出用户关注的目标物体，但是聚类后轨迹点大多都集中于目标物体内部，不利于分析目标物体的轮廓。本发明利用凸包算法找到整个聚类对应的图像目标的边缘轮廓。

（3）图像处理模块

图像处理模块是运行在计算机上的对图像进行处理的程序，包括两个部分：超像素分割、超像素合并与目标图像分割。

超像素分割指将图像分割为小像素块。超像素分割部分本发明使用了SLIC算法，SLIC算法首先将图像从RGB颜色空间转换到CIE-Lab颜色空间，将每个像素的（L, a, b）颜色值与(X, Y)坐标值作为一个五维向量V[L, a, b, X, Y]，两个像素的相似性就用这个向量距离来衡量。而后通过生成的种子点反复扫描所有的像素，将每个像素划分为与其最近的种子同一聚类。可见SLIC是一种基于颜色和距离进行超像素分割的方法，故其分割方式十分类似人的真实观看方式，首先在图像中找到一个关注点，然后从该关注点出发扩大视野寻找整个感兴趣的图像目标。

超像素合并是在眼动与脑电数据联合分析模块得到用户的交互信息，这里的交互信息就是以图像目标的聚集区表征的关注目标区域，利用这些交互信息指导超像素合并，将聚集区中的眼动轨迹点经过的超像素块合并，形成数量较少的、面积较大的像素块。

目标图像分割是指超像素合关得到较大的像素块后，保留包含着需要分割的完整的图像目标的部分，将多余的部分去除，从而完成图像目标的分割。