一种基于eeg和计算机视觉的人脸图片检索方法
【技术领域】
[0001]本发明涉及人脸图片检索技术领域，具体涉及一种基于EEG和计算机视觉的人脸图片检索方法。
【背景技术】
[0002]人脸检索，是指在一个大图片库中，以人脸本身为内容对象，检索含有目标人脸的图片。人脸检索系统广泛地应用于社交网络、行政执法、金融等领域，具有很高的应用价值，很多研宄者投身于人脸检索方法的研宄。
[0003]目前，由于计算机计算速度快、存储容量大、吞吐量大，计算机视觉是实现人脸检索系统的主要方法，并已取得一定的成果。但是计算机视觉容易受到表情、光照、遮挡等变化的影响，所以基于计算机视觉的人脸识别系统在遇到表情、光照、遮挡变化大的人脸图片时，检索效果不太理想。
[0004]人具有很强的认知能力，对目标人脸识别具有鲁棒性，不受光照、遮挡等变化的影响，而且人脑在目标图片刺激后几百毫秒内会产生事件相关电位ERP (Event-RelatedPotential，ERP)。事件相关电位(参考文献:Steven J.Luck，事件相关电位基础，华东师范大学出版社，2009年)是一种与心理认知和记忆相关的脑电电位，反应了人类认知过程中大脑的状态。可以通过这种与特异性时间相关的电活动分析人是否看到他们感兴趣的目标人脸。
[0005]已有研宄者提出用人强大的认知能力实现人脸识别系统。Cai等人在2013年实现了一个基于单次ERP分析的快速人脸图片识别系统，将目标人脸(即目标人脸图片)和非目标人脸(即非目标人脸图片)快速随机地呈现给用户，同时记录用户的EEG信号，通过分析一些特殊的ERP波形成分(如N200、P300)来判断目标和非目标人脸。
[0006]该方法能够有效地检索出目标人脸。但是当图库很大时，人需要看很多图片，由于受到人的情绪、人脑的抗疲劳能力、以及人脑处理速度和吞吐量等因素的影响，导致在图库很大的情况下，该方法不能得到有效应用。
[0007]已有研宄者提出将人强大的认知能力和计算机的快速计算能力结合，来实现目标图片检索系统。P.Sajda等人在2011年实现了一个结合EEG和计算机视觉的大类图片(如老虎、大象的图片)检索闭环系统，系统先在被试面前快速呈现图片，同时记录被试的EEG信号，解码EEG信号判断目标图片，计算机视觉根据人脑检索到的目标图片在大图库中快速检索更多可能的目标图片，再呈现给被试看，如此循环，直到解码EEG信号得到的目标图片之间的相似度达到预设标准。
[0008]以上的研宄事实说明，人对人脸的识别具有鲁棒性，且具有不受光照、遮挡影响等优点，而计算机计算速度快、存储容量大、吞吐量大，以及结合人强大的认知能力和计算机视觉实现目标图片检索的可行性。但是还未见到利用人强大的认知能力和计算机视觉对人脸图片进行检索的报道。因此，可以实现基于EEG和计算机视觉的人脸图片检索闭环系统，以实现人脸检索的功能。
【发明内容】
[0009]针对现有技术的不足，本发明提出了一种基于EEG和计算机视觉的人脸图片检索方法。
[0010]一种基于EEG和计算机视觉的人脸图片检索方法，通过迭代法进行搜索，每次迭代时执行如下步骤:
[0011](I)向用户呈现目标人脸图片后继续向用户呈现人脸图片序列，并记录用户的脑电信号;
[0012](2)对步骤(I)采集的脑电信号依次进行预处理、特征提取和解码，根据各人脸图片的解码结果选择若干候选人脸图片；
[0013](3)利用计算机视觉计算各个所述候选人脸图片与目标人脸图片的相似度，并利用计算机视觉根据所述的解码结果和相似度从候选人脸图片中确定若干人脸图片作为目标样本集；
[0014](4)利用计算机视觉计算人脸图片库中各人脸图片与目标样本集的平均相似度，并根据平均相似度从人脸图片库中选择若干人脸图片作为下一轮迭代要呈现的人脸图片序列；
[0015]直至当前轮与前一轮迭代得到的候选人脸图片中不相同的张数达到预设的阈值时停止，并从最后一次迭代得到的人脸图片序列中选择若干个作为最终检索结果。
[0016]为了确保首次迭代过程中呈现的人脸图片序列含有目标人脸，作为优选，通过如下方法选择首次迭代时所呈现的人脸图片序列:
[0017]向用户呈现一张待检索人脸的样本图片作为目标人脸，利用计算机视觉基于人脸相似度从人脸图库中检索出若干与目标人脸相近的人脸图片，作为首轮迭代要呈现的人脸图片序列。
[0018]本发明中利用计算机视觉从人脸图库中选出与目标人脸相似度最高的160张人脸图片作为首轮迭代要呈现的人脸图片序列。
[0019]本发明中根据最后一次迭代时形成的人脸图片序列中各个人脸图片与目标样本集的平均相似度选择平均相似度最高的前若干个作为最终检索结果。
[0020]作为优选，迭代停止后，从最后一次迭代形成的人脸图片序列中选择与目标样本集相似度最高的前50?100张作为最终检索结果。
[0021]本发明基于EEG和计算机视觉的人脸图片检索方法利用循环迭代进行迭代，每次迭代时是利用人强大的认知能力，通过用户看到不同人脸图片产生的脑电信号，进行目标人脸的精细检索，得到候选人脸图片；然后利用计算机的快速计算能力，通过计算机视觉从候选图片中筛选出目标样本集，并利用目标样本集从人脸图库中快速检索出与人脑检索出的图片相似度大的图片作为下一轮迭代要呈现的人脸图片序列。如此通过一轮人的精细检索，一轮计算机的快速检索，既保证了检索精度也保证了检索效率。
[0022]本发明中用户要检索的目标人脸是一个人在不同年龄段、不同姿势、不同背景下的图片，不是目标人脸的同一张图片。
[0023]在本发明的人脸检索过程中，要求用户有良好的视力或矫正后的视力，以及在使用过程中有良好的视角，因此，在使用过程中，用户需坐在距离显示器I米左右的位置。
[0024]在本发明的人脸检索过程中，需要用户集中注意力，因此，在呈现人脸图片之前，设置一个倒计时器，使用户集中注意力，准备好检索目标人脸，在呈现人脸图片过程中，要求用户看到目标人脸时单击一下鼠标。
[0025]为了得到更好的人脸检索效果，作为优选，所述步骤(I)中向用户呈现人脸图片序列时每张人脸图片的呈现时间为500ms，每两张图片之间有500ms的灰屏时间，每轮呈现160张人脸图片。
[0026]作为优选，所述步骤(2)中对脑电信号进行预处理，预处理步骤包括:
[0027](2-1)对脑电信号进行滤波、放大和采样；
[0028](2-2)对经过步骤(2-1)处理后的脑电信号依次进行去基线漂移、去眼电和去高频成分。
[0029]本发明中使用眼电信号相关消减算法去除脑电信号中的眼电伪迹，使用带通滤波器滤波去除高频成本。
[0030]经去基线漂移、去眼电和去高频成分的脑电信号，具有更高的信噪比，从而提高人脸检索的准确性。
[0031]作为优选，所述步骤(2)中对预处理后的脑电信号进行特征提取的具体方法如下:
[0032]使用降采样因子为10的滑动平均降采样方法进行降采样，根据步骤(I)所呈现的每一张人脸图片刺激出现的时刻，将各通道脑电信号划分为对应于每一张人脸图片的数据段，将各通道对应于同一张人脸图片的数据段首尾相连，作为相应人脸图片的特征向量。
[0033]作为优选，所述步骤(2)中解码的具体过程为:利用模式识别算法SVM，通过第一分类器对各个人脸图片的特征向量进行分类打分，得到的分类打分结果即为解码结果。
[0034]相应的，所述步骤(2)中根据分类打分结果选择打分最高的若干候选人脸图片。
[0035]作为优选，本发明中将分数(SVM的决策值)最高的20张图片作为若干候选人脸图片。
[003