一种机器视觉辅助脑电目标判决的方法
【专利摘要】本发明公开了一种机器视觉辅助脑电目标判决的方法，克服了现有技术中，因目标图像的具体含义会导致P300成分潜伏期的变化导致单试次P300检测算法精度下降的问题。该发明步骤（1）、通过脑电信号采集设备收集被试的脑电信号；步骤（2）、确定被试P300成分潜伏期的变化误差；步骤（3）、通过P300成分定位目标图像在图像序列中的位置；步骤（4）、结合步骤（2）中确定的潜伏期变化误差与步骤（3）中单试次检测算法确定的目标图像位置，确定目标备选图像；步骤（5）、使用机器视觉对目标备选图像进行识别归类，并统计图像出现最多的类别作为被试所关注的目标图像类别。该技术具有高准确率、低虚警率。
【专利说明】
一种机器视觉辅助脑电目标判决的方法
技术领域
[0001]该发明涉及一种结合机器视觉与脑电信号的图像检索的方法，特别是涉及一种机器视觉辅助脑电目标判决的方法。
【背景技术】
[0002]在图像检索技术中，如何找到一个特定的图像是一个难题。人脑经过自然的演化，对图像具有快速深刻的把握能力。在现有的图像检索技术中引入人脑的视觉系统，改善图像检索的结果，是目前图像检索系统中一个研究方向。利用快速序列呈现范式(RSVP)呈现图片，图片以每秒5?12张的速度快速呈现给被试，被试观看这些图片，同时采集被试在观看图片时产生的脑电信号。当被试看到感兴趣的目标图片时会在脑电中诱发一种特定的成分:P300成分。P300成分是人脑综合处理信息后的结果。P300成分的出现意味着人脑刚刚观测到一个所关注、所在意的事件的发生。我们给被试观看一系列图像，通过监测脑电信号中的P300成分，来判断图像是否为所关心的目标图像。再此基础上融合计算机视觉的研究成果，就能将人脑的形象、抽象思维能力和计算机高速稳定的计算执行能力有机结合，获得更理想的图像检索效果。
[0003]而在基于脑电的图像检索技术中，一个核心问题是被试在关注不同目标时激发的P300成分是有所不同的，主要可以体现最大峰值与潜伏期(目标出现到脑电最大峰值的时间)的变动。当前解决这一问题的方法是通过改良单试次脑电(被试只看一次图像产生的脑电信号)的P300检测算法来提高P300成分检测精度。实际应用中，被试观看图像的速度在每秒5?12张之间，单试次的P300检测算法可以通过检测P300的位置来确定目标图像的位置。然而由于P300潜伏期的变化会导致确定目标图像的位置具有一个误差，目标图像会在在某一范围内。在这里我们将这一范围内的所有图像作为目标备选图像提取出来，通过机器视觉技术判决出这些目标备选图像中最有可能的目标图片。
【发明内容】
[0004]本发明克服了现有技术中，由于目标图像的具体含义会导致P300成分潜伏期的变化导致单试次P300检测算法精度下降的问题，提供一种高准确率、低虚警率的机器视觉辅助脑电目标判决的方法。
[0005]本发明的技术解决方案是，提供一种具有以下步骤的机器视觉辅助脑电目标判决的方法:含有以下步骤，步骤(1)、在被试观看RSVP图像序列的同时，通过脑电信号采集设备收集被试的脑电信号;步骤(2)、通过目标图像所对应的脑电信号，确定被试P300成分潜伏期的变化误差;步骤(3)、使用单试次P300检测算法，对被试观看图像产生的脑电信号检测P300成分，并通过P300成分定位目标图像在图像序列中的位置;步骤(4)、结合步骤(2)中确定的潜伏期变化误差与步骤(3)中单试次检测算法确定的目标图像位置，确定目标备选图像;步骤(5)、使用机器视觉对目标备选图像进行识别归类，并统计图像出现最多的类别作为被试所关注的目标图像类别。
[0006]所述步骤(I)中采集设备收集数据的方法为:使用专用的脑电仪，采集被试观看图片时的脑电信号，信号的采样频率为256Hz，图像序列呈现速度为每秒呈现5张图像。
[0007]所述步骤(2)中被试P300成分潜伏期变化误差的确定方法为，通过对被试观看不同目标类别图像所产生的脑电信号进行均值操作来确定被试在关注不同目标时所激发的P300潜伏期，进而由最大潜伏期减去最小潜伏期来确定被试的潜伏期变化误差。
[0008]所述步骤(3)中单试次P300检测算法为HDCA算法、sHDCA算法。
[0009]所述步骤(4)中确定目标备选图像的方法为:假设该名被试的潜伏期变化为误差为300ms，则由P300成分的确定的目标图像位置可能在真正目标图像的前一图像或后一图像，图像每张呈现200ms，则将P300成分定位的目标图像位置附近3张图像作为目标备选图像取出。
[0010]所述步骤(5)中识别归类的方法为:采用caffe卷积神经网络框架在Caltech-256图像集中训练获得的模型。
[0011]与现有技术相比，本发明机器视觉辅助脑电目标判决的方法具有以下优点:本方法提供了一个结合机器视觉系统与脑电目标识别系统的框架，在该框架下基于脑电P300成分的目标识别系统可以借助机器视觉相关技术克服被试在不同状态下观看不同目标图像时P300成分的差异，有效提高目标识别精度，并且机器视觉可以在脑电识别的基础上精确确定目标图像。使用本方法进行目标图像检索能够在效果上比以往方法有较大的改进。
【附图说明】
[0012]图1是本发明机器视觉辅助脑电目标判决的方法的流程示意图；
[0013]图2是本发明机器视觉辅助脑电目标判决的方法的原理示意图；
[0014]图3是本发明机器视觉辅助脑电目标判决的方法中脑电信号中P300成分变动示意图；
[0015]图4是本发明机器视觉辅助脑电目标判决的方法中RSVP系统脑机融合目标图像识别完整流程示意图。
【具体实施方式】
[0016]下面结合附图和【具体实施方式】对本发明机器视觉辅助脑电目标判决的方法作进一步说明:含有以下步骤，步骤(I)、在被试观看RSVP图像序列的同时，通过脑电信号采集设备收集被试的脑电信号;步骤(2)、通过目标图像所对应的脑电信号，确定被试P300成分潜伏期的变化误差;步骤(3)、使用单试次P300检测算法，对被试观看图像产生的脑电信号检测P300成分，并通过P300成分定位目标图像在图像序列中的位置;步骤(4)、结合步骤(2)中确定的潜伏期变化误差与步骤(3)中单试次检测算法确定的目标图像位置，确定目标备选图像;步骤(5)、使用机器视觉对目标备选图像进行识别归类，并统计图像出现最多的类别作为被试所关注的目标图像类别。
[0017]所述步骤(I)中采集设备收集数据的方法为:使用专用的脑电仪，采集被试观看图片时的脑电信号，信号的采样频率为256Hz，图像序列呈现速度为每秒呈现5张图像。
[0018]所述步骤(2)中被试P300成分潜伏期变化误差的确定方法为，通过对被试观看不同目标类别图像所产生的脑电信号进行均值操作来确定被试在关注不同目标时所激发的P300潜伏期，进而由最大潜伏期减去最小潜伏期来确定被试的潜伏期变化误差。
[0019]所述步骤(3)中单试次P300检测算法为HDCA算法、sHDCA算法或其他类似功能的脑电P300检测算法。
[0020]所述步骤(4)中确定目标备选图像的方法为:假设该名被试的潜伏期变化为误差为300ms，则由P300成分的确定的目标图像位置可能在真正目标图像的前一图像或后一图像(图像呈现200ms)，则将P300成分定位的目标图像位置附近3张图像作为目标备选图像取出。
[0021]所述步骤(5)中识别归类的方法为:采用caffe卷积神经网络框架在Caltech-256图像集中训练获得的模型，或使用其他具备图像归类的识别算法或模型。
[0022]如图所示，实施例中，我们首先给被试快速呈现一系列图像，呈现速度为5张图像每秒，要求被试关注某一类的图像(如:熊猫)。同时采集被试观看图像时自然产生的脑电信号。通过统计被试关注目标图像时产生P300成分的潜伏期，确定该名被试的潜伏期变化误差(变化误差由最迟潜伏期减去最短潜伏期获得，一般被试潜伏期误差在200ms?300ms之间)。假设该名被试的潜伏期变化误差为300ms，则由P300成分确定的目标图像位置可能在真正目标图像的前一图像或后一图像(图像呈现200ms)。因此我们将P300成分定位目标图像位置附近3张图像作为目标备选图像取出。如此但目标备选图像积累到一定程度，并使用机器视觉的方法识别图像类别，并统计图像出现次数最多的类别，确定为被试感兴趣的目标图像。
[0023]本方法基于Matlab平台与C++语言，实现设备设备处理器为Intel(R)Core(TM)2i7-2630QM CPU，主频2.0OGHz，内存4.0GB，系统为Windows 7 64bit。
【主权项】
1.一种机器视觉辅助脑电目标判决的方法，其特征在于:含有以下步骤， 步骤(I)、在被试观看RSVP图像序列的同时，通过脑电信号采集设备收集被试的脑电信号； 步骤(2)、通过目标图像所对应的脑电信号，确定被试P300成分潜伏期的变化误差； 步骤(3)、使用单试次P300检测算法，对被试观看图像产生的脑电信号检测P300成分，并通过P300成分定位目标图像在图像序列中的位置； 步骤(4)、结合步骤(2)中确定的潜伏期变化误差与步骤(3)中单试次检测算法确定的目标图像位置，确定目标备选图像； 步骤(5)、使用机器视觉对目标备选图像进行识别归类，并统计图像出现最多的类别作为被试所关注的目标图像类别。2.根据权利要求1所述的机器视觉辅助脑电目标判决的方法，其特征在于:所述步骤(1)中采集设备收集数据的方法为:使用专用的脑电仪，采集被试观看图片时的脑电信号，信号的采样频率为256Hz，图像序列呈现速度为每秒呈现5张图像。3.根据权利要求1所述的机器视觉辅助脑电目标判决的方法，其特征在于:所述步骤(2)中被试P300成分潜伏期变化误差的确定方法为，通过对被试观看不同目标类别图像所产生的脑电信号进行均值操作来确定被试在关注不同目标时所激发的P300潜伏期，进而由最大潜伏期减去最小潜伏期来确定被试的潜伏期变化误差。4.根据权利要求1所述的机器视觉辅助脑电目标判决的方法，其特征在于:所述步骤(3)中单试次P300检测算法为HDCA算法、sHDCA算法。5.根据权利要求1所述的机器视觉辅助脑电目标判决的方法，其特征在于:所述步骤(4)中确定目标备选图像的方法为:假设该名被试的潜伏期变化为误差为300ms，则由P300成分的确定的目标图像位置可能在真正目标图像的前一图像或后一图像，图像每张呈现200ms，则将P300成分定位的目标图像位置附近3张图像作为目标备选图像取出。6.根据权利要求1所述的机器视觉辅助脑电目标判决的方法，其特征在于:所述步骤(5)中识别归类的方法为:采用caffe卷积神经网络框架在Caltech-256图像集中训练获得的模型。
【文档编号】G06K9/62GK105825225SQ201610139386
【公开日】2016年8月3日
【申请日】2016年3月11日
【发明人】童莉, 曾颖, 林志敏, 王林元, 陈健, 张驰, 王彪, 蒋静芳, 巫群健
【申请人】中国人民解放军信息工程大学