基于后验概率模型的脑电与机器视觉目标图像检索方法
【专利摘要】本发明公开了一种基于后验概率模型的脑电与机器视觉目标图像检索方法，克服了现有技术中，机器视觉与人类视觉结合起来，在脑电图像检索方法是有待改进的问题。该发明含有以下步骤：步骤（1）、给被试呈现RSVP图像序列，并利用脑电采集设备采集被试脑电信号，使用现代数据分析技术对脑电信号进行分析，实现脑电目标图像识别；步骤（2）、依据脑电识别模块的结果，找出目标图像在机器视觉模块中属于的目标类；步骤（3）、从机器视觉模块计算每张图像为目标类图像的概率；步骤（4）、对每张图像建立后验概率模型，计算图像为目标图像的概率的新估计值，从而给出该图像最终的识别结果。本方法能在保持低虚警率的同时达到相当高的准确率。
【专利说明】
基于后验概率模型的脑电与机器视觉目标图像检索方法
技术领域
[0001] 该发明涉及一种结合机器视觉的脑电信号图像检索方法，特别是涉及一种基于后 验概率模型的脑电与机器视觉目标图像检索方法。
【背景技术】
[0002] 自然状态下的脑电信号，包括α节律、β节律、准备电位、皮层慢电位等，主要反映人 体必要的生理活动，稳定性强、特征明显，称为自发脑电（Spontaneous EEG)。与自发脑电的 无意识不同，诱发脑电(Evoked Potential，EP)表现为目的性和警觉性，是一种主动的脑电 信号。诱发电位容易产生突变，不同条件下信号波形在时域、频域、相位上变化明显，与刺激 有较强的联系。
[0003] 美国生理学家道森首次针对诱发脑电提出诱发电位平均技术，用于分析诱发脑电 产生原理，故EP也称事件相关电位(event related potentials，ERP)。事件相关电位(ERP) 通常被认为是一种和思想或感知直接相关的脑电信号，对ERP的研究是开发利用脑电信号 的主要方向之一。P300是经常使用的一种ERP成分，是一个在特定刺激呈现后约300ms出现 的正峰。odd-ball实验是产生P300的经典实验范式。P300信号的产生主要依赖于人脑对某 种刺激的反应而不依赖身体状况，通常由包含靶刺激的小概率事件和非靶刺激的大概率事 件的刺激序列，诱发根据目标刺激和非目标刺激引发P300的差异，可以实现特定的实验目 的。
[0004]在传统人工进行的图像检索的上，用户所搜寻的目标图像的数量往往远低于需要 检索图像总数量。即可以认为在人工进行图像检索时，发现目标图像是一个小概率事件。在 人脑中，符合P300信号产生的条件，即当人观看一系列图像时，突然发现目标图像，即可以 激发P300信号。因此通过检测P300信号的产生与否可以，判断用户所观看的图像是否为所 搜寻的目标图像。
[0005] 当前基于EEG的图像检索方法，主要依靠人观看快速呈现的图像序列(RSVP)，当看 到感兴趣的目标图像时人脑会自然激发的P300成分，来标记所对应的图像是否为感兴趣目 标图像。相较于传统的人工手动进行图像检索，利用脑信号可以省略肢体动作的时间，充分 解放大脑对图像的快速理解能力，可以使人观看图像的速度达到每秒5~12张图像。但与目 前计算机读图速度相比，依旧有较大差距。而且在实时条件下对P300成分的检测依然不能 达到较高的精度。因此在考虑综合利用人脑的高效理解能力与计算机的处理速度，提出一 个融合脑电图像检索方法与机器视觉方法。
【发明内容】
[0006] 本发明克服了现有技术中，机器视觉与人类视觉结合起来，在脑电图像检索方法 是有待改进的问题，提供一种准确率高、虚警率低的基于后验概率模型的脑电与机器视觉 目标图像检索方法。
[0007] 本发明的技术解决方案是，提供一种具有以下步骤的基于后验概率模型的脑电与 机器视觉目标图像检索方法:含有以下步骤:步骤(1)、给被试呈现RSVP图像序列，并利用脑 电采集设备采集被试脑电信号，使用现代数据分析技术对脑电信号进行分析，实现脑电目 标图像识别；步骤(2)、依据脑电识别模块的结果，找出目标图像在机器视觉模块中属于的 目标类;步骤(3)、从机器视觉模块计算每张图像为目标类图像的概率;步骤(4)、对每张图 像建立后验概率模型，计算图像为目标图像的概率的新估计值，从而给出该图像最终的识 别结果。
[0008] 所述步骤（1)中脑电目标图像识别的步骤为，步骤1.1、在被试观看RSVP图像序列 的同时，通过脑电信号采集设备收集被试的脑电信号；步骤1.2、对模拟信号形式的脑电信 号进行抽样和特征提取;步骤1.3、通过分类算法，对经过处理的脑电数据进行目标图像和 非目标图像的识别。
[0009] 所述脑电目标图像识别中确定的分类算法选取指标为：
[0010] 指标(1)、真检比：定义模型筛选指标，真检比
[0012] 其中代表模型在训练集上的识别效果，其中为将目标图 像识别为目标的概率，为将目标图像识别为非目标的漏检率;为将非目标图像识 别为非目标的概率，为将非目标图像识别为目标的虚警率，计算指标时，用10折交叉验 证结果的平均频率替代概率；
[0013] 指标(2)、真伪差:定义模型筛选指标，真伪差为
[0014] Dt-f = Nt_Nf
[0015] 其中Ντ代表识别出的目标图像中真目标数目，Nf代表识别出的目标图像中虚警目 标数目；
[0016] 基于所提出的量化指标对于模型的评价，本方法选取费歇尔判别分析作为脑电数 据处理中的特征提取方法、选取随机森林模型作为脑电目标图像识别中使用的分类算法。
[0017] 所述步骤(2)中确定目标类的步骤为，当RSVP序列的N张图像经过机器视觉模块， 给出的概率估计可表示为以下的矩阵PCC，其行代表RSVP图像序列中一张图像属于每一类的 离散概率分布，列代表所有图像属于一类的概率，C n为图像类数，
[0019]因一个RSVP图像序列含N张图像，将脑电识别模块估计的概率值记为？1,*，...， PN,tar，根据这些概率，按如下步骤从矩阵Pcc中选出目标类:步骤2.1、在pi,tar，. . .，PN,ta冲取 出概率大于0.5的图像序号，抽取矩阵PCC的这些行;步骤2.2、在这些行，对每一列的概率值 求和;步骤2.3、求和值最大的列对应的类即为目标类。
[0020]所述步骤(3)中计算图像属于目标图像类的概率的步骤为，设第i张图像属于目标 类概率为?.,以机器视觉模块在测试集上表现的正确率Rright = 〇. 78和错误率1-Rright为权 值，分情况进行计算：
[0021] 情形1.当分类器将图像识别为目标类，计算加权后第i张图像属于目标类的概率
，不属于目标类的概率为
[0022] 情形2.当分类器将图像识别为非目标类，计算加权后第i张图像属于目标类的概
，不属于目标类的概率
[0023]所述步骤(4)中的后验概率模型为，对于RSVP图像序列中第i张图像，问题是对"该 图像为目标图像的概率9广的两点分布参数估计，用Bayes思想计算如下：
[0024]步骤4.1、将脑电识别模块给出的概率估计视为先验信息，建立先验分布的公式：
[0026] 步骤4.2、将概率列作为生成样本的依据，获得样本信息，即做η次随机 试验，观察其中图像属于目标图像的次数X，取η = 100进行了模型的实验；
[0027] 步骤4.3、由先验分布和样本信息计算后验分布
[0028] π(θ? | χ) 〇〇h(x, θι) =ρ(χ | θ?) · π(θ?)
[0029] 步骤4.4、对31(0」χ)在区间（〇.5，1]求积分，作为修正后该图像为目标图像的概率 的估计值；
[0030] 步骤4.5、根据修正后的概率估计结果，仍由随机森林分类准则，给出修正后的识 别结果。
[0031] 与现有技术相比，本发明基于后验概率模型的脑电与机器视觉目标图像检索方法 具有以下优点：使用本方法对RSVP图像序列进行目标图像检索，能够在保持低虚警率的同 时达到相当高的准确率，在识别出几乎所有的真实目标图像的同时避免将非目标图像识别 为目标图像，在效果上比以往方法有较大的改进。
【附图说明】
[0032] 图1是本发明基于后验概率模型的脑电与机器视觉目标图像检索方法原理图；
[0033] 图2是本发明基于后验概率模型的脑电与机器视觉目标图像检索方法的完整流程 示意图；
[0034] 图3是本发明基于后验概率模型的脑电与机器视觉目标图像检索方法与单纯脑电 目标图像检索方法的效果对比图。
【具体实施方式】
[0035] 下面结合附图和【具体实施方式】对本发明基于后验概率模型的脑电与机器视觉目 标图像检索方法作进一步说明：本发明的技术方案:首先，利用人类视觉擅于捕获敏感目标 的特点，给被试呈现RSVP图像序列，并利用脑电采集设备采集被试脑电信号，在脑电目标图 像识别任务中，依靠采集的被试脑电数据、使用现代数据分析技术来对RSVP图像序列中的 目标图像进行识别。
[0036] 脑电目标图像识别的主要流程为：
[0037] (1)在被试观看RSVP图像序列的同时，通过脑电信号采集设备收集被试的脑电信 号；
[0038] (2)对模拟信号形式的脑电信号进行抽样和特征提取；
[0039] (3)通过分类算法，对经过处理的脑电数据进行目标图像和非目标图像的识别。
[0040] 对于不同的脑电采集设备型号和导联设置，（1)中采集得到的数据维数和形式会 略有不同，但对于脑电数据的分析，都能通过(1)(2)(3)的完整流程进行;对于(2)中的特征 提取方法，在脑电目标图像识别领域常用的有费歇尔判别分析、独立成分分析、主成分分析 等，但对于特定应用情景，缺乏对于可用方法的比较和选择;对于(3)中的分类算法，现有研 究中多使用经典的统计模型（如Logistic回归)和简单的算法模型（如线性核支持向量机） 等，对于在一般应用中具有较强性能的新兴机器学习算法模型的考虑较少，模型的选择权 衡难以进行;此外，由于脑电信号中含有许多冗余信息，单纯依靠脑电数据进行RSVP图像序 列中的目标图像识别常常难以在保持较低虚警率的同时，达到较高的准确率。
[0041] 基于上述考虑，本方法设计了比较实验和量化指标以完成对于特征提取技术及分 类模型选择。
[0042] 本方法在脑电目标图像识别中确定的模型选取指标为：
[0043] (1)真检比定义模型筛选指标，真检比
[0045] 其中代表模型在训练集上的识别效果，其中为将目标图 像识别为目标的概率，i?i；T为将目标图像识别为非目标的概率(漏检率为将非目标 图像识别为非目标的概率，为将非目标图像识别为目标的概率(虚警率）（计算指标时， 用10折交叉验证结果的平均频率替代概率）。
[0046] (2)真伪差定义模型筛选指标，真伪差为 [0047 ] Dt-f = Nt_Nf
[0048] 其中Ντ代表识别出的目标图像中真目标数目，Nf代表识别出的目标图像中虚警目 标数目。
[0049] 基于所提出的量化指标对于模型的评价，本方法选取费歇尔判别分析作为脑电数 据处理中的特征提取方法、选取随机森林模型作为脑电目标图像识别中使用的分类算法。
[0050] 其次，在完成脑电目标图像识别后，引入机器视觉模块，并基于贝叶斯统计思想， 提出一种后验概率模型，将脑电目标图像识别模块与机器视觉模块结合起来，对脑电目标 图像识别的结果进行了改进，使得对于RSVP图像序列的目标图像检索，能够在保持较低虚 警率的同时，达到较高的准确率。
[0051] 本方法确定的后验概率模型如下：
[0052] (1)依据脑电识别模块的结果，找出目标图像在机器视觉模块中属于的类（目标 类)；
[0053] (2)计算每张图像属于目标类的概率。因目标类与实验中让被试关注的类是一致 的，故这一步相当于从机器视觉模块，给出了图像为目标图像的概率；
[0054] (3)对每张图像建立后验概率模型，计算图像为目标图像的概率的新估计值，从而 给出该图像新的识别结果。
[0055] 本方法确定的后验概率模型求解过程如下：
[0056] (1)目标类发现
[0057]当RSVP序列的96张图像经过机器视觉模块，给出的概率估计可表为公式（1)的矩 阵Pcc，其行代表RSVP图像序列中一张图像属于每一类的离散概率分布，列代表所有图像属 于一类的概率，Cn为图像类数。
[0059]因一个RSVP图像序列含96张图像，将脑电识别模块估计的概率值记为?1,^，...， P96, tar。根据这些概率，按如下步骤从矩阵PCC中选出目标类：
[0060]步骤1.在Pl,tar，· · ·，P96,tar中取出概率大于0.5的图像序号，抽取矩阵Pcc的这些 行；
[0061 ] 步骤2.在这些行，对每一列的概率值求和；
[0062]步骤3.求和值最大的列对应的类即为目标类。
[0063] (2)计算图像属于目标图像类的概率
[0064] 设第i张图像属于目标类概率为以机器视觉模块在测试集上表现的正确率 Rright (实验中为0.78)和错误率1-Rright为权值，分情况进行计算：
[0065] 情形1.当分类器将图像识别为目标类，计算加权后第i张图像属于目标类的概率
，不属于目标类的概率为·
[0066] 情形2.当分类器将图像识别为非目标类，计算加权后第i张图像属于目标类的概
，不属于目标类的概率
[0067] (3)后验概率模型
[0068] 对于RSVP图像序列中第i张图像，问题是对"该图像为目标图像的概率Θ,"的两点 分布参数估计，现在用Bayes思想解决这一问题。方法如下：
[0069] 步骤1.将脑电识别模块给出的概率估计视为先验信息，建立公式(2)的先验分布：
[0071] 步骤2.将概率列￡.，..作为生成样本的依据，获得样本信息（即做η次随机试 验，观察其中图像属于目标图像的次数X，取η = 100进行了模型的实验）。
[0072] 步骤3.由先验分布和样本信息计算后验分布
[0073] π(θ? | χ) 〇〇h(x, θι) =ρ(χ | θ?) · π(θ?)
[0074] 步骤4.对Κθ,Ιχ)在区间(〇.5，1]求积分，作为修正后该图像为目标图像的概率的 估计值。
[0075]步骤5 .根据修正后的概率估计结果，仍由随机森林分类准则，给出修正后的识别 结果。
[0076]附图3中R0C曲线的比较反映了本方法的效果。
【主权项】
1. 一种基于后验概率模型的脑电与机器视觉目标图像检索方法，其特征在于:含有以 下步骤： 步骤（1)、给被试呈现RSVP图像序列，并利用脑电采集设备采集被试脑电信号，使用现 代数据分析技术对脑电信号进行分析，实现脑电目标图像识别； 步骤(2)、依据脑电识别模块的结果，找出目标图像在机器视觉模块中属于的目标类； 步骤(3)、从机器视觉模块计算每张图像为目标类图像的概率; 步骤(4)、对每张图像建立后验概率模型，计算图像为目标图像的概率的新估计值，从 而给出该图像最终的识别结果。2. 根据权利要求1所述的基于后验概率模型的脑电与机器视觉目标图像检索方法，其 特征在于:所述步骤(1)中脑电目标图像识别的步骤为， 步骤1.1、在被试观看RSVP图像序列的同时，通过脑电信号采集设备收集被试的脑电信 号； 步骤1.2、对模拟信号形式的脑电信号进行抽样和特征提取； 步骤1.3、通过分类算法，对经过处理的脑电数据进行目标图像和非目标图像的识别。3. 根据权利要求2所述的基于后验概率模型的脑电与机器视觉目标图像检索方法，其 特征在于:所述脑电目标图像识别中确定的分类算法选取指标为： 指标(1 )、真检比:定义t旲型筛选指标，真检比其中"代表模型在训练集上的识别效果，其中/^'"为将目标图像识 别为目标的概率，为将目标图像识别为非目标的漏检率;为将非目标图像识别为 非目标的概率，ρΓ1为将非目标图像识别为目标的虚警率，计算指标时，用1〇折交叉验证结 果的平均频率替代概率； 指标(2 )、真伪差:定义模型筛选指标，真伪差为 Dt-f = Nt~Nf 其中Ντ代表识别出的目标图像中真目标数目，Nf代表识别出的目标图像中虚警目标数 目； 基于所提出的量化指标对于模型的评价，本方法选取费歇尔判别分析作为脑电数据处 理中的特征提取方法、选取随机森林模型作为脑电目标图像识别中使用的分类算法。4. 根据权利要求1所述的基于后验概率模型的脑电与机器视觉目标图像检索方法，其 特征在于:所述步骤(2)中确定目标类的步骤为， 当RSVP序列的N张图像经过机器视觉模块，给出的概率估计可表示为以下的矩阵PCC，其 行代表RSVP图像序列中一张图像属于每一类的离散概率分布，列代表所有图像属于一类的 概率，Cn为图像类数，因一个RSVP图像序列含N张图像，将脑电识别模块估计的概率值记为?1,恤，...，pN, tar， 根据这些概率，按如下步骤从矩阵Pcc中选出目标类： 步骤2.1、在?1>，. . .，pN,ta冲取出概率大于0.5的图像序号，抽取矩阵Pcc的这些行； 步骤2.2、在这些行，对每一列的概率值求和； 步骤2.3、求和值最大的列对应的类即为目标类。5. 根据权利要求1所述的基于后验概率模型的脑电与机器视觉目标图像检索方法，其 特征在于:所述步骤(3)中计算图像属于目标图像类的概率的步骤为， 设第i张图像属于目标类概率为以机器视觉模块在测试集上表现的正确率Rright = 0.78和错误率1-Rright为权值，分情况进行计算： 情形1.当分类器将图像识别为目标类，计算加权后第i张图像属于目标类的概率为F属于目标类的概率为情形2.当分类器将图像识别为非目标类，计算加权后第i张图像属于目标类的概率为，不属于目标类的概率为6. 根据权利要求1所述的基于后验概率模型的脑电与机器视觉目标图像检索方法，其 特征在于:所述步骤(4)中的后验概率模型为，对于RSVP图像序列中第i张图像，问题是对 "该图像为目标图像的概率9广的两点分布参数估计，用Bayes思想计算如下： 步骤4.1、将脑电识别模块给出的概率估计视为先验信息，建立先验分布的公式：步骤4.2、将概率列作为生成样本的依据，获得样本信息，即做η次随机试 验，观察其中图像属于目标图像的次数X，取η = 100进行了模型的实验； 步骤4.3、由先验分布和样本信息计算后验分布 π(θ? | x) 〇〇h(x, 0i) =p(x | θ?) · Jl(0i) 步骤4.4、对31(0」χ)在区间（0.5,1]求积分，作为修正后该图像为目标图像的概率的估 计值； 步骤4.5、根据修正后的概率估计结果，仍由随机森林分类准则，给出修正后的识别结 果。
【文档编号】G06F17/30GK105868712SQ201610184386
【公开日】2016年8月17日
【申请日】2016年3月28日
【发明人】赵亚群, 黄良韬, 曾颖, 王林元, 林志敏, 刘庆聪
【申请人】中国人民解放军信息工程大学