一种高效降噪视觉图像重构方法与流程

本方法属于生物医学图像模式识别技术领域，具体涉及功能磁共振图像的视觉图像重构方法。

背景技术：

人脑在复杂视觉信息处理上具有高效、鲁棒和抗噪等优点。视觉信息是人类感知和认识外部世界最主要的途径之一。大脑对于不同类别的自然场景加工具有一定的共性，例如，颞腹海马旁区域是与场景信息的处理息息相关的脑功能区，但是对场景信息的加工还依赖于多个视觉脑区，脑功能表征视觉信息是高度复杂化的。迄今为止，我们对大脑处理复杂的自然场景分类的脑区及其编码机制依然知之甚少。

近年来，随着现代神经影像(脑电、脑磁、功能磁共振成像(fMRI)、近红外光学脑功能成像)及计算机技术的发展，人们逐渐打开了解读大脑视觉信息处理机制的大门。由于无创性和高空间分辨率的优势，fMRI在视觉信息处理中发挥了极其重要的作用，应用fMRI对自然场景编码和解码也取得了一系列重要的成果。通过fMRI技术，我们不仅可以探测到编码自然图像的脑区、追踪大脑编码自然场景的过程，还可以根据相应的脑功能活动信号进行模式分类和视觉信息重构(即重现所观测到的自然图像)，并对自然图像和脑功能活动进行匹配建模，进而有望对脑功能活动进行实时信息解码。参见图1，视觉图像重构的总体思路是：首先，让测试者观看刺激图(闪烁棋盘格图像，如背景为灰色，图案(几何或字母)为黑白闪烁棋盘格图像等刺激图像)；然后，通过磁共振获取闪烁棋盘格图像刺激在大脑视觉区(如通过视网膜拓扑映射实验确定大脑视觉区位置)的fMRI信号；最后，使用模式识别方法对该信号进行视觉场景解码。但是，解码脑功能信息的关键在于提取高效稳定的脑功能活动特征以及对应的模式识别技术。这些难题无疑让解读人脑视觉认知活动的研究成为当前脑科学研究中一个最具前沿、最具挑战的方向。

视觉图像重构是视觉信息解码的重要研究方向之一。追溯到上个世纪九十年代，就有研究者使用外漆体神经放点信号来重构视觉场景，由于那个年代的社会生产技术、工艺技术等一系列的限制，虽然视觉图像重构取得了一定的效果，但是重构精度还远没有达到理想的结果，并且对被试者具有创性的损伤。随着磁共振技术的兴起与发展，完全无创性的研究大脑成为了可能，如采用稀疏多项式逻辑回归(SMLR)的视觉重构方法，虽然该方法提高了已有重构效果，但重构结果所含的噪音大。

技术实现要素：

本发明的发明目的在于：针对上述存在的问题，提供一种高效降噪视觉图像重构方法。

本发明的高效降噪视觉图像重构方法包括训练和视觉重构两个部分，其具体实现过程分别为

A.训练步骤：

步骤A1：输入训练样本，所述训练样本包括刺激图像在大脑视觉区的FMRI信号、以及与FMRI信号一一对应的刺激图像的对比度图(对比度图的尺寸归一化)，其中刺激图像为闪烁棋盘格形式；

步骤A2：采用N(N大于1)种局部图像基(φ₁～φ_N)对刺激图像的对比度图进行变换处理，得到同一对比度图的N幅变换图像：

基于当前局部图像基，分别对刺激图像的各像素点进行变换处理，取局部图像基的平均对比度作为当前像素点的标签，得到当前局部图像基的变换图像，其中局部图像基的平均对比度为所在窗口中定义为闪烁棋盘的个数与棋盘总数的比值。如采用如下所示的九种局部图像基：

局部图像基φ₁：仅包括当前像素点的1×1的窗口；

局部图像基φ₂：包括当前像素点与其右邻接点的1×2的窗口；

局部图像基φ₃：包括当前像素点与其左邻接点的1×2的窗口；

局部图像基φ₄：包括当前像素点与其上邻接点的2×1的窗口；；

局部图像基φ₅：包括当前像素点与其下邻接点的2×1的窗口；

局部图像基φ₆：包括当前像素点的2×2的窗口，其中当前像素点在窗口的左上角；

局部图像基φ₇：包括当前像素点的2×2的窗口，其中当前像素点在窗口的右上角；

局部图像基φ₈：包括当前像素点的2×2的窗口，其中当前像素点在窗口的左下角；

局部图像基φ₉：包括当前像素点的2×2的窗口，其中当前像素点在窗口的右下角；

步骤A3：构建视觉图像各像素点的联合系数：

步骤A3-1：对刺激图像的对比度图的各像素点位置，分别获取N种局部图像基的训练预测标签：

将训练样本分为两个子集，一个子集作为训练数据，一个子集作为测试数据，在不同的局部图像基下，基于变换图像和FMRI信号对训练数据进行分类器训练，得到各像素点在不同局部图像基的第一分类器，其中第一分类器的类别为各局部图像基的平均对比度的取值。对应上述9种局部图像基，其中局部图像基φ₁包括两类，各类的对比度分别为：0、1；局部图像基φ₂、φ₃、φ₄、φ₅包括三类，各类的对比度分别为：0、0.5、1；局部图像基φ₆、φ₇、φ₈、φ₉包括五类，各类的对比度分别为：0、0.25、0.5、0.75、1。

通过第一分类器对测试数据进行分类识别，得到各像素点位置在N种局部图像基下的第一预测标签其中i＝1,2,…,N；

步骤A3-2：根据公式在多个测试数据中，将使得残差ε的数值(无符号数字，或者直接取残差ε的绝对值或平方)最小的ω₁,ω₂,...,ω_N作为当前像素点位置的联合系数，从而得到视觉图像各像素点的联合系数，其中C^tr表示刺激图像的对比度图的像素值；

步骤A4：基于N种局部图像基的平均对比度的取值划分类别，对训练样本进行类别划分；并对训练样本的FMRI信号的特征向量进行特征筛选，取前K个类别判决能力最大的特征向量作为特征筛选结果，其中K为预设值，如采用多类别F-score特征选择方式，从而实现对特征向量的降维处理；

在不同的局部图像基下，基于变换图像与筛选后的FMRI信号进行分类器训练，得到像素点在不同局部图像基的第二分类器，其中第二分类器的类别为N种局部图像基的平均对比度的取值，上述9种局部图像基，可以将训练样本分为五类，各类对应的对比度分别为：0、0.25、0.5、0.75、1。

步骤B：视觉图像重构

步骤B1：输入待重构的FMRI信号，并基于步骤A4的筛选结果对待重构的FMRI信号的特征进行筛选，将筛选后的K个特征向量作为第二分类器的输入；

步骤B2：基于第二分类器的识别结果，得到各像素点在N种局部图像基下第二预测标签：C₁,C₂,...,C_N；步骤B3：由各像素点的第二预测标签C₁,C₂,...,C_N与联合系数ω₁,ω₂,...,ω_N的加权求和得到各像素点的重构标签，从而得到视觉重构图像。

综上所述，由于采用了上述技术方案，本发明的有益效果是：在分类处理前，优先进行特征向量的筛选，降低了特征向量纬度，降低了重构的计算复杂度及重构图像的噪声；同时，基于本发明的9中局部基能进一步提升视觉图像重构的精确度。

附图说明

图1视觉重构原理图。

图2训练图像序列图。

图3测试图像序列图。

图4视觉图像重构的具体实施流程。

图5局部图像基转换示意图。

图6视觉图像重构结果对比图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面结合实施方式和附图，对本发明作进一步地详细描述。

实施例

采集训练样本和测试样本：

参见图2，让被试者在前28秒眼睛注视静息图像(便于获取fMRI信号的起始位置)；然后依次注视6秒由随机图像构成的刺激图(即将随机图像以闪烁棋盘格形式(字母或几何图像为黑白闪烁棋盘格形式，背景为灰色)呈现给被试者)和6秒静息图像，重复22次；最后12秒眼睛注视静息图像(便于获取fMRI信号的终止位置)。将上述过程执行20次，则可得到440张刺激图像下的fMRI信号，将440次的fMRI信号和对应的随机图像(刺激图形的对比度图)作为训练样本A。

参见图3，让被试着前28秒眼睛注视静息图像；然后依次注视12秒测试图像(闪烁棋盘格形式的刺激图像)和12秒静息图像，重复10次；后12秒眼睛注视静息图像。将上述过程执行8次，则可得到80张测试图像下的fMRI信号，将80次的fMRI信号作为测试样本B。

基于得到的训练样本A和测试样本B分别执行训练和重构处理，参见图4，其具体步骤为：

首先，对训练样本中的刺激图像进行不同尺度的变换处理，即取局部图像基的平均对比度(局部图像基所在窗口中定义为闪烁棋盘的个数与棋盘总数的比值)作为当前像素点的标签，得到与各局部图像基对应的变换图像。参见图5，采用9种如图5-a所示局部图像基分别进行变换处理，即1×1尺度的窗口包括基φ₁：即仅包括当前像素点；1×2尺度的窗口包括两个基(φ₂、φ₃)：即包括当前像素点与其左右邻接点；2×1尺度的窗口包括两个基(φ₄、φ₅)：即包括当前像素点与其上下邻接点；以及2×2尺度的窗口包括四个基(φ₆、φ₇、φ₈、φ₉)：即包括当前像素点的2×2的窗口中，当前像素点分别位于窗口左上角、右上角、左下角、右下角。图5-a给出了不同基下的变换示意图。即采用上述九种局部图像基φ₁～φ₉对同一刺激图像进行变换处理，分别得到对应的九幅变换图。

其次，对训练样本A，基于朴素贝叶斯分类法和十折交叉验证方法，构建视觉图像各像素点的联合系数(ω₁,ω₂,...,ω₉)：

在不同的局部图像基下，采用十折交叉验证方法，分别将训练样本均分为10份，1份作为测试数据t1，9份作为训练数据s1，基于训练数据t1，采用朴素贝叶斯分类法构建关于像素点位置的第一分类器(特征向量为对应的FMRI信号)，再将测试数据t1的FMRI信号作为第一分类器的输入，进行分类识别，得到各像素点位置在N种局部图像基下的第一预测标签，即得到在s1、t1下的多组(数目取决于t1所包括的测试样本数)训练数据预测标签十折交叉处理后，即可得到M_A(训练样本A的样本数)组

根据训练样本A的随机图像的真实像素值(也可称真实标签)C^tr和训练数据预测标签建立多元线性回归模型：其中ε表示残差。基于M_A组使用最小二乘法对上述回归模型的多元线性等式拟合，即最小化均方残差将对应的ω₁～ω_N作为视觉图像各像素点的联合系数，即其中ε_j对应回归模型中的ε，对应回归模型中的C^tr，下标j为样本标识符。

基于上述多元线性回归模型则可得到视觉图像各像素点的联合系数(ω₁,ω₂,...,ω₉)。

再其次，基于像素点标签对训练样本进行分类，一共分为五类，各类的标签值分别为：0、0.25、0.5、0.75、1。然后采用多类别F-score特征选择方法对训练样本A的fMRI信号进行特征筛选处理，即根据分别计算fMRI信号的各特征向量的F值，然后取前5个最大F值作为特征筛选结果。其中S_far反映不同类别之间的距离。S_close反映相同类别之间的距离。S_far和S_close计算公式分别为其中M为类别数目，表示特征向量的所有样本的均值；表示特征向量中，属于类别c_i的子样本的均值；n_i表示特征向量中，属于类别c_i的子样本的长度；表示特征向量中，属于类别c_i的子样本中第j个值。

接着，在不同的局部图像基下，基于变换图像与筛选后的FMRI信号进行分类器训练，得到像素点在不同局部图像基的第二分类器，用于测试样本的标签预测。本实施例中采用朴素贝叶斯分类法构建分类器，对局部图像基φ₁，将训练样本分为两类，各类对应的像素点标签为0、1；对局部图像基φ₂、φ₃、φ₄、φ₅，分别将训练样本分为三类，各类对应的像素点标签为0、0.5、1，对局部图像基φ₆、φ₇、φ₈、φ₉，分别将训练样本分为五类，各类对应的像素点标签为0、0.25、0.5、0.75、1。以FMRI信号为特征向量，构建关于像素点的不同局部图像基的第二分类器。朴素贝叶斯分类器是一个简单而高效的分类方法。朴素贝叶斯分类可以预测给定的样本属于一个给定的类的概率，即分别计算样本属于每个类别概率，取概率最大值所属的类别。在建立分类器时，本发明也可以使用其他机器学习分类方法来替代朴素贝叶斯分类方法，如支持向量机(SVM)、随机森林(RF)、稀疏多项式逻辑回归(SMLR)等等。对于运行时间的因素，这些方法运行时间远大于朴素贝叶斯方法运行的时间。考虑到人类大脑极快地处理视觉信息这样的特性，本实施例中使用朴素贝叶斯分类方法。

然后，输入训练样本B的FMRI信号，基于筛选出来的K类特征，对输入的FMRI信号进行特征筛选后，作为第二类分类器的输入，进行类别判别，得到每个像素点位置在不同局部图像基下的第二预测标签作为当前像素点在各局部图像基下的训练样本预测标签。

最后，对同一像素点位置的训练样本预测标签与重构参数ω₁,ω₂,...,ω₉进行加权求和得到当前像素点位置的重构标签，即局部图像重构从而得到视觉图像中的每个像素点的重像素值，即得到重构的视觉图像。

图6给出了本发明与现有方式的重构视觉图像的效果对比，其中图6-a为采用SMLR方式的重构视觉图像，6-a为本发明的重构视觉图像。从图可见，本发明得到的结果噪音显著降低。

以上所述，仅为本发明的具体实施方式，本说明书中所公开的任一特征，除非特别叙述，均可被其他等效或具有类似目的的替代特征加以替换；所公开的所有特征、或所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以任何方式组合。