基于局部场电位幅值相位复合特征的自然图像重建方法与流程

本发明涉及信息处理技术领域，尤其涉及基于局部场电位幅值相位复合特征的自然图像重建方法。

背景技术

大脑是一种极其复杂的神经系统，是实现各种信息处理的中枢。其中，视觉系统是动物感知外界环境的主要感知系统。对动物视觉系统的研究已经成为了神经科学、智能科学、计算机科学、生物科学等多种学科所共同关注的重要课题之一。研究证明，动物大脑所获取的外界信息中，视觉信息占80％以上。通过植入式的微电极阵列检测脑神经元局部场电位(lfp)信号，提取响应特征，构建图像重建模型，实现视觉感知信息的重建是一个极具挑战性的问题。

丹阳等人曾经采用多只猫的外侧膝状体的神经元动作电位信号重建了八段视频图像。其提取了神经元动作电位的集群响应特征，设计了重建算法，并对重建效果进行了评估。elaheyargholi等人基于功能核磁共振成像的方式，利用贝叶斯网络对手写数字进行了重建。其中，丹阳等人需要利用大量的神经元才能实现视频图像重建，实验过程复杂，elaheyargholi等人的实验虽然简单但是模型参数选择不易确定且重建结果不太理想，重建图像不清晰。当前视频图像获取的主要途径为摄像机、照相机，但是专业摄像机、相机体积大，操作繁杂。镶嵌在手机等设备上的小型相机不能很好的解放双手并及时有效的记录瞬间，且记录的内容不具有针对性，本文提出了一种基于生物脑电的图像获取方法。

技术实现要素：

本发明的目的在于：提供基于局部场电位幅值相位复合特征的自然图像重建方法，解决现有基于生物视觉实现图像刺激重建存在的图像重建实验过程复杂，重建图像效果差、不清晰的问题。

本发明采用的技术方案如下：基于局部场电位幅值相位复合特征的自然图像重建方法，包括以下步骤：

s1：采集图像刺激下的脑视皮层局部场电位信号，分别对图像刺激和局部场电位信号处理后得到样本刺激数据、目标刺激数据、样本响应数据和目标响应数据；

s2：根据训练响应数据和目标响应数据，获取样本幅值相位复合特征和目标幅值相位复合特征，并构建样本响应矩阵和目标响应矩阵；

s3：根据样本刺激数据和样本响应矩阵构建重建滤波器模型；

s4：将目标响应矩阵代入重建滤波器模型，获取目标重建刺激数据后得到自然图像。

进一步的，还包括步骤：

s5：根据目标刺激数据和目标重建刺激数据进行自然图像评估。

进一步的，所述步骤s1具体步骤如下：

s101：选取刺激图像，并对刺激图像进行扫屏模式处理，提取扫屏模式下感受野位置的刺激数据得到样本刺激数据和目标刺激数据；

s102：利用刺激播放器播放刺激数据，采集播放时动物脑视皮层局部场电位信号；

s103：对局部场电位信号进行滤波处理后得到样本响应数据和目标响应数据。

进一步的，所述步骤s2具体步骤如下：

s201：对样本响应数据和目标响应数据进行离散傅里叶变换，提取每个频率采样点处的相位特征和幅值特征，得到样本幅值af特征、样本相位特征、目标幅值af1特征和目标相位特征；

s202：根据幅值特征和相位特征获取样本幅值相位复合特征和目标幅值相位复合特征

s203:根据样本幅值相位复合特征xf和目标幅值相位复合特征xf1构建样本响应矩阵r和目标响应矩阵r1。

进一步的，所述步骤s3具有步骤如下：

s301：根据样本刺激数据和样本响应数据矩阵r构建重建滤波器模型f。

进一步的，所述步骤s4具有步骤如下：

s401：将目标响应数据矩阵r1代入重建滤波器模型f，获取目标重建刺激数据u1；

s402：通过目标重建刺激数据u1得到自然图像。

进一步的，所述步骤5的具体步骤为：

s501：根据目标刺激数据和目标重建刺激数据u获得归一化互相关系数ρs,u：

ρs,u为归一化互相关系数，ρs,u∈[-1,1],s(n)为第n个目标刺激数据组成的矩阵，u(n)为第n个目标重建刺激数据组成的矩阵；

s502：根据归一化互相关系数ρs,u对重建图像进行评估。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.本发明通过提取生物脑神经元局部场电位(lfp)，提取更具有针对性的幅值相位复合特征，排除过多的干扰信息对重建结果的影响，简化了重建模型，同时使得重建图像的还原度更高，重建图像的重建互相关系数达到0.95。

2.本发明根据目标刺激数据以及目标重建刺激数据获得归一化互相关系数，根据归一化互相关系数对图像重建的效果进行评价，从而获得图像重建直接评估数据。

3.本发明采用扫屏模式，将图片进行了有效分割，从而保证了在生物神经元在不动的情况下可以看到整张图片，然后在神经元响应中找到了有效表征相应像素块的特征即幅值相位复合特征，之后利用集群信息得到较好的重建结果。

4.本发明充分利用了动物视觉系统在复杂场景下快速目标提取与识别能力，提供一种基于生物脑电信号重建进行自动拍照的方法，可以随时记录外界场景的信息。

附图说明

图1为本发明方法流程图；

图2为本发明感应野测试刺激图；

图3为本发明感受野测试刺激对应的感受野位置图；

图4为本发明自然图像重建流程示意图；

图5是刺激图像与重建图像对比示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。

基于局部场电位幅值相位复合特征的自然图像重建方法，包括以下步骤：

s1：采集图像刺激下的脑视皮层局部场电位信号，分别对图像刺激和局部场电位信号处理后得到样本刺激数据、目标刺激数据、样本响应数据和目标响应数据；

选取自然图像作为刺激图像，并对刺激图像进行扫屏模式处理，提取扫屏模式下感受野位置的刺激数据得到样本刺激数据和目标刺激数据，并利用刺激图像播放器向被测试动物依次播放刺激数据，通过预先植入动物脑视觉皮下的多通道微电极阵列，采集每一次刺激图像播放时神经元产生的局部场电位信号，直至所有刺激数据播放完毕，对局部场电位信号进行50hz滤波处理后得到响应数据，并将响应数据相应分为样本响应数据、目标响应数据。

样本刺激数据s：

其中，sie表示在第i个像素块刺激第e个灰度值，e表示像素块的大小，m表示刺激图像的个数，类似的，目标刺激数据s1的获取原理相同。

s2：根据训练响应数据和目标响应数据，获取样本幅值相位复合特征和目标幅值相位复合特征，并构建样本响应矩阵和目标响应矩阵；

将采集的响应数据进行傅里叶变换，提取多个神经元每个频率处的局部场电位信号相位特征和幅值特征，根据样本相位特征和样本幅值特征af获取目标幅值相位复合特征xf：

其中，af为采集的局部电位信号频率为f处的电位信号幅值特征，为采集的局部电位信号频率为f处的电位信号相位特征，类似的，目标幅值相位复合特征xf1获取步骤相同。

根据样本响应数据局部场电位信号的幅值相位复合特征xf，构造样本响应矩阵r：

其中，表示在第i个像素块刺激数据、v通道神经元局部场电位信号的第j个幅值相位复合特征xf，类似的，目标响应矩阵r1获取步骤相同。

s3：根据样本刺激数据和样本响应矩阵构建重建滤波器模型；

构造重建滤波器模型f的转置矩阵f^t：

其中，代表的是对v通道神经元中提取的局部场电位信号的第n个幅值相位复合特征的权值；

s4：将目标响应矩阵代入重建滤波器模型，获取目标重建刺激数据后得到自然图像。

根据重建滤波器模型f和测试响应数据矩阵r1获取目标重建刺激数据u1

利用最小二乘法，使(s-u)^t(s-u)最小，推导出重建滤波器模型f＝(r^tr)^-1×(r^ts)，进而得到，u1＝r1·f＝r1(r^tr)^-1(r^ts)，其中，s为样本刺激数据，u为样本重建刺激。

其中，u1为目标重建刺激数据，

其中，uie表示第i个像素块刺激第e个重建像素值，n表示刺激图像的个数,e表示像素块的大小。

再通过目标重建刺激数据u1得到自然图像。

s5：根据目标刺激数据和目标重建刺激数据进行重建图像评估。

根据目标刺激数据和目标重建刺激数据获得归一化互相关系数ρs,u

ρs,u为归一化互相关系数，ρs,u∈[-1,1],s(n)为目标刺激数据组成的矩阵，u(n)为目标重建刺激数据组成的矩阵，根据归一化互相关系数ρs,u对重建图像进行评估。

实施例1

如图1所示，在进行实验之前需要选定合适的实验对象进行手术，手术的目的是将32通道微电极阵列植入动物脑视皮层的神经元中，植入深度为500-1200um，以便后续的局部场电位信号的采集。

在手术恢复后需要生成感受野刺激并寻找到感受野较好的神经元通道，然后针对这些神经元实现对不同刺激图像重建，本实施例采用如图2所示棋盘格实验，采用随机闪动的灰底黑棋盘格作为刺激模式，棋盘格为15*15灰底单黑格，共225个格子，灰底的亮度值是128，黑格的亮度值为0，在一个周期内，黑格随机出现，且所有225个棋盘格的点都只出现一次黑格，时间频率20hz，即黑格每次显示50ms，采用经典的基于spikes发放率的反向相关方法确定神经元感受野的位置，如图3所示，本实施例重复15次实验，采用叠加求平均值的方法减少实验中可能出现的随机误差。

确定感受野位置之后，如图4所示，本发明以树杈图像刺激为例，进行自然图像刺激播放，自然图像刺激播放方式为依次从下向上，每次移动2个像素点，每从下向上移动一次同时从右向左以2个像素点进行移动，确保每4个像素点(2×2)进行扫屏并且整个图片都经过了每个神经元感受野的中心，在每次图像刺激后加入灰屏休息，如此重复循环5次，每一次图像刺激的时间为0.0334s，每组实验图片为16000张，其中刺激图片数量为8000张，其中训练时所用的刺激图片为6400张，测试时所用的刺激图片为1600张；

再进行特征提取及构建重建滤波器模型，并用互相关系数对重建自然图像进行评估，特征采用的是lfp信号中的幅值相位复合特征，然后以互相关系数为指标，分析不同通道、通道数目、截取的数据时间(即图像刺激时间)长短、延迟时间以及频带对重建图像的影响，以确定最优的重建参数，然后选取最优参数进行自然图像重建，通道数目的确定是为了防止某些不好的神经元对重建图像结果的影响。

首先进行通道的选择，设置数据时间长短为0.4s，延迟时间为0.01s，对单通道进行自然图像重建，并求出32个单通道的重建图像的归一化相关系数，然后通过通道各自归一化相关系数进行排序，从最优通道逐次累加通道进行不同通道数量的累加，得到不同通道数量重建图像的归一化相关系数，进而选择归一化相关系数最大的通道数量。

在确定重建通道数量后，设置延迟时间为0.01s，进行最优数据时间长短选取，分别设置数据时间长短为0-1s，以0.05s为时间间隔，总共有20个数据，从20个数据中根据归一化相关系数确定最优数据时间长度，当数据时间长度超过最优数据时间长度时，重建归一化相关系数趋于饱和。

在确定数据时间长短后，根据实验获得最优数据时间为0.55s，因此延迟时间范围为0-0.55s，以0.01s为时间间隔，总共有56个数据，从56个数据中根据归一化相关系数确定最优延迟时间，当延迟时间超过最优延迟时间时，重建归一化相关系数开始显著下降。

在确定延迟时间后，lfp信号特征进行频带选取，因为lfp信号属于低频信息，所以频带范围为1hz-250hz，设置频带范围是f1-f2，f1的范围为1-200hz，间隔为5hz，f2的范围为150hz-250hz，间隔为5hz，根据归一化相关系数确定最优频率带的范围。

采用获得的最优参数，进行测试图像重建，结果如图5所示，通过计算自然图像的重建相关系数为0.95。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。