专利名称：采用时空滤波器的视网膜编码器实现方法
技术领域：
本发明涉及一种计算机应用技术领域的方法，具体是一种采用时空滤波器的视网膜编码器实现方法。
背景技术：
视网膜编码器是视网膜人工视觉假体的一个重要组成部分，是从已知的生理知识和实验数据出发，为解决输入图像和刺激脉冲串之间对应关系而提出的。视觉是人类获得信息的一个重要途径。然而世界上有很多人存在不同程度的视觉障碍，不能通过视觉获得信息。据世界卫生组织统计，全球约有近4000万人失明，另有约1亿人有着不同程度的视力损伤或削弱。对于因视网膜疾病而导致失明的患者来说，他们仍有一部分视网膜细胞和视神经细胞功能完好。所以可以尝试在视网膜上设计视觉假体，通过将视觉信息转换为电刺激来刺激视网膜上未受损的部分来部分重建视觉。如何部分或完全恢复盲人的视觉功能已成为目前国内外研究的热门课题。
虽然目前对视网膜视觉假体建模的研究已取得了引人瞩目的成果甚至在动物和人上做了实验，然而这些模型还是停留在对视网膜组织结构的模拟，并没有解决视网膜信号处理的编码这一核心问题，所以至今人们还无法有效地帮助盲人部分恢复视觉。
目前国内外对视网膜的建模有基于方法的人工神经网络模型，实验数据的统计模型及数学方法的公式模拟等以及基于硬件的通过CMOS芯片来模拟视网膜结构的模型。
经对现有技术的文献检索发现，ECKMILLER等在《JOURNAL OF NEURALENGINEERING》(神经工程学杂志)(2005年2月期91至104页)上发表Tunableretina encoders for retina implantswhy and how(可调的视网膜视觉假体编码器)，该文中提出可调的视网膜编码方法，具体方法为分为视网膜和中央视觉系统两个模块，用时空滤波器对图像进行编码，用移动的圆作为样本来训练两个模块的状态参数。其不足在于ECKMILLER视网膜编码方法所用的时空滤波器还只是一种对图像的重构，并没有直接把图像和脉冲刺激联系起来。
发明内容
本发明目的在于针对现有技术的不足，解决输入图像和刺激脉冲之间的编码关系，提供一种采用时空滤波器的视网膜编码器实现方法，使其用中心周围时空滤波器来模拟视网膜神经节细胞信号处理部分，用BP人工神经网络来模拟大脑处理视觉信号将神经冲动转换为图像部分，用改进粒子群和进化策略参数寻优方法来调节时空滤波器参数以达到最优输出效果。
本发明是通过以下技术方案实现的，本发明首先将样本图像输入时空滤波器，得到的输出作为BP人工神经网络的输入，训练BP人工神经网络，确定BP人工神经网络的权值。然后输入样本图像中的任意一个图像，随机取一组时空滤波器参数，用粒子群或进化策略方法在时空滤波器参数范围内进行参数寻优，通过多次迭代，最终使输出图像收敛于输入图像。时空滤波器的参数确定后，其输出的脉冲刺激则是对应于输入图像的视网膜编码。
所述的时空滤波器是指一种中心周围模式的时空滤波器。这种时空滤波器有着较好的时空分辨率。它的时空不可分及外周较中心延迟等性质很好地模拟了视网膜信号处理过程。最重要的是，不同于ECKMILLER等其他研究小组提出的模型，该时空滤波器直接将输入图像和视网膜神经节细胞的输出神经冲动相联系，真正意义上实现了对视网膜的编码。该时空滤波器有7个参数，该时空滤波器有7个参数，其中包括3个时空滤波器时间参数λc、λs、d，分别表示时空滤波器中心和外周输出达到峰值的时间和时空滤波器外周对中心的延迟，2个时空滤波器空间参数σc、σs，分别表示时空滤波器感受野中心和外周的视野范围，2个权值参数αc、αs，分别表示感受野中心和外周权重。其数学表达式为CS(x，t)＝αcK(t，λc)∑{G(x，σc)pix(x)}-αsK(t-d，λs)∑{G(x，σs)pix(x)}K(t,λ)=λtexp(-λt)ift≥00ift<0]]>G(x，σ)＝(2πσ2)-1exp(-x2/2σ2)
该时空滤波器外周空间范围要比中心空间范围大，即σc＜σs。外周时间响应要比中心时间响应有所延迟，即λs＜λc，d＞0。本发明所实现的视网膜编码器采用9个时空滤波器，每个时空滤波器模拟一个视网膜神经节细胞。9个时空滤波器的感受野可以重叠，对729个象素点的图像进行处理，将729象素点的输入图像转换为脉冲输出。
本发明用BP人工神经网络模拟大脑处理视觉信号。在做人体实验的条件成熟之前，代替大脑将神经冲动转换为图像，可以说是时空滤波器的逆映射。BP人工神经网络有3层组成，即输入层、隐层和输出层。本发明所实现的视网膜编码器中所用的BP网络的输入层有279个神经元，对应于时空滤波器输出的脉冲串，隐层有35个神经元，输出层729个神经元，对应于729个象素点的输出图像。用BP人工神经网络作为时空滤波器的逆映射，可以较自由得选择样本空间，可以对多样化、数量大的样本图像进行训练，而不局限于ECKMILLER所用的移动圆。
所述的用进化策略方法在时空滤波器参数范围内进行参数寻优，具体为通过误差函数找到最优参数向量，误差函数F(zi)为输出图像和输入图像的欧拉距离，参数向量包括9个所述时空滤波器的63个参数。参数范围为0＜σc+0.1＜σs≤3，σc和σs分别对应于中心和周围象素点感受野范围，0.5≤αc＜1，αc+αs＝1，αc和αs为中心和周围的权值，17≤λs＜λc≤25，λc，λs和时空滤波器中心和外周输出脉冲到达峰值时间有关，0.04≤d≤0.08，d和外周对中心延迟时间有关。首先在参数范围内随机选取初始父辈向量zi，i＝1，...，P。通过在父辈向量每个元素上加一个零均值高斯随机变量来产生子代向量xi＝zi+N(0，σi)，i＝1，...，P，σi＝F(zi)/300。高斯变量的方差σ和误差函数有关，可以加快参数收敛速度。比较误差函数F(zi)and F(xi)，i＝1，...，P，选择误差较小的向量作为下一次迭代的父辈。重复迭代直到满足方法的迭代停止条件为止。进化策略方法的优点是便于实现，速度较快，对参数范围限制较少，但是随机性比较大，缺乏收敛的方向性。对于简单的样本图像有着较快较好的收敛效果。
所述的用粒子群方法在时空滤波器参数范围内进行参数寻优，具体为通过适应度函数来实现的，适应度函数为输出图像和输入图像的欧拉距离。本发明所实现的视网膜编码器中所用的粒子群方法由6个粒子组成种群，每个粒子包含9个时空滤波器的63个参数。参数范围为0＜σc+0.4＜σs≤3，σc和σs分别对应于中心和周围象素点覆盖域，0.5≤αc＜0.8，αc+αs＝1，αc和αs为中心和周围的权值，17≤λc≤25，14≤λs＜λc，λc，λs和时空滤波器中心和外周输出脉冲到达峰值时间有关，0.04≤d≤0.08，d和外周对中心延迟时间有关。首先在参数范围内初始化粒子种群中所有粒子的速度和位置。用适应度函数对所有粒子进行评价，根据适应度函数更新种群中每个粒子个体极值p和整体极值l。个体极值是单个粒子从开始搜索到当前迭代的最优向量，整体极值是粒子种群从开始搜索到当前迭代的最优向量。然后按照由传统粒子群方法和进化策略相结合的改进粒子群方法公式对粒子速度和位置进行迭代vi＝error×randn×(pi-xi)+error×randn×(li-xi)+error×randn，xi(t+1)＝xi(t)+vi，error为根据适应度函数得出的输出图像和原始图像的误差，randn为高斯随机变量。重复迭代直到满足方法的迭代停止条件为止。改进的粒子群方法的优点是有记忆性，每次搜索的结果都保存着，根据个体极值和整体极值确定搜索速度，有较好的方向性。不同于传统粒子群方法，为了更适应于本发明所实现的视网膜编码器，改进的粒子群方法的粒子速度还和适应度函数和高斯随机变量有关，这样可以相对得降低对参数范围的要求，并加快收敛速度。
本发明将中心外周时空滤波器、BP人工神经网络和参数寻优方法相结合，层层相扣，联系紧密，能有效地模拟视网膜信号处理过程。它不同于已有的视网膜编码器，能对图像进行编码直接产生相应的刺激脉冲。本发明中的BP人工神经网络和参数寻优方法的结合使用，使得该视网膜编码器能对多样化的大样本图像空间进行训练，并且可以灵活得扩充样本图像空间，增大时空滤波器参数空间范围。本发明实现的视网膜编码器的灵活性和可调性能更好得满足个体差异和输入图像的变化，并能作为视网膜视觉假体的一个重要部分嵌入使用。
图1为将像素点区域分成9块，随机选取感受野中心位置的示意图。
图2为本发明实现的基于时空滤波器的视网膜编码器的时空滤波器空间滤波输出波形示意图；横坐标为离感受野中心位置的距离，纵坐标为脉冲频率。
图3为本发明实现的基于时空滤波器的视网膜编码器的时空滤波器时间滤波输出波形示意图。横坐标为时间，纵坐标为脉冲频率。
图4为所选样本图像的一部分；所选样本图像为大小位置不同的正方形或长方形。
图5为本发明实施例用进化策略参数优化方法得到的结果。
图6为本发明实施例用改进的粒子群参数优化方法得到的结果。
图7(a)为一样本图像。图7(b-d)为图7(a)对应的时空滤波器输出。
具体实施例方式
下面对本发明的实施例作详细说明本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和过程，但本发明的保护范围不限于下述的实施例。
本实施例由两个部分来完成，即BP人工神经网络训练过程和参数优化方法优化参数过程。时空滤波器作为模拟视网膜神经节细胞信号处理过程部分贯穿于其中。
1.如图1所示，将729个象素点区域分成9块，在每一块区域中随机选取一个感受野中心位置。
2.选择一组时空滤波器初始参数向量a。向量a含有9个时空滤波器的63个参数元素。其中每个滤波器7个参数，分别为2个权值参数，描述感受野中心和外周的权重，2个空间参数，描述感受野中心和外周的范围，3个时间参数，描述时空滤波器输出脉冲频率达到峰值的时间和感受野外周对中心的延迟。图2和图3分别给出了时空滤波器的时间和空间的输出脉冲。图2的横坐标为像素点离感受野中心的距离，纵坐标为相应的脉冲频率。图2的横坐标为时间，纵坐标为脉冲频率。
3.将样本图像通过参数向量为a的时空滤波器，得到输出279×77的矩阵。如图4所示，样本图像为大小、位置不同的正方形或长方形。
4.将时空滤波器的输出作为BP人工神经网络的输入进行训练。本发明所用的BP网络的输入层有279个神经元，隐层有35个神经元，输出层729个神经元。该BP网络加了偏置和动量，使之收敛更快。
5.在样本图像中任选一个图像x。
6.运用进化策略或改进的粒子群参数寻优方法来优化参数。
在使用进化策略方法时，选取含63个元素的参数向量，其中每个时空滤波器包含7个参数，σc，σs分别对应时空滤波器感受野中心和外周的视野范围，αc，αs分别对应感受野中心和外周权重，λc，λs分别对应时空滤波器中心和外周输出达到峰值的时间，d对应时空滤波器外周对中心的延迟。参数范围为0＜σc+0.1＜σs≤3，0.5≤αc＜1，αc+αs＝1，17≤λs＜λc≤25，0.04≤d≤0.08。在参数范围内选取一组参数初始化父辈参数向量。每次迭代时，在父辈参数向量b的每个元素上加一个零均值高斯随机变量来产生子代参数向量b’。将图像x分别通过参数向量为b和b’的时空滤波器，其输出再通过训练完成的BP网络，得到输出图像y和y’。将输出图像y，y’和输入图像x进行比较，选取误差函数较小的图像所对应的参数向量作为下一次迭代的父辈参数向量。重复迭代直到满足方法的迭代停止条件为止。所取的高斯变量的方差和误差函数有关。误差函数为输入图像和输出图像的欧拉距离。如图5所示，图5(a)，(c)为两个输入图像，(b)，(d)为用进化策略参数优化方法得到的输出图像结果在该结果对应的模拟过程中所选的原始参数为θc＝1，θs＝3，αc＝0.5，αs＝0.5，λc＝22，λs＝19，d＝0.06，初始化父辈参数向量所用的参数为θc＝0.5，θs＝2.5，αc＝0.6，αs＝0.4，λc＝24，λs＝20，d＝0.07。
在使用改进的粒子群方法时，选取6个粒子作为种群，每个粒子的位置向量即为时空滤波器的参数向量，每个位置向量含有9个时空滤波器的63个参数元素，其中每个时空滤波器有7个参数，σc，σs分别对应时空滤波器感受野中心和外周的视野范围，α对应感受野中心对外周权重，λc，λs分别对应时空滤波器中心和外周输出达到峰值的时间，d对应时空滤波器外周对中心的延迟。参数范围为0＜σc+0.4＜σs≤3，0.5≤αc＜0.8，αc+αs＝1，17≤λc≤25，14≤λs＜λc，0.04≤d≤0.08。首先在参数范围内初始化粒子种群中所有粒子的速度和位置。粒子的位置向量即为时空滤波器参数向量。将图像x通过参数向量为6个粒子位置的时空滤波器，其输出再通过训练完成的BP网络，得到6个输出图像。用适应度函数对所有粒子进行评价，根据适应度函数更新种群中每个粒子个体极值p和整体极值l。适应度函数为输出图像和输入图像的欧拉距离，个体极值是单个粒子从开始搜索到当前迭代的最优向量，整体极值是粒子种群从开始搜索到当前迭代的最优向量。然后按照公式更新粒子的速度和位置vi＝error×randn×(pi-xi)+error×randn×(li-xi)+error×randn，xi(t+1)＝xi(t)+vi，error为适应度函数，randn为高斯随机变量。重复迭代直到满足方法的迭代停止条件为止。如图6所示，图6(a)，(c)为两个输入图像，(b)，(d)为用改进的粒子群参数优化方法得到的输出图像结果；在该结果对应的模拟过程中所选的原始参数为θc＝1，θs＝3，αc＝0.5，αs＝0.5，λc＝22，λs＝19，d＝0.06，初始化粒子所用的参数为θc＝0.5，θs＝2.5，αc＝0.6，αs＝0.4，λc＝24，λs＝20，d＝0.07。
7.经过参数寻优方法找到满意的时空滤波器参数后，将图像x通过时空滤波器，其输出的刺激脉冲串则是对应的输出图像的视网膜编码。如图7所示，图7(b-d)为通过参数寻优方法找到最优参数后，将7(a)对应样本图像通过最优参数所对应的时空滤波器的脉冲输出。本实施例所设计的视网膜编码器包含9个时空滤波器，对应于该图像，有3个时空滤波器有响应，其余6个时空滤波器没有输出。图7(b-d)即为有响应的3个时空滤波器的输出。横坐标为时间，纵坐标为脉冲频率。
由上述实施例可见，本发明运用了时空滤波器来模拟视网膜信号处理的过程，运用了进化策略和粒子群方法找到最优参数以实现图像和刺激脉冲串的对映关系，为人工视觉假体的实现提供了编码器基础。
权利要求
1.一种采用时空滤波器的视网膜编码器实现方法，其特征在于，首先将样本图像输入时空滤波器，得到的输出作为BP人工神经网络的输入，训练BP人工神经网络，确定BP人工神经网络的权值；然后输入样本图像中的任意一个图像，随机取一组时空滤波器参数，用粒子群或进化策略方法在时空滤波器参数范围内进行参数寻优，通过多次迭代，最终使输出图像收敛于输入图像，时空滤波器的参数确定后，其输出的脉冲刺激则是对应于输入图像的视网膜编码。
2.根据权利要求1所述的采用时空滤波器的视网膜编码器实现方法，其特征是，所述的时空滤波器，直接将输入图像和视网膜神经节细胞的输出神经冲动相联系，该时空滤波器有7个参数，其中包括3个时空滤波器时间参数λc、λs、d，分别表示时空滤波器中心和外周输出达到峰值的时间和时空滤波器外周对中心的延迟，2个时空滤波器空间参数σc、σs，分别表示时空滤波器感受野中心和外周的视野范围，2个权值参数αc、αs，分别表示感受野中心和外周权重。其数学表达式为CS(x，t)＝αcK(t，λc)∑{G(x，σc)pix(x)}-αsK(t-d，λs)∑{G(x，σs)pix(x)}K(t,λ)=λtexp(-λt)ift≥00ift<0]]>G(x，σ)＝(2πσ2)-1exp(-x2/2σ2)该时空滤波器外周空间范围要比中心空间范围大，即σc＜σs；外周时间响应要比中心时间响应有所延迟，即λs＜λc，d＞0。
3.根据权利要求1或2所述的采用时空滤波器的视网膜编码器实现方法，其特征是，所述的时空滤波器，共采用9个，每个时空滤波器模拟一个视网膜神经节细胞，9个所述的时空滤波器的感受野可重叠，对729个象素点的图像进行处理，将729象素点的输入图像转换为脉冲输出。
4.根据权利要求1所述的采用时空滤波器的视网膜编码器实现方法，其特征是，所述的BP人工神经网络，用于模拟大脑处理视觉信号，BP人工神经网络有3层组成，即输入层、隐层和输出层，输入层有279个神经元，对应于时空滤波器输出的脉冲串，隐层有35个神经元，输出层729个神经元，对应于729个象素点的输出图像。
5.根据权利要求1所述的采用时空滤波器的视网膜编码器实现方法，其特征是，所述的用进化策略方法在时空滤波器参数范围内进行参数寻优，具体为通过误差函数找到最优参数向量，误差函数F(zi)为输出图像和输入图像的欧拉距离，参数向量包括9个所述时空滤波器的63个参数，首先在参数范围内随机选取初始父辈向量z1，i＝1，...，P，通过在父辈向量每个元素上加一个零均值高斯随机变量来产生子代向量xi＝zi+N(0，σi)，i＝1，...，P，σi＝F(z1)/300，高斯变量的方差σ和误差函数有关，可加快参数收敛速度；比较误差函数F(zi)、F(xi)，i＝1，...，P，选择误差较小的向量作为下一次迭代的父辈，重复迭代直到满足方法的迭代停止条件为止。
6.根据权利要求5所述的采用时空滤波器的视网膜编码器实现方法，其特征是，所述的用进化策略方法在时空滤波器参数范围内进行参数寻优时的参数范围为0＜σc+0.1＜σs≤3，σc和σs分别对应于中心和周围象素点覆盖域， 0.5≤αc＜1，αc+αs＝1，αc和αs为中心和周围的权值，17≤λs＜λc≤25，λc，λs和时空滤波器中心和外周输出脉冲到达峰值时间有关，0.04≤d≤0.08，d和外周对中心延迟时间有关。
7.根据权利要求1所述的采用时空滤波器的视网膜编码器实现方法，其特征是，所述的用粒子群方法在时空滤波器参数范围内进行参数寻优，具体为通过适应度函数来实现的，适应度函数为输出图像和输入图像的欧拉距离，粒子群方法由6个粒子组成种群，每个粒子包含9个时空滤波器的63个参数，首先在参数范围内初始化粒子种群中所有粒子的速度和位置，用适应度函数对所有粒子进行评价，根据适应度函数更新种群中每个粒子个体极值p和整体极值1，个体极值是单个粒子从开始搜索到当前迭代的最优向量，整体极值是粒子种群从开始搜索到当前迭代的最优向量，然后按照由传统粒子群方法和进化策略相结合的改进粒子群方法公式对粒子速度和位置进行迭代vi＝error×randn×(pi-xi)+error×randn×(li-xi)+error×randn，xi(t+1)＝xi(t)+vi，error为根据适应度函数得出的输出图像和原始图像的误差，randn为高斯随机变量，重复迭代直到满足方法的迭代停止条件为止。
8.根据权利要求7所述的采用时空滤波器的视网膜编码器实现方法，其特征是，所述用粒子群方法在时空滤波器参数范围内进行参数寻优时的参数范围为0＜σc+0.4＜σs≤3，σc和σs分别对应于中心和周围象素点覆盖域，0.5≤αc＜0.8，αc+αs＝1，αc和αs为中心和周围的权值，17≤λc≤25，14≤λs＜λc，λc，λs和时空滤波器中心和外周输出脉冲到达峰值时间有关，0.04≤d≤0.08，d和外周对中心延迟时间有关。
全文摘要
一种计算机应用领域的采用时空滤波器的视网膜编码器实现方法，首先将样本图像输入时空滤波器，得到的输出作为BP人工神经网络的输入，训练BP人工神经网络，确定BP人工神经网络的权值；然后输入样本图像中的任意一个图像，随机取一组时空滤波器参数，用粒子群或进化策略方法在时空滤波器参数范围内进行参数寻优，通过多次迭代，最终使输出图像收敛于输入图像，时空滤波器的参数确定后，其输出的脉冲刺激则是对应于输入图像的视网膜编码。本发明运用了时空滤波器来模拟视网膜信号处理的过程，运用了进化策略和粒子群方法找到最优参数以实现图像和刺激脉冲串的对映关系，为人工视觉假体的实现提供了编码器基础。
文档编号A61F2/14GK101017535SQ20071003788
公开日2007年8月15日 申请日期2007年3月8日 优先权日2007年3月8日
发明者朱贻盛, 邱意弘, 牛希娴 申请人:上海交通大学