控制助视器的方法和设备的制作方法
【专利摘要】对于像素矩阵的每个像素，表示待查看场景的输入信号(f)包括根据与场景内像素相关的光线变化得到的一个基于事件的异步信号序列。空间上在像素矩阵内并且时间上沿着信号序列地转换该输入信号，以产生针对助视器(20)的像素区域的各个控制信号(S)。
【专利说明】控制助视器的方法和设备
[0001]本发明涉及助视器的领域，更具体地说，涉及控制假体或矫正器以为其佩戴者提供视觉信息。
[0002]用视觉假体进行视力修复目的在于，沿着视网膜与大脑之间的视路刺激神经元，以便唤起视力障碍者的知觉。在神经细胞附近埋植视觉假体，于此施加一个在空间和时间上进行调制的电场。该电场被局部地施加在矩阵中设置的像素区域内。它在接受其影响的神经元膜中诱发出电势。即使光感受器及其它视网膜细胞不再起作用，也可以刺激视网膜或视觉皮质的仍具功能的细胞。
[0003]现有方法的目的在于视觉系统的不同区域。视网膜下植入体刺激视网膜的双极细胞，同时视网膜前植入体刺激通过视神经与大脑相连的神经节细胞。这两个策略都试图采用感光细胞退化后留下的视网膜细胞。另一种方法采用直接刺激视觉皮质的皮层植入体，即使在视神经受损的情况下也可以使用该方法。这三个策略已经过临床试验的测试，并且表明可以引起光幻视，并且能够识别形状，并且在有些情况下能够识别字母。 [0004]矫正器的目的是向仍具有功能的视网膜区域提供预处理的并且因此简化的视觉信息，从而提供缺失的视觉信息。由于相应的暗点，该信息会缺失，或者由于其复杂性、尺寸或差别(增强视觉)该信息一般难以实现。
[0005]向助视器(用作助视器的假体或矫正器)提供通过处理来自光捕获系统的信号得到的信号。传统策略包括捕获光线，其作为随时间规则地分隔开的图像或视频帧。例如US2010 / 0067825 A1中采用的这个采样方法形成多个难点。
[0006]对图像施加包括诸如特点提取或轮廓提取这样的频繁计算的图像处理，以确定助视器的激活方案。至今所采用的各种不同刺激策略尚未达到满意结果。该方法的局限性是由于传感器的动态范围较低，最多每33毫秒产生一个图像。另一方面，采用较快的CCD(电荷耦合器件)相机与处理算法的图像的复杂性不兼容，并且不适合于可便携的系统。
[0007]复制视觉系统的动态特征需要非常短的响应时间。已经证明哺乳类动物的大脑在几十毫秒内完成提取视野的特定特征。由于视网膜引起的处理延迟大约为50毫秒。在逐个图像采集样本时，需要收集多个图像，从而为了达到信息收集的目的而观察时间梯度。如果以40赫兹的频率捕获两个图像，则已经超出了视网膜建模所需的50毫秒的时间。因此，通过视网膜精确地实时提取特征在理论上需要采样频率大于60赫兹，来计算二阶时间导数、处理信号以及提取特征。
[0008]另外，由于处理视觉信息的动态非常快，所以必须在时间上以几毫秒的精度确定基础刺激的位置(见2008年2月科学第319卷中1108-1111页，由Gollisch T.等人所著的"Rapid Neural Coding in the Retina with Relative Spike Latencies〃(通过相对尖峰延迟在视网膜中进行快速神经编码))。具有实际采样频率的逐个画面捕获系统无法达到这一要求。
[0009]因此需要能够适当控制助视器的技术。
[0010]提出一种控制助视器的方法，其包括:
[0011]-接收表示待查看场景的输入信号，对于像素矩阵中的每个像素，输入信号包括根据与场景内像素相关的光线变化得到的一个基于事件的异步信号序列；
[0012]-空间上在像素矩阵内并且时间上沿着信号序列地转换输入信号，以产生针对助视器的像素区域的各个控制信号；以及
[0013]-将控制信号用于助视器。
[0014]采用异步信号构成助视器的控制信号具有多个优点。这些信号并非按照预定的时钟频率随时间采样，与普通视频信号中帧的时钟不同。其提供被称为待查看场景的地址-事件表达(AER)。有与每个像素相对应的基于事件的信号序列，即依靠与该像素相对应的光强度变化。在一个示例性实施例中，针对一个像素的基于事件的异步信号序列包括根据与该像素相关的光线变化在时间上确定其位置的一系列正脉冲或负脉冲。此类型采集复制视网膜光感受器的连续光采集。这利用视野内高度的时间冗余。因此:
[0015]-无需随时间重复大部分像素以普通摄像机以给定帧频所采取的方式可见的基本恒定的光级，；
[0016]-能够迅速识别局部光变化，准确地在时间上确定位置，不受帧间周期的限制。
[0017]在空间和时间上转换异步信号序列，从而提供对视觉矫正器或假体有用的信息。可采用几种方法进行这一转换。通常，有必要使信号转换的控制和由此的参数适应于佩戴者的要求。
[0018]一个方法是基于不同类型视网膜细胞的行为模型的。
[0019]为生成控制信号而转换输入信号可包括:
[0020]-通过以下操作得到第一个信号:用不同尺寸的滤波核进行的两次空间滤波操作，计算两次空间滤波操作结果之间的差，和根据差进行的时间滤波操作；以及
[0021]-如果第一个信号具有具体符号值，则获取零值的第二个信号，否则，则获取相同绝对值的第二个信号。
[0022]采用不同尺寸的滤波核可被认为是考虑了到视网膜光感受器和水平细胞的行为，水平细胞的相互作用半径通常比光感受器的大。可将复制第一信号正、负部分的第二信号视为由双极细胞产生的信号。计算求得的差的极性区分开“打开型”双极细胞和“关闭型”双极细胞。假定至少有十种不同类型的双极细胞，那么空间和/或时间滤波的不同参数组也可以区分不同类型双极细胞的行为。
[0023]此类转换适合视网膜下的视觉假体，因为应用于视觉假体的控制信号是由第二信号产生的。此类转换也适合于含有一排发光元件的矫形器。
[0024]获得这些第二信号以后还可以继续转换。在一个实施例中，通过关于差的时间滤波操作的各自时间常数，至少得到一个第一兴奋性信号和一个第一抑制性信号，然后分别从第一兴奋性信号和第一抑制性信号得到至少一个第二兴奋性信号和一个第二抑制性信号。以这种方式模拟的兴奋通道和抑制通道与双极细胞相对应，双极细胞可通过无长突细胞向神经节细胞提供兴奋性输入和抑制性输入。得到这些第二信号之后，为产生控制信号而转换输入信号则包括:
[0025]-得到由关于第二兴奋性信号和由第二抑制性信号衍生的抑制成分之间的差的空间滤波操作产生的第三信号；以及
[0026]-当针对助视器特定像素区域的第三信号超出预定阈值时，向用于所述像素区域的控制信号插入一个脉冲，并且将所述像素区域的第三信号重置为零。[0027]在模型中，由第二抑制性信号衍生抑制成分归因于无长突细胞，并且可包括预定延迟和空间滤波操作的应用。
[0028]对于一些患者来说，由通过这种方式获得的第三信号产生的控制信号，可适合于植入视网膜前位置或皮层位置或者植在外侧膝状体核上的视觉假体。
[0029]一个能够复制直接选择性神经节细胞的行为的令人关注的可能性，是在涉及到抑制成分衍生的空间滤波操作中采用偏心滤波核。滤波核的这种空间偏置与无长突细胞诱发的延迟相结合，其结果是响应敏感于刺激的运动方向。
[0030]一些神经节细胞由不同类型的双极细胞以相结合的方式得到刺激。考虑这一点，通过在各自时间常数的时间滤波操作，可得到第一通道和第二通道的第二兴奋性信号和抑制性信号。得到这些第二信号之后，为产生控制信号而转换输入信号则包括:
[0031]-得到由关于第一通道和第二通道的第二兴奋性信号的线性组合与由第一通道和第二通道的第二抑制性信号衍生的抑制成分之间的差的空间滤波操作产生的第三信号；以及
[0032]-当针对视觉假体特定像素区域的第三信号超出预定阈值时，向该像素区域的控制信号插入一个脉冲，并且将所述像素区域的第三信号重置为零。
[0033]在模型中，由第二抑制性信号衍生抑制成分归因于与上述类型不同的无长突细胞，并且可包括分别将延迟施加到第一通道和第二通道的第二抑制性信号，作用在被延迟的第二抑制性信号上的空间滤波操作，以及计算被延迟的第二抑制性信号和被滤波的第二抑制性信号的线性组合。
[0034]对于一些患者，用这种方法得到的第三信号所产生的控制信号适合于植入视网膜前位置或皮层位置或者植在 外侧膝状体核上的视觉假体。该控制信号也适合于含有一排发光元件的矫形器。
[0035]在开发应用于特定患者假体的控制信号的具体转换时，或多或少基于已知神经细胞行为的不同模型可作为考考。可采用心理物理测试来选择最适合于特定个体的转换。
[0036]仍可以不参考现象学模型开发此类转换，例如采用人工神经网络。
[0037]本发明的另一方面涉及处理控制助视器的信号的设备，包括:一个用于接收表示待查看场景的输入信号的输入端，针对像素矩阵中的每个像素，输入信号包括根据场景内像素相关光线变化得到的一个基于事件的异步信号序列；一个用于向助视器提供控制信号的输出端；以及一个根据上述方法产生的用于控制信号的处理回路。
[0038]通过以下非限制性示例性实施例的描述，参照附图，本发明的其它特征和优点将显而易见，在附图中:
[0039]-图1是刺激视力减退患者视觉系统的实例设备的方块图；
[0040]-图2A显示了异步传感器像素的光强度曲线的一个实例；
[0041]-图2B显示了响应于图2A的强度曲线的由异步传感器输送的信号的一个实例；
[0042]-图2C阐释了图2B中信号强度曲线的重建；
[0043]-图3A-B是与图2A-B相似的图表，阐释了可用于该方法另一个实施例的采集光的模式；
[0044]-图4是不同类别视网膜神经细胞的图示；
[0045]-图5阐释了一个模型的几种类型视网膜细胞的响应；以及[0046]-图6-9显示了可用于该方法的几个示例性实施例中的过程。
[0047]视网膜的作用是将其收到的光通量编码为一系列通过视神经传递到大脑的动作电位。视网膜内的光传导级联以及不同细胞类型之间的相互作用产生一个复杂的神经节细胞激活系统。根据其形态和生理，预算预报几十种类型的神经节细胞响应。
[0048]尽管所观察到的响应类型不同，但已表明一系列动作电位的几毫秒的时间精度对于大脑准确解读该信息而言非常重要。考虑到盲人的假体疗法时，有必要试图真实再现视网膜细胞的动态。在光感受器退行性疾病的病例中，该疗法的基本原理是对视网膜细胞进行电刺激。
[0049]在该应用中，(图1中)所采用的设备包括一个捕光器10和一个假体20，所述捕光器具有一组设置在像素矩阵中的光敏元件，所述假体20例如安装在视网膜上。也可以将假体20植入皮层。处理装置30将来自捕光器10的输入信号f转换为假体20各个像素区域的一组控制信号S。为了将这些控制信号S应用于假体20，用驱动装置40将其转换为模拟电位，所述驱动装置40将这些电位发送到假体的电极。
[0050]例如，假体20的类型可为2010年4月30日归档的专利申请FR1053381中所述的类型。其每个像素区域都包括一对局部施加电势差的电极，所述电势差刺激经受由此诱发的电场的神经细胞。两个电极之一可以为至少某些像素区域共用的地平面的一部分。假体20的像素区域的空间密度无需匹配捕光器10的像素矩阵的空间分辨率。
[0051]提供控制信号S的处理装置30对数字信号有效。可以通过为适当的处理器编程来实施。实际上，对于设备的工业化而言，最好采用专用逻辑电路的信号处理装置30的硬件实施。
[0052]对于矩阵的每个像素，装置10产生来自光线变化的基于事件的异步信号序列，出现在装置的视野内的场景中的像素经受所述光线变化。此类异步光敏装置可以处理视网膜的生理反应，并由此产生一个`适当的控制方案。在下文中由首字母DVS (动态视觉传感器)表不。
[0053]图2A-C显示了通过该异步传感器进行采集的原理。信息包括达到激活阈值Q的一系列时间tk(k=0、l、2……)。图2A显示了光强度曲线P1的一个实例，DVS矩阵中的像素经受所述光强度曲线。每当强度从时间tk时的值增加等于激活阈值Q的量时，指定一个新的时间tk+1，并于时间tk+1发射出正线(图2B中的水平线+1)。对称地，每当像素的强度从时间tk，时的值减少量Q时，指定一个新的时间tk，+1，并于时间tk，+1发射出负线(图2B中的水平线-1)。像素异步信号的序列由根据像素光曲线在时间上于时间tk确定其位置的一系列正线和负线或正脉冲和负脉冲组成。这些线在数学上可由正或负狄拉克尖峰表示，每个狄拉克尖峰的特征在于发射时间tk和符号位。来自DVS的输出端因此呈地址-事件表达(AER)的形式。图2C显示了可以通过随时间积分图2B中的异步信号来重建为曲线P1的近似值的强度曲线P2。
[0054]如图2A-C中的情形，激活阈值Q可以是固定的，或者如图3A-B中的情形，适应于光强度。例如，阈值±9可与光强度对数的变化相比较，生成±1的事件。
[0055]例如，DVS10可为2008年2月第43卷、第2号的IEEE固态电路杂志中第566至576 页中由 P.Lichtsteiner 等人所著的"A128 X 128120dB15 μ s Latency AsynchronousTemporal Contrast Vision Sensor"(—种 128 X 128120 分贝、15 微秒延迟的异步空间对比视觉传感器)中或专利申请US 2008 / 0135731 A1中所述的类型。
[0056]用此类型的DVS可充分复制视网膜的动态(动作电位之间的最短时间为几毫秒)。性能肯定比普通摄像机以实时采样频率所达到的性能高很多。
[0057]应注意，由DVS10向一个像素输送的异步信号的形式可与一系列狄拉克尖峰不同，输送异步信号构成处理装置30的输入信号，所表现的事件在该基于事件的异步信号中可能具有任意时间宽度或振幅或波形。
[0058]另一方面，输入信号不必通过光探测器得到。输入信号还可以是一个合成的AER信号。
[0059]为了有效刺激视网膜细胞，不但应有足够的采集动态，还应该能够以有意义的方式处理采集到的信号。视觉系统中的每个类型的细胞都具有其各自激活方案。例如，一些神经节细胞优先响应特定方向、动作或对比。这些特性源于视网膜的网络连通性。在视网膜前假体的情况下，应再现该连通性，以便得到适当的刺激定时。
[0060]一种方法是用生理数据训练人工神经网络以连接每种类型神经节细胞的活动与来自DVS的信号。将来自DVS不同像素的信号引入神经网络，所述神经网络将预报神经节细胞活动的输入端结合在一起。采用已知算法，用实际测量的活动调节人工网络连接中涉及的重量，直到预测收敛为止。从生理学角度看，通过如此采集和滤波达到的时间精确度可以产生相关的视网膜的异步刺激。
[0061]另一个方法是指设计由装 置30进行的信号处理时的一个视网膜神经细胞行为模型。
[0062]模型可基于普通结构的视网膜，比如图4所示的视网膜。在该模型中，在每个细胞层次都进行空间和/或时间卷积。双极细胞(BC")在水平细胞(HC)进行延迟抑制之后，对来自光感受器(PR)的信号的正部分或负部分进行非线性转换。一些双极细胞响应于正面刺激激活“打开型”通道，同时，其余双极细胞响应于负面刺激激活“关闭型”通道。无长突细胞(AC)可以通过延迟抑制在“打开型”通道和/或“关闭型”通道之间引入相互作用。在时间位移抑制的情况下，该抑制也可以引入空间梯度。神经节细胞(GC)接受源自“打开型”通道和/或“关闭型”通道的双极细胞的刺激以及源自无长突细胞的抑制，行为像神经元一样进行泄漏整合并向视神经N发射动作电位(“尖峰”)。
[0063]图5概括了这一处理过程。可将一个细胞类型视为通过具有空间分量和时间常数τ的时间分量的卷积核h=h(x，y, t)，进行输入信号V=V(x，y, t)的卷积，例如，空间分量为标准偏差代表细胞相互作用的半径r的高斯函数。一种可能的卷积核形式如下:
【权利要求】
1.一种控制助视器(20)的方法，包括:-接收表示待查看场景的输入信号(f)，对于像素矩阵中的每个像素，输入信号包括根据与场景内像素相关的光线变化得到的一个基于事件的异步信号序列；-空间上在像素矩阵内并且时间上沿着信号序列地转换输入信号，以产生针对所述助视器的像素区域的各个控制信号(S);以及-将所述控制信号用于所述助视器。
2.根据权利要求1所述的方法，其特征在于，针对一个像素的基于事件的异步信号序列包括根据与所述像素相关的光线变化在时间上确定其位置的一系列正脉冲或负脉冲。
3.根据上述权利要求中任一项所述的方法，其特征在于，为产生所述控制信号(S)而转换所述输入信号(f)包括: -通过用不同尺寸的滤波核(50、51)进行的两次空间滤波操作，计算两次空间滤波操作结果之间的差，和根据差进行的时间滤波操作(54、55)，得到第一信号(VBe);以及-如果所述第一个信号具有具体符号值，则获取零值的第二个信号(V?XNC, vgf], v^cF, vgfF)，否则，则获取与所述第一信号相同绝对值的第二个信号。
4.根据权利要求3所述的方法，其特征在于，助视器包括一个视网膜下视觉假体(20)，而且应用于所述视觉假体的控制信号(S)是由所述第二信号产生的。
5.根据权利要求3所述的方法，其特征在于，助视器包括一个发光元件矩阵，并且应用于所述矩阵的控制信号(S)是由所述第二信号产生的。
6.根据权利要求3所述的方法，其特征在于，通过关于差的所述时间滤波操作(54、55)的各自时间常数(τ_、xinh)，至少得到一个第一兴奋性信号和一个第一抑制性信号，其中，分别从所述第一兴奋性信号和所述第一抑制性信号得到至少一个第二兴奋性信号(v(Sf, vgxFeF)和一个第二抑制性信号(vg；], v&b)。
7.根据权利要求6所述的方法，其特征在于，为产生所述控制信号(S)而转换所述输入信号(f)进一步包括:-得到由关于所述第二兴奋性信号(VgxNe，VgxFeF)和由所述第二抑制性信号(vglvgk)衍生的抑制成分(VAe)之间的差的空间滤波操作(64)产生的第三信号(Vee)；以及-当针对所述助视器(20)特定像素区域的第三信号超出预定阈值(Θ )时，向用于所述像素区域的控制信号(S)插入一个脉冲，并且将所述像素区域的第三信号重置为零。
8.根据权利要求7所述的方法，其特征在于，由所述第二抑制性信号(Vg；]，V&k)衍生抑制成分(f)包括预定延迟(D)和空间滤波操作(60)的应用(59)。
9.根据权利要求8所述的方法，其特征在于，所述衍生抑制成分(ykc)过程中的空间滤波操作(60)采用偏心滤波核。
10.根据权利要求6所述的方法，其特征在于，通过在各自时间常数的时间滤波操作(54、55)得到第一通道和第二通道的第二兴奋性信号和抑制性信号(v?xNc, vg]，V?XFCF, V^F)，其中，为产生所述控制信号(S)而转换所述输入信号(f)还包括:-得到由关于第一通道和第二通道的第二兴奋性信号(V^f，Vg^F)的线性组合与由第一通道和第二通道的第二抑制性信号(v&5,v；^F)衍生的抑制成分(VAe)之间的差的空间滤波操作(64)产生的第三信号(V，；以及-当针对所述助视器(20)特定像素区域的第三信号超出预定阈值(Θ )时，向所述像素区域的控制信号(S)插入一个脉冲，并且将所述像素区域的第三信号重置为零。
11.根据权利要求10所述的方法，其特征在于，由所述第二抑制性信号(v&fj,v^F)衍生所述抑制成分(f)包括分别将延迟(D.D-)施加到第一通道和第二通道的第二抑制性信号，作用在被延迟的第二抑制性信号上的空间滤波操作(60)，以及计算(68、69)被延迟的第二抑制性信号和被滤波的第二抑制性信号的线性组合。
12.根据权利要求7至11中任一项所述的方法，其特征在于，所述助视器包括位于视网膜前位置或皮层位置内或者在外侧膝状体上的一个视觉假体(20)，应用于所述视觉假体的控制信号(S)是由所述第三信号产生的。
13.根据权利要求7至11中任一项所述的方法，其特征在于，助视器包括一个发光元件(20)的矩阵，应用于该矩阵的控制 信号(S)是由所述第三信号产生的。
14.根据权利要求1或2所述的方法，其特征在于，采用人工神经网络，实施输入信号(f)的转换，以产生控制信号(S)。
15.一种处理控制助视器(20)的信号的设备，包括:一个用于接收表示待查看场景的输入信号(f)的输入端，针对像素矩阵中的每个像素，所述输入信号包括根据场景内像素相关光线变化得到的一个基于事件的异步信号序列；一个用于向所述助视器提供控制信号(S)的输出端；以及根据上述权利要求中任一项所述的方法产生的用于控制信号的一个处理回路(30)。
【文档编号】G06F19/00GK103732287SQ201280023879
【公开日】2014年4月16日 申请日期:2012年5月11日 优先权日:2011年5月12日
【发明者】亨里·洛拉奇, 尔亚德·贝诺斯梅恩, 乔塞·萨黑尔, 瑟吉·皮科德 申请人:皮埃尔和玛利居里大学(巴黎第六大学), 国家科学研究中心