一种脉冲阵列信号时空上采样器生成方法与流程

本发明涉及信息处理技术领域，具体涉及一种脉冲阵列信号时空上采样器生成方法。

背景技术：

近年来，时空脉冲阵列信号数据在计算神经科学(computingneuroscience)、计算机视觉(computervision)、社交媒体(socialmedia)、地球大气科学(earthandclimatescience)、交通运输(transportation)等领域无处不在，并以海量数据的形式涌现。

脉冲阵列信号由动态视觉传感器dvs(dynamicvisualsensor)所采集。dvs是一种仿生视觉传感器，其操作原理基于生物视网膜功能的抽象。动态视觉传感器(dynamicvisionsensor,dvs)是模仿神经元脉冲发放和视网膜外周细胞对亮度变化敏感机理的视觉传感器，发放的神经脉冲信号是以时空稀疏脉冲阵列信号描述，相对传统固定帧率相机具有高时间分辨率、低数据冗余、高动态范围、低功耗等优势，在无人驾驶视觉传感器、无人机视觉传感器和机器人视觉导航定位等领域有着巨大市场应用潜力。

动态视觉传感器相机，每个像素点安装了一个动态视觉传感器，由于硬件条件的限制，所采集的范围往往较小，通常为128×128的低分辨率，难以满足清晰查看某个运动物体的需求，无法保证有效地进行信号处理、分析等应用任务。

与传统相机相比，dvs没有使用固定帧频的数据采样方式，而是异步且独立地将局部强度对比度编码为精确的时间戳事件。一般dvs的时间分辨率为10mevent/s，dvs可将高速运动事件记录为空时稀疏事件点阵，而传统相机的固定帧频在高速运动时易产生运动模糊。

在数字信号处理中，上采样与多速率数字信号处理系统中的重采样过程相关。当对信号或其他连续函数的样本序列执行上采样时，它产生将以更高速率(或密度，如照片)对信号进行采样而获得的序列的近似值。对脉冲阵列信号的时空上采样出现在现实世界的各种应用中。例如，当我们想要查看dvs记录的结果时，由于用于显示结果的传感器的物理尺寸有限，这些记录通常只有128×128的低分辨率(lowresolution,lr)，但我们经常希望看到相应的放大高分辨率(highresolution,hr)版本。所以需要对这些脉冲阵列信号进行时空上采样。

在传统的计算机视觉中，已经提出了许多上采样算法，如最近邻点插值法、多元回归法、径向基函数法等等，并取得了良好的效果。但几乎所有传统方法都用于处理二维图像，不能直接应用于dvs采集到的脉冲阵列信号。其中一种解决方案是将dvs采集到的脉冲阵列信号转化为一帧帧的图片，再用传统的图片上采样方法，但这种方案会导致dvs相机失去特有的速度快且运动敏感的特性。

技术实现要素：

本公开的一个目的是提供一种脉冲阵列信号时空上采样器生成的新的技术方案。为了对披露的实施例的一些方面有一个基本的理解，下面给出了简单的概括。该概括部分不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围。其唯一目的是用简单的形式呈现一些概念，以此作为后面的详细说明的序言。

根据本发明的一个方面，提供一种脉冲阵列信号时空上采样器生成方法，包括：

根据脉冲阵列信号空域和/或时域上采样需求参数，构建能使脉冲阵列信号由一端传输到另一端的神经网络；

获取训练用输入信号和训练用输出信号；

利用训练用输入信号和训练用输出信号将所述神经网络训练为上采样器；

其中，所述训练用输入信号为原始脉冲阵列信号，所述训练用输出信号为对原始脉冲阵列信号进行空域上采样和/或时域上采样得到的上采样信号；或者，所述训练用输入信号为对原始脉冲阵列信号进行空域下采样和/或时域下采样得到的下采样信号，所述训练用输出信号为原始脉冲阵列信号。

进一步地，所述对原始脉冲阵列信号进行空域上采样，包括但不限于：

脉冲阵列插值方法，根据脉冲阵列信号记录的视觉事件信息，将一段时间间隔内的脉冲阵列信号转换为二维矩阵；上采样所述二维矩阵；将上采样后的二维矩阵重新转为脉冲阵列信号，得到上采样后的脉冲阵列信号；

依据尺度参数选择进行空域上采样，在限定空间分辨率内，依据空域尺度参数增加像素间事件。

进一步地，所述的脉冲阵列插值方法，包括：

脉冲频率累积，在一定时间间隔内将脉冲阵列信号累积为二维矩阵，再对二维矩阵进行空域上采样；

脉冲阵列信号生成，依据二维空间上采样的累积频率，采样点随机过程仿真生成脉冲事件。

进一步地，所述的对二维矩阵进行空域上采样的算法，包括但不仅限于：

双线性内插法，利用待求像素四个相邻像素的灰度在两个方向上作线性内插；

三次内插法，利用三次多项式，求逼近理论上最佳插值函数，待求像素的灰度值由其周围16个灰度值加权内插得到。

进一步地，所述的脉冲阵列信号生成，包括但不仅限于：

将每个像素的事件序列建模为随机点过程，通过非齐次泊松过程来模拟特定速率函数的生成事件。

进一步地，所述的神经网络，包括但不限于：

深度神经网络，为采用点过程网络结构，根据空域或时域上采样需求构建的端到端的深度网络结构；

脉冲神经网络，为根据类脑神经模型和脉冲发放模型构建的网络结构。

进一步地，所述的原始脉冲阵列信号，为时空稀疏异步的点阵，其记录运动事件的信息。

进一步地，所述的对原始脉冲阵列信号进行时域上采样，包括：依据尺度参数选择进行时域上采样，在限定时间间隔内，依据时域尺度参数增加事件。

进一步地，在将所述神经网络训练为上采样器的过程中，神经网络的学习方式包括但不限于：

无监督学习，采用局部无监督学习规则，无需设计损失函数；

有监督学习，设计脉冲阵列信号度量的损失函数。

根据本发明的另一个方面，提供一种脉冲阵列信号时空上采样方法，包括：将待上采样的脉冲阵列信号输入所述的上采样器，依据脉冲阵列信号空域和/或时域上采样需求参数输出上采样脉冲阵列信号。

根据本发明的另一个方面，提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现所述的方法。

根据本发明的另一个方面，提供一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现所述的方法。

本发明实施例提供的技术方案可以包括以下有益效果：

本发明提供的脉冲阵列信号时空上采样器生成方法，利用该上采样器可以进行脉冲阵列信号时空上采样，本发明增加了脉冲阵列的时域采样频率，从而提高了空间分辨率，适用于高速应用需求；增加了脉冲阵列空域采样频率，适用于视觉任务空间分辨率需求，为进行脉冲阵列信号处理与分析等应用任务提供了基础和前提，利用该上采样器进行脉冲阵列信号时空上采样，可以很好地满足高速应用需求和视觉任务空间高分辨率需求。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者，部分特征和优点可以从说明书中推知或毫无疑义地确定，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本公开一实施例提供的一种脉冲阵列信号时空上采样器生成方法的流程图；

图2为本公开另一实施例提供的一种脉冲阵列信号时空上采样器生成方法的流程图；

图3为本公开的实施例提供的一种由动态视觉传感器的脉冲阵列信号转换为2维稀疏点阵示意图；

图4为本公开的实施例提供的一种新增像素点仿造最近邻像素点的时域脉冲阵列信号对比图；

图5为本公开的实施例提供的一种脉冲神经网络构成的上采样器示意图；

图6为本公开另一实施例提供的一种脉冲阵列信号时空上采样器生成方法的流程图；

图7为本公开的实施例提供的一种时域上原始脉冲阵列信号的脉冲阵列信号图；

图8为本公开的实施例提供的一种时域上新增事件后的脉冲阵列信号图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，下面结合附图和具体实施例对本发明做进一步说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)，具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语，应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样被特定定义，否则不会用理想化或过于正式的含义来解释。

为了解决时空脉冲阵列信号的显示问题，本公开的一个实施例提供了一种脉冲阵列信号时空上采样器生成方法，包括：

s1：根据脉冲阵列信号空域和/或时域上采样需求参数，构建能使脉冲阵列信号由一端传输到另一端的神经网络；

s2：获取训练用输入信号和训练用输出信号；

s3：利用训练用输入信号和训练用输出信号将所述神经网络训练为上采样器；

其中，所述训练用输入信号为原始脉冲阵列信号，所述训练用输出信号为对原始脉冲阵列信号进行空域上采样和/或时域上采样得到的上采样信号；或者，所述训练用输入信号为对原始脉冲阵列信号进行空域下采样和/或时域下采样得到的下采样信号，所述训练用输出信号为原始脉冲阵列信号。

所述对原始脉冲阵列信号进行空域上采样，包括但不限于：

脉冲阵列插值方法，根据脉冲阵列信号记录的视觉事件信息，将一段时间间隔内的脉冲阵列信号转换为二维矩阵；上采样所述二维矩阵；将上采样后的二维矩阵重新转为脉冲阵列信号，得到上采样后的脉冲阵列信号；

依据尺度参数选择进行空域上采样，在限定空间分辨率内，依据空域尺度参数增加像素间事件。

所述的脉冲阵列插值方法，包括：

步骤1)脉冲频率累积：在一定时间间隔内将脉冲阵列信号累积为二维矩阵，再对二维矩阵进行空域上采样；

步骤2)脉冲阵列信号生成：依据二维空间上采样的累积频率，采样点随机过程仿真生成脉冲事件。

所述的对二维矩阵进行空域上采样的算法，包括但不仅限于：

双线性内插法，利用待求像素四个相邻像素的灰度在两个方向上作线性内插；

三次内插法，利用三次多项式，求逼近理论上最佳插值函数，待求像素的灰度值由其周围16个灰度值加权内插得到。

所述的脉冲阵列信号生成，包括但不仅限于：将每个像素的事件序列建模为随机点过程，通过非齐次泊松过程来模拟特定速率函数的生成事件。

所述的神经网络，包括但不限于：

深度神经网络，为采用点过程网络结构，根据空域或时域上采样需求构建的端到端的深度网络结构；

脉冲神经网络，为根据类脑神经模型和脉冲发放模型构建的网络结构。

所述的原始脉冲阵列信号，为时空稀疏异步的点阵，其记录运动事件的信息，包括像素点的位置、时间及像素点亮度的明暗变化等。

对原始脉冲阵列信号进行空域上采样和/或时域上采样所采用的信号采样器包括但不限于：

多个常规信号采样器：从局部空间位置采集时域信号，生成时域上的脉冲序列，多个常规信号采样器阵列按空间位置相互关系排列成时空稀疏的点阵；

动态视觉传感器，以差分采样形式记录事件来表示光强的变化；

超高速全时视觉传感器，以积分采样形式发放脉冲表示光强强度。

所述的对原始脉冲阵列信号进行时域上采样，包括：依据尺度参数选择进行时域上采样，在限定时间间隔内，依据时域尺度参数增加事件。

在将所述神经网络训练为上采样器的过程中，神经网络的学习方式包括但不限于：

无监督学习，采用局部无监督学习规则，无需设计损失函数；

有监督学习，设计脉冲阵列信号度量的损失函数。

一种脉冲阵列信号时空上采样方法，包括：将待上采样的脉冲阵列信号输入通过上述方法得到的上采样器，依据脉冲阵列信号空域和/或时域上采样需求参数输出上采样脉冲阵列信号，利用该方法得到的上采样脉冲阵列信号，可以很好地满足高速应用需求和视觉任务空间高分辨率需求。

一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现上述的方法。

一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现上述的方法。

另一实施例提供了一种脉冲阵列信号时空上采样器生成方法，如图2所示，包括如下处理步骤：

步骤1，通过信号采样器从局部空间位置采集时域信号，生成时域脉冲序列；多个信号采样器阵列按空间位置相互关系排列成空时脉冲阵列信号。动态视觉传感器受光强变化场景刺激发放脉冲并记录地址事件，将一段时间间隔内地址事件表示的脉冲数据转换为在空域的二维空间稀疏离散点阵，如图3所示。

步骤2，利用传统的计算机视觉上采样算法，将步骤1得到的二维矩阵上采样为高分辨率的图片，增加原始图像的像素点，即增加地址事件，实现空间上采样。

步骤3，对前一步骤中新增像素点，使用最近邻算法或其他算法，仿造相应点生成事件，如图4所示。

步骤4，根据上采样后图片的地址事件坐标，光强变化信息，以及步骤1中记录的时间信息，生成上采样后的脉冲阵列信号。

步骤5，使用脉冲型神经网络，以原始脉冲阵列信号为输入，上采样二维矩阵得到的脉冲阵列信号为输出，训练神经网络，最终得到训练好的上采样脉冲神经网络模型，即上采样器，如图5所示。

或以下采样脉冲阵列信号作为网络输入，原始脉冲阵列信号作为网络输出，训练神经网络上采样器。

本实施例得到的上采样器，适用于对时空脉冲阵列信号进行空间上采样，利用该上采样器实现的脉冲阵列信号时空上采样方法，包括：向上采样器中输入待上采样的脉冲阵列信号，即可得到上采样后的脉冲阵列信号。

本实施例通过运用传统计算机视觉上采样算法的思路，进行空域脉冲阵列信号的上采样；原始脉冲阵列信号记录了运动事件的坐标、时间、明暗变化信息，根据所记录的信息，将原始脉冲信号转换为二维矩阵，利用传统上采样算法，增加二维矩阵中的像素点，实现空域上采样。

另一实施例提供了一种脉冲阵列信号时空上采样器生成方法，如图6所示，包括如下处理步骤：

步骤1)，通过信号采样器从局部空间位置采集时域信号，生成时域脉冲序列；多个信号采样器阵列按空间位置相互关系排列成空时脉冲阵列信号。动态视觉传感器受光强变化场景刺激发放脉冲并记录地址事件，将一段时间间隔内地址事件表示的脉冲数据转换为在空域的三维空间稀疏离散点阵，如图7所示。

步骤2)，在限定时间间隔内，依据时域尺度参数增加事件。脉冲信号生成，依据三维空间上采样的累积频率，采样点随机过程仿真生成脉冲事件，实现时间上采样，如图8所示。

步骤3)，根据上采样后的地址事件坐标，光强变化信息，步骤1)中记录的时间信息以及新增加的时间信息，生成上采样后的脉冲阵列信号。

步骤4)，使用脉冲型神经网络，以原始脉冲阵列信号为输入，上采样后的脉冲阵列信号为输出，训练神经网络，最终得到训练好的上采样脉冲神经网络模型，即上采样器，如图5所示；

或以下采样脉冲阵列信号作为网络输入，原始脉冲阵列信号作为网络输出，训练神经网络上采样器。

本实施例提出了时域脉冲阵列信号上采样，根据上采样后的二维矩阵，将上采样后的二维矩阵转为脉冲阵列信号，二维矩阵的坐标信息已知，需要增加时间信息，从而实现时域上采样。

本实施例得到的上采样器，适用于对时空脉冲阵列信号进行时间上采样，利用该上采样器实现的脉冲阵列信号时空上采样方法，包括：向上采样器中输入待上采样的脉冲阵列信号，即可得到上采样后的脉冲阵列信号。

一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的方法。

一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现如上述实施例所述的方法。

本公开的实施例使用脉冲型神经网络，以原始脉冲阵列信号为输入，上采样二维矩阵得到的脉冲阵列信号为输出，训练神经网络，最终得到上采样脉冲神经网络模型，即上采样器。向上采样器中输入待上采样的脉冲阵列信号，即可得到上采样后的脉冲阵列信号，而无需将脉冲阵列信号转为一帧一帧图片。

本发明提供了一种脉冲阵列信号时空上采样器生成方法，利用该上采样器可以对脉冲阵列信号进行时空上采样，与传统视频数据不同的是，本发明的脉冲阵列信号是时空稀疏点阵，其上采样包括时域上采样和空域上采样，增加了脉冲阵列的时域采样频率从而提高了空间分辨率，适用于高速应用需求；增加了脉冲阵列空域采样频率，适用于视觉任务空间分辨率需求。

本发明的新颖性和创造性在于：面向时空域稀疏脉冲信号，非结构稀疏点阵数据；不同于传统帧上采样，时空域增加脉冲采样频率。

在本公开的描述中，如果存在“一个实施例”、“一些实施例”、“示例”、“具体示例”或“一些示例”等参考术语，则该类参考术语的描述意指结合该实施例或示例描述的具体特征或者特点包含于本公开的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。此外，本领域的技术人员可以将本说明书中描述的不同实施例或示例进行结合和组合。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

以上所述实施例仅表达了本发明的实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。