一种时空脉冲阵列的运动估计方法与流程

本发明涉及信息编码技术领域，尤其涉及一种对时空脉冲阵列的运动估计方法。

背景技术：

近年来，时空脉冲阵列信号数据在计算神经科学、计算机视觉、社交媒体、地球大气科学及交通运输等领域无处不在，并以海量数据的形式涌现。

时空脉冲阵列信号是以时空点过程模型描述的稀疏时空点阵，具有抽象性，离散性和层次性。时空点过程的抽象性是不同时间尺度和空间尺度上抽象的离散点事件集合，例如，神经脉冲、点云、社交媒体用户点、地震事件点和交通事件点等；脉冲阵列信号的离散性是在时域和空域分布不连续的稀疏点阵；时域层次性是脉冲序列的时刻与信号频率强度可挖掘时域事件信息，空域层次性是空间位置的相关性与信号频率强度可分析事件层次关系。如何对日益增长的脉冲阵列信号数据进行编码及压缩，是时空脉冲阵列信号进行传输、存储与分析等应用的前提。

脉冲阵列信号在时域和空域存在冗余，可以用运动矢量和残差来解码脉冲阵列信号，而且运动矢量和残差的比特开销比原始脉冲信号要少的多，即通过运动估计能降低脉冲阵列在时空域的冗余度，大大提高压缩编码效率。实际上，运动估计是脉冲阵列压缩处理技术中的一个重要组成部分。立方体匹配算法具有算法简单，便于硬件实现，因此，编码立方体被采用为运动估计的匹配单元。为了达到最佳的运动估计效果，在运动搜索的全局区域寻找最佳匹配立方体具有较大的计算复杂度，占用了几乎一半以上的编码时间。同时，在局部区域快速搜索并没有遍历所有的搜索区域，用搜索模板对某些可能点进行比较和匹配，该选取方法能找到较优的参考立方体，提升运动搜索的速度，但也存在因不能完全遍历搜索区域导致遗漏最佳匹配的缺点，容易陷于局部最佳匹配立方体，在一定程度上影响脉冲阵列信号的编码质量。

因此，如何在脉冲阵列信号中快速有效地估计运动信息，即获取运动矢量，直接影响编码器的性能，包括编码质量和编码速度。同时，开发一种时空脉冲阵列的运动估计方法是亟待解决的问题。

技术实现要素：

本发明的目的是通过以下技术方案实现的。

本发明提供了一种时空脉冲阵列的运动估计方法，可有效地获取高精度的运动矢量，同时加速了运动估计搜索过程，以解决时空脉冲阵列编码信号中运动估计的编码性能局限及时间耗时长的问题。

根据本发明的一个方面，提供了一种时空脉冲阵列的运动估计方法，包括：

将所述时空脉冲阵列划分成编码立方体；

依据当前编码立方体的特征信息，确定时域和空域的搜索范围及搜索起始点；

将所述时空脉冲阵列内的所有脉冲信号在空间平面投影，再进行距离度量和匹配分析；

通过当前编码立方体与参考立方体的匹配阈值判断是否提前终止，若小于阈值则提前终止所述搜索，否则继续搜索直至超出搜索范围；

筛选最佳参考立方体；

输出时空脉冲阵列的运动估计编码信息。

优选的，采用时域和空域的划分技术，将所述时空脉冲阵列信号划分成编码立方体。

优选的，所述时域和空域的搜索范围，包括：

时域搜索范围，依据当前编码立方体的信号强度、脉冲分布及运动特性来确定时间长度上的搜索范围；

空域搜索范围，依据时空脉冲阵列的空间相关性、脉冲分布及运动特性来确定空间位置的搜索范围。

优选的，依据相邻的已编码立方体的运动矢量信息来初始化所述搜索起始点。

优选的，所述空间平面投影包括：

x-t平面，即水平轴-时间轴的投影平面，构成多个脉冲序列；

y-t平面，即纵轴-时间轴的投影平面，构成多个脉冲序列；

x-y平面，即水平轴-纵轴的投影平面，构成脉冲频率统计直方图。

更优选的，所述距离度量和匹配分析，包括：

采用所述空间平面投影，将空间距离度量映射为平面距离度量，计算脉冲序列和统计直方图的距离；

所述匹配分析采用设定阈值的方式，衡量当前编码立方体与参考立方体是否满足最佳匹配。

更优选的，所述筛选最佳参考立方体，包括：

如果达到匹配阈值，则停止搜索并输出当前编码立方体的运动估计编码信息；

如果超出搜索范围，则停止搜索并在所遍历的搜索区域中筛选出最小匹配阈值的立方体，输出其运动估计编码信息。

更优选的，所述时间长度上的搜索范围的搜索步长具有连续性。

优选的，所述距离度量包括：

采用线性核函数、非线性核函数，将脉冲序列变换为多维空间的连续函数，利用函数之间的范数距离表征脉冲序列的相关性度量；

或采用学习度量的方法，利用监督学习或非监督学习来寻找不同脉冲序列之间的相关关系。

更优选的，所述空间平面投影时对极性的处理方法，包括：使用均值、频率最高者、加权均值中的至少一种对脉冲极性赋值。

根据本发明的又一个方面，还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上所述的时空脉冲阵列的运动估计方法。

根据本发明的又一个方面，还提供了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现如上所述的时空脉冲阵列的运动估计方法。

本发明的优点在于：本发明首先依据当前编码立方体特征信息，确定时域和空域的搜索范围及搜索起始点；针对时空异步的脉冲阵列信号进行了投影匹配，可有效地减小了立方体匹配的计算复杂度；然后通过当前编码立方体与参考立方体的匹配阈值判断是否提前终止，若小于阈值则立即采用提前终止搜索技术，否则继续至超出搜索范围，并筛选出最佳参考立方体；最后输出脉冲阵列的运动估计的编码信息。本发明可准确地获取高精度的运动矢量，有效减小了脉冲信号的冗余度，提高压缩率，同时加速了运动估计搜索过程。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。

在附图中：

图1为本发明实施例提供的一种时空脉冲阵列的运动估计方法处理流程图；

图2为本发明实施例提供的脉冲阵列信号图；

图3为本发明实时例提供的时空脉冲阵列信号的编码单元划分图；

图4为本发明实施例提供的编码立方体的运动估计图；

图5为本发明实施例提供的脉冲阵列投影平面的度量图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的任一单元和全部组合。

本技术领域技术人员可以理解，除非另外定义，这里使用的所有术语(包括技术术语和科学术语)具有与本发明所属领域中的普通技术人员的一般理解相同的意义。还应该理解的是，诸如通用字典中定义的那些术语应该被理解为具有与现有技术的上下文中的意义一致的意义，并且除非像这里一样定义，不会用理想化或过于正式的含义来解释。

为便于对本发明实施例的理解，下面将结合附图以一个具体实施例为例做进一步的解释说明，且实施例并不构成对本发明实施例的限定。

时空脉冲阵列信号是以时空点过程模型描述的稀疏时空点阵，具有抽象性，离散性和层次性。脉冲阵列信号在时域和空域存在冗余，可以用运动矢量和残差来解码脉冲阵列信号，而且运动矢量和残差的比特开销比原始脉冲信号要少的多，即通过运动估计能降低脉冲阵列在时空域的冗余度，大大提高压缩编码效率。实际上，运动估计是脉冲阵列压缩处理技术中的一个重要组成部分。立方体匹配算法具有算法简单，便于硬件实现等优点。因此，编码立方体被采用为运动估计的匹配单元。为了达到最佳的运动估计效果，在运动搜索的全局区域寻找最佳匹配立方体具有较大的计算复杂度，占用了几乎一半以上的编码时间。同时，在局部区域快速搜索并没有遍历所有的搜索区域，用搜索模板对某些可能点进行比较和匹配，该选取方法能找到较优的参考立方体，提升运动搜索的速度，但也存在因不能完全遍历搜索区域导致遗漏最佳匹配的缺点，容易陷于局部最佳匹配立方体，在一定程度上影响脉冲阵列信号的编码质量。

因此，如何在脉冲阵列信号中快速有效地估计运动信息，即获取运动矢量，直接影响编码器的性能，包括编码质量和编码速度。同时，开发一种时空脉冲阵列的运动估计方法是亟待解决的问题。

本发明提供了一种时空脉冲阵列的运动估计方法，涉及脉冲阵列信号编码领域。本发明的新颖性、创新性在于：面向脉冲阵列信号；运动估计搜素范围具有时空连续性，可选择最佳搜索范围；具有较小计算复杂度。如何对日益增长的脉冲阵列信号数据进行编码及压缩，是时空脉冲阵列信号进行传输、存储与分析等应用的前提。

根据本发明的一个方面，提供了一种时空脉冲阵列的运动估计方法，包括：

s1、将所述时空脉冲阵列划分成编码立方体；优选的，采用时域和空域的划分技术，将所述时空脉冲阵列信号划分成编码立方体。

s2、依据当前编码立方体的特征信息，确定时域和空域的搜索范围及搜索起始点；时域搜索范围，依据当前编码立方体的信号强度、脉冲分布及运动特性来确定时间长度上的搜索范围，所述时间长度上的搜索范围的搜索步长具有连续性。空域搜索范围，依据时空脉冲阵列的空间相关性、脉冲分布及运动特性来确定空间位置的搜索范围。依据相邻的已编码立方体的运动矢量信息来初始化所述搜索起始点。

s3、将所述时空脉冲阵列内的所有脉冲信号在空间平面投影，再进行距离度量和匹配分析。

所述空间平面投影包括：

x-t平面，即水平轴-时间轴的投影平面，构成多个脉冲序列；

y-t平面，即纵轴-时间轴的投影平面，构成多个脉冲序列；

x-y平面，即水平轴-纵轴的投影平面，构成脉冲频率统计直方图。更优选的，所述空间平面投影时对极性的处理方法，包括：使用均值、频率最高者、加权均值中的至少一种对脉冲极性赋值。

所述距离度量和匹配分析，包括：采用所述空间平面投影，将空间距离度量映射为平面距离度量，计算脉冲序列和统计直方图的距离；所述匹配分析采用设定阈值的方式，衡量当前编码立方体与参考立方体是否满足最佳匹配。

所述距离度量包括：采用线性核函数、非线性核函数，将脉冲序列变换为多维空间的连续函数，利用函数之间的范数距离表征脉冲序列的相关性度量；或采用学习度量的方法，利用监督学习或非监督学习来寻找不同脉冲序列之间的相关关系。

s4、通过当前编码立方体与参考立方体的匹配阈值判断是否提前终止，若小于阈值则提前终止所述搜索，否则继续搜索直至超出搜索范围；

s5、筛选最佳参考立方体；如果达到匹配阈值，则停止搜索并输出当前编码立方体的运动估计编码信息；如果超出搜索范围，则停止搜索并在所遍历的搜索区域中筛选出最小匹配阈值的立方体，输出其运动估计编码信息。

s6、输出时空脉冲阵列的运动估计编码信息。

根据本发明的再一个方面，还提供了一种时空脉冲阵列的运动估计方法，包括：如上所述的编码方法，和如上所述的解码方法。

根据本发明的又一个方面，还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上所述的时空脉冲阵列的运动估计方法。

根据本发明的又一个方面，还提供了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以实现如上所述的时空脉冲阵列的运动估计方法。

实施例

人类在视觉传感器上取得了重大的进步，在实际复杂的任务上而远不及生物视觉系统。传统帧率视觉传感器可采集到高清晰的图像，但数据采集存在较大冗余、感光动态范围小、固定帧率的时域分辨率低、在高速运动模糊等缺点。生物视觉系统具有高清晰、低功耗、鲁棒性强等优势，同时能高效地进行光学信号处理、感知复杂场景和物体三维信息，理解和识别场景。动态视觉传感器(dynamicvisionsensor,dvs)是模仿神经元脉冲发放和视网膜外周细胞对亮度变化敏感机理的视觉传感器，发放的神经脉冲信号是以时空稀疏脉冲阵列信号描述，相对传统固定帧率相机具有高时间分辨率、高动态范围、低功耗等优势，在无人驾驶视觉传感器、无人机视觉传感器和机器人视觉导航定位等领域有着巨大市场应用潜力。如何对日益增长的脉冲阵列信号数据进行编码及压缩，是时空脉冲阵列信号进行传输、存储与分析等应用的前提。

为了从根本上解决解决时空脉冲阵列编码信号中运动估计的编码性能局限及时间耗时长的问题，本实施例提供了一种对时空脉冲阵列的运动估计的方法，流程图如图1所示，包括如下步骤：

步骤1，动态视觉传感器按空间位置相互关系排列并输出空时脉冲阵列信号，如图2所示。脉冲信号是受光强变化场景刺激发放脉冲并记录地址事件，将地址事件表示的脉冲数据转换为在时域和空域的三维空间稀疏离散点阵。

步骤2，根据编码需求，如图3所示，首先将空时稀疏的离散点划分成编码树立方体，再将编码树立方体进行时空域八叉树划分成编码立方体，将编码立方体作为基本的编码单元。

步骤3，依据当前编码立方体的特征信息，确定空域和时域的搜索范围和搜索的起始点，如图4所示。

步骤4，将当前编码立方体与匹配立方体采用投影匹配度量，即将空时脉冲信号分别在x-t平面、y-t面和x-y平面进行投影，投影在相同位置的脉冲，极性采用最大频数赋值，如图5所示。将脉冲信号的空间距离映射为平面脉冲序列和统计直方图的距离，脉冲序列的距离度量采用带有极性独立的高斯核方法，统计直方图的距离度量采用欧式距离，从而可将时空脉冲匹配复杂度o(n³)降低为脉冲序列匹配复杂度o(n²)。

步骤5，依据当前编码立方体与匹配立方体匹配程度，若小于阈值则立即采用提前终止搜索技术，即停止搜索，输出当前立方体的运动矢量信息；否则继续至超出步骤3所设定的搜索范围。

步骤6，将超出步骤3设定的搜索范围中，筛选出最小匹配失真所对应的立方体，将其作为最佳匹配立方体输出运动矢量信息，如图4中所示。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。