基于互补神经形态视觉的光流场计算系统

本发明涉及计算机视觉，尤其涉及一种基于互补神经形态视觉的光流场计算系统。

背景技术：

1、光流场是空间中物体运动的运动场在图像平面上的对应体现，它可用来对空间中的真实运动场做近似估计，而且适用于相机运动的情况。光流场不仅携带了物体的运动信息，还携带了有关景物三维结构的信息。通过光流场计算能够在不知道场景信息的情况下检测出运动对象。因此光流场计算在模式识别、计算机视觉以及其他图像处理领域具有极其重要的基础地位。

2、主要的光流算法包括基于梯度的算法，典型的有lk光流法、hs光流法、基于匹配的算法、基于能量、相位以及神经动力学的算法。但是现有技术在算法上受到动态物体、视差和不一致性带来的估计误差的影响，在传感器层面，传统光流相机也需要较强的光照条件，对几何形状、光强变化和表面反射率十分敏感。因此，现有技术存在适用性受限、稳定性差、易受干扰和计算复杂的问题。

技术实现思路

1、本发明提供一种基于互补神经形态视觉的光流场计算系统，用以解决现有技术中适用性受限、稳定性差、易受干扰和计算复杂的缺陷，本发明应用于机器人控制、自动驾驶、工业监控等领域具有较好的适用性、稳定性及抗干扰性，运算数据由互补神经形态视觉传感器直接提供，无需额外数据预处理，降低了运算的复杂度。

2、本发明提供一种基于互补神经形态视觉的光流场计算系统，包括：互补神经形态视觉传感器，用于输出时间差分数据和空间差分数据；优化目标计算单元，用于根据所述时间差分数据和所述空间差分数据确定光流场计算的优化目标；所述时间差分数据和所述空间差分数据经预设数据变换算法处理；光流场解计算单元，用于根据所述优化目标计算多尺度的光流场解。

3、根据本发明提供的一种基于互补神经形态视觉的光流场计算系统，所述多尺度的光流场解为图像金字塔实现的多分辨率图像的稠密或稀疏光流场解。

4、根据本发明提供的一种基于互补神经形态视觉的光流场计算系统，所述预设数据变换算法为全等变换算法、几何变换算法、线性组合算法、神经网络编码算法和数据压缩算法中的一种或多种的组合。

5、根据本发明提供的一种基于互补神经形态视觉的光流场计算系统，还包括：降噪单元，用于对这种时间差分数据和所述空间差分数据进行相关性降噪。

6、根据本发明提供的一种基于互补神经形态视觉的光流场计算系统，还包括：下采样单元，用于对这种时间差分数据和所述空间差分数据进行下采样处理。

7、根据本发明提供的一种基于互补神经形态视觉的光流场计算系统，所述优化目标计算单元具体用于根据所述时间差分数据和所述空间差分数据进行映射坐标计算，并设置局部约束的正则化项，得到所述光流场计算的优化目标。

8、根据本发明提供的一种基于互补神经形态视觉的光流场计算系统，所述光流场解计算单元具体用于根据所述优化目标进行微分计算，并根据预设多尺度的光流场解的迭代次数迭代计算所述多尺度的光流场解。

9、根据本发明提供的一种基于互补神经形态视觉的光流场计算系统，还包括：校验单元，用于根据所述多尺度的光流场解对光流场的迭代函数进行校验；第一执行单元，用于在所述迭代函数通过校验的情况下，将所述多尺度的光流场解作为最终的光流场解；第二执行单元，用于在所述迭代函数未通过校验的情况下，更新所述多尺度的光流场解，并将更新后的所述多尺度的光流场解发送至所述优化目标计算单元。

10、根据本发明提供的一种基于互补神经形态视觉的光流场计算系统，所述校验单元具体用于根据所述多尺度的光流场解确定所述迭代函数；在所述迭代函数小于预设阈值且循环参数小于0的情况下，所述迭代函数终止；所述迭代函数为两次迭代之间同一个位置上光流矢量的误差或距离。

11、根据本发明提供的一种基于互补神经形态视觉的光流场计算系统，所述第二执行单元具体用于在所述迭代函数未通过校验的情况下，通过对所述多尺度的光流场解进行上采样，作为下一尺度的光流场解的初值，并将所述下一尺度的光流场解的初值发送至所述优化目标计算单元。

12、本发明提供的一种基于互补神经形态视觉的光流场计算系统，包括互补神经形态视觉传感器、优化目标计算单元和光流场解计算单元。其中，互补神经形态视觉传感器输出时间差分数据和空间差分数据；优化目标计算单元根据时间差分数据和空间差分数据确定光流场计算的优化目标；时间差分数据和空间差分数据经预设数据变换算法处理；光流场解计算单元根据优化目标计算多尺度的光流场解。该系统应用于机器人控制、自动驾驶、工业监控等领域具有较好的适用性、稳定性及抗干扰性，运算数据由互补神经形态视觉传感器直接提供，无需额外数据预处理，降低了运算的复杂度。

技术特征：

1.一种基于互补神经形态视觉的光流场计算系统，其特征在于，包括：

2.根据权利要求1所述的基于互补神经形态视觉的光流场计算系统，其特征在于，所述多尺度的光流场解为图像金字塔实现的多分辨率图像的稠密或稀疏光流场解。

3.根据权利要求1所述的基于互补神经形态视觉的光流场计算系统，其特征在于，所述预设数据变换算法为全等变换算法、几何变换算法、线性组合算法、神经网络编码算法和数据压缩算法中的一种或多种的组合。

4.根据权利要求1所述的基于互补神经形态视觉的光流场计算系统，其特征在于，还包括：

5.根据权利要求1所述的基于互补神经形态视觉的光流场计算系统，其特征在于，还包括：

6.根据权利要求1所述的基于互补神经形态视觉的光流场计算系统，其特征在于，所述优化目标计算单元具体用于根据所述时间差分数据和所述空间差分数据进行映射坐标计算，并设置局部约束的正则化项，得到所述光流场计算的优化目标。

7.根据权利要求1所述的基于互补神经形态视觉的光流场计算系统，其特征在于，所述光流场解计算单元具体用于根据所述优化目标进行微分计算，并根据预设多尺度的光流场解的迭代次数迭代计算所述多尺度的光流场解。

8.根据权利要求1至7任一项所述的基于互补神经形态视觉的光流场计算系统，其特征在于，还包括：

9.根据权利要求8所述的基于互补神经形态视觉的光流场计算系统，其特征在于，所述校验单元具体用于根据所述多尺度的光流场解确定所述迭代函数；

10.根据权利要求8所述的基于互补神经形态视觉的光流场计算系统，其特征在于，所述第二执行单元具体用于在所述迭代函数未通过校验的情况下，通过对所述多尺度的光流场解进行上采样，作为下一尺度的光流场解的初值，并将所述下一尺度的光流场解的初值发送至所述优化目标计算单元。

技术总结
本发明提供一种基于互补神经形态视觉的光流场计算系统，包括互补神经形态视觉传感器、优化目标计算单元和光流场解计算单元。其中，互补神经形态视觉传感器输出时间差分数据和空间差分数据；优化目标计算单元根据时间差分数据和空间差分数据确定光流场计算的优化目标；时间差分数据和空间差分数据经预设数据变换算法处理；光流场解计算单元根据优化目标计算多尺度的光流场解。该系统应用于机器人控制、自动驾驶、工业监控等领域具有较好的适用性、稳定性及抗干扰性，运算数据由互补神经形态视觉传感器直接提供，无需额外数据预处理，降低了运算的复杂度。

技术研发人员：赵蓉,林逸晗,王韬毅,曾辉,陈雨过,施路平
受保护的技术使用者：清华大学
技术研发日：
技术公布日：2024/4/24