基于多尺度点云特征融合的运动小目标事件流分割方法

本发明涉及动态视觉传感器数据处理领域，特别涉及一种基于多尺度点云特征融合的运动小目标事件流分割方法。

背景技术：

1、动态视觉传感器是一种模拟生物视觉工作机理的新型光学传感器。传统视觉采集方式以固定频率采集的“图像帧”为基础，而动态视觉传感器所有像素自主异步工作，仅光强发生变化的像素才输出，其它像素保持静默。从源头上实现了低冗余、低延时、高动态，但输出的数据为稀疏、离散、随机的事件流，传统基于图像帧的目标检测方法难以直接采用。

2、动态视觉传感器的事件流可建模为事件点云，由若干事件点组成，每个事件点都是时空三维的。在事件流上的目标检测可以视为对事件点云的分割，根据事件点之间的时空相关性和显著性，将属于目标的事件点分割出来。现有的目标分割方法是针对有形态通用目标的，利用点云的纹理、颜色、形状等信息实现三维点云中的目标分割。在远距离光学监视等系统中，目标尺度一般较小，仅有数个像素。此类小目标，在动态视觉传感器的事件点云中，既不存在固定的形状，也不具备颜色信息，依赖先验信息、手工设计特征的传统方法难以较好的分割。

技术实现思路

1、有鉴于此，本发明的目的在于提供基于多尺度点云特征融合的运动小目标事件流分割方法，解决了现有技术中动态视觉传感器的时间点云分割效果差的技术问题。

2、为解决上述技术问题，本发明提供了基于多尺度点云特征融合的运动小目标事件流分割方法，包括：

3、获取动态视觉传感器输出的事件流数据，按预设时间间隔将所述事件流数据切分成若干个事件点云；

4、选取任意一个所述事件点云进行最远点采样，形成3类尺度不同的第一子事件点云，利用多层感知机对所述第一子事件点云进行特征学习后，进行多尺度特征拼接，形成第一局部特征；

5、采用点云自注意力机制对所述第一局部特征进行时空特征强化，形成第二局部特征；

6、对所述第二局部特征进行基于融合权重的下采样，形成2类尺度不同的第二子事件点云，所述第二子事件点云在所述多层感知机中完成特征学习后，进行所述多尺度特征拼接，获得第三局部特征；

7、对所述第三局部特征进行一体化特征学习，形成全局特征；

8、根据所述全局特征、所述第三局部特征、所述第二局部特征和所述事件点云进行连续插值上采样后，通过跳跃链接获得多层混合特征，并且对所述多层混合特征进行最大池化操作，获得最终一维可信度，对所述最终一维可信度进行逐点分割获得目标事件点。

9、可选的，所述选取任意一个所述事件点云进行最远点采样，形成3类尺度不同的第一子事件点云，包括：

10、选取任意一个所述事件点云进行所述最远点采样，形成若干个32尺度、64尺度和128尺度的所述第一子事件点云。

11、可选的，所述采用点云自注意力机制对所述第一局部特征进行时空特征强化，形成第二局部特征，包括：

12、通过点云神经网络训练获得wq、wk、wv三个权重矩阵，通过公式q＝dloc1×wq、k＝dloc1×wk、v＝dloc1×wv，获得自注意力矩阵q，k和v，并通过计算得到所述第二局部特征；其中，dloc1是所述第一局部特征，softmax是归一化指数函数，c2是所述点云神经网络训练中隐藏层的维度。

13、可选的，所述对所述第二局部特征进行基于融合权重的下采样，形成2类尺度不同的第二子事件点云，包括：

14、对所述第二局部特征进行所述基于融合权重的下采样形成包括64尺度和128尺度的所述第二子事件点云。

15、可选的，所述对所述第二局部特征进行所述基于融合权重的下采样，包括：

16、对所述第二局部特征进行基于欧式距离与特征距离之和的下采样，采样度量采用的是距离度量和特征度量的融合度量，所述融合度量的计算公式为：

17、对所述第二局部特征进行基于欧式距离与特征距离之和的下采样，采样度量采用的是距离度量和特征度量的融合度量，所述融合度量的计算公式为：e(za，zb)＝λld(za，zb)+lf(za，zb)，其中za为当前选定点云，zb是待采样点云，ld(za，zb)代表两点云间的距离度量，lf(za，zb)代表两点云间的特征度量，λ为加权系数，取1。

18、可选的，所述根据所述全局特征和所述第一局部特征、所述第二局部特征和所述第三局部特征进行连续插值上采样后，通过跳跃链接获得多层混合特征，并且通过最大池化操作，获得最终一维可信度，最后通过对所述最终一维可信度进行逐点分割获得目标事件点，包括：

19、对所述全局特征进行点云上采样后，使所述全局特征的点数目与所述第三局部特征的点数目相同，并将二者进行所述跳跃链接，调用所述多层感知机学习，获得第一混合特征；

20、所述第一混合特征进行所述点云上采样后，使所述第一混合特征的点数目与所述第二局部特征的点数目相同，并将二者进行所述跳跃链接，调用所述多层感知机学习，获得第二混合特征；

21、所述第二混合特征进行所述点云上采样后，使所述第二混合特征点数目与所述事件点云点的数目相同，并将二者进行所述跳跃链接，调用所述多层感知机学习，获得第三混合特征。

22、所述第三混合特征进行所述最大池化操作得到所述事件点云的所述最终一维可信度；

23、对所述最终一维可信度进行逐点分割获得所述目标事件点。

24、本发明还提供了一种基于多尺度点云特征融合的运动小目标事件流分割设备，包括：

25、存储器，用于存储计算机程序；

26、处理器，用于执行所述计算机程序时实现上述的基于多尺度点云特征融合的运动小目标事件流分割方法的步骤。

27、本发明还提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于多尺度点云特征融合的运动小目标事件流分割方法的步骤。

28、本发明通过获取动态视觉传感器输出的事件流数据，按预设时间间隔将所述事件流数据切分成若干个事件点云；选取任意一个所述事件点云进行最远点采样，形成3类尺度不同的第一子事件点云，利用多层感知机对所述第一子事件点云进行特征学习后，进行多尺度特征拼接，形成第一局部特征；采用点云自注意力机制对所述第一局部特征进行时空特征强化，形成第二局部特征；对所述第二局部特征进行基于融合权重的下采样，形成2类尺度不同的第二子事件点云，所述第二子事件点云在所述多层感知机中完成特征学习后，进行所述多尺度特征拼接，获得第三局部特征；对所述第三局部特征进行一体化特征学习，形成全局特征；根据所述全局特征、所述第三局部特征、所述第二局部特征和所述事件点云进行连续插值上采样后，通过跳跃链接获得多层混合特征，并且对所述多层混合特征进行最大池化操作，获得最终一维可信度，对所述最终一维可信度进行逐点分割获得目标事件点。

29、可见，与现有技术依赖先验信息相比，第一，本发明不依赖人工设计的纹理、形状、颜色等特征，相比于已有方法，更加适合小目标处理，实现了动态视觉传感器中不依赖先验信息的运动小目标高可靠分割。第二，本发明采用多尺度特征、多层次特征融合学习方法，建立事件点云深度神经网络，深层次挖掘事件点之间的局部和全局多维时空特征，可有效降低传感器噪声、背景杂波等干扰。第三，本发明适应于运动平台下的自动目标分割，不需要配准预处理，事件点云网络自动学习运动平台下目标与背景的运动差异，简化了处理流程。