一种事件流的处理方法、装置、终端设备和存储介质与流程

本申请涉及环境感知，尤其涉及一种事件流的处理方法、装置、终端设备和存储介质。

背景技术：

1、近年来，事件相机由于具有高动态范围、高时间解析度和无运动模糊等优点，能够实现对环境的快速感知，故被广泛应用于机器人、工业检测和自动驾驶等领域。在利用事件相机实现环境感知时，通常会使用卷积神经网络对事件相机采集到的事件流数据进行推理，从而得到环境感知结果。然而，目前的卷积神经网络存在对事件流数据的推理效率较低的问题，网络推理速度无法匹配事件相机的环境感知速度。

技术实现思路

1、有鉴于此，本申请实施例提供了一种事件流的处理方法、装置、终端设备和存储介质，能够提高卷积神经网络对事件流数据的推理效率。

2、本申请实施例的第一方面提供了一种事件流的处理方法，包括：

3、获取待处理的事件流数据；

4、根据事件流数据在时间维度上的相关性，将事件流数据包含的事件划分为目标事件和非目标事件；

5、将事件流数据包含的非目标事件去除。

6、本申请实施例在获取到待处理的事件流数据之后，会根据事件流数据在时间维度上的相关性，将事件流数据包含的事件划分为目标事件和非目标事件，然后将事件流数据包含的非目标事件去除。通过这样设置，处理后的事件流数据只包含目标事件，卷积神经网络只需针对目标事件进行推理即可，也即减少了针对非目标事件的推理工作量，从而能够提高卷积神经网络对事件流数据的推理效率。

7、在本申请实施例的一种实现方式中，根据事件流数据在时间维度上的相关性，将事件流数据包含的事件划分为目标事件和非目标事件，包括：

8、根据事件流数据在时间维度上的相关性，对事件流数据包含的事件进行分类，得到事件流数据包含的各个事件的类别；

9、根据事件流数据包含的各个事件的类别，将事件流数据包含的事件划分为目标事件和非目标事件。

10、在本申请实施例的一种实现方式中，根据事件流数据在时间维度上的相关性，对事件流数据包含的事件进行分类，包括：

11、将事件流数据划分为多个时间窗口的数据；

12、根据事件流数据在时间维度上的相关性，计算当前时间窗口的数据包含的所有事件的先验分布概率，以及计算当前时间窗口的数据包含的所有事件的分类的似然函数；其中，当前时间窗口的数据为多个时间窗口的数据之一；

13、根据先验分布概率和似然函数，计算得到当前时间窗口的数据包含的所有事件的分类的边缘似然分布；

14、根据边缘似然分布，计算得到当前时间窗口的数据包含的所有事件的分类概率。

15、在本申请实施例的一种实现方式中，计算当前时间窗口的数据包含的所有事件的先验分布概率，包括：

16、获取与当前时间窗口的数据相邻的前一个时间窗口的数据包含的所有事件的分类概率；

17、根据前一个时间窗口的数据包含的所有事件的分类概率，计算当前时间窗口的数据包含的所有事件的先验分布概率。

18、在本申请实施例的一种实现方式中，计算当前时间窗口的数据包含的所有事件的分类的似然函数，包括：

19、根据预设的运动补偿模型，对当前时间窗口的数据包含的每个事件点的坐标进行运动补偿，得到当前时间窗口的数据包含的每个事件点经过运动补偿后的坐标；

20、根据预设的概率分布函数和当前时间窗口的数据包含的每个事件点经过运动补偿后的坐标，确定当前时间窗口的数据包含的所有事件的分类的似然函数。

21、在本申请实施例的一种实现方式中，根据边缘似然分布，计算得到当前时间窗口的数据包含的所有事件的分类概率，包括：

22、在最大化边缘似然分布的条件下，通过固定当前时间窗口的数据包含的所有事件的分类概率，对运动补偿模型的系数进行更新；

23、在最大化边缘似然分布的条件下，通过固定更新后的运动补偿模型的系数，计算得到当前时间窗口的数据包含的所有事件的分类概率。

24、在本申请实施例的一种实现方式中，在将事件流数据包含的非目标事件去除之后，还包括：

25、将去除非目标事件之后的事件流数据，输入至已训练的基于子流行稀疏卷积算子的卷积神经网络进行针对目标事件的推理，得到环境感知结果。

26、本申请实施例的第二方面提供了一种事件流的处理装置，包括：

27、事件流获取模块，用于获取待处理的事件流数据；

28、事件分类模块，用于根据事件流数据在时间维度上的相关性，将事件流数据包含的事件划分为目标事件和非目标事件；

29、事件去除模块，用于将事件流数据包含的非目标事件去除。

30、本申请实施例的第三方面提供了一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本申请实施例的第一方面提供的事件流的处理方法。

31、本申请实施例的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如本申请实施例的第一方面提供的事件流的处理方法。

32、本申请实施例的第五方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行如本申请实施例的第一方面提供的事件流的处理方法。

33、可以理解的是，上述第二方面至第五方面的有益效果可以参见上述第一方面中的相关描述，在此不再赘述。

技术特征：

1.一种事件流的处理方法，其特征在于，包括：

2.如权利要求1所述的方法，其特征在于，所述根据所述事件流数据在时间维度上的相关性，将所述事件流数据包含的事件划分为目标事件和非目标事件，包括：

3.如权利要求2所述的方法，其特征在于，所述根据所述事件流数据在时间维度上的相关性，对所述事件流数据包含的事件进行分类，包括：

4.如权利要求3所述的方法，其特征在于，所述计算当前时间窗口的数据包含的所有事件的先验分布概率，包括：

5.如权利要求3所述的方法，其特征在于，所述计算所述当前时间窗口的数据包含的所有事件的分类的似然函数，包括：

6.如权利要求5所述的方法，其特征在于，所述根据所述边缘似然分布，计算得到所述当前时间窗口的数据包含的所有事件的分类概率，包括：

7.如权利要求1至6任一项所述的方法，其特征在于，在所述将所述事件流数据包含的所述非目标事件去除之后，还包括：

8.一种事件流的处理装置，其特征在于，包括：

9.一种终端设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的事件流的处理方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的事件流的处理方法。

技术总结
本申请涉及环境感知技术领域，提出一种事件流的处理方法、装置、终端设备和存储介质。该方法包括：获取待处理的事件流数据；根据事件流数据在时间维度上的相关性，将事件流数据包含的事件划分为目标事件和非目标事件；将事件流数据包含的非目标事件去除。通过这样设置，处理后的事件流数据只包含目标事件，卷积神经网络只需针对目标事件进行推理即可，也即减少了针对非目标事件的推理工作量，从而能够提高卷积神经网络对事件流数据的推理效率。

技术研发人员：吴国辉,于洋,张伟哲,罗琳耀
受保护的技术使用者：未来介质（深圳）科技有限公司
技术研发日：
技术公布日：2024/2/1