用于事件流降噪算法评估的数据集生成方法与流程

本发明涉及动态传感器数据生成，特别涉及一种用于事件流降噪算法评估的数据集生成方法。

背景技术：

1、动态视觉传感器(dynamic vision sensor，dvs)借鉴了高等生物视觉系统，其像素结构模仿了由视锥、on与off型双极细胞和on与off型神经节细胞组成的一条视觉通路，可以独立感受光强变化并产生输出。dvs像素阵列由一个个独立感光像素组成，每一个像素都在独立判断自身是否被激发，若被激发则产生一个on事件或off事件，未激发则不产生任何输出。

2、随着人工智能技术和传感器技术的不断发展，传感器产生的海量数据与人工智能算力以及功耗之间的矛盾越来越突出，基于仿生视觉原理事件驱动的动态视觉传感器利用其独特的工作机制可以在源头减少数据的产生，从而解决这一矛盾问题。然而随着阵列的扩大以及像素面积及功耗的降低，像素内的噪声问题以及像素间的失配问题变的不可忽视。该问题将导致传感器产生大量的背景噪声事件，从而造成额外的功耗，也对传感器输出数据的处理与识别带来更大的困难。因此，需要对动态视觉传感器阵列的输出进行有效的降噪。对事件流降噪算法的效果评估需要用到带有“信号”与“噪声”标签的事件脉冲数据集，标签质量的好坏直接影响到算法评估结果的可信度，然而如何获得带有高质量标签的脉冲数据集一直是一个难题。

3、现有技术中脉冲数据集的生成方法主要有：(1)使用非常复杂的算法(记作算法a)对dvs摄像头拍摄的事件流进行降噪，并根据降噪的结果给各个事件加上“信号”或者“噪声”的标签。然而使用该方法的生成事件脉冲数据集对降噪算法进行评估会导致与算法a更接近的降噪算法获得更高的评分，这显然与降噪算法效果评估的初衷相违背；(2)使用合成数据集来评估事件流降噪算法。由于动态视觉传感器在光照条件极好的情况下产生的噪声脉冲数量较低，因此首先在光照条件极好的条件下拍摄运动物体获得事件脉冲序列x，并对其进行降噪处理后获得信号脉冲序列x′。同时通过噪声建模的方法或者在某一低光照条件下拍摄没有运动物体的画面从而获得噪声序列y,并融合脉冲序列x′与噪声序列y从而获得带有“信号”与“噪声”标签的合成数据集z。然而通过实验发现不同光照条件下事件传感器拍摄的事件脉冲序列是完全不同的。图2(a)至图2(c)分别为正常光照、低光照、极低光照条件下使用prophesee evk4事件相机拍摄得到的事件累积成的事件帧，从中可以看出：正常光照条件下拍摄的事件帧中可以看到手掌清晰的边缘轮廓与明显的衣袖的细节；在低光照条件下拍摄的事件帧中只能看到手掌模糊的边缘轮廓却看不清衣袖细节；在极低光照条件下拍摄的事件帧中只能大致看出手掌的形状，表明了不同光照条件下信号脉冲的时空分布是不同的，因此合成数据集z无法真实地评估事件流降噪算法在低光照条件下的降噪效果。

4、现有技术中对事件流降噪的主要评估方法有，申请号：cn115375581a公开了一种基于事件时空同步的动态视觉事件流降噪效果评价方法，包括如下步骤：1、读取动态视觉传感器输出的事件流，并获取动态视觉传感器的位姿信息；2、使用事件流结合位姿信息进行三维重建，将不同时刻触发的事件时空同步到参考时刻，得到置信地图；3、将置信地图转换为事件概率图，表示理想情况下动态视觉传感器对场景的响应概率；4、基于事件流和事件概率地图的一致性，计算事件流的合理性；5、通过计算降噪算法对事件流合理性的提升，得到降噪的精度指标，用于评价和对比不同算法的降噪效果。该技术方案虽然实现了对事件流降噪效果评价，但是不适用于不同光照条件。

5、综上所述，如何在不同光照条件下生成带有高质量标签的脉冲数据集，进而对事件流降噪算法的效果进行精准评估，是动态传感器数据生成技术领域亟待解决的问题之一。

技术实现思路

1、本发明旨在至少一定程度上解决上述技术中的技术问题。为此，本发明的目的在于提供一种用于事件流降噪算法评估的数据集生成方法，通过计算事件的多序列空间相关性数值，进而确定判定阈值，根据多序列空间相关性数值和判定阈值确定事件的标签，进而生成脉冲数据集，从而实现了在不同光照条件下生成带有高质量标签的脉冲数据集，进而对事件流降噪算法的效果进行精准评估的技术效果。

2、本发明提供一种用于事件流降噪算法评估的数据集生成方法，包括：

3、利用视频采集设备采集预设光照条件下的视频数据；

4、对视频数据进行预设操作，得到若干个子脉冲序列；其中，每个子脉冲序列包含若干个事件；

5、选择若干个子脉冲序列中的任一子脉冲序列，获取子脉冲序列中所有事件对应的多序列空间相关性数值；

6、根据多序列空间相关性数值对子脉冲序列中所有事件进行分类统计，得到子脉冲序列对应的多序列空间相关性-事件数量图；

7、根据多序列空间相关性-事件数量图确定子脉冲序列对应的脉冲数据集的判定阈值；

8、根据判定阈值和子脉冲序列中所有事件的多序列空间相关性数值，生成子脉冲序列对应的脉冲数据集；

9、对每个子脉冲序列进行以上操作，得到每个子脉冲序列对应的脉冲数据集；

10、根据每个子脉冲序列对应的脉冲数据集生成用于事件流降噪算法评估的目标脉冲数据集。

11、优选的，用于事件流降噪算法评估的数据集生成方法，视频采集设备为propheseeevk4事件相机。

12、优选的，用于事件流降噪算法评估的数据集生成方法利用视频采集设备采集预设光照条件下的视频数据，包括：

13、在预设光照条件下，将被摄物体固定在周期旋转的圆盘或电动滑轨上，确定被摄物体在同一时间进行同一运动过程，利用视频采集设备对被摄物体的运动过程进行重复录制，得到视频数据。

14、优选的，用于事件流降噪算法评估的数据集生成方法，对视频数据进行预设操作，得到若干个子脉冲序列，包括：

15、对视频数据进行剪辑操作，得到视频内容完全一致的若干个子视频，将若干个子视频作为若干个子脉冲序列，每个子视频对应一个子脉冲序列。

16、优选的，用于事件流降噪算法评估的数据集生成方法，获取子脉冲序列中所有事件对应的多序列空间相关性数值，包括：

17、根据子脉冲序列构建显示阵列；

18、选择子脉冲序列中序列中的任一事件，作为目标事件，获取目标事件在显示阵列中的坐标；

19、根据视频数据，通过预设极性函数确定目标事件的极性；

20、根据视频数据，通过预设第一判断函数确定若干个子脉冲序列中与目标事件对应的关联事件的相邻坐标处是否有事件生成，得到若干个第一判断结果；

21、通过预设第二判断函数确定若干个子脉冲序列的关联事件的相邻坐标处生成的事件的极性是否与目标事件的极性相同，得到若干个第二判断结果；

22、设定3×3大小的卷积核，并确定卷积核权值；

23、根据若干个子脉冲序列的个数、预设第一判断函数、预设第二判断函数以及卷积核，确定多序列空间相关性数值运算公式；

24、将若干个第一判断结果、若干个第二判断结果和卷积核权重带入运算公式，得到目标事件对应的多序列空间相关性数值；

25、对子脉冲序列中所有事件进行以上处理过程，得到子脉冲序列中所有事件对应的多序列空间相关性数值。

26、优选的，用于事件流降噪算法评估的数据集生成方法，根据若干个子脉冲序列的个数、预设第一判断函数、预设第二判断函数以及卷积核，确定多序列空间相关性数值运算公式，多序列空间相关性数值运算公式为：

27、

28、其中，ψn表示目标事件的多序列空间相关性数值；n表示若干个子脉冲序列的个数；m表示是若干个子脉冲序列中第m个子脉冲序列；(x0,y0)表示目标事件的坐标；i的取值为-1,0和1；j的取值为-1,0和1；表示目标事件的极性；函数k(m,x0+i,y0+j)为预设第一判断函数，用于判断第m个子脉冲序列中坐标为(x0+i,y0+j)处是否有事件生成，得到第一判断结果；函数为预设第二判断函数，用于表示第m个子脉冲序列中坐标为(x0+i,y0+j)处所产生事件的极性是否与相同，得到第二判断结果，其中，表示第m个子脉冲序列中坐标为(x0+i,y0+j)处所产生事件的极性；ωi,j表示卷积核的权重。

29、优选的，用于事件流降噪算法评估的数据集生成方法，根据多序列空间相关性数值对子脉冲序列中所有事件进行分类统计，得到子脉冲序列对应的多序列空间相关性-事件数量图，包括：

30、将子脉冲序列中所有事件按照多序列空间相关性数值进行分类，多序列空间相关性数值相同的事件分为一类，并对分类后的每类事件进行数量统计，得到事件统计结果；

31、以多序列空间相关性数值为横轴，事件统计结果为纵轴，得到子脉冲序列对应的多序列空间相关性-事件数量图。

32、优选的，用于事件流降噪算法评估的数据集生成方法，根据多序列空间相关性-事件数量图确定子脉冲序列对应的脉冲数据集的判定阈值，包括：

33、根据多序列空间相关性-事件数量图确定多个测试阈值；

34、在多个测试阈值中任意选取一个测试阈值，作为当前测试阈值，根据当前测试阈值，确定子脉冲序列中每个事件的标签；其中，标签包括信号标签和噪声标签；

35、利用3d绘图软件绘制当前测试阈值下子脉冲序列中信号事件与噪声事件的时空分布图；其中，信号事件为具有信号标签的事件，噪声事件为具有噪声标签的事件；

36、观察时空分布图中信号事件的运动痕迹清晰度，以及噪声事件的运动痕迹清晰度；

37、在确定信号事件的运动痕迹清晰度高于第一预设清晰度且噪声事件的运动痕迹清晰度低于第二预设清晰度时，将当前测试阈值作为子脉冲序列对应的脉冲数据集的判定阈值；其中，第一预设清晰度高于第二预设清晰度。

38、优选的，用于事件流降噪算法评估的数据集生成方法，根据判定阈值和子脉冲序列中所有事件的多序列空间相关性数值，生成子脉冲序列对应的脉冲数据集，包括：

39、将子脉冲序列中每一事件的多序列空间相关性数值和判定阈值进行比较；

40、当事件的多序列空间相关性数值小于判定阈值时，确定事件的标签为噪声；当事件的多序列空间相关性数值不小于判定阈值时，确定事件的标签为信号；

41、将带有噪声标签和信号标签的所有事件，作为子脉冲序列生成的对应的脉冲数据集。

42、优选的，用于事件流降噪算法评估的数据集生成方法，根据多序列空间相关性-事件数量图确定多个测试阈值，包括：

43、根据多序列空间相关性-事件数量图计算得到事件数量的均值；

44、当均值为整数时，将均值作为第一事件数量，将第一事件数量加预设数值得到第二事件数量，将第一事件数量减预设数值得到第三事件数量；获取第一事件数量、第二事件数量和第三事件数量对应的多序列空间相关性数值，得到第一测试阈值集；

45、当均值为非整数时，对均值向上取整得到取整均值，将取整均值作为第一事件数量，将第一事件数量加预设数值得到第二事件数量，将第一事件数量减预设数值得到第三事件数量；获取第一事件数量、第二事件数量和第三事件数量对应的多序列空间相关性数值，得到第一测试阈值集；

46、将多序列空间相关性-事件数量图的最低点对应的事件数量作为第四事件数量，将第四事件数量加预设数值得到第五事件数量，获取第四事件数量和第五事件数量对应的多序列空间相关性数值，得到第二测试阈值集；

47、将多序列空间相关性-事件数量图的最高点对应的事件数量作为第六事件数量，将第六事件数量减预设数值得到第七事件数量，获取第六事件数量和第七事件数量对应的多序列空间相关性数值，得到第三测试阈值集；

48、将第一测试阈值集、第二测试阈值集和第三测试阈值集的并集中的阈值作为多个测试阈值。

49、本发明提供一种用于事件流降噪算法评估的数据集生成方法，通过利用视频采集设备采集预设光照条件下的视频数据；对视频数据进行预设操作，得到若干个子脉冲序列；选择若干个子脉冲序列中的任一子脉冲序列，获取子脉冲序列中所有事件对应的多序列空间相关性数值；根据多序列空间相关性数值对子脉冲序列中所有事件进行分类统计，得到子脉冲序列对应的多序列空间相关性-事件数量图；根据多序列空间相关性-事件数量图确定子脉冲序列对应的脉冲数据集的判定阈值；根据判定阈值和子脉冲序列中所有事件的多序列空间相关性数值，生成子脉冲序列对应的脉冲数据集；对每个子脉冲序列进行以上操作，得到每个子脉冲序列对应的脉冲数据集；根据每个子脉冲序列对应的脉冲数据集生成用于事件流降噪算法评估的目标脉冲数据集。从而实现了在不同光照条件下生成带有高质量标签的脉冲数据集，进而对事件流降噪算法的效果进行精准评估的技术效果。

50、本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

51、下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。