一种基于时-空-极性域解耦合的事件相机分类检测方法

本发明属于计算机视觉，具体的说是一种基于时-空-极性域解耦合的事件相机分类检测方法。

背景技术：

1、基于深度学习的特征提取在计算机视觉领域扮演着关键角色，为从视觉相机捕获的帧图像中提取有用信息，并在诸如目标识别、检测等下游任务中发挥作用。虽然目前已有多种精确高效的特征提取方法，其在高质量帧图像上表现出色。然而，在现实世界的应用场景中，仍然存在一些极端挑战，这些挑战对传统相机技术构成了严峻考验。例如，画面可能因剧烈光照变化而产生过曝，在昏暗环境中可能导致细节丧失，拍摄高速运动目标时可能出现动态模糊等问题，这些都可能导致目标识别失败或检测丢失。

2、为了应对这些挑战，引入了一种受生物视觉启发的新型传感器，即动态视觉传感器(dvs)，又称为事件相机。与传统基于帧的相机不同，dvs的工作原理是异步采集像素级的"事件"数据，而不是按固定时钟采集图像帧。当某个像素的光照变化超过阈值时，就会产生一个事件，记录下时间戳、x坐标、y坐标以及光照变化的极性。这些事件数据可以被视为稀疏的时空点云，具有高时间分辨率(超过10,000帧/秒)、较大的动态范围(通常超过120db)和低功耗(少于10毫瓦)等特点。

3、目前，已有一系列用于处理事件数据的特征提取方法，然而，它们多数仍然基于传统帧图像设计，即先将事件数据下采样成图像表征，再从图像中提取空间信息。这种方法过于强调空间域特征，未能充分考虑事件数据的独特属性，如时间和极性。这些事件数据的特殊属性与纹理、边缘等空间特征过于紧密耦合，从而影响了下游任务(如分类、检测)的性能表现。

4、因此，目前迫切需要一种新的方法来更好地利用事件数据的独特优势，并在极端条件下提升特征提取的性能，以进一步改善针对这些复杂场景的计算机视觉应用。

技术实现思路

1、本发明是为了解决上述现有技术存在的不足之处，提出一种基于时-空-极性域解耦合的事件相机分类检测方法，以期能从事件相机采集到的事件流中提取时-空-极性域解耦合的特征，从而能实现高性能的分类检测。

2、本发明为达到上述发明目的，采用如下技术方案：

3、本发明一种基于时-空-极性域解耦合的事件相机分类检测方法的特点在于，包括如下步骤：

4、步骤一、基于事件相机的数据收集和预处理：

5、利用事件相机采集异步的事件流和rgb图像，并将所述事件流按照时间戳划分为单个事件流样本，从而得到m个事件流样本，其中第i个事件流样本记为ei，且其中，xi,j,yi，j，ti，j,pi,j分别表示第i个事件流样本ei中第j个事件的横坐标、纵坐标、记录的时间戳和极性，ni表示第i个事件流样本ei中包含的事件总数，令单个事件流样本的空间范围为h×w，h和w分别为高度和宽度的最大值；

6、根据第i个事件流样本ei中第1个事件的时间戳t0找到时间最相邻的rgb图片，并标注rgb图片中物体的信息并形成规范化标签li，从而形成事件相机训练数据集

7、步骤二、构建事件嵌入模块，用于将异步事件流转换成事件表征：

8、步骤2.1、将第i个事件流样本ei中的时间戳离散化，使其成为在[0，k-1]范围内的整数序列其中，为向下取整操作，k为离散化后的时间区间数，tend为第ni个事件的时间戳；

9、步骤2.2、根据第i个事件流样本ei中的横坐标纵坐标得到第i个事件流样本ei的词符块位置以及第i个事件流样本ei的词符块内各像素的位置其中，mod为取余数操作，p为词符块的边长；

10、步骤2.3、利用式(1)得到第i个事件流样本ei的一维数组ai：

11、

12、式(1)中，pi表示第i个事件流样本ei的极性；

13、步骤2.4、对ai进行频数统计后，再进行矩阵拼接和矩阵重塑操作，得到第i个事件表征

14、步骤2.5、使用分组卷积层和mlp层从第i个事件表征ri中提取特征，得到第i个含有g组时-空-极性特征的事件词符其中，tokeni,k表示ti中维度为g·c的第k个词符，g为依照时间和极性不同而划分的组数，c为每组的通道数，即每组的特征维度；

15、步骤2.6、从所述事件相机训练数据集x中批量选取b个事件流样本并按照步骤2.1-步骤2.5的过程将xe转换为事件词符

16、步骤三、构建层级式分组特征提取网络，并用于对事件词符xt进行基于时-空-极性域解耦合的分组特征提取，得到输出其中，fl，b表示第l个层级的第b个输出；

17、步骤四、构建分类模块和检测模块：

18、步骤4.1、所述分类模块对所述层级式分组特征提取网络中第l个层级的输出进行全局平均池化操作后，再输入全连接层中进行处理，从而得到一批事件流样本xe的规范化预测标签其中，pb，c表示批量选取的b个事件流样本xe中第b个事件流样本eb所对应预测标签为第c种类别的概率，cls为类别总数；

19、步骤4.2、所述检测模块将输出fout送入yolox检测层中进行处理，并输出目标检测结果其中，p′b表示第b个事件流样本eb的目标检测结果，p′b∈rn×(cls+5)，n为目标检测结果中的检测框的数量，且每个检测框包含cls+5个预测值，分别为检测框内的目标是各种类别的率，检测框的中心点横坐标，检测框的中心点纵坐标，检测框的宽度，检测框的长度以及置信度；

20、通过置信度筛选和非极大值抑制对检测结果进行过滤，得到最终的检测结果其中，pdb表示第b个事件流样本eb的预测结果；pdb∈rn-×cls+5，n-为筛选后剩余检测框的数量；

21、步骤五、网络训练：

22、步骤5.1、对于分类任务，利用式(2)构建交叉熵损失lce：

23、

24、式(2)中，pb为第b个事件流样本eb所对应预测标签被正确分类的概率；

25、步骤5.2、对于检测任务，利用式(3)构建总损失函数l：

26、l＝a·lconf+b·lcls+c·lreg    (3)

27、式(3)中，lreg表示回归损失，并由式(4)得到，lconf表示置信度损失，并通过pb取pdb中的置信度来计算，lcls表示类别损失，并通过pb取pdb中检测框内目标被正确分类的概率来计算，a、b、c为三种损失的权重；

28、lreg＝-log(iou(pdbox,gt))    (4)

29、式(3)中，pdbox为检测结果pd中的检测框的中心点横坐标，检测框的中心点纵坐标，检测框的宽度，检测框的长度；gt为规范化标签中对应检测框的中心点横坐标，检测框的中心点纵坐标，检测框的宽度，检测框的长度；iou(·)指计算两组框的交并比；

30、步骤5.3、使用梯度下降法对所述事件嵌入模块、层级式分组特征提取网络、分类模块和检测模块进行训练，并计算损失函数以更新网络参数，直到损失达到收敛为止，从而得到训练好的分类检测模型，用于对事件流样本进行分类检测。

31、本发明所述的一种基于时-空-极性域解耦合的事件相机分类检测方法的特点也在于，所述步骤三的层级式分组特征提取网络中的第1个层级包含一个双残差事件自注意力模块，其余每个层级均包含一个分组特征聚合模块和一个双残差事件自注意力模块；

32、所述双残差事件自注意力模块依次由分窗操作层、空间自注意力层、分组自注意力层、合并操作层、特征融合层组成；

33、步骤3.1.1、当l＝1时，第l个层级中的分窗操作层对事件词符xt进行分窗后，得到第l个层级分窗后的事件词符其中，s为窗的边长，tl，w表示第l个层级第w个窗内的事件词符，且tokenl，w，m表示第l个层级第w个窗的事件词符tl，w中的第m个词符；

34、步骤3.1.2、当l＝1时，第l个层级中的空间自注意力层对tokenl，w，m在窗内的相对空间位置进行编码，得到第l个层级每个窗的第m个相对位置偏置bpl，m∈[-s+1，s-1]，从而得到第l个层级的总相对位置偏置

35、将总相对位置偏置bpl与第w个窗内的事件词符tl，w相加后，再进行自注意力操作，得到第l个层级的空间特征其中，wfsl，w表示第l个层级第w个窗的事件词符tl，w提取到的空间特征，且wfsl，w，m表示第l个层级第w个窗的事件词符tl，w提取到的第m个空间特征；

36、步骤3.1.3、当l＝1时，第l个层级中的分组自注意力层将第l个层级的空间特征fsl进行转置，得到转置后的空间特征其中，wfstl，w表示第l个层级第w个窗转置后的空间特征，且wfstl，w，n表示第l个层级第w个窗转置后的第n个空间特征中；

37、第l个层级中的分组自注意力层对wfstl，w，n在窗内的相对组别、通道关系进行编码，得到第l个层级每个窗的第n个相对组偏置bgl，n∈[-g+1，g-1]，从而得到第l个层级的总相对组偏置

38、将总相对位置偏置bgl与第w个窗转置后的空间特征wfstl，w相加后，再进行自注意力操作和转置操作，得到第l个层级的分组特征其中，wfgl，w表示第l个层级第w个窗转置后的空间特征wfstl，w提取到的分组特征，且其中，wfgl，w，n表示第l个层级第w个窗转置后的空间特征wfstl，w提取到的第n个分组特征；

39、步骤3.1.4、当l＝1时，第l个层级中的合并操作层将空间特征fsl和分组特征fgl分别合并，得到第l个层级的空间词符和分组词符其中，stl，b表示第l个层级的第b个的空间词符，且stl，b，k表示第l个层级的第b个空间词符中的第k个词符，gtb表示第l个层级的第b个分组词符，且gtl，b，k表示第l个层级的第b个分组词符中的第k个词符；

40、步骤3.1.5、当l＝1时，第l个层级中的特征融合层通过双残差连接、mlp层、正则化层将第l个层级的空间词符xstl和分组词符xgtl进行融合，得到第l个层级的时-空-极性域词符其中，sgtl，b表示第l个层级的第b个时-空-极性域词符，并记为第l个层级的第b个输出fl，b，且sgtl，b，k表示第l个层级第b个时-空-极性域词符中的第k个词符；

41、步骤3.1.6、当l＝2时，第l个层级中的分组特征聚合模块将第l-1个层级的时-空-极性域词符xsgtl-1经过重叠组卷积层和正则化层的处理后，得到第l个层级的聚合词符其中，atl，b表示第l个层级的第b个聚合词符，且atl，b，k表示第l个层级的第b个聚合词符中的第k个词符，atl，b，k的维度为atl，b，k的组数为

42、第l个层级的聚合词符xatl输入第l个层级的双残差事件自注意力模块中，并按照步骤3.1.1-步骤3.1.5的过程，得到第l个层级的聚合时-空-极性域词符其中，vtl，b表示第l个层级的第b个聚合时-空-极性域词符，并记为第l个层级的第b个输出fl，b；

43、步骤3.1.7、当l∈[3，l]时，第l-1层的聚合时-空-极性域词符xvtl-1输入第l个层级的分组特征聚合模块进行处理后，再经过第l个层级的双残差事件自注意力模块，从而得到第l个层级的聚合时-空-极性域词符其中，vtl，b表示第l个层级的第b个聚合时-空-极性域词符，并记为第l个层级的第b个输出fl，b；并构成所述层级式分组特征提取网络的输出其中，fl，b的组数为

44、本发明一种电子设备，包括存储器以及处理器的特点在于，所述存储器用于存储支持处理器执行所述事件相机分类检测方法的程序，所述处理器被配置为用于执行所述存储器中存储的程序。

45、本发明一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序的特点在于，所述计算机程序被处理器运行时执行所述事件相机分类检测方法的步骤。

46、与现有技术相比，本发明的有益效果在于：

47、1、本发明采用了基于时-空-极性域解耦合的事件相机特征提取方法，与现有技术相比，显著提高了在极端条件下的特征提取性能。传统的帧图像特征提取方法在光照变化大、昏暗环境和高速运动目标等复杂场景中容易失效，而本发明所提供的方法利用事件相机的独特数据源，有效解决了这些问题。因此，本发明在特征提取方面具有显著的技术优势，可以应对现实世界中的各种挑战。

48、2、通过事件嵌入模块，本发明能够充分保留事件数据的信息，并实现了高效的信息解耦合。这一特性有助于提高了特征的稳定性和鲁棒性，从而在目标识别和检测等下游任务中提供更加可靠的性能。

49、3、本发明引入了双残差事件自注意力模块，有效提取了时-空-极性域特征。相对于传统的空间自注意力方法，这一模块更好地捕获了事件数据的时间和极性信息，进一步提高了特征的表现力。

50、4、本发明分组特征聚合模块有助于在整个网络中实现高效、可靠的时空信息聚合，从而进一步增强了性能。这一模块的设计充分考虑了事件相机数据的特殊属性，使得特征在各种复杂场景下都能够保持高效。

51、5、本发明所提供的分类检测网络依靠事件嵌入模块、层级式分组特征提取网络、分类模块和检测模块，具有较低的参数量、计算复杂度和快速的运行速度，使其易于部署和应用于各种事件相机应用。这使得本发明的方法在实际应用中具有更大的实用性和经济效益。