一种快速移动目标的识别追踪方法及系统与流程

1.本发明涉及人工智能领域，特别地，涉及一种快速移动目标的识别追踪方法及系统。


背景技术：

2.事件相机作为一种新型的仿生传感器，具有低时延、高动态等特点，使得事件相机在快速移动目标追踪中有一定的优势。然而，由于当前传感器技术的制约，事件相机虽然有着较高的时间分辨率，但事件空间分辨率较小，而且其数据缺乏纹理特征，这些因素制约了事件相机在快速移动目标追踪的应用。当前，事件相机主要由atis,davis,dvs三种传感器形式，主要由三星、索尼公司的生产相关的事件相机传感器。对于传统的相机而言，虽然没有较高时间分辨率，在面对快速移动的物体，会产生严重的运动模糊，但其传感器较为成熟，就有较高的空间分辨率，可以提取到有效的纹理特征，对于事件相机的数据有个很好的互补。
3.现有技术中存在的主要问题是：在快速移动目标的追踪和识别中，因为目标的移动速度较快，且在移动过程中受到光线、目标自身形变、背景变换等因素影响，导致在利用传统相机对目标进行追踪时，导致追踪失败。
4.解决以上问题及缺陷的难度为：快速移动目标的追踪一直以来就是计算机视觉行业应用的固有挑战，利用单纯的依靠传统相机采集并处理数据，会因为严重的运动模糊导致追踪失败，无法通过单纯的算法优化进行提升，具有较高的解决难度。
5.解决以上问题及缺陷的意义为：通过采用事件相机和传统相机结合的方式有效的解决快速移动目标追踪的行业难题，相较于高速相机的方法本发明方法更加高效、低功耗、低成本，其方法和系统可以广泛应用于无人机、自动驾驶和航空航天等领域，具有很高的应用和实用价值。


技术实现要素：

6.本发明提供了一种快速移动目标的识别追踪方法及系统，利用事件相机和传统相机数据进行融合，可以将两种相机数据的优势进行融合，实现对快速移动目标的有效追踪，提高移动目标的追踪效果。
7.本发明的技术方案如下：
8.根据本发明的一个方面提供了一种快速移动目标的识别追踪方法，包括以下步骤：s1.获取帧数据和事件数据：分别设置传统相机和事件相机去采集帧数据和事件数据；s2.将事件数据转换成事件帧：将异步的事件数据通过动态重建的方法将离散的数据流转换成事件帧的形式；s3.判断事件帧数据是否是初始帧：如果是初始帧则进入步骤s4，如果不是初始帧的则进入步骤s6；s4.识别目标：对传统相机采集的数据进行目标识别，识别后的目标框输出给步骤s5；s5.初始化追踪框：利用目标识别的结果对需要追踪的目标进行初始化，当识别的目标和预设定的目标一致时，利用识别的结果对追踪框进行初始化，进入步
骤s7；s6.提取搜素图像特征：利用图像搜素提取网络对搜素图像帧进行特征提取，并将提取到的搜素图像特征输出给步骤s10；s7.提取目标图像特征：利用图像目标提取网络对目标图像帧进行特征提取，并从事件图像中抠出事件目标图像，将事件目标图像输入给步骤s9；s8.提取搜素事件特征：利用事件搜素提取网络对搜素事件帧进行特征提取，并将提取到的搜素事件特征输出给步骤s10；s9.提取目标事件特征：利用事件目标提取网络对目标事件帧进行特征提取，并将提取到的目标事件特征输出给步骤s11；s10.搜素特征融合：对提取到的图像特征和搜素事件特征进行融合，并将融合后的搜素特征输入到步骤s11中；s11.目标特征融合：对提取到的目标图像特征和目标事件特征进行融合，并将融合后的目标特征输入到步骤s12中；s12.计算对比损失函数：通过计算融合后的搜素特征和融合后的目标特征之间的损失函数值，获取到最高概率的追踪后续目标；s13.结果输出：从步骤s12中提取最高概率的候选结果作为将快速移动的目标追踪的结果进行输出，输出为当前帧的追踪结果，并重复追踪步骤。
9.可选地，在上述快速移动目标的识别追踪方法中，在步骤s1中，传统相机采集像素的绝对值，而事件相机只采集像素的相对变换值。
10.可选地，在上述快速移动目标的识别追踪方法中，其中，步骤s11和s12中的事件特征和图像特征的融合方法为：采用权重学习的方法进行特征融合，在不同场景中为特征融合分配不同的权重，当检测追踪的目标速度较快的时候，为事件数据分配较大的权重，当检测追踪的目标速度较慢的时候，为图像数据分配较大的权重，权重的调节与目标的运动速度成正相关，总的权重比例相加等于一。
11.可选地，在上述快速移动目标的识别追踪方法中，在步骤s12中，事件数据的动态重建包括：通过利用结构相似性来评估相邻帧的运动情况，当目标运动较快时候，截取较短时间段的事件数据来进行重建，当目标运动较慢时，截取较长时间的事件数据进行重建，得到清晰的事件图数据。
12.可选地，在上述快速移动目标的识别追踪方法中，事件目标提取网络和事件搜素网络采用事件数据集进行训练，图像目标提取网络和图像搜素提取网络采用图像数据集进行训练，分别对四组网络提取特征后，然后可以进行融合，针对图像目标提取网络进行目标识别训练，训练好的网络用于进行目标识别。
13.根据本发明的另一个方面一种快速移动目标的识别追踪系统，包括：传统相机和事件相机，分别用于采集帧数据和事件数据，传统相机采集像素的绝对值，而事件相机只采集像素的相对变换值；图像目标提取网络，进行目标识别训练，以及对目标图像帧进行特征提取；事件目标提取网络，用于对目标事件帧进行特征提取；图像搜素提取网络，用于对搜素图像帧进行特征提取；事件搜素提取网络，用于对搜素事件帧进行特征提取；以及特征融合网络，用于将传统相机的图像特征和事件相机数据特征进行特征融合。
14.根据本发明的技术方案，产生的有益效果是:
15.本发明提出了一种利用事件相机和传统相机融合的快速移动目标识别追踪方法及系统，可以有效地利用传统相机和事件相机的优势进行互补，将两种模态的数据进行融合，提升了传统方法在目标快速和高速移动中的追踪性能，解决了传统方法在快速运动追踪算法面临的运动模糊，光照变换等一系列挑战。
16.为了更好地理解和说明本发明的构思、工作原理和发明效果，下面结合附图，通过
具体实施例，对本发明进行详细说明如下：
附图说明
17.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍。
18.图1是本发明的快速移动目标的识别追踪方法的流程图；
19.图2是本发明方法涉及的网络框架图；
20.图3是传统相机采集的帧数据和事件相机采集的事件数据，传统相机采集像素的绝对值，而事件相机只采集像素的相对变换值。
具体实施方式
21.为使本发明的目的、技术方法及优点更加清晰，下面结合附图及具体实例，对本发明做进一步的详细说明。这些实例仅仅是说明性的，而并非对本发明的限制。
22.本发明提供一个有效的融合事件相机和传统相机的快速移动目标的识别追踪方法，充分发挥这两种传感器的数据优势，利用传统相机采集的数据的特征和事件相机采集的数据特征相互结合，完成对快速移动物体，尤其是超高速运动的目标，进行有效的识别和追踪定位。
23.本发明方法的工作原理是：依照不同识别和追踪目标的运动和速度不同，实现对事件数据的动态重建，可以根据不同场景调节事件数据的时空域，利用传统相机数据对需要追踪的目标进行目标识别，再通过让两种模态的数据进行特征融合后，利用孪生网络实现对快速移动目标的追踪。
24.如图1和图2所示，本发明的快速移动目标的识别追踪方法，包括以下步骤：
25.s1.获取帧数据和事件数据：分别设置传统相机和事件相机去采集帧数据和事件数据。
26.图3为传统相机采集的帧数据和事件相机采集的事件数据，传统相机采集像素的绝对值，而事件相机只采集像素的相对变换值。
27.s2.将事件数据转换成事件帧：将异步的事件数据通过动态重建的方法将离散的数据流转换成事件帧的形式，以便于后续处理。
28.由于事件相机输出的是高速异步的事件流，无法用传统的卷积网络进行处理，所以本发明利用动态重建的方法将异步的事件数据转换为类似于图像的方式。
29.其中，事件数据的动态重建包括：通过利用ssim(结构相似性)来评估相邻帧的运动情况，当目标运动较快时候，截取较短时间段的事件数据来进行重建，当目标运动较慢时，截取较长时间的事件数据进行重建，这样就可以保证无论在什么运动状态下，都可以重建到清晰的事件图数据。
30.s3.判断该事件帧数据和传统帧数据是否是初始帧：如果是初始帧则进入步骤s4，如果不是初始帧的则进入步骤s6。
31.s4.识别目标：对传统相机采集的数据进行目标识别，识别后的目标框输出给步骤s5。
32.本发明利用孪生网络进行特征提取，提取特征后可以进行后续的识别和追踪，分
为参考分支和测试分支，孪生网络总共有四个分支网络提取特征，这四个分支分别是图像目标提取网络(图2中的网络1)、事件目标提取网络(图2中的网络2)、图像搜素提取网络(图2中的网络3)以及事件搜素提取网络(图2中的网络4)，其中事件目标提取网络和事件搜素网络采用事件数据集进行训练，图像目标提取网络和图像搜素提取网络采用图像数据集进行训练，分别对四组网络提取特征后，然后可以进行融合，此外针对图像目标提取网络进行目标识别训练，训练好的网络可以进行目标识别。
33.s5.初始化追踪框：利用目标识别的结果对需要追踪的目标进行初始化，当识别的目标和预设定的目标一致时，利用识别的结果对追踪框进行初始化，即将目标的中心点坐标(x,y)和宽高(w,h)输入到追踪网络进入步骤s7。
34.s6.提取搜素图像特征：将新来的数据进行搜索图的特征提取。利用上述图像搜素提取网络对搜素图像帧(即图2中的图像帧搜索)进行特征提取，并将提取到的搜素图像特征输出给步骤s10。
35.s7.提取目标图像特征：利用上述图像目标提取网络对目标图像帧(即图2中的图像帧目标)进行特征提取，并从事件图像中抠出事件目标图像，将事件目标图像输入给步骤s9。
36.s8.提取搜素事件特征：利用事件搜素提取网络对搜素事件帧(即图2中的事件帧搜索)进行特征提取，并将提取到的搜素事件特征输出给步骤s10。
37.s9.提取目标事件特征：利用事件目标提取网络对目标事件帧(即图2中的事件帧目标)进行特征提取，并将提取到的目标事件特征输出给步骤s11。
38.s10.搜素特征融合：对提取到的搜素图像特征和搜素事件特征进行融合，并将融合后的搜素特征输入到步骤s11中。
39.s11.目标特征融合：对提取到的目标图像特征和目标事件特征进行融合，并将融合后的目标特征输入到步骤s12中。
40.其中，步骤s11和s12中的事件特征和图像特征的融合方法为：采用权重学习的方法进行特征融合，在不同场景中为特征融合分配不同的权重，当检测追踪的目标速度较快的时候，为事件数据分配较大的权重，当检测追踪的目标速度较慢的时候，为图像数据分配较大的权重，权重的调节与目标的运动速度成正相关，总的权重比例相加等于一。
41.s12.计算对比损失函数：通过计算融合后的搜素特征和融合后的目标特征之间的损失函数值，获取到最高概率的追踪后续目标。
42.s13.结果输出：从步骤s12中提取最高概率的候选结果作为将快速移动的目标追踪的结果进行输出，输出为当前帧的追踪结果，并重复追踪步骤。
43.本发明的快速移动目标的识别追踪系统，包括：
44.传统相机和事件相机，分别用于采集帧数据和事件数据，传统相机采集像素的绝对值，而事件相机只采集像素的相对变换值；
45.图像目标提取网络，进行目标识别训练，以及对目标图像帧(即图2中的图像帧目标)进行特征提取；
46.事件目标提取网络，用于对目标事件帧(即图2中的事件帧目标)进行特征提取；
47.图像搜素提取网络，用于对搜素图像帧(即图2中的图像帧搜索)进行特征提取；
48.事件搜素提取网络，用于对搜素事件帧(即图2中的事件帧搜索)进行特征提取；以
及
49.特征融合网络，用于将传统相机的图像特征和事件相机数据特征进行特征融合。
50.本发明采用的方案和其他方法优势对比的结果图下表1，说明本发明能以较低的功耗、重量，实现优于高速相机的数据采集及追踪方法：
51.表1
[0052][0053][0054]
本发明的快速移动目标的识别追踪方法及系统，利用事件相机和传统相机融合的识别追踪，主要采用事件相机和传统相机采集的数据进行特征融合来进行快速移动目标进行追踪的方法，是一种利用两种不同类型传感器对移动目标进行追踪和识别的新型技术。具体地，利用两种类型的数据进行快速移动目标追踪的方法，一种数据类型是传统相机的帧数据，另一种数据类型是新型传感器提取的事件帧数据，通过事件数据的动态重建，特征提取网络对特征进行提取，以及特征融合这三种主要技术手段，从而实现对事件数据进行动态重建后，与传统的相机数据进行的特征融合，实现对快速移动目标的有效追踪。
[0055]
以上说明是依据发明的构思和工作原理的最佳实施例。上述实施例不应理解为对本权利要求保护范围的限制，依照本发明构思的其他实施方式和实现方式的组合均属于本发明的保护范围。