一种基于事件相机的高动态目标检测方法与流程

本发明属于计算机视觉技术领域，尤其涉及一种基于事件相机的高动态目标检测方法。

背景技术：

目标检测是一种在图像中找出目标的位置和大小的计算机视觉技术。该技术可以应用于人工智能系统、车辆辅助驾驶系统、目标行为分析、智能视频监控等领域。

事件相机与普通相机不同，它是生物启发的视觉传感器，输出像素级亮度的变化。事件相机相当于以每秒数千帧的速度运行的传统视觉传感器，但是数据量要少得多。事件相机整体功率低、数据存储量小、计算性能要求低，并且动态范围相比普通相机增加了几个数量级。这种相机不易受到运动模糊的影响，能够在高速运动期间提供可靠的视觉信息。

当前的高动态运动目标检测方法主要使用的是普通相机。这些方法容易受到光照的影响，当光强很弱时，难以检测出运动目标。此外，当背景十分复杂或者是运动目标移动速度很快出现图像模糊的时候检测效果也会差很多。

技术实现要素：

为了解决现有运动目标检测方法容易受到外界光照的影响容易受到复杂背景环境的影响以及容易受到运动模糊的影响，本发明提出一种基于事件相机的高动态目标检测方法，本发明的具体技术方案如下：

一种基于事件相机的高动态目标检测方法，其特征在于，包括以下步骤：

s1：从事件相机得到事件流数据，并将事件流转化为事件图像；

s2：调整事件图像的大小，将其转化为统一的分辨率；

s3：将事件图像放入卷积神经网络中，得到多个预测框；

s4：通过非极大值抑制得到置信度较高的检测结果。

进一步地，所述步骤s1包括以下步骤：

s11：从事件相机获取事件流数据；

事件相机的数据表示方式为地址事件表达，每一个数据都是由事件的地址即事件在图像上的位置、事件的时间戳以及事件的极性组成；

s12：生成事件图像；

从事件相机获取事件流数据后，累积一个固定时间间隔△t内的事件，生成事件图像，事件图像的定义为

其中，aeframe为事件图像，tstart为起始时刻，tend为终止时刻，tev为当前时刻，aexy为触发的事件，时间间隔△t＝tend-tstart＝10ms；

s13：去除噪声；

设定一个阈值n，对于一张事件图像，如果一个事件周围的事件数量小于阈值n，则这个事件被当作噪点去除掉，对每个事件都采取此方法处理，则形成去除噪声后的事件图像。

进一步地，所述步骤s2将得到的事件图像转化为分辨率为416*416的图像。

进一步地，所述步骤s3的卷积神经网络为tinyyolo，所述步骤s3包括以下步骤：

s31：通过卷积层和池化层提取13*13和26*26的特征图；

s32：对特征图进行预测，得到目标的x，y，w，h，confidence，其中，坐标(x，y)代表了边框的中心与网格单元边界的相对值，w和h是边框的宽和高，confidence是预测边界框和真实边界框的iou，其中，iou指交并比，即交集与并集的比值。

进一步地，所述步骤s4首先从所述步骤s3得到的预测框中找出置信度最大的预测框，然后计算其与剩余的预测框的iou，如果其值大于0.4，则将该框剔除；然后对剩余的预测框重复上述过程，直到处理完所有的预测框。

本发明的有益效果在于：

1.本发明通过将事件相机和深度学习相结合，提高高动态目标检测的对抗光照干扰以及复杂背景环境干扰的能力。

2.与现有技术相比，本发明的方法数据量小，事件相机数据量比传统相机要小很多，所需存储空间比普通相机少；低功耗，事件相机功耗很低，而且选用的神经网络模型小，占用的计算资源少，功耗进一步降低。

3.本发明的方法抗强光与弱光，事件相机的动态范围比普通相机大，当光照强度特别大或特别小时，依旧可以正常工作，检测出高动态目标；抗复杂背景干扰，事件相机感知光照强度变化，即相机事业内的没有物体运动时，相机不会有输出，进行运动目标检测时，相机只会拍到运动的人或其他运动物体，无论背景多么复杂都不会拍到，所以复杂的背景也不会影响事件相机检测运动目标。

4.本发明的方法可以检测快速运动的运动目标：处理事件相机的原始数据可以生成高帧率的事件图像，这些事件图像不易出现运动模糊，所以即使运动目标运动速度很快，也能够被很好的检测到。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，可以根据这些附图获得其他的附图。其中：

图1是本发明的一种基于事件相机的高动态目标检测方法流程图；

图2是本发明的事件图像；

图3是本发明的网络结构图；

图4是本发明方法的检测效果图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本发明的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

如图1所示，一种基于事件相机的高动态目标检测方法，包括以下步骤：

s1：从事件相机得到事件流数据，并将事件流转化为事件图像；

s2：调整事件图像的大小，将其转化为统一的分辨率；

s3：将事件图像放入卷积神经网络中，得到多个预测框；

s4：通过非极大值抑制得到置信度较高的检测结果。

步骤s1包括以下步骤：

s11：从事件相机获取事件流数据；

事件相机的数据表示方式为地址事件表达，每一个数据都是由事件的地址即事件在图像上的位置、事件的时间戳以及事件的极性组成；

s12：生成事件图像；

从事件相机获取事件流数据后，累积一个固定时间间隔△t内的事件，生成事件图像，事件图像的定义为

其中，aeframe为事件图像，tstart为起始时刻，tend为终止时刻，tev为当前时刻，aexy为触发的事件，时间间隔△t＝tend-tstart＝10ms；

s13：去除噪声；

设定一个阈值n，对于一张事件图像，如果一个事件周围的事件数量小于阈值n，则这个事件被当作噪点去除掉，对每个事件都采取此方法处理，则形成去除噪声后的事件图像。

步骤s2将得到的事件图像转化为分辨率为416*416的图像，便于后续神经网络的处理。

步骤s3的卷积神经网络为tinyyolo，结构如图3所示，步骤s3包括以下步骤：

s31：通过卷积层和池化层提取13*13和26*26的特征图；

s32：对特征图进行预测，得到目标的x，y，w，h，confidence，其中，坐标(x，y)代表了边框的中心与网格单元边界的相对值，w和h是边框的宽和高，confidence是预测边界框和真实边界框的iou，其中，iou指交并比，即交集与并集的比值。

目标检测可能会出现一个目标被多次检测的问题，步骤s4首先从步骤s3得到的预测框中找出置信度最大的预测框，然后计算其与剩余的预测框的iou，如果其值大于0.4，则将该框剔除；然后对剩余的预测框重复上述过程，直到处理完所有的预测框。

图4是本发明方法的检测效果图，由图可以看出，本发明的方法能够检测到事件相机拍摄到的运动中的物体所属的类别以及在图像中的位置，且生成的事件图像中除了运动的目标以外没有多余的背景的信息，不易受到复杂背景的干扰。通过试验测试，本方法在目标快速运动以及光照很弱时也可以达到很好的检测效果。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。