基于AER图像传感器的实时多物体追踪方法和装置与流程

本发明涉及图像处理
技术领域：
，尤其涉及一种基于事件驱动的实时处理算法，自动精确地捕获有用信息，具有低数据量，高处理速度，高识别精度的优势，实现多物体识别追踪的智能视觉图像应用。具体涉及基于AER图像传感器的实时多物体追踪方法和装置。
背景技术：
：随着通信、网络、计算机和微电子技术的发展，计算机视觉技术被应用在各个领域，监控系统在生产生活中的应用也逐渐增大，传统的监控系统需要人员值守，耗费人力且存在一定的局限性，因此研究智能化监控系统就显得尤为重要。在智能化监控系统领域中，对运动目标实现无人检测、监控是当今研究的热点问题，涉及到图像获取、图像处理、模式识别和人工智能等多领域的核心技术，其在交通监控、周界防护、虚拟现实、人机交互及移动机器人导航等领域都有着广泛的应用。而智能监控系统中，运动物体追踪算法的性能直接影响着目标追踪的准确性和鲁棒性。传统运动物体追踪是通过分析视频中每一帧图像信息，进行数据挖掘，对目标行为进行大量的动作捕捉，通过一系列的信息处理后，计算并标记出所追踪目标在图像中相应的位置。传统运动物体追踪研究算法主要分为两类：自底向上和自顶向下。自底向上的方法有很多，如光流场法、帧间差分法、背景差法，先将目标物体部分分割出来，找出追踪算法中所需要使用的部分建立目标物体模型，再对模型进行追踪，参考图1。分割主要由纯外部因素决定，如颜色、方向、纹理、二维或三维空间中物体的连接特征等。自顶向下的方法则是使用图片的内容，根据当前视觉行为有关的先验知识来预测和感知目标，通过评估的方法判断物体的位置。追踪方法依靠定位目标在每帧图像中的位置，可以生成物体的长期运动轨迹，并将检测到的物体和每帧图片中的目标实例一一对应。传统的运动物体追踪系统往往存在一些不足。如：图像传感器将采集的大量原始图像数据传送到处理系统中进行追踪，由于是串行传送，导致存在严重的带宽限制，处理速度无法满足高速实时性需求。并且，面对复杂目标和背景噪声干扰大的图像时，会产生大量冗余信息，导致追踪结果不够理想。此外，被追踪的物体本身形状具有多样性，在运动过程中可能伴随一系列变化，如形变，颜色变化、运动方向变化等，都会影响追踪结果，使得运动物体追踪算法在很多方面的研究存在着一定的挑战。因此，设计一种高识别率，低复杂度的运动物体追踪算法是非常必要的。技术实现要素：为克服现有技术的不足，解决传统图像采集及运动物体追踪算法所存在的问题，本发明旨在提供一种基于AER图像传感器的实时多物体追踪算法。该算法实时处理从AER图像传感器采集的图像信息，实现多目标同时检测并能准确提供各目标位置参数等信息。本发明采用的技术方案是，基于AER图像传感器的实时多物体追踪方法，利用地址—事件表示(Address-EventRepresentation,AER)的图像传感器采集数据并进行实时处理，监测光强变化，当变化达到指定阈值即会输出，同时利用传感器滤除无用的背景信息，减少传输数据量和冗余信息；利用传感器仲裁机制判断传输的先后顺序并形成时间标签，其中包含时间t，极性pol及位置信息p＝(x,y)T，pol取值+1或-1；追踪算法对时间标签进行处理，实现实时追踪。通过地址—事件表示的图像传感器进行数据采集，其像素尺寸为M×M，根据经验设定追踪目标的个数n，即追踪器个数，当算法检测到追踪器不足时，会自动添加追踪器个数；设置各追踪器初始位置p1,p2…pn；在图像传感器M×M的位置均匀分布，防止各追踪器之间距离过近。对时间标签进行处理的具体步骤如下：依次接收由AER图像传感器传输的时间标签ei(pi，ti，poli)，ei为第i个时间标签，计算每个追踪器与时间标签ei的高斯分布概率密度函数：fi(pm)=12π|Σm|-12e-12(pi-pm)TΣt-1-1(pi-pm)---(1)]]>Σm=σxm2σxmymσxmymσym2---(2)]]>其中pm＝[xm,ym]T为第m个追踪器的坐标位置，xm为横坐标，ym为纵坐标，pi＝[xi,yi]T第i个时间标签的坐标位置，xi为横坐标,yi纵坐标，∑m∈R2×2，为第m个追踪器的协方差矩阵,∑t-1为最近一次时间标签被判定为属于该追踪器的协方差矩阵，当第i个时间标签之前无时间标签被判定为属于该追踪器时，∑t-1为∑0。判断各追踪器正态分布概率分布是否大于概率δf，即fi(pm)是否大于δf，若大于δf，则说明第i个时间标签属于第m个追踪器，反之则不属于，若属于第m个追踪器，则更新第m个追踪器的位置：pt＝α1pt-1+(1-α1)pi(3)Σt＝α2Σt-1+(1-α2)ΔΣ(4)ΔΣ=(xi-xm)2(xi-xm)(yi-ym)(xi-xm)(yi-ym)(yi-ym)2---(5)]]>其中，α1和α2为更新参数，与AER图像传感器产生的事件率和被测场景复杂度有关，pt为此时第m个追踪器的位置，即目标此时所处位置，pt-1为目标未移动前的位置，∑t为目标移动后该追踪器的协方差矩阵，Δ∑则为协方差差值。若时间标签不属于任何一个追踪器，则第m个追踪器的位置及协方差矩阵均保持不变，新建一个追踪器，位置为该时间标签的位置，新建追踪器协方差矩阵为∑0，若有时间标签属于多个追踪器，则根据概率密度函数fi的大小判断，时间标签归属于函数值较大的追踪器，更新后的追踪器位置即为运动物体位置。更新第m个追踪器寿命:其中，τ为寿命衰减时间，Δt为两个相邻时间标签的时间差，当寿命将为0时，该追踪器将被删除。基于AER图像传感器的实时多物体追踪装置，包括：利用地址—事件表示的图像传感器，用于采集数据，通过监测光强变化，当变化达到指定阈值即会按一定顺序输出，从而滤除无用的背景信息，减少传输数据量和冗余信息；AER图像传感器以时间标签的形式输出，包含时间t，极性pol及位置信息p＝(x,y)T，pol取值+1或-1；将传感器其与FPGA处理模块连接，用于对时间标签进行处理，实现实时追踪。处理模块用于：依次接收由AER图像传感器传输的时间标签ei(pi，ti，poli)，ei为第i个时间标签，计算每个追踪器与时间标签ei的高斯分布概率密度函数：fi(pm)=12π|Σm|-12e-12(pi-pm)TΣt-1-1(pi-pm)---(1)]]>Σm=σxm2σxmymσxmymσym2---(2)]]>其中pm＝[xm,ym]T为第m个追踪器的坐标位置，xm为横坐标，ym为纵坐标，pi＝[xi,yi]T第i个时间标签的坐标位置，xi为横坐标,yi纵坐标，∑m∈R2×2，为第m个追踪器的协方差矩阵,∑t-1为最近一次时间标签被判定为属于该追踪器的协方差矩阵，当第i个时间标签之前无时间标签被判定为属于该追踪器时，∑t-1为∑0。判断各追踪器正态分布概率分布是否大于概率δf，即fi(pm)是否大于δf，若大于δf，则说明第i个时间标签属于第m个追踪器，反之则不属于，若属于第m个追踪器，则更新第m个追踪器的位置：pt＝α1pt-1+(1-α1)pi(3)Σt＝α2Σt-1+(1-α2)ΔΣ(4)ΔΣ=(xi-xm)2(xi-xm)(yi-ym)(xi-xm)(yi-ym)(yi-ym)2---(5)]]>其中，α1和α2为更新参数，与AER图像传感器产生的事件率和被测场景复杂度有关，pt为此时第m个追踪器的位置，即目标此时所处位置，pt-1为目标未移动前的位置，∑t为目标移动后该追踪器的协方差矩阵，Δ∑则为协方差差值。若时间标签不属于任何一个追踪器，则第m个追踪器的位置及协方差矩阵均保持不变，新建一个追踪器，位置为该时间标签的位置，新建追踪器协方差矩阵为∑0，若有时间标签属于多个追踪器，则根据概率密度函数fi的大小判断，时间标签归属于函数值较大的追踪器，更新后的追踪器位置即为运动物体位置。更新第m个追踪器寿命:其中，τ为寿命衰减时间，Δt为两个相邻时间标签的时间差，当寿命将为0时，该追踪器将被删除。其中，处理模块集成于FPGA上。本发明的特点及有益效果是：在图像信息采集及目标追踪基础上提出基于AER图像传感器的实时多目标追踪算法，突破了原有图像处理基于“帧”的处理模式，减少了处理数据量并消除了冗余信息，解决了背景复杂、识别速度慢、多人交互等问题。大幅度提升了视觉系统的等效处理帧频，满足了高速实时性的需求。AER图像传感器与聚类算法相组合，仅输出少量物体特征数据，便可识别出多个物体的位置，智能化程度高，鲁棒性好。附图说明：图1传统运动物体追踪系统自底向上算法流程图。图2传统图像传感器与AER图像传感器采集数据对比图。图3基于AER图像传感器的实时多目标追踪算法流程图。图4追踪结果示意图。具体实施方式本发明的构思是：减小采集数据量并引入“聚类”的概念，以提高追踪的精准度并达到实时性需求。本发明对地址—事件表示的图像传感器所采集的数据进行实时处理。AER图像传感器产生的数据与传统传感器不同，不存在“帧”的概念，参考图2，传感器内各个像素点独立工作，监测该位置的光强变化，当变化达到指定阈值即会输出。传感器可滤除无用的背景信息，减少传输数据量和冗余信息，数据并行传输到传感器的仲裁机制中，通过仲裁机制判断传输的先后顺序并形成时间标签，包含时间t，极性pol(+1或-1)及位置信息p＝(x,y)T，极性pol取值由光强变化决定，光强增加取+1，减少取-1；然后运动物体追踪模块将对时间标签进行处理，实现实时追踪。该目标追踪的算法步骤如下，参考图3：步骤1：设定追踪器个数n。根据经验设定追踪器的个数，如设置过多会导致一个物体同时被两个追踪器追踪。若较少，追踪器个数会自动添加。AER图像传感器固定采集指定区域内物体的运动过程，并且仅选用一台图像传感器，追踪器个数及初始位置是人为设定的，分布在与图像传感器像素尺寸相同的区域上，即对传感器采集到的范围进行追踪。追踪器仅表示一个位置信息，随着时间标签的输入和实时处理而发生变化，该位置信息记录了AER图像传感器采集到的目标物体的运动位置，同一追踪器所显示出的所有位置即为物体运动的轨迹。步骤2：设置各追踪器初始位置p1,p2···pn。注意：各追踪器位置最好均匀分布在图像上，防止追踪器之间距离过近。步骤3：依次接收由AER图像传感器传输的时间标签ei(pi，ti，poli)，ei为第i个时间标签，计算每个追踪器与时间标签ei的高斯分布概率密度函数：fi(pm)=12π|Σm|-12e-12(pi-pm)TΣt-1-1(pi-pm)---(1)]]>Σm=σxm2σxmymσxmymσym2---(2)]]>其中pm＝[xm,ym]T为第m个追踪器的坐标位置，xm为横坐标，ym为纵坐标，pi＝[xi,yi]T第i个时间标签的坐标位置，xi为横坐标,yi纵坐标，∑m∈R2×2，为第m个追踪器的协方差矩阵,∑t-1为最近一次时间标签被判定为属于该追踪器的协方差矩阵，当第i个时间标签之前无时间标签被判定为属于该追踪器时，∑t-1为∑0。步骤4：判断各追踪器正态分布概率分布是否大于概率δf，即fi(pm)是否大于δf，若大于δf，则说明第i个时间标签属于第m个追踪器，反之则不属于，若属于第m个追踪器，则更新第m个追踪器的位置：pt＝α1pt-1+(1-α1)pi(3)Σt＝α2Σt-1+(1-α2)ΔΣ(4)ΔΣ=(xi-xm)2(xi-xm)(yi-ym)(xi-xm)(yi-ym)(yi-ym)2---(5)]]>其中，α1和α2为更新参数，与AER图像传感器产生的事件率和被测场景复杂度有关，pt为此时第m个追踪器的位置，即目标此时所处位置，pt-1为目标未移动前的位置，∑t为目标移动后该追踪器的协方差矩阵，Δ∑则为协方差差值。若时间标签不属于任何一个追踪器，则第m个追踪器的位置及协方差矩阵均保持不变，新建一个追踪器，位置为该时间标签的位置，新建追踪器协方差矩阵为∑0，若有时间标签属于多个追踪器，则根据概率密度函数fi的大小判断，时间标签归属于函数值较大的追踪器，更新后的追踪器位置即为运动物体位置。步骤5：更新追踪器寿命。其中，τ为寿命衰减时间，Δt为两个相邻时间标签的时间差。当寿命将为0时，该追踪器将被删除。本发明所提出的实时多物体追踪算法支持AER图像传感器长时间采集，将本发明的算法应用于车辆追踪，首先利用AER图像传感器捕获光强变化的像素点，像素阵列选用128×128分辨率，初始追踪器设为3～5个，当为5个时，初始位置分别设为p1(32，32)，p2(96，32)，p3(64，64)，p4(32，96)，p5(96，96)。δf＝0.1，追踪器仅是算法追踪运动目标位置的形象化的名字，是一个根据时间变化的坐标点。AER图像传感器仅有一个，在传感器固定的采集范围内，传感器可采集多个运动目标，因此可包含多个追踪器。更新参数α1和α2在0.1到1之间。寿命衰减时间τ等于10～20个时间差Δt。软件上可选用MATLAB或C语言进行编写，也可在FPGA硬件上实现。追踪结果可快速的找到多个移动车辆的中心位置，参考图4。当前第1页1 2 3