低功耗便携式实时图像目标检测与跟踪系统及方法
【技术领域】
[0001 ]本发明属于图像目标检测与跟踪技术领域，设及一种低功耗便携式实时图像目标 检测与跟踪系统及方法。
【背景技术】
[0002] 图像目标检测与跟踪是计算机视觉技术的重要组成部分，主要通过提取目标物体 的颜色、轮廓、纹理、运动参数等特征，实现对其识别、匹配或定位。辅助光源用于对目标的 特征的区域进行可见光或红外光照射，W获取较清晰的目标图像;摄像机实现对目标图像 的采集；图像采集传输电路用于读取、传输摄像机所采集的图像数据；图像处理设备包含计 算机、嵌入式系统等多种可选形式，主要用于部署和运行图像增强、目标跟踪等算法。
[0003] 图像处理设备是图像目标检测与跟踪系统的核屯、部件，其通过Camera Link、 LVDS、USB、IE邸1394等总线接口，控制图像数据的采集传输，然后通过内建的固件、软件或 专用硬件模块，处理图像数据，完成图像增强、目标检测、目标跟踪等任务。由于目标特征提 取/建模、样本匹配/分类、跟踪参数计算/更新等过程通常具有较高的计算复杂度，为在保 障跟踪实时性的前提下，尽可能提供更宽的算法改进空间，实时性和数据处理速率是图像 处理设备的主要设计或选型指标。
[0004] 目前，大部分图像目标检测与跟踪系统主要依托图形工作站或高性能计算机构 建，采用Microsoft Visual studio和OpenCV进行算法软件设计，并W50ms/帖作为界定系 统是否具备实时性的速率阔值。作为通用处理器，图形工作站或高性能计算机CPU的乘法能 力普遍有限，研究人员通常采用CPU-PCIe-GPU的通用计算机系统框架，WGPU辅助CPU的异 构运算模式，实现对图像目标检测和跟踪算法的加速运行。如2014年，法国地质矿物部 J.Gance等设计了基于表面DSM的移动目标跟踪系统，对山体滑坡进行自动检测预警，采用 千兆W太网采集图像数据，其中屯、计算机为配备Intel Xeon E5-1607处理器的图形工作 站。2015年，±耳其中东科技大学Ilker等采用通用计算机的CPU-PCIe-GPU异构运算框架， 实现了高运算量、长时跟踪的化D算法，在对1920X1080分辨率图像进行处理时，可实现相 对于纯软件方案10.8倍的加速。采用图形工作站或高性能计算机作为图像处理设备，可有 效保障图像目标检测与跟踪系统的实时性需求，具有设计简便、软硬件可扩展性强的优势。 然而，该类解决方案系统建设成本和体积功耗较高，仅适用于可进行有线连接的室内应用 场景。此外，占据市场主体的NVIDIA系列GPU程序兼容性较差，限制了CPU-PCIe-GPU异构运 算框架下程序的可移植性。
[0005] 自20世纪90年代W来，各类嵌入式处理器件的计算性能和集成规模迅速上升，并 在图像处理和计算机视觉领域得到了广泛的应用。如表1所示，针对小型移动平台的图像目 标检测与跟踪应用需求，主流的嵌入式图像处理设备解决方案，主要包括采用DSP、FPGA、 ARM(Advanced RISC Machines)等单个嵌入式处理器件，W及DSP-FPGA、ARM-DSP、SoC等异 构嵌入式处理系统。
[0006] DSP是一类面向实时控制或信号处理的专用处理器，相对于通用处理器，其配备有 专用乘法器或乘加单元，能够充分满足图像处理的应用需求。基于DSP的图像目标检测与跟 踪系统通常采用C语言开发，借助内置的硬件乘法器实现高速图像处理，具有实时性、开发 灵活性和程序可维护性较好等优势。然而，高性能DSP的功耗较高，性价比有限，软件可移植 性差，不支持通用操作系统和多任务并行操作。目前，业内基于DSP的图像目标检测与跟踪 系统，主要面向导弹、监控设备等单一功能平台。
[0007] FPGA借助基于RAM(Random Access Memory)的查找表技术，可实现对特定功能数 字电路的可编程部署。由于其独特的电路并行性，在处理像素数量庞大的图像数据时，具有 很强的先天优势。然而，FPGA开发的技术口槛较高，且其并行加速模式只适用于上下文数据 无关联、流程较简单的密集运算环节，因此难W采用其实现复杂精巧的高鲁棒性图像目标 检测与跟踪算法。目前，业内基于FPGA的图像目标检测与跟踪系统，主要基于流程简单的早 期算法，检测和跟踪的鲁棒性、准确性较差。
[000引 ARM作为一类低功耗、通用处理器，可搭载Linux、WinCE等嵌入式操作系统，在开发 灵活性、程序可维护性、软件可移植性、多任务并行操作等方面具有显著优势。然而，其浮点 运算和乘法运算能力较差，无法充分保障图像目标检测与跟踪系统的实时性。目前，业内基 于ARM的图像目标检测与跟踪系统，主要基于颜色、纹理等计算量较低的简单算法，检测和 跟踪的鲁棒性、准确性较差。
[0009]由于DSP、FPGA、ARM等嵌入式处理器件各有优缺点，为充分满足图像目标检测与跟 踪系统在实时性、准确性、功耗、可扩展性等方面的需求，并平衡开发难度、成本、可靠性、可 扩展性等因素。近年来，业内陆续出现了基于DSP-FPGA、ARM-DSP、SoC等异构嵌入式处理系 统的图像目标检测与跟踪系统。异构处理系统内包含两种或多种不同类型处理器件，通过 分解任务，根据子任务特点，调用特定处理器件进行处理，W融合多种处理器件的优势。但 是，DSP-FPGA和ARM-DSP异构处理系统采用片外总线进行两个处理器件之间的数据交互，其 通信速率较低、稳定性较差，整体的工程实用价值较低。SoC可在单片集成电路忍片上集成 两种或多种不同类型处理器件，并借助片内总线实现处理器件之间的交互和调配，相对于 DSP-FPGA和ARM-DSP系统，其在体积功耗、稳定性、通信速率等方面具有突出优势。然而，现 有的绝大多数SoC处理器采用双核屯、结构，即处理器件之间没有主从之分，需在程序中协调 处理器件之间的任务分配、保证其并行工作，才可发挥SoC最大的处理效能，系统配置和程 序设计难度较高。
[0010] 2011年，Xilinx公司推出了支持全可编程技术幻nq-7000SoC。包括WARM Codex- A9通用处理器为中屯、的PS (Process ing System )子系统和W FPGA为中屯、的PL (Programmable Logic)子系统。相对于已有的SoC产品，其W可直接运行操作系统的PS子系 统为主端，实现对化的配置、编程、重构；W化子系统为ARM处理器的可编程外设，可用于构 建运算加速模块、图像协处理器或数据/控制接口。尤为重要的是，PS子系统和化子系统之 间可通过AXKAdvanced eXtens化le Intedace)总线，经AXI-GP、AXI-HP、AXI-ACP等接口 实现400-800MB/S的高速数据禪合。幻叫-7000SOC的主从式结构避免了双核屯、结构SoC的任 务调度和协调难题，其片内高速AXI总线接口确保了系统的稳定性、高效性，其基于通用嵌 入式处理器和标准操作系统的PS子系统确保了系统的通用性和可开发性，其基于FPGA的化 子系统可提供对密集运算环节的并行加速。同时，借助Xilinx Vivado HLS化igh Level Synthesis)工具，可采用C/C++语言，在化子系统内，实现对图形协处理器或图像算法加速 IP核的FPGA快速设计部署，降低了系统的技术开发口槛。
[0011] 鉴于巧nq-7000SoC在图像处理应用领域所具备的通用性、稳定性、实时性、可开发 性等优势，自推出W来，已迅速在图像目标识别等领域取得了应用。2014年，南京理工大学 王淑玲等采用巧nq-7000SoC设计实现了实时人脸检测系统，但其仅使用了 PS子系统，系统 采用的算法较简单，实时性较差。2014年，珠海广播电视大学杨晓安等采用巧nq-7000SoC设 计实现了高速图像采集与实时处理系统，但其仅使用化子系统实现了数据采集接口，而未 设及图像运算与处理。2014年，江南大学王芝斌等采用巧nq-7000SoC设计实现了稠密光流 法，其使用了软硬件协同处理的技术，