低功耗便携式实时图像目标检测与跟踪装置的制造方法
【专利摘要】本实用新型提供一种低功耗便携式实时图像目标检测与跟踪装置，能够在空间及同等恶劣环境下自主控制细胞培养过程及在线观测。包括PL子系统和PS子系统，其中图像采集单元包括摄像头接口模块、图像预处理模块、AXI?DMA模块；所述摄像头接口模块用于对摄像头数据读取以及图像分辨率、采集帧率、数据格式的参数控制，图像预处理模块用于对所采集图像流颜色校正、直方图均衡、空间变换的预处理操作，AXI?DMA模块用于通过AXI?HP接口实现对图像数据向DDR3 RAM的自主回传；图像加速单元包括可重构图像加速器、AXI?DMA模块；可重构图像加速器用于根据系统工作阶段动态加载图像目标检测或图像目标跟踪加速器；AXI?DMA模块用于通过AXI?ACP接口实现对图像数据向DDR3 RAM的自主回传。
【专利说明】
低功耗便携式实时图像目标检测与跟踪装置
技术领域
[0001] 本实用新型属于图像目标检测与跟踪技术领域，设及一种低功耗便携式实时图像 目标检测与跟踪装置。
【背景技术】
[0002] 图像目标检测与跟踪是计算机视觉技术的重要组成部分，主要通过提取目标物体 的颜色、轮廓、纹理、运动参数等特征，实现对其识别、匹配或定位。辅助光源用于对目标的 特征的区域进行可见光或红外光照射，W获取较清晰的目标图像;摄像机实现对目标图像 的采集；图像采集传输电路用于读取、传输摄像机所采集的图像数据；图像处理设备包含计 算机、嵌入式系统等多种可选形式，主要用于部署和运行图像增强、目标跟踪等算法。
[0003] 图像处理设备是图像目标检测与跟踪系统的核屯、部件，其通过Camera Link、 LVDS、USB、IE邸1394等总线接口，控制图像数据的采集传输，然后通过内建的固件、软件或 专用硬件模块，处理图像数据，完成图像增强、目标检测、目标跟踪等任务。由于目标特征提 取/建模、样本匹配/分类、跟踪参数计算/更新等过程通常具有较高的计算复杂度，为在保 障跟踪实时性的前提下，尽可能提供更宽的算法改进空间，实时性和数据处理速率是图像 处理设备的主要设计或选型指标。
[0004] 目前，大部分图像目标检测与跟踪系统主要依托图形工作站或高性能计算机构 建，采用MicrosoftVisual studio和OpenCV进行算法软件设计，并W50ms/帖作为界定系统 是否具备实时性的速率阔值。作为通用处理器，图形工作站或高性能计算机CPU的乘法能力 普遍有限，研究人员通常采用CPU-PCIe-GPU的通用计算机系统框架，WGPU辅助CPU的异构 运算模式，实现对图像目标检测和跟踪算法的加速运行。如2014年，法国地质矿物部 J.Gance等设计了基于表面DSM的移动目标跟踪系统，对山体滑坡进行自动检测预警，采用 千兆W太网采集图像数据，其中屯、计算机为配备Intel Xeo址5-1607处理器的图形工作站。 2015年，±耳其中东科技大学Ilker等采用通用计算机的CPU-PCIe-GPU异构运算框架，实现 了高运算量、长时跟踪的化D算法，在对1920X 1080分辨率图像进行处理时，可实现相对于 纯软件方案10.8倍的加速。采用图形工作站或高性能计算机作为图像处理设备，可有效保 障图像目标检测与跟踪系统的实时性需求，具有设计简便、软硬件可扩展性强的优势。然 而，该类解决方案系统建设成本和体积功耗较高，仅适用于可进行有线连接的室内应用场 景。此外，占据市场主体的NVIDIA系列GPU程序兼容性较差，限制了CPU-PCIe-GPU异构运算 框架下程序的可移植性。
[0005] 自20世纪90年代W来，各类嵌入式处理器件的计算性能和集成规模迅速上升，并 在图像处理和计算机视觉领域得到了广泛的应用。如表1所示，针对小型移动平台的图像目 标检测与跟踪应用需求，主流的嵌入式图像处理设备解决方案，主要包括采用DSP、FPGA、 ARM(Advanced RISC Machines)等单个嵌入式处理器件，W及DSP-FPGA、ARM-DSP、SoC等异 构嵌入式处理系统。
[0006] DSP是一类面向实时控制或信号处理的专用处理器，相对于通用处理器，其配备有 专用乘法器或乘加单元，能够充分满足图像处理的应用需求。基于DSP的图像目标检测与跟 踪系统通常采用C语言开发，借助内置的硬件乘法器实现高速图像处理，具有实时性、开发 灵活性和程序可维护性较好等优势。然而，高性能DSP的功耗较高，性价比有限，软件可移植 性差，不支持通用操作系统和多任务并行操作。目前，业内基于DSP的图像目标检测与跟踪 系统，主要面向导弹、监控设备等单一功能平台。
[0007] FPGA借助基于RAM(RandomAccess Memo巧）的查找表技术，可实现对特定功能数字 电路的可编程部署。由于其独特的电路并行性，在处理像素数量庞大的图像数据时，具有很 强的先天优势。然而，FPGA开发的技术口槛较高，且其并行加速模式只适用于上下文数据无 关联、流程较简单的密集运算环节，因此难W采用其实现复杂精巧的高鲁棒性图像目标检 测与跟踪算法。目前，业内基于FPGA的图像目标检测与跟踪系统，主要基于流程简单的早期 算法，检测和跟踪的鲁棒性、准确性较差。
[000引 ARM作为一类低功耗、通用处理器，可搭载Linux、WinCE等嵌入式操作系统，在开发 灵活性、程序可维护性、软件可移植性、多任务并行操作等方面具有显著优势。然而，其浮点 运算和乘法运算能力较差，无法充分保障图像目标检测与跟踪系统的实时性。目前，业内基 于ARM的图像目标检测与跟踪系统，主要基于颜色、纹理等计算量较低的简单算法，检测和 跟踪的鲁棒性、准确性较差。
[0009]由于DSP、FPGA、ARM等嵌入式处理器件各有优缺点，为充分满足图像目标检测与跟 踪系统在实时性、准确性、功耗、可扩展性等方面的需求，并平衡开发难度、成本、可靠性、可 扩展性等因素。近年来，业内陆续出现了基于DSP-FPGA、ARM-DSP、SoC等异构嵌入式处理系 统的图像目标检测与跟踪系统。异构处理系统内包含两种或多种不同类型处理器件，通过 分解任务，根据子任务特点，调用特定处理器件进行处理，W融合多种处理器件的优势。但 是，DSP-FPGA和ARM-DSP异构处理系统采用片外总线进行两个处理器件之间的数据交互，其 通信速率较低、稳定性较差，整体的工程实用价值较低。SoC可在单片集成电路忍片上集成 两种或多种不同类型处理器件，并借助片内总线实现处理器件之间的交互和调配，相对于 DSP-FPGA和ARM-DSP系统，其在体积功耗、稳定性、通信速率等方面具有突出优势。然而，现 有的绝大多数SoC处理器采用双核屯、结构，即处理器件之间没有主从之分，需在程序中协调 处理器件之间的任务分配、保证其并行工作，才可发挥SoC最大的处理效能，系统配置和程 序设计难度较高。
[0010] 2011年，Xilinx公司推出了支持全可编程技术幻nq-7000SoC。包括WARM Codex- A9通用处理器为中屯、的PS (Process ing System )子系统和W FPGA为中屯、的PL (Programmable Logic)子系统。相对于已有的SoC产品，其W可直接运行操作系统的PS子系 统为主端，实现对化的配置、编程、重构；W化子系统为ARM处理器的可编程外设，可用于构 建运算加速模块、图像协处理器或数据/控制接口。尤为重要的是，PS子系统和化子系统之 间可通过AXKAdvanced eXtens化le Intedace)总线，经AXI-GP、AXI-HP、AXI-ACP等接口 实现400-800MB/S的高速数据禪合。幻叫-7000SOC的主从式结构避免了双核屯、结构SoC的任 务调度和协调难题，其片内高速AXI总线接口确保了系统的稳定性、高效性，其基于通用嵌 入式处理器和标准操作系统的PS子系统确保了系统的通用性和可开发性，其基于FPGA的化 子系统可提供对密集运算环节的并行加速。同时，借助Xilinx Vivado HLS化igh Level Synthesis)工具，可采用C/C++语言，在化子系统内，实现对图形协处理器或图像算法加速 IP核的FPGA快速设计部署，降低了系统的技术开发口槛。
[0011] 鉴于巧nq-7000SoC在图像处理应用领域所具备的通用性、稳定性、实时性、可开发 性等优势，自推出W来，已迅速在图像目标识别等领域取得了应用。2014年，南京理工大学 王淑玲等采用巧nq-7000SoC设计实现了实时人脸检测系统，但其仅使用了 PS子系统，系统 采用的算法较简单，实时性较差。2014年，珠海广播电视大学杨晓安等采用巧nq-7000SoC设 计实现了高速图像采集与实时处理系统，但其仅使用化子系统实现了数据采集接口，而未 设及图像运算与处理。2014年，江南大学王芝斌等采用巧nq-7000SoC设计实现了稠密光流 法，其使用了软硬件协同处理的技术，但仅限于图像光流特征的提取，未设及图像目标检测 与跟踪等高级抽象应用。2014年，大连海事大学么立宝等采用幻nq-7000SoC设计实现了车 牌识别系统，但其仅使用化子系统实现了图像的采集和预处理，而未设及图像目标检测与 跟踪等高级抽象应用。2015年，太原理工大学焦再强等采用幻nq-7000SoC设计实现了嵌入 式数字图像处理系统，但其仅在化子系统内验证Sobel滤波器等简单图像处理功能，而未设 及软硬件协同图像处理。 【实用新型内容】
[0012] 本实用新型的目的在于提供一种低功耗便携式实时图像目标检测与跟踪装置，能 够在空间及同等恶劣环境下自主控制细胞培养过程及在线观测。
[0013] 实现本实用新型目的的技术解决方案为：
[0014] -种低功耗便携式实时图像目标检测与跟踪装置，包括化子系统和PS子系统，PS 子系统与化子系统之间采用AXI-ACP接口、AXI-HP接口和DMA通道实现图像数据和运算中间 数据的交互;其中化子系统包括图像采集单元和图像加速单元;其中：
[0015] 图像采集单元包括摄像头接口模块、图像预处理模块、AXI-DMA模块;所述摄像头 接口模块用于对摄像头数据读取W及图像分辨率、采集帖率、数据格式的参数控制，图像预 处理模块用于对所采集图像流颜色校正、直方图均衡、空间变换的预处理操作，AXI-DMA模 块用于通过AXI-HP接口实现对图像数据向孤R3RAM的自主回传；
[0016] 图像加速单元包括可重构图像加速器、AXI-DMA模块;可重构图像加速器用于根据 系统工作阶段动态加载图像目标检测或图像目标跟踪加速器，实现对不同算法的加速； AXI-DMA模块用于通过AXI-ACP接口实现对图像数据向孤R3RAM的自主回传；
[0017] 图像采集单元和图像加速单元中的AXI-DMA模块均通过AXI-Lite互联模块与AXI- GP接口连接。
[0018] 本实用新型的有益效果：
[0019] (1)本实用新型采用软硬件相结合的异构运算框架，在化子系统(FPGA)内构建图 像并行加速模块，执行运算密集型的算法环节;在PS子系统(ARM)内W软件形式运行图像目 标检测与跟踪算法的主体软件;利用DMA和AXI总线实现PS和化子系统之间的数据交互和任 务调配。从而使该系统同时具备ARM-Linux嵌入式系统的通用性和可开发性，FPGA系统并行 运算的实时性，SoC系统的低功耗性、便携性，能够充分满足自主式机器人、智能手机等低功 耗、复合功能移动平台的应用需求。
[0020] (2)本实用新型采用C/C++语言设计软件，采用C++、VHDL/Verilog皿L语言进行 FPGA固件设计，其分别是电子信息行业软硬件的实质设计标准，因此相对于其它解决方案 具有更优的可移植性。
[0021] (3)本实用新型针对采用FPGA设计图像目标检测与跟踪算法加速器资源消耗较高 的问题，采用动态部分可重构技术、基于模拟退火算法的图像加速器字长优化算法进行优 化，有效降低系统资源消耗和功耗。
【附图说明】
[0022] 图1为本实用新型的图像目标检测与跟踪装置结构框图；
[0023] 图2为本实用新型图像目标检测与跟踪装置设计流程图；
[0024] 图3为本实用新型图像目标检测与跟踪装置工作流程图。
【具体实施方式】
[0025] 下面结合附图并举实施例，对本实用新型进行详细描述。
[0026] 本实用新型为一种低功耗、便携式的实时图像目标检测与跟踪系统，其主要面向 自主式机器人、智能手机等低功耗、复合功能的移动平台。
[0027] 本实用新型的主要设计流程如图2所示。
[00%]第一步，针对应用需求，采用C/C++等高级语言编程实现面向幻nq-7000PS子系统 (ARM-Linux平台）的图像目标检测与跟踪算法软件代码。在检测阶段，采用图像目标检测算 法实现对感兴趣目标的识别；在跟踪阶段，采用图像目标跟踪算法实现对检测所得目标的 连续定位。
[0029] 第二步，将算法划分为若干相对独立的环节，借助计时器对各算法环节的运行时 间进行评估，并进一步分析其运算类型、数据关联性等特性。
[0030] 第Ξ步，根据第二步评估结果确定各算法环节的软硬件实施方式，采用PS端软件 实现算法主体控制流程，采用化端可重构图像加速器并行实现算法的运算密集型环节。
[0031] 第四步，采用Vivado化S工具，WC++语言设计图像目标检测/跟踪加速器IP核。
[0032] 第五步，如图像目标检测/跟踪加速器IP核的资源消耗超过系统允许范畴，采用模 拟退火算法对加速器字长进行优化。最后，对软件和固件模块进行封装和部署，完成系统设 计。
[0033] 由于本实用新型所设计的图像目标检测/跟踪加速器IP核，W大数据容量的图像 数据为处理对象，因此会导致较高的FPGA资源消耗量。为避免因化子系统资源使用过度引 发的稳定性下降、功耗上升等问题，本实用新型在设计流程的第五步采用模拟退火算法对 图像目标检测/跟踪加速器进行优化。
[0034] 假定图像目标检测/跟踪加速器主要设及η组变量的运算，取各变量为浮点数时的 运算结果为标准解。该算法期望在量化误差低于1.5%前提下，求得最短字长的变量浮点数 表不方式Wbest 二[Wbestword, 1 , Wbestint, 1 , Wbestword, η ,Wbestint,n] , Wt·约FPGA资源沾耗里。其中 肌63扣耐。为第11个变量的最短定点数总字长，肌63加川为第11个变量的最短定点数整数部分 字长。该求解问题亦可表示为：
[0035]
(1)
[0036] 其中Cost(w)表示求解结果为W时的资源消耗量，QuantizeriirroHw)表示求解结 果为w时的量化误差，ratethreshoid为运算准确率阔值98.5% (即100%-1.5% )。 [0037]
[00；3 引 [0039]
[0040] 第一步，该算法将设置初始溫度为temp日，并采用随机数数组初始化查找中屯、矢量 Wcenter和最优解矢量Wbest，并计算对应的运算准确率rateeenter和ratebest。
[0041] 第二步，该算法将进入循环，每次循环过程中溫度temp都会W比率decayScale下 降一次，直至降低至阔值tempthresh，结束算法的求解执行。
[00创第；步，该算法将在查找中屯、矢量Wcenter附近WMarkoV链随机选择一组解Wtry，并 计算其对应的运算准确度rate付y。
[00创第四步，当￥的满足运算准确度要求，且〔031：(>1；巧）<〔031：(机631;)，则采用￥1；巧更新 Wbest 0
[0044] 第五步，当￥1；巧满足运算准确度要求，且〔031：(>1；巧）<〔031：(>。日。*日1〇，则采用￥1；巧更新 Wcenter ;否则，W exp (-(Cost (Wtry)-Cost (Wcenter) )/temp)为概率采用 Wtry 更新Wcenter。
[0045] 如表1，采用单一高斯背景模型为图像目标检测算法进行验证。经算法1进行IP核 字长优化，图像目标检测加速器IP核的资源消耗显著下降，而检测结果基本不变，验证了该 算法的有效性。
[0046] 表1低功耗便携式实时图像目标检测与跟踪系统字长优化对比
[0047]
[004引本实用新型设计实现的低功耗便携式实时图像目标检测跟踪装置原理框图如图1 所示，其采用单片巧nq-7000SoC实现对系统的单片集成。图像检测算法和图像跟踪算法的 主体，WARM-Linux嵌入式系统软件的形式部署在PS子系统内；图像检测算法和图像跟踪算 法的运算密集型环节，W及各类接口，WFPGA固件的形式部署在化子系统内，并通过AXI-GP 接口被PS子系统内运行的程序控制调用;PS子系统与化子系统之间采用AXI-ACP接口、AXI- HP接口和DMA通道实现图像数据和运算中间数据的交互。通过该种FPGA辅助ARM的异构运算 框架，实现系统通用性与实时性的均衡。
[0049] 化子系统内的FPGA固件主要包括图像采集单元和图像加速单元，前者主要实现对 外接0V7670CM0S微型摄像头的接口控制、图像采集和预处理，后者主要实现图像目标检测/ 跟踪的并行加速功能。
[0050] 图像采集单元包含摄像头接口模块、图像预处理模块、AXI-DMA模块等:摄像头接 口模块主要实现对摄像头数据读取W及图像分辨率、采集帖率、数据格式等参数控制，图像 预处理模块主要实现对所采集图像流颜色校正、直方图均衡、空间变换等预处理操作，AXI- DMA模块主要通过AXI-GP接口实现对图像数据向孤R3RAM的自主回传。
[0051] 图像加速模块主要包含可重构图像加速器、AXI-DMA模块。可重构图像加速器是化 子系统内划分的一片可重构区域，其可根据系统工作阶段(检测阶段或跟踪阶段），动态加 载图像目标检测或图像目标跟踪加速器，实现对不同算法的加速。
[0化2] 化子系统内部署的各IP核和功能模块间，均采用标准的3化itAXI-Stream总线进 行互联，具有较高的效率和通用性。图像采集单元和图像加速单元的AXI-DM模块分别通过 AXI-HP接口和AXI-ACP接口实现与PS子系统的数据交互。一方面，通过接口间的隔离，避免 了总线争用引发的通信效率下降；另一方面，AXI-ACP可直接将运算中间数据传输同步到PS 子系统的处理器缓存内，更有利于软件程序与固件之间的频繁、高效交互。
[0053] PS子系统内搭载了ARM-Linux嵌入式操作系统，支持多算法、多任务并行操作，可 充分满足自主式机器人、智能手机等复合功能平台的应用需求。在其控制的固态存储器内， W文件形式存储各模块驱动程序模块（.ko文件)和固件程序模块（.bit文件或.bin文件）， 利于系统管理、升级和基于动态可重构的功能切换。
[0054] 本实用新型设计实现的低功耗便携式实时图像目标检测跟踪装置工作流程简图 如图3所示。其工作流程可划分为检测阶段和跟踪阶段：
[0055] 第一步，系统启动后，复位并初始化各外设驱动程序，并将目标检测加速器装载至 可重构图像加速器。
[0056] 第二步，图像采集单元采集、预处理图像，并经AXI-DMA通道传输至PS子系统的 DDR3内存。
[0057] 第Ξ步，PS子系统内的图像检测算法将接收并处理图像，W软件形式执行非运算 密集型的算法环节，并调用图像加速单元执行运算密集型算法环节。
[0058] 第四步，根据软硬件协同检测的结果，如发现感兴趣目标，则将执行动态部分可重 构操作，将目标跟踪加速器装载至可重构图像加速器，并启动图像目标跟踪算法。
[0059] 第五步，PS子系统内的图像跟踪算法将接收并处理图像，W软件形式执行非运算 密集型的算法环节，并调用图像加速单元执行运算密集型算法环节。
[0060] 第六步，系统将持续定位目标位置，直至跟踪结束。
[0061 ]本实用新型选用高斯背景模型为图像目标检测算法，选用压缩跟踪算法为图像目 标跟踪算法。采用PS子系统软件实现高斯背景模型的目标标定环节，采用化子系统目标检 测加速器实现高斯背景模型的前景检测环节;采用PS子系统软件实现压缩跟踪算法的候选 样本采集、积分图计算、压缩感知、分类器更新等环节，采用化子系统目标检测加速器实现 压缩跟踪算法的朴素贝叶斯分类器环节。相对于高性能计算机（Intel Core i7-4712MQ， 8GB孤R3RAM，Windows 764-bit)，本实用新型所设计的嵌入式实时图像目标检测与跟踪系 统，可实现更高的处理速率，且重量仅125g，体积仅118 X 98 X 45mm，峰值功耗仅2.99W，能够 充分满足低功耗、便携式的应用需求。
[0062]综上所述，W上仅为本实用新型的较佳实施例而已，并非用于限定本实用新型的 保护范围。凡在本实用新型的精神和原则之内，所作的任何修改、等同替换、改进等，均应包 含在本实用新型的保护范围之内。
【主权项】
1. 一种低功耗便携式实时图像目标检测与跟踪装置，包括PL子系统和PS子系统，其特 征在于:PS子系统与PL子系统之间采用AXI-ACP接口、AXI-HP接口和DMA通道实现图像数据 和运算中间数据的交互;其中PL子系统包括图像采集单元和图像加速单元;其中： 图像采集单元包括摄像头接口模块、图像预处理模块、AXI-DMA模块;所述摄像头接口 模块用于对摄像头数据读取以及图像分辨率、采集帧率、数据格式的参数控制，图像预处理 模块用于对所采集图像流颜色校正、直方图均衡、空间变换的预处理操作，AXI-DMA模块用 于通过AXI-HP接口实现对图像数据向DDR3RAM的自主回传； 图像加速单元包括可重构图像加速器、AXI-DMA模块;可重构图像加速器用于根据系统 工作阶段动态加载图像目标检测或图像目标跟踪加速器，实现对不同算法的加速;AXI-DMA 模块用于通过AXI-ACP接口实现对图像数据向DDR3RAM的自主回传； 图像采集单元和图像加速单元中的AXI-DMA模块均通过AXI-Lite互联模块与AXI-GP接 口连接。
【文档编号】G06T1/00GK205486304SQ201620169026
【公开日】2016年8月17日
【申请日】2016年3月4日
【发明人】石立伟, 郭书祥, 潘邵武, 何彦霖, 唐昆, 肖瑞
【申请人】北京理工大学